Google hat mit Turbo Quant einen Algorithmus vorgestellt, der den KV-Cache-Speicher von Large Language Models um das Sechsfache reduziert und die Inferenz-Geschwindigkeit auf NVIDIA H100 GPUs um den Faktor acht steigert. Ohne Genauigkeitsverluste. O...