KI SpotlightNewsKV-Cache
Zwischenspeicher, der die Textausgabe beschleunigt.
Der KV-Cache speichert bei der Textgenerierung bereits berechnete Zwischenergebnisse der Attention, damit das Modell sie nicht bei jedem neuen Token erneut berechnen muss. Das beschleunigt die Ausgabe erheblich, benötigt aber zusätzlichen Speicher, der mit der Länge des Textes wächst.