Speculative Decoding

Speculative Decoding beschleunigt die Textgenerierung, indem ein kleines, schnelles Modell mehrere Token vorschlägt, die das große Modell anschließend nur noch prüft und bestätigt. So sinkt die Antwortzeit, ohne dass sich die Qualität der Ausgabe verschlechtert.