Sampling
Zufallsgesteuerte Auswahl des nächsten Tokens.
Sampling bezeichnet die Art, wie ein Sprachmodell aus den berechneten Wahrscheinlichkeiten das nächste Token auswählt. Statt immer das wahrscheinlichste zu nehmen, wird kontrolliert zufällig gezogen. Parameter wie Temperatur, Top-k und Top-p steuern dabei, wie kreativ oder vorhersehbar der Text wird.