Sampling

Sampling bezeichnet die Art, wie ein Sprachmodell aus den berechneten Wahrscheinlichkeiten das nächste Token auswählt. Statt immer das wahrscheinlichste zu nehmen, wird kontrolliert zufällig gezogen. Parameter wie Temperatur, Top-k und Top-p steuern dabei, wie kreativ oder vorhersehbar der Text wird.