Top-k und Top-p
Verfahren zur Begrenzung der Token-Auswahl.
Top-k und Top-p steuern beim Sampling, aus welchen Token ein Modell wählen darf. Top-k beschränkt auf die k wahrscheinlichsten, Top-p (Nucleus Sampling) auf die kleinste Gruppe, deren Wahrscheinlichkeit zusammen einen Schwellenwert erreicht. Beide balancieren Vielfalt und Verlässlichkeit der Ausgabe.