Pretraining
Erstes, breites Grundtraining eines Modells.
Pretraining ist die erste, rechenintensive Trainingsphase, in der ein Modell aus sehr großen, ungelabelten Datenmengen allgemeines Wissen und Sprachverständnis aufbaut. Darauf folgen meist gezieltere Schritte wie Feintuning und RLHF für die konkrete Anwendung.