Self-Supervised Learning
Lernen ohne manuelle Labels aus den Daten selbst.
Self-Supervised Learning gewinnt Trainingssignale direkt aus ungelabelten Daten, etwa indem das Modell verdeckte Wörter vorhersagt. So lassen sich riesige Textmengen nutzen, ohne dass Menschen sie mühsam beschriften müssen. Dieses Prinzip macht das Pretraining großer Sprachmodelle erst möglich.