Scaling Laws
Regelhafte Beziehung zwischen Größe und Leistung.
Scaling Laws beschreiben, wie vorhersagbar sich die Leistung eines Modells verbessert, wenn Modellgröße, Datenmenge und Rechenaufwand steigen. Sie waren eine wichtige Begründung dafür, immer größere Modelle zu bauen, zeigen aber auch abnehmende Erträge.