GPT-2 ohne Rauschen: LessWrong-Beitrag testet Full-Batch-Training auf 800 Mio. Tokens

GPT-2 auf 800 Mio. Tokens: Full-Batch gegen Mini-Batch

Ein LessWrong-Beitrag trainiert GPT-2 nach dem NanoGPT-Speedrun. Verwendet werden 800 Millionen Tokens aus einer festen Teilmenge von FineWeb. Der Autor trainiert einmal mit Mini-Batches und einmal mit exaktem Full-Batch-Gradientenabstieg auf denselben Tokens. Die Baseline arbeitet mit einer Batchgröße von 393K und erreicht nach einer Epoche einen Validation-Loss von 3,30. Training- und Validation-Loss fallen zusammen, weil keine Daten wiederholt werden. Der Beitrag gibt das selbst so an.

Beim exakten Full-Batch-Lauf bricht der Beitragstext ab. Der Satz, der beschreibt, wie gut dieser Lauf die Trainingsdaten anpasst, ist nicht vollständig lesbar. Das Ergebnis lässt sich deshalb nicht berichten. Ob es die Annahme stützt, Rauschen sei für das Training nicht wesentlich, lässt sich auf dieser Grundlage nicht beurteilen.

Warum der Autor Rauschen im großen Maßstab prüfen wollte

Anlass sind laut Beitrag Aussagen aus der Lerndynamik-Forschung: Rauschen sei für das Training neuronaler Netze essenziell. Der Autor hielt das für kontraintuitiv. Bisher ging der Autor davon aus, dass die Trainingsdaten das Ergebnis weitgehend festlegen, weil alle Samples die Verlustlandschaft ähnlich in eine Richtung ziehen. Die Dynamik der Optimierung selbst scheine jedoch messbare Folgen für das Ergebnis zu haben. Für die Idee werden vage Intuitionen zu Simulated Annealing angeführt; sie wird als plausibel eingeschätzt.

Gewünscht war ein Test in nicht-trivialem Maßstab. Ein Pool ungenutzter Gratis-Rechenleistung machte das möglich. Grobe Rechnungen ergaben, dass der Versuch mit GPT-2 machbar ist. Laut Beitrag gab vor allem Charles Renshaw-Whitman den Anstoß. Als Zielgruppe nennt der Beitrag Forschende mit begrenzter Rechenleistung, die Lerndynamik genau untersuchen wollen.

Was frühere Arbeiten zu Batchgröße, Sharpness und Instabilität zeigen

Drei verwandte Arbeiten liefern Kontext; sie stammen nicht aus dem LessWrong-Beitrag und bewerten dessen Ergebnis nicht. Eine Studie variiert die Batchgröße bis hin zum gesamten Datensatz. Sie kommt zu dem Schluss, dass Stochastizität und schwere Ränder des Rauschens bei Transformern nicht die Hauptursache der Leistungslücke zwischen SGD und Adam sind. Adam wird mit wachsender Batchgröße besser, SGD kann von weniger Rauschen weniger profitieren. Adam mit großen Batches verhält sich ähnlich wie Sign Descent mit Momentum.

Eine zweite Arbeit knüpft an Cohen et al. (2021) an. Beim Full-Batch-Gradientenabstieg mit Schrittweite η stabilisiert sich die Sharpness bei 2/η, dem sogenannten Edge of Stability. Für Mini-Batch-SGD gilt das nicht. Die Autoren beschreiben dafür ein eigenes Regime, den „Edge of Stochastic Stability“. Demnach liegt die Sharpness bei kleineren Batches oder größerer Lernrate niedriger. Das soll die implizite Regularisierung von SGD hin zu flacheren Minima erklären.

Eine dritte Untersuchung trainiert GPT-2 in Replikationen. Sie findet eine starke Korrelation zwischen Trainingsinstabilität und extremen Werten der Gradientenvarianz. Große Batches und Lernraten verbessern demnach die Effizienz, können aber Instabilität auslösen.

Wie sich das Full-Batch-Ergebnis des LessWrong-Beitrags in diese Befunde einordnet, bleibt offen, bis es vorliegt.