Apple-Forscher zeigen: LLMs verbessern Code-Generierung allein durch eigene Rohausgaben

Self-Distillation ohne externe Signale

Die von Apple-Forschern vorgestellte Methode Simple Self-Distillation (SSD) bricht mit einer zentralen Annahme der Modellverbesserung: Dass ein Large Language Model (LLM) für bessere Code-Generierung zwingend externe Lehrersignale, Verifikatoren oder Belohnungsmodelle benötigt. Bisherige Ansätze setzten oft auf Lehrer-Modelle, die eine Zielverteilung vorgeben, auf Verifikatoren, die die Korrektheit der generierten Lösungen prüfen, oder auf Reinforcement Learning mit externen Belohnungssignalen. SSD hingegen nutzt ausschließlich die eigenen Rohausgaben des Modells. Das LLM generiert mit einer bestimmten Temperatur Code-Lösungen für eine Aufgabe – diese ungefilterten Samples werden anschließend als Trainingsdaten für eine weitere Optimierungsrunde desselben Modells verwendet. Durch mehrfache Wiederholung dieses Prozesses verbessert sich die Code-Qualität schrittweise. Der entscheidende Unterschied zu klassischen Self-Distillation-Ansätzen liegt im vollständigen Verzicht auf ein separates Lehrer-Modell, das üblicherweise die Zielverteilung vorgibt, sowie auf jegliche Form von Verifikation oder Reinforcement Learning. Die Autoren bejahen damit die Forschungsfrage, ob ein LLM seine Code-Generierung allein durch die Wiederverwendung eigener, nicht extern bewerteter Ausgaben verbessern kann. Der Mechanismus setzt darauf, dass bereits im Modell vorhandene, aber in der Standard-Sampling-Strategie nicht optimal genutzte Fähigkeiten durch iteratives Selbsttraining verstärkt werden. So lernt das System, konsistentere und korrektere Lösungen zu produzieren, ohne dass ein externes Gütesignal definiert werden muss.

Apple-Forscher setzen auf Einfachheit

Das Paper mit dem Titel „Embarrassingly Simple Self-Distillation Improves Code Generation“ stammt von den Apple-Forschern Ruixiang Zhang, Richard He Bai, Huangjie Zheng, Navdeep Jaitly, Ronan Collobert und Yizhe Zhang. Die Autoren bezeichnen ihren Ansatz selbst als „beschämend einfach“ – eine Charakterisierung, die die konzeptionelle Schlichtheit der Methode unterstreicht. Trotz des minimalen Aufwands und des Verzichts auf komplexe Trainingsinfrastruktur belegt das Paper die Wirksamkeit von SSD in Experimenten. Die Methode ist als Preprint verfügbar und unterstreicht Apples Forschungsaktivitäten im Bereich großer Sprachmodelle; konkrete Pläne zur Produktintegration wurden nicht bekannt gegeben.