ShortOPD: Beschnittene LLMs lernen Langtext-Generation von Kurztext-Lehrer

Beschnittene LLMs: Gut in Tests, schwach in freier Textgenerierung

Strukturiertes Pruning komprimiert große Sprachmodelle hardwarefreundlich, wird jedoch meist nur anhand von Multiple-Choice-Aufgaben bewertet. Dort bleibt die Leistung oft stabil, was jedoch ein trügerisches Bild zeichnet: Dieselben beschnittenen Modelle versagen häufig bei der freien Textgenerierung, die im praktischen Einsatz entscheidend ist. Eine genauere Analyse zeigt, dass die Fähigkeit zur Textproduktion nicht verloren geht, sondern lediglich herabgestuft wird. Die greedy pass@1, also die Trefferquote bei Wahl der wahrscheinlichsten Fortsetzung, bricht nach dem Pruning drastisch ein. Erhöht man jedoch die Anzahl der Stichproben (pass@k), erholt sich die Leistung deutlich. Das bedeutet, dass nützliche Textfortsetzungen im Ausgaberaum weiterhin vorhanden sind, aber nicht mehr die höchste Wahrscheinlichkeit erhalten. Die brauchbaren Generierungen werden also durch das Pruning zurückgestuft, nicht gelöscht. Der typische Fehlermodus in der freien Textgenerierung äußert sich in sich endlos wiederholenden Suffixen. Diese Beobachtung belegt, dass die grundlegende Generierungsfähigkeit latent erhalten bleibt, jedoch durch die Kompression unterdrückt wird.

ShortOPD: On-Policy Distillation mit Kurztext-Lehrer stellt Langtext-Generation wieder her

ShortOPD setzt genau an dieser Beobachtung an und nutzt einen On-Policy-Destillationsansatz, um die freie Textgenerierung beschnittener Modelle wiederherzustellen. Das Verfahren funktioniert in einem mehrstufigen Prozess: Zunächst generiert das beschnittene Modell (Schüler) einen kurzen Textanfang. Diesen selbst erzeugten Präfix verwendet das ursprüngliche, dichte Modell (Lehrer) als Startpunkt, um eine längere, qualitativ hochwertige Fortsetzung zu produzieren. Anschließend wird der Schüler auf diesen on-policy generierten Daten feinabgestimmt, mit dem Ziel, die Wahrscheinlichkeit der vom Lehrer stammenden Langtext-Fortsetzung zu maximieren. Der entscheidende Vorteil liegt in der On-Policy-Natur: Der Schüler lernt nicht von beliebigen Lehrertexten, sondern von Fortsetzungen, die genau auf seinen eigenen, potenziell fehlerhaften Präfixen basieren. Dadurch wird die Ausgabeverteilung des Schülers direkt an die des Lehrers angeglichen, und die durch das Pruning herabgestuften, aber noch vorhandenen guten Generierungsmuster werden wieder in den Vordergrund gerückt. Gleichzeitig unterdrückt das Training die zuvor beobachteten Suffix-Wiederholungen, da der Lehrer stets kohärente Langtexte liefert. Experimente belegen, dass ShortOPD die freie Textgenerierung beschnittener LLMs auf das Niveau des ursprünglichen, dichten Modells bringt und so die Lücke zwischen Testleistung und realer Nutzbarkeit schließt.