Jailbreak-Anfälligkeit hängt laut Studie stärker vom Pretraining-Seed ab als vom Datenrezept

Anderer Pretraining-Seed senkt Korrelation auf 0,811, anderes Datenrezept nur auf 0,779

Welche Jailbreaks ein Sprachmodell knackt, hängt offenbar stärker vom Zufall des Pretrainings ab als von den Trainingsdaten. Das berichtet eine auf Hugging Face veröffentlichte Studie. Die Autoren trainierten 150 Modelle: 1B-Basismodelle aus 25 Datenrezepten, je mit drei Pretraining-Seeds. Alle Modelle erhielten dasselbe Safety-Post-Training, und zwar mit zwei Post-Training-Seeds.

Die Messung lief so ab. Pro Modell sammelten die Autoren 20 Antworten auf einen gemeinsamen Satz von Jailbreak-Prompts. Danach verglichen sie für alle Modellpaare die Korrelation der promptweisen Nicht-Verweigerungsraten. Gemeint ist, wie oft ein Modell bei einem bestimmten Prompt nicht ablehnt.

Zwei nachtrainierte Kopien desselben Pretraining-Laufs korrelieren im Mittel mit 0,984. Bei einem anderen Pretraining-Seed sinkt der Wert auf 0,811. Kommt zusätzlich ein anderes Datenrezept hinzu, fällt er nur noch geringfügig auf 0,779. Der Seed erklärt also den größten Teil des Rückgangs, das Rezept kaum noch etwas. Laut Autoren gilt dieses Muster über alle 25 Datenrezepte hinweg sowie bei 150M und 300M Parametern.

Das beste von 91 Angriffs-Templates bleibt nach neuem Pretraining-Seed nur in 27 % der Fälle das beste

Auch bei konkreten Angriffsvorlagen zeigt sich der Effekt. Das beste von 91 Templates, das auf einem Checkpoint gefunden wurde, bleibt nach einem neuen Pretraining-Seed nur in 27 Prozent der Modellpaare an der Spitze. Nach einem neuen Post-Training-Seed sind es 67 Prozent. Der Pretraining-Lauf verschiebt die Rangfolge der wirksamsten Angriffe demnach deutlich stärker als das Safety-Training selbst.

Daraus ließe sich eine Folgerung ziehen, die die Studie selbst nicht belegt: Jailbreak-Ergebnisse von einem einzelnen Checkpoint lassen sich womöglich nur begrenzt auf neu trainierte Modelle übertragen, auch wenn Daten und Safety-Training gleich bleiben.

Autorendeutung auf Basis kleiner Modelle, bislang ohne unabhängige Replikation

Die Kernaussage, dass Jailbreak-Anfälligkeit vor allem durch Zufälle im Pretraining entsteht und nicht durch das Datenrezept, ist die Deutung der Autoren. Sie stützt sich auf Korrelationen bei Modellen mit 1B Parametern und weniger. Eine unabhängige Replikation gibt es bisher nicht. Prüfbar wird die Aussage über den Volltext, über Wiederholungen mit weiteren Seeds und größeren Modellen sowie über die Veröffentlichung der Modelle und Prompts.

Seed-Varianz ist an sich nichts Neues. Die MultiBERTs stellen 25 BERT-Base-Checkpoints mit unterschiedlichen Seeds bereit. Die MultiContrievers zeigen hohe Sensitivität gegenüber Initialisierung und Data Shuffle. Auch beim Fine-Tuning auf GLUE und SuperGLUE wurden Seed-Effekte gemessen. Neu ist nach den vorliegenden Angaben die Messung der Jailbreak-Anfälligkeit nach Safety-Post-Training im Vergleich zum Datenrezept. Wie sich das genau einordnen lässt, bleibt offen, denn vorliegen konnte nur der abgeschnittene Abstract.

Ein Methodenpapier zu Äquivalenztests warnt zudem: Wenige Runs pro Methode reichen für Gleichwertigkeitsaussagen oft nicht aus.