Studie: Parallele Exploration vor der Optimierung soll LLM-gesteuerte Entdeckung stabilisieren

Parallele Exploration vor der Optimierung soll Entdeckungserfolg stabilisieren

Eine neue Studie rät davon ab, LLM-gesteuerte Entdeckung sofort iterativ zu optimieren. Eine erste Phase paralleler Exploration soll die anschließende Optimierung initialisieren. Das Paper „Initialization Improves LLM-Driven Discovery“ liegt auf arXiv und Hugging Face vor. Gemeint sind sogenannte Harnesses: Gerüste, die ein Sprachmodell wiederholt auffordern, ein Ziel zu verbessern.

Den Autoren zufolge liefert die Methode konsistente Gewinne über viele Harnesses und Zielanwendungen. Wie groß diese Gewinne ausfallen, lässt das vorliegende Material offen; es enthält keine Zahlen. Ein Community-Beitrag auf Hugging Face fasst zusammen, die Initialisierung hebe bei festem Gesamt-Token-Budget die Untergrenze der Entdeckungsleistung an. Der Text ist im Material abgeschnitten. Die Aussage liegt daher nur verkürzt vor.

Den Anspruch, die Intervention sei „universally applicable“, formulieren die Autoren selbst. Gesichert ist er nicht. Prüfen ließe er sich durch Replikation auf weiteren Aufgaben, Modellen und Harnesses sowie durch Ergebnistabellen mit Varianz über wiederholte Läufe. Beides liegt nicht vor.

Mode Collapse und die Vorhersagekraft früher Ergebnisse als Ausgangsbefunde

Die Intervention leiten die Autoren aus mehreren Beobachtungen ab. Sie untersuchen, wie die Population früherer Iterationen den späteren Erfolg beeinflusst. Dafür entwickeln sie eine Suite von 12 Harnesses namens „Modular“, die frühere Harness-Designs verallgemeinert. Getestet wird über 5 verschiedene Entdeckungsaufgaben. Ihr Befund: Der Entdeckungserfolg sei brüchig und reagiere empfindlich auf das Harness-Design.

Als häufigen Fehlermodus nennen sie Mode Collapse, einen starken Rückgang der Diversität der Iterationen. Die Zwischenlösungen ähneln sich dann zunehmend. Populäre State-of-the-Art-Harnesses und diversitätsfördernde Eingriffe, die diesen Kollaps hinauszögern sollen, brächten laut den Autoren nur uneinheitliche Gewinne.

Als tragfähiger erweist sich nach ihrer Darstellung ein anderer Zusammenhang. Die Leistung früher Entdeckungen sagt den späteren Erfolg voraus. Daraus folgern die Autoren, den Start gezielt zu verbessern, statt den Kollaps nur zu verzögern. Wie sich das Verfahren zu bestehenden Systemen wie AlphaEvolve, FunSearch, OpenEvolve oder ShinkaEvolve abgrenzt, geht aus dem Material nicht hervor.

Zweite Arbeit findet keinen universell überlegenen Harness

Die separate arXiv-Arbeit „Automated Discovery Has No Universally Superior Harness“ hat einen anderen Schwerpunkt. Sie zerlegt OpenEvolve-artige Suche und den TTT-Discover-Harness in Komponenten. Verglichen werden 30 budget-gleiche Harnesses über 12 Modell-Problem-Paare, gestützt auf mehr als 3,1 Millionen LLM-Rollouts. Kein fester Harness erweist sich dabei als verlässlich überlegen. Die Harness-Wahl wirke eher wie ein Hyperparameter. Varianten von OpenEvolve schnitten meist schlechter ab als einfachere Alternativen.

Auch diese Arbeit stellt fest, dass früher Fortschritt die Endleistung vorhersagt. Sie nutzt das für eine adaptive Budgetverteilung: Mehrere Harnesses starten, schwache Läufe werden abgebrochen, Rechenleistung fließt auf die starken.

Ob sich die Befunde widersprechen oder ergänzen, ist offen. Die erste Arbeit beansprucht eine harness-übergreifende Zusatzintervention, die zweite vergleicht die Harnesses selbst. Aufgaben, Modelle und Budgets unterscheiden sich. Einen direkten Vergleich zeigt das Material nicht. Für eine Bewertung braucht es Replikationen und die Ergebnistabellen.