Goodfire veröffentlicht Paper zu Stateless Language Agents und Podcast zu Entscheidungsprozessen

Goodfire veröffentlicht Paper zu Stateless Language Agents und Podcast zu Entscheidungsprozessen

Goodfire hat ein Paper mit dem Titel „Stateless Language Agents: Scaling Long-Horizon Automated Research“ veröffentlicht. Ebenfalls von Goodfire stammt der Podcast „How Agents Decide“ mit dem Forscher Eric Bigelow. Das Paper beschreibt ein Framework für automatisierte Forschung über lange Zeithorizonte. Der Podcast behandelt, wie große Sprachmodelle während der Textgenerierung Entscheidungen treffen. Beide Veröffentlichungen befassen sich mit dem Verhalten von Sprachmodellen, setzen aber unterschiedliche Schwerpunkte. Während das Paper eine technische Architektur vorstellt, ordnet der Podcast zugrunde liegende Mechanismen ein. Eric Bigelow ist laut Podcast-Beschreibung Member of Technical Staff bei Goodfire und hat an der Harvard University im Fach Psychologie promoviert. Die Veröffentlichung des Papers erfolgt ohne Angabe eines konkreten Datums in der vorliegenden Quelle.

Stateless Language Agents: Forschungszustand außerhalb des Agentenkontexts

Das Paper führt Stateless Language Agents (SLAs) ein. Grundprinzip ist eine zustandsbehaftete Suche mit zustandslosen Agenten: Kein Agent führt seine Konversation über Aufrufe hinweg mit. Stattdessen besitzt das Harness den Forschungszustand – Kandidatenlösungen und gemessene Ergebnisse – und rekonstruiert für jeden Aufruf einen frischen, rollenspezifischen Kontext. Was ein Agent sieht, wird damit zu einer expliziten Designentscheidung statt zu einer mit der Laufzeit wachsenden Historie. Im SLA-Framework liest ein zustandsloser Advisor zusammengefasste Evidenz über verschiedene Suchrichtungen und vergibt konkrete Experimente an parallele Workers. Goodfire evaluierte SLA nach eigenen Angaben gegen drei aktuelle Frameworks in den Bereichen Software-Engineering, Kernel-Optimierung und Algorithmen-Design, mit Budgets von bis zu einer Milliarde Token. SLA erzielte demnach das beste Endergebnis in jeder Aufgabe und erreichte die Endleistung der stärksten Kernel-Baseline mit über 84 Prozent weniger Token.

Podcast behandelt kritische Tokens und Phasenübergänge – nicht im Paper erwähnt

Der Podcast „How Agents Decide“ behandelt nach seiner Beschreibung, wie große Sprachmodelle während der Textgenerierung Entscheidungen treffen. Eric Bigelow erläutert darin kritische Tokens, plötzliche Phasenübergänge und In-Context-Learning. Er bezieht sich auf kognitionswissenschaftliche und mechanistische Interpretierbarkeit. Auffällig ist: Diese Begriffe – kritische Tokens und Phasenübergänge – erscheinen nur in der Podcast-Beschreibung. Im Paper zu Stateless Language Agents werden sie nicht erwähnt. Das Paper konzentriert sich auf die Architektur zustandsloser Agenten und die Trennung von Forschungszustand und Agentenkontext. Die im Podcast diskutierten Entscheidungsprozesse sind dort kein Gegenstand. Ob es sich um separate, noch nicht als Paper veröffentlichte Forschung handelt, geht aus den vorliegenden Quellen nicht hervor.