Paper trainiert Reasoning-LLM auf Informationsgewinn für Versuchsplanung

Informationsgewinn als Trainingsbelohnung statt Suche zur Inferenzzeit

Große Sprachmodelle tun sich laut dem Paper „Amortizing Sequential Experimental Design in Reasoning LLMs“ schwer, in Versuchsplanungsaufgaben adaptiv Informationen zu sammeln. Vorwissen und Reasoning-Fähigkeiten besitzen sie dennoch. Die Autoren wollen die sequenzielle Bayessche Versuchsplanung (BED) deshalb ins Modell verlagern, also „amortisieren“. Das Reasoning, das die nächste Aktion steuert, wird explizit mit Belohnungen für den erwarteten Informationsgewinn (EIG) trainiert. Der Aufwand fällt damit im Training an und nicht mehr bei jeder Anfrage.

Darin unterscheidet sich der Ansatz von BED-LLM, einer früheren Arbeit (ICLR). Sie wählt zur Inferenzzeit iterativ die Fragen mit dem höchsten erwarteten Informationsgewinn. Den EIG schätzt sie aus einem probabilistischen Modell der Vorhersageverteilungen des LLM. Das neue Paper legt dagegen das generative Modell des Experiments unabhängig von den Überzeugungen des LLM fest. So lässt sich der EIG unter einem frei gewählten Modell optimieren.

Twenty Questions und Medi-Q: Was der Abstract belegt und was offen bleibt

Laut Paper verbessern die trainierten Policies bei Twenty Questions sowohl die Informationsgewinnung als auch die Aufgabenleistung. Sie übertreffen BED-Baselines zur Inferenz- und zur Trainingszeit, und zwar bei wesentlich geringeren Rechenkosten. Zudem übertragen sie sich auf ungesehene Kategorien. Außerdem zeigt das Paper laut Abstract einen positiven Transfer vom Training auf Twenty Questions zu Medi-Q, einem realen klinischen Dialog-Benchmark.

Zahlenwerte nennt der vorliegende Abstract-Auszug nicht. Wie groß die Vorteile ausfallen, lässt sich deshalb nicht beurteilen. Die Selbsteinordnung der Autoren ist eine Herstellerangabe: Informationssammeln lasse sich als generalisierbare Reasoning-Fähigkeit lernen, und das Verfahren generalisiere über Aufgaben hinweg. Belegt ist das eng, nämlich mit einer Trainingsaufgabe und einem Transfer-Benchmark. Prüfen ließe sich der Anspruch am Volltext mit Tabellen und Ablationen, an Tests auf weiteren, klar getrennten Aufgaben sowie an Code und Gewichten für unabhängige Replikation. Aussagen über Anwendungen jenseits der Benchmarks geben die Quellen nicht her.

ASIG: Ein ähnliches arXiv-Paper mit offenem Verhältnis

Ein separater arXiv-Eintrag mit dem Titel „Amortising Bayesian Experimental Design for Sequential Information Gathering in LLMs“ beschreibt mit ASIG eine sehr ähnliche Idee. Die Feinabstimmung erfolgt über eine Mehrschritt-Erweiterung von GRPO mit EIG-Belohnung. Dem Abstract zufolge mehr als verdoppelt ASIG bei Twenty Questions die Erfolgsrate des 7B-Basismodells. Gleichzeitig senkt es die Inferenzkosten gegenüber BED-LLM um mehr als das 25-Fache. Auf MediQ, im Training ungesehen, verbessert sich das Informationssuchen beim 7B-Modell.

Unklar bleibt, ob es sich um dieselbe Arbeit in einer anderen Version oder um eine parallele Arbeit handelt. Die genannten Zahlen stammen allein aus dem ASIG-Abstract. Sie dürfen dem Hugging-Face-Paper nicht zugeschrieben werden.