KI SpotlightNewsSurvey gliedert Test-time-Compute von System-1- bis zu starken System-2-Modellen
Der Überblicksartikel in Computational Linguistics ordnet Methoden vom Parameter-Update bis zur Baumsuche; zwei Begleitstudien beleuchten Nutzen von Reasoning und Constraint-Treue
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Der Survey erschien in Computational Linguistics, Band 52, Heft 3 (September 2026), Seiten 1253–1307.
- Der Survey gliedert sich nach dem Trend von System-1- zu System-2-Modellen.
- Die empirische Studie vergleicht Reasoning- und Nicht-Reasoning-LLMs über 30 Teildisziplinen in sechs Wissenschaftsbereichen.
- Reasoning-Modelle schneiden bei Mathematik und Physik deutlich besser ab als Nicht-Reasoning-Modelle.
- CRGC formalisiert das Constraint Adherence Problem bei Large Reasoning Models und ergänzt Bridge Constraints.
Survey gliedert Test-time-Compute von System-1- bis zu starken System-2-Modellen
Ein Überblicksartikel zur Skalierung von Test-time-Compute ist in Computational Linguistics erschienen. Verfasst haben ihn Yixin Ji, Juntao Li, Yang Xiang, Hai Ye, Kaixin Wu, Kai Yao, Jia Xu, Linjian Mo und Min Zhang. Der Beitrag steht in Band 52, Heft 3 (September 2026), auf den Seiten 1253 bis 1307. MIT Press hat ihn veröffentlicht (DOI 10.1162/coli.a.629).
Der Survey folgt dem Weg von System-1-Modellen über schwache zu starken System-2-Modellen. Nach Angaben der Autoren zeigt er, welche Rolle Test-time-Compute beim Übergang zwischen diesen Stufen spielt. Außerdem behandelt er fortgeschrittene Themen und künftige Richtungen. Den Anlass nennen die Autoren im Abstract: die Leistung des o1-Modells bei komplexem Reasoning. Eine Lücke sehen sie bei umfassenden Übersichten zum Thema.
Einen Vergleich mit früheren Übersichten nehmen die Autoren in ihrem Abstract nicht vor; sie verweisen lediglich darauf, dass ihnen umfassende Surveys zum Thema fehlen.
Parameter-Update bis Baumsuche: Welche Methoden der Survey unterscheidet
Der Survey verfolgt den Begriff bis zu System-1-Modellen zurück. Dort ging es nach Darstellung der Autoren darum, Verteilungsverschiebungen zu bewältigen und Robustheit sowie Generalisierung zu verbessern. Dafür unterscheiden sie vier Ansätze: Parameter-Updates, Eingabemodifikation, Repräsentations-Editing und Output-Kalibrierung. Diese Ansätze sollen laut den Autoren Robustheit und Generalisierung verbessern.
Davon grenzt der Survey System-2-Modelle ab. Zusätzliche Rechenzeit soll hier die Fähigkeit zum Reasoning steigern, damit komplexe Probleme lösbar werden. Genannt werden wiederholtes Sampling, Selbstkorrektur und Baumsuche.
Im Umfeld gibt es weitere Übersichten. Ein Survey zu Test-Time Scaling in großen Sprachmodellen ordnet das Feld entlang der Fragen „what, how, where, how well“. Ein anderer zu effizientem Reasoning gliedert Arbeiten nach kürzeren, kleineren und schnelleren Modellen. Eine Wertung, welche Übersicht die bessere ist, nehmen die Quellen nicht vor.
Begleitstudien: Reasoning lohnt bei Mathe und Physik, CRGC senkt Constraint-Verletzungen um 39 %
Zwei weitere Arbeiten liegen parallel vor. Eine empirische Studie um Lu Xiang, Yang Zhao und Chengqing Zong vergleicht Reasoning- und Nicht-Reasoning-Modelle, unter anderem über 30 Teildisziplinen in sechs Wissenschaftsbereichen. Demnach schneiden Reasoning-Modelle bei logiklastigen Aufgaben wie Mathematik und Physik deutlich besser ab. Bei faktischen oder beobachtungsbasierten Problemen wie Biologie und Geografie bleiben Nicht-Reasoning-Modelle konkurrenzfähig.
Die zweite Arbeit stellt den Ansatz CRGC vor (TACL 2026). Er bildet Anweisungen als Graph von Bedingungen ab und ergänzt „Bridge Constraints“. Das sind Hilfsanweisungen, die Hauptbedingungen hervorheben und besser verträglich machen. Nach Angaben der Autoren sinken die Constraint-Verletzungen auf drei Datensätzen um 39 Prozent gegenüber Standard-Prompting. Die Reasoning-Fähigkeit leidet dabei laut Autoren nicht.
Für die Modellwahl folgt daraus: Bei logiklastigen Aufgaben spricht die Studie für Reasoning-Modelle; bei faktenbasierten Fragen bleiben Nicht-Reasoning-Modelle konkurrenzfähig. Ob Reasoning mehr oder weniger kostet, ist damit nicht beantwortet. Andere Einzelstudien zeigen, dass das von Aufgabe und Kostenmaß abhängt: Bei einfacher Mathematik erzeugen Reasoning-Modelle mehr Tokens, bei Text-to-SQL verarbeiten sie dagegen 44,5 Prozent weniger Bytes.
