KI SpotlightNewsActiveLLM: Sprachmodelle wählen aus, was gelabelt wird
Bayer, Lutz und Reuter beschreiben in TACL ein Verfahren, das das Cold-Start-Problem im Few-Shot-Setting lösen soll. Belastbare Zahlen und unabhängige Bestätigung fehlen bislang.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Markus Bayer, Justin Lutz und Christian Reuter verfassten die Arbeit „ActiveLLM“.
- ActiveLLM nutzt Large Language Models, um Trainingsinstanzen auszuwählen, und zielt auf das Cold-Start-Problem.
- Laut den Autoren übertrifft ActiveLLM traditionelle Methoden bei BERT-Klassifikatoren im Few-Shot-Setting.
- Laut den Autoren verbessert ActiveLLM auch die Few-Shot-Verfahren ADAPET, PERFECT und SetFit.
- Die Arbeit ist in Transactions of the Association for Computational Linguistics, Volume 14 (2026), verzeichnet.
LLMs wählen aus, was gelabelt wird: ActiveLLM in TACL erschienen
In Transactions of the Association for Computational Linguistics, Volume 14 (2026), ist die Arbeit „ActiveLLM: Large Language Model-Based Active Learning for Textual Few-Shot Scenarios“ von Markus Bayer, Justin Lutz und Christian Reuter verzeichnet. Sie beschreibt ein Active-Learning-Verfahren: Große Sprachmodelle wie GPT-4, o1, Llama 3 oder Mistral Large wählen die Trainingsinstanzen aus. Ziel ist das Cold-Start-Problem im Few-Shot-Setting. Viele Active-Learning-Strategien benötigen zunächst reichlich Startdaten, um sinnvoll auszuwählen. Wo nur wenige Beispiele vorliegen, versagen sie.
Das Neue liegt laut Abstract in der Rolle des Sprachmodells. Es annotiert nicht selbst. Es bestimmt, welche Instanzen anschließend gelabelt werden. Eine frühere Arbeit mit GPT-3.5 verfuhr anders: Dort labelt das LLM selbst, und seine Unsicherheit entscheidet, ob ein Mensch oder das LLM annotiert. Die frühere Arbeit testete dieses Vorgehen auf IMDB, einem Fake-News-Datensatz und Movie Genres.
Besser als klassische Verfahren, so die Autoren – belegt ist das nicht
Laut den Autoren verbessert ActiveLLM die Klassifikationsleistung von BERT-Klassifikatoren im Few-Shot-Setting „significantly“ und übertrifft klassische Active-Learning-Methoden. Auch die Few-Shot-Verfahren ADAPET, PERFECT und SetFit sollen profitieren. Der Ansatz lasse sich außerdem auf Nicht-Few-Shot-Szenarien mit iterativen Auswahlen übertragen. Anderen Strategien könne er helfen, ihr Cold-Start-Problem zu überwinden. Die Autoren nennen ihn eine „promising solution“. Dabei handelt es sich um Herstellerangaben, nicht um unabhängig geprüfte Ergebnisse.
Welche Datensätze und Label-Budgets zugrunde liegen, wie groß die Effekte ausfallen und was der Einsatz etwa über API-Gebühren kostet, geht aus den vorliegenden Abstracts nicht hervor. Auch wie sich die vier Sprachmodelle untereinander schlagen, bleibt offen. Eine unabhängige Replikation fehlt. Teams mit knappem Labeling-Budget könnten profitieren, sofern die berichteten Gewinne einer Prüfung standhalten. Das ist derzeit nicht belegt.
Was die TACL-Fassung gegenüber dem arXiv-Preprint ergänzt
Der arXiv-Preprint nennt nur GPT-4, Llama 3 und Mistral Large sowie SetFit. Die veröffentlichte Fassung ergänzt o1, ADAPET und PERFECT. Auch die Begründung verschob sich. Der Preprint verweist auf vortrainierte Modelle, die im Few-Shot ohnehin gut abschneiden. Die TACL-Fassung hebt dagegen Few-Shot-Szenarien hervor, die an Bedeutung gewinnen und in denen die Instanzauswahl großen Einfluss hat.
Ein GitHub-Repository enthält das Notebook ActiveLLM_demo.ipynb mit Code für Active Learning mit generativen Sprachmodellen. Der Code ist als unfertig und experimentell gekennzeichnet. Er ist rechenintensiv; empfohlen wird eine GPU, etwa in Google Colab. Ob es sich um das offizielle Repository der Autoren handelt, geht aus dem Material nicht hervor.
