A-RSI: Neues Paper erneuert den Aufgabenpool, sobald das Lernsignal nachlässt

A-RSI erneuert den Aufgabenpool, sobald das Lernsignal nachlässt

Auf Hugging Face ist das Paper „A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement“ mit Abstract gelistet. Die Autoren beschreiben eine Methode zur rekursiven Selbstverbesserung multimodaler Modelle. Das Verfahren erzeugt Erfahrung und entscheidet zugleich, wann diese Erfahrung keinen Nutzen mehr bringt.

Laut Abstract überwacht A-RSI die Variation der Belohnung und die Genauigkeit in den Trainings-Logs. Fällt das Lernsignal, wird der Aufgabenpool erneuert. Validierungs- oder Testwerte fließen dafür nicht ein. Externe Trainingsbeispiele und von Menschen verfasste Antwortlabels nutzt die Trainingsschleife nicht. Das alles stammt von den Autoren. Eine unabhängige Prüfung gibt es bislang nicht.

Referenzantworten stammen aus Programmen, nicht aus Mehrheitsvoten

Nach Angaben der Autoren kommen die Referenzantworten aus einer statischen Bibliothek modellgeschriebener Programme. Diese Programme erzeugen multimodale Fragen und leiten daraus die Antworten ab. Die Autoren wollen den Vertrag zur Aufgabenerzeugung festgelegt haben. Ausgewählte Eigenschaften der Reward- und Refresh-Regeln prüfen sie automatisch. Die erzeugten Antworten untersuchen sie zusätzlich gesondert.

So grenzen sie sich von Methoden ab, die Trainingsziele über Selbstkonsistenz oder Mehrheitsvoten bilden. Deren Supervision hängt an den unsicheren Eigenvorhersagen des Modells. Nach dem Abstract liegt das Neue in der Trennung zweier Fragen: Der Trainingsverlauf entscheidet, wann neue Erfahrung nötig ist. Prüfbare Programm-Antworten legen fest, was als richtig gilt. Das ist die Abgrenzung der Autoren, keine unabhängige Einordnung.

Auch der frühere Absolute Zero Reasoner kommt ohne externe Trainingsdaten aus. Das Modell schlägt dort Aufgaben aus Abduktion, Deduktion und Induktion vor. Die Python-Ausführung validiert diese Aufgaben, anschließend löst das Modell sie. Auch die Lösungen prüft die Python-Ausführung.

Gewinn und Vergleich mit Baselines bleiben offen

Die Autoren berichten eine gesteigerte Leistung auf einer primären Suite aus elf Benchmarks. Der Abstract endet jedoch vor den Ergebniszahlen. Wie groß der Gewinn ausfällt, welches Basismodell zugrunde liegt und wie A-RSI gegenüber Varianten ohne adaptiven Refresh abschneidet, ist dem vorliegenden Material nicht zu entnehmen.

Für eine Prüfung braucht es den Volltext mit den Tabellen zu den elf Benchmarks sowie Ablationen. Falls Code verfügbar ist, wäre außerdem eine Reproduktion nötig. Für Forschende zu Self-Improvement dürfte das Verfahren interessant sein, ebenso für Teams, die ohne menschliche Labels trainieren wollen. Ob es dafür taugt, ist bislang nicht belegt.