Komprimierbarkeit statt Overfitting: Neue arXiv-Studie erklärt Generalisierung von ML-Agenten

1 – Kern der Meldung: Studie und Hypothese

Eine neue arXiv-Studie mit dem Titel „What Fits (Into Few Tokens) Doesn’t Overfit: Compression and Generalization in ML Research Agents“ untersucht, warum benchmark-getriebenes maschinelles Lernen trotz adaptiver Wiederverwendung von Validierungsdaten kaum overfittet. Die Autoren stellen die Hypothese auf, dass erfolgreiche ML-Strategien eine niedrige Beschreibungskomplexität besitzen – eine sogenannte Description-Length-Erklärung. Diese Erklärung macht die beobachtete Generalisierung plausibel: Eine Strategie, die mit wenigen Token beschrieben werden kann, kann nicht viele spezifische Details des Validierungsdatensatzes kodieren, weil diese Details viele Token erfordern würden. Stattdessen muss sie auf allgemeine, übertragbare Muster zurückgreifen. Das ist analog zu Occams Rasiermesser: Einfachere Hypothesen haben weniger Freiheitsgrade, um sich an Rauschen anzupassen, und generalisieren daher besser. Die Länge der Beschreibung ist ein direktes Maß für die Komplexität; je kürzer, desto wahrscheinlicher, dass die Strategie echte Struktur erfasst und nicht zufällige Eigenheiten des Datensatzes. Deshalb erklärt die niedrige Beschreibungskomplexität, warum trotz wiederholter Nutzung des Validierungsdatensatzes kaum Overfitting auftritt. Die Studie testet diese Hypothese direkt mit LLM-gesteuerten Forschungsagenten und zwei komplementären Informationsengpässen. Laut dem Fachportal Hyper.ai stammt die Arbeit von Forschern bei Amazon Science.

2 – Drei-Agenten-Architektur und Informationsengpässe: 32-Token-Prompts und Ein-Bit-Feedback genügen

Laut Hyper.ai setzt die Studie eine Drei-Agenten-Architektur ein: Ein Explorer-Agent sucht iterativ nach leistungsstarken Modellen unter Verwendung eines Validierungsdatensatzes. Ein Compressor-Agent analysiert das vollständige Experimentprotokoll und destilliert die erfolgreiche Strategie in einen kurzen Prompt. Ein Reproducer-Agent, der weder den Validierungsdatensatz noch die vorherigen Experimente kennt, versucht, die Leistung allein anhand dieses Prompts und der Trainingsdaten zu reproduzieren. Über acht Datensätze aus tabellarischer Klassifikation, Computer Vision, Sprachmodellierung, Diffusionsmodellierung und Reward-Modellierung zeigen die Ergebnisse, dass die beiden Informationsengpässe wenig Einfluss auf die Leistung haben: Die Output-Kompression, bei der der Reproducer nur einen Prompt mit durchschnittlich 32 Token erhält, und die Input-Kompression, bei der der Explorer nur ein Ein-Bit-Feedback bekommt, ob ein eingereichtes Modell das bisher beste verbessert. Die Engpässe beeinträchtigen die Leistung kaum, weil die Strategien bereits so komprimierbar sind, dass ein 32-Token-Prompt die wesentlichen Entscheidungen (Modellarchitektur, Hyperparameter, Vorverarbeitung) vollständig übermittelt und ein Ein-Bit-Feedback genug Information liefert, um die Suche zu leiten. Das zeigt, dass die relevanten Informationen in den Trainingsdaten und der Aufgabenstellung liegen, nicht in den Details des Validierungsdatensatzes. Die geringe Token-Anzahl spiegelt die zugrundeliegende Strategie kompakt wider: Der Compressor destilliert sie auf ihre Essenz – eine kurze Abfolge von Entscheidungen, die auf allgemeinen Prinzipien beruhen. Da der Reproducer nur diese Essenz benötigt, um die gleiche Leistung zu erzielen, bestätigt das die niedrige Beschreibungskomplexität. Die Hypothese ist falsifizierbar: Wenn die Forscher absichtlich Validierungs-Overfitting herbeiführen, lassen sich die Ergebnisse mit kurzen Prompts nicht reproduzieren. Das stützt die Erklärung, dass erfolgreiche Strategien eine niedrige Beschreibungskomplexität besitzen.