APT: Drei Agenten sollen Text-zu-Bild-Modelle per Reinforcement Learning selbst nachtrainieren

Drei Agenten steuern das Nachtraining von Bildmodellen

APT steht für Agentic Post-Training. Laut Abstract ist es ein Framework, das ein Text-zu-Bild-Modell vollautomatisch nachtrainiert und sich dabei an das sich entwickelnde Fähigkeitsprofil des Basismodells anpasst. Als Trainingsverfahren nennt das Abstract Reinforcement Learning, nicht überwachtes Feintuning (SFT).

Die Arbeit verteilt sich auf drei Agenten. Der erste erstellt Evaluationssets aus Nutzeranforderungen. Der zweite diagnostiziert, wo das Modell stark ist und wo es typischerweise scheitert. Der dritte erzeugt daraus Daten für das Reinforcement Learning. Dabei gewichtet er eine adaptive Prompt-Verteilung so, dass unterdurchschnittliche Fähigkeiten stärker zählen.

Das Paper trägt den Titel „APT: Feedback-Driven Agentic Post-Training for Text-to-Image Generation“ und ist auf arXiv sowie auf Hugging Face Papers veröffentlicht. Eine Verwechslung droht mit einer gleichnamigen, davon unabhängigen Arbeit: „APT: Architectural Planning and Text-to-Blueprint Construction“ lässt LLM-gesteuerte Agenten in Minecraft Bauwerke errichten.

Das aktuelle Modell bestimmt seine nächsten Trainingsaufgaben

Die Neuerung, die das Abstract hervorhebt, liegt im Verzicht auf einen festen Datensatz. Bestehende Pipelines, so die Kritik der Autoren, stützen sich in der Regel auf manuell kuratierte Trainingsdaten und feste Trainingsverteilungen.

APT setzt dagegen auf eine Schleife. Das System evaluiert das Modell, diagnostiziert seine Schwächen und aktualisiert den Generator. Das Verhalten des aktuellen Modells prägt damit die nächsten Trainingsaufgaben. Die Autoren nennen das eine Feedback-Schleife, die von rekursiver Selbstverbesserung inspiriert ist.

Für allgemeine Einsatzszenarien, in denen Nutzer keine eigenen Evaluationsszenarien vorgeben, haben die Autoren außerdem ein Evaluation Harness entwickelt. Es soll breite und vielfältige Evaluationssets erzeugen.

Belege für die Wirkung fehlen

Uns liegen bislang nur das Abstract und der Anfang der Einleitung vor. Ergebnisse, Zahlen und Vergleiche mit Baselines fehlen deshalb. Ob APT über bisherige Verfahren hinausgeht, lässt sich nicht beurteilen.

Die Aussage, APT sei modell-, benchmark- und architekturunabhängig und vollautomatisch, stammt von den Autoren. Dasselbe gilt für den Slogan „Better models. Smarter training data.“ und für die Behauptung, ein fester Datensatz könne mit den wechselnden Stärken und Schwächen jedes Modells nicht Schritt halten. Prüfen lässt sich das nur an den Experimenten und Ablationen, etwa an einem Vergleich adaptiver und fester Verteilung bei gleichem Rechenbudget, und durch unabhängige Replikation.

Ob Entwickler und Labore ihren Kuratierungsaufwand damit senken können, bleibt offen. Handlungsbedarf lässt sich daraus nicht ableiten. Einordnen lässt sich das Paper im Umfeld von RL-Arbeiten für Bildmodelle wie Qwen-Image-2.0-RL und Flow-GRPO.