Agent folgt umgedrehten Reward-Labels: Nur eine unbestätigte Evaluation berichtet diesen Aufbau

Sichtung behauptet Regelbefolgung bei invertierten Reward-Labels – nur eine unbestätigte Evaluation berichtet den Aufbau

In einer synthetischen Routing-Aufgabe soll ein KI-Agent eine Regel befolgt haben, die er aus invertierten Belohnungslabels in seinem Erinnerungsspeicher abgeleitet hat. Das behauptet eine Sichtung. Bestätigt ist sie nirgends. Als mutmaßliche Quelle kommt die Evaluation „AI Model Follows Flipped Reward Labels in Agent Tests“ in Frage, eine unabhängige Auswertung. Sie ist ebenfalls unbestätigt. Der vorliegende Auszug nennt weder Urheber noch Veröffentlichungsort. Dass die Sichtung genau diese Evaluation meint, ist eine Annahme, keine gesicherte Zuordnung.

Laut Auszug nutzte die Aufgabe vier Lieferrouten (Kiwi, Plum, Fig, Lime) und eine verdeckte Regel, die Regionen Routen zuordnet. Die Modelle sollten die Regel aus Speichereinträgen mit früheren Entscheidungen ableiten, die als richtig oder falsch markiert waren. Je nach Modell fielen die Ergebnisse verschieden aus: GPT-6 Sol nutzte die Labels fast vollständig. Mit wahren Labels stieg der Wert im Online-Test von 32,2 auf 94,4 Punkte, mit umgedrehten Labels fiel er von 22,2 auf 7,8 Punkte, ein Abstand von 86,7 Punkten. Claude Haiku 5.5 nutzte sie nur teilweise: Wahre Labels hoben den Wert von 21,1 auf 37,2, umgedrehte Labels blieben im Online-Test nahe dem Zufall, wurden im Test mit festem Speicher aber befolgt. Bei Qwen3 4B Instruct zeigte sich im Test mit acht festen Einträgen kein klarer Nutzen wahrer Labels, der Abstand schrumpfte über sechs Seeds auf 3,1 Punkte.

Ob die Sichtung neu ist gegenüber früherer Berichterstattung, lässt sich aus dem Material nicht beurteilen. Der Auszug bricht mitten in der Beschreibung der Verhaltensmuster ab, weitere Angaben etwa zum Framework fehlen.

Umgedrehte Rewards verändern Lernkurven kaum – Speicherdateien dagegen steuern Agenten

Zwei Befunde aus dem Umfeld stehen in Spannung zueinander. Das Paper „Do LLMs Learn from Rewards in Context?“ berichtet aus kontrollierten Experimenten auf vier Benchmarks mit sechs Modellen. Wird der Reward umgedreht, randomisiert oder entfernt, bleibt die Verbesserungskurve nahezu unverändert. Das gilt auch dann, wenn Meta-Prompts das Modell ausdrücklich anweisen, die Rewards zu nutzen. Die Autoren deuten direktes In-Context-RL deshalb eher als Spezialfall des In-Context-Lernens. Verbessert werden die Ergebnisse durch Trajektorien, nicht durch deren semantischen Inhalt: Vermischte oder korrumpierte Trajektorien wirken ähnlich gut.

Das Paper „Bad Memory“ zeigt dagegen, dass sich Agenten über ihren Speicher steuern lassen. Getestet wurden Claude Code und Codex mit vier Modellen in einem synthetischen Workspace. Demnach ist es schwierig, einen Agenten dazu zu bringen, seine Speicherdateien mit nicht vertrauenswürdigen externen Inhalten zu überschreiben. Liegen Payloads aber bereits in diesen Dateien, können sie aktuelle und künftige Sitzungen erfolgreich angreifen. Erfolg und Persistenz schwanken stark nach System, Modell, Ziel und Mehrsitzungs-Sequenz.

Ein harter Widerspruch ist das nicht, denn die Studien messen Verschiedenes. Die eine untersucht den Lerneffekt roher Trajektorie-Reward-Paare, die andere die Wirkung gezielt platzierter Anweisungen. Auch die Routing-Evaluation passt nicht eindeutig zu einer der beiden Seiten: Sie berichtet modellabhängige Effekte der Labels. Offen bleibt, ob die Sichtung dem Reward-Paper widerspricht. Das hinge davon ab, ob der Agent eine explizit abgeleitete Regel erhielt oder nur rohe Rewards. Diese Frage ist ungeklärt.

Persistenter Agentenspeicher als Angriffspfad: Was die Papers messen

Mehrere Arbeiten belegen, dass persistenter Speicher ein Angriffspfad ist. Das Paper „When Agents Remember Too Much“ stellt den Angriff GhostWriter gegen das Langzeitgedächtnis tool-nutzender Personal-Agenten vor. Die Autoren berichten von Injektionsraten um rund 98 Prozent und Aktivierungsraten um rund 60 Prozent. MemSecBench umfasst 310 Fälle und eine Matrix aus 24 Konfigurationen. Darin bleibt bösartiger Speicherinhalt in 84,2 Prozent der Fälle erhalten. Der Benchmark MemPoison mit 1.227 handvalidierten Fällen zeigt: Write-time-Abwehr wie Konsistenzprüfungen unterdrückt direkte Einzelrecord-Angriffe deutlich. Zusammengesetzte oder kontextgetriggerte, schlafende Korruption unterdrückt sie dagegen nicht zuverlässig.

Die drei genannten Papers (GhostWriter, MemSecBench, MemPoison) behandeln den Fall invertierter Reward-Labels in Routing-Aufgaben nicht. Diesen Aufbau berichtet im Material nur die separate Evaluation. Die Sichtung stützen die drei Papers daher nicht direkt.

Herkunftsnachweis und Validierung statt Write-time-Checks allein

Für Betreiber von Agenten mit persistentem Gedächtnis folgt aus den Papers Handlungsbedarf. Er betrifft Schreibrechte, Herkunftsnachweis und Validierung von Speichereinträgen. Laut MemPoison reichen Write-time-Konsistenzchecks allein nicht aus. Sie lassen scheinbar harmlose Einträge durch, die erst später schädlich werden, etwa beim gemeinsamen Abruf oder bei einem Auslöser. Die Studie „From Untrusted Input to Trusted Memory“ kommt zu dem Schluss, dass bestehende Prompt-Injection-Abwehr Memory Poisoning nicht abdeckt. Agenten, die Speicher aggressiver schreiben und lesen, sind demnach leichter angreifbar. Welche Auswirkungen der gesichtete Befund auf Produktivsysteme hätte, ist nicht belegt.