KI SpotlightNewsKein getestetes Agenten-Gedächtnis erfüllt mehr als 1,5 % der Löschwünsche
Der Benchmark BEMULA prüft, ob Speichersysteme von LLM-Agenten Vergessensanfragen umsetzen. Ein Preprint von Tsinghua University und Weibo Corporation kommt zu einem negativen Befund.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- BEMULA umfasst 50 mehrsitzige Dialoginstanzen, 135 Vergessensanfragen und 1.742 Testfragen.
- Fünf Testsuiten messen Speicherung, Entfernung, Erhalt unbeteiligter Erinnerungen, Wiedererlernen und Widerstand gegen Extraktion.
- Kein getestetes System besteht mehr als 1,5 % der Vergessensanfragen Ende-zu-Ende.
- Laut Preprint lassen Systeme angefragte Information entweder unter einfachen Angriffen extrahierbar oder löschen weit mehr als verlangt.
- Getestet wurden Naive RAG, Mem0, A-MEM, LangMem, LightMem und SimpleMem sowie ein Full-Context-LLM.
Kein Agenten-Gedächtnis erfüllt mehr als 1,5 % der Löschwünsche
Forschende der Tsinghua University und der Weibo Corporation haben in einem Preprint den Benchmark BEMULA vorgestellt. Er prüft, ob Speichersysteme von LLM-Agenten Löschwünsche von Nutzern tatsächlich umsetzen. Das Ergebnis fällt ernüchternd aus: Kein getestetes System besteht mehr als 1,5 % der Vergessensanfragen Ende-zu-Ende. Die meisten bestehen keine einzige.
Getestet wurden sechs Memory-Systeme unter drei Backbone-LLMs: Naive RAG, Mem0, A-MEM, LangMem, LightMem und SimpleMem. Ein Full-Context-LLM kam auf zwei der Backbones hinzu. Dieses Modell sieht die gesamte Gesprächshistorie und greift nicht auf einen kuratierten Speicher zu.
Die Autoren ziehen einen klaren Schluss. Die Systeme lassen die angefragte Information unter einfachen Angriffen extrahierbar oder löschen weit mehr als verlangt. Ein Fachmedienbericht stimmt in den Kernzahlen mit dem Abstract überein.
50 Dialoge, 135 Löschanfragen, fünf Testsuiten: So misst BEMULA
BEMULA umfasst 50 mehrsitzige Dialoginstanzen, 135 Vergessensanfragen aus sechs Typen und 1.742 Testfragen. Die Teilmenge Bemula-Lite umfasst 31 Instanzen mit 848 Fragen. Laut Fachmedienbericht enthalten die Daten 746 Sitzungen und 36.900 Dialogturns. Das Preprint soll um den 14. Oktober 2026 erschienen sein.
Jeder Dialog existiert zusätzlich als Kontrollversion ohne Löschanfragen. Punkte für Vergessen erhält damit nur, wer das Ziel zuvor überhaupt gespeichert hat. Ohne diese Kontrolle ließe sich Vergessen nicht von Nichtmerken unterscheiden.
Fünf Testsuiten messen Speicherung, Entfernung der angefragten Information, Erhalt unbeteiligter Erinnerungen, Wiedererlernen ähnlicher Fakten und Widerstand gegen Extraktionsangriffe.
Die Autoren nennen BEMULA den ersten Benchmark für Memory Unlearning auf Nutzerwunsch. Frühere Memory-Benchmarks hätten nur Schreiben, Abruf und Organisation bewertet. Das ist eine Selbstauskunft. Ob sie stimmt, ist ungeprüft. Mit AUBench gibt es eine Arbeit, die Agenten-Unlearning ebenfalls behandelt, allerdings mit anderem Fokus.
Löschwünsche an Agenten: auch eine DSGVO-Frage
Der Bundesbeauftragte für den Datenschutz beschreibt das Recht auf Löschung nach Art. 17 DSGVO als starkes Recht. Es ist an Voraussetzungen geknüpft, etwa wenn Daten nicht mehr nötig sind, die Verarbeitung unrechtmäßig ist oder eine Einwilligung widerrufen wurde.
Das Bayerische Landesamt für Datenschutzaufsicht stellt klar: Betroffenenrechte gelten grundsätzlich auch bei KI-Agenten. Personenbezogene Daten können in gespeicherten Interaktionen, Agenten-Memories oder Protokollen liegen. Die praktische Umsetzung kann besondere Schwierigkeiten bereiten.
Daraus folgt vorsichtig: Betreiber solcher Agenten treten als Verantwortliche auf und können von Löschbegehren betroffen sein. Gegenmaßnahmen sind im Material nicht belegt. Eine rechtliche Bewertung der getesteten Systeme liegt ebenfalls nicht vor.
