KI SpotlightNewsMem0 stellt DolphinBench vor: Agenten-Gedächtnis wird an erledigten Aufgaben gemessen
Der Benchmark verlangt Angaben zu Kosten und Latenz. Benchmark und das gemeldete Ergebnis von 70,67 Prozent stammen vom selben Anbieter. Ein kleines unabhängiges Experiment trennt Faktenwissen von Aufgabenerfolg.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- DolphinBench stammt von Mem0; Kontakt: [email protected].
- Drei Personas mit je rund 500.000 Tokens Historie und 200 Aufgaben pro Persona.
- Bewertet wird die tatsächliche Handlung des Agenten in simulierten Apps, nicht seine Aussage.
- Eine Aufgabe gilt nur als bestanden, wenn alle geforderten Prüfungen bestehen.
- Jede Auswertung meldet Gesamtkosten und mediane Aufgabenlatenz neben der Genauigkeit.
DolphinBench prüft 600 Werkzeugaufgaben, keine Quizfragen
Mem0 hat DolphinBench veröffentlicht, einen Benchmark für das Gedächtnis von KI-Agenten. Gemessen wird nicht, was ein Agent über frühere Gespräche sagt. Gemessen wird, was er in simulierten Apps tut. Das Gedächtnis kann dabei den Empfänger bestimmen, das Datum, ein Tool-Argument oder den Inhalt einer E-Mail.
Der Aufbau umfasst drei simulierte Wissensarbeit-Personas mit je rund 500.000 Tokens Nutzerhistorie. Pro Persona gibt es 200 Aufgaben, insgesamt also 600 werkzeugnutzende Tests. Eine Aufgabe gilt nur als bestanden, wenn alle geforderten Prüfungen gelingen. Jede Aufgabe ist außerdem verifiziert. Ein Agent bearbeitet sie mit und ohne die relevante Historie. Mit Historie muss er gelingen, ohne Historie muss er scheitern.
Datensatz, Evaluationscode, simulierte Apps, Runner, Grader und die offiziellen Läufe sind öffentlich.
Kosten und Latenz sind Pflichtangaben, das Ergebnis stammt vom Anbieter
Jede Auswertung soll neben der Genauigkeit die Gesamtkosten und die mediane Aufgabenlatenz melden. Die Kosten decken Agent und Gedächtnissystem ab, beim Einspielen der Historie ebenso wie im Test. Der Hintergrund: Ein System könnte die Genauigkeit steigern, indem es bei jeder Anfrage die gesamte Historie mit einem Spitzenmodell neu liest. Die dafür nötigen Kosten und Latenzen ließen sich im Betrieb kaum tragen. Die Projektseite führt 13 Konfigurationen auf.
Für das eigene Setup meldet Mem0 laut hyper.ai 70,67 Prozent. Metrik, Basismodell, Mem0-Version und Vergleichswerte fehlen im vorliegenden Material. Die Zahl lässt sich deshalb nicht einordnen. Hinzu kommt, dass Benchmark und Ergebnis vom selben Anbieter stammen.
Mem0 selbst schreibt, kein bestehender Gedächtnis-Benchmark verbinde Aktionsaufgaben, Kosten- und Latenzangaben sowie die Prüfung der Lösbarkeit mit und ohne Historie. Das ist eine Herstellerangabe. Unabhängig geprüft wurde sie nicht.
Kleinexperiment: 96,7 Prozent bei Fragen, 58,3 Prozent bei Aufgaben
Laut hyper.ai verglich ein unabhängiges, nicht namentlich genanntes Experiment vier Designs: kein Gedächtnis, volle Chat-Historie, laufende Zusammenfassung und Retrieval. Getestet wurden GPT-4o mini und Claude Haiku 4.5, auf einer synthetischen Historie von 40.000 Tokens.
Mit voller Historie beantwortete GPT-4o mini 96,7 Prozent der Direktfragen. Aufgaben erledigte es jedoch nur zu 58,3 Prozent. Teils nutzte es veraltete Informationen, weil die volle Historie alte und neue Nachrichten nebeneinander enthält. Claude Haiku 4.5 liegt mit 93,3 zu 81,7 Prozent näher beieinander.
Die Zahlen des Retrieval-Designs liegen nicht vor. Eine Überlegenheit von Retrieval lässt sich daraus nicht belegen.
Wie stark das Ergebnis vom Modell abhängt, zeigt die Studie MemDelta. Bei GPT-4o-mini liegen RAG und volle Historie fast gleichauf. Bei anderen Modellen kehrt sich das Ranking um.
