FinCosmos: Keine von 150 Agentensitzungen in der Finanzarbeit wird akzeptiert
Ein neues Evaluationsparadigma testet Agenten mit simuliertem Nutzer, selbst beschafften Webdaten und programmgeprüften Backtests. Dass es ein neues Paradigma ist, behaupten die Autoren selbst. Das lässt sich nur teilweise prüfen.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- FinCosmos ist ein offenes Evaluationsparadigma für Agenten, die Finanzarbeit erledigen.
- Der Agent muss Daten aus dem Web beschaffen und einen eigenen Backtest bauen.
- Die Bewertung nutzt Programme statt Referenzantworten und prüft die Strategie gegen eine versteckte Spezifikation.
- Getestet wurden vier Coding-Agenten und ein Modell ohne Werkzeuge in 150 Sitzungen.
- Keine Sitzung wurde akzeptiert; die Agenten sprechen nur 54–64 % der verborgenen Details an.
150 Sitzungen, keine akzeptiert: Finanzagenten scheitern an FinCosmos
FinCosmos ist ein offenes Evaluationsparadigma für Agenten, die Finanzarbeit erledigen. Das Paper liegt auf arXiv und Hugging Face. Getestet wurden vier Coding-Agenten sowie ein Modell ohne Werkzeuge, insgesamt 150 Sitzungen. Keine einzige davon wurde akzeptiert. Auch Sitzungen, die der simulierte Nutzer abgenommen hatte, scheiterten an mindestens einem Programmcheck. Der Nutzer war zufrieden, die automatische Prüfung fand trotzdem einen Fehler.
Versteckte Strategie, selbst beschaffte Daten, 15 Veto-Checks
Anders als klassische Benchmarks legt FinCosmos Aufgabe, Daten und Zeitlinie nicht vorab fest. Ein simulierter Nutzer hält eine Strategie bereit, die aus einer kompositionellen Grammatik stammt. Er verrät sie erst, wenn der Agent danach fragt.
Die Daten liefert niemand. Der Agent muss sie selbst aus dem Web beschaffen, unter einem Daten-Cutoff einen eigenen Backtest bauen und überprüfbare Ergebnisse abgeben.
Bewertet wird ohne Referenzantwort. Programme prüfen, ob die Daten zeitpunktrichtig sind (Point-in-time-Korrektheit), und rechnen jede berichtete Kennzahl neu. Außerdem gleichen sie die gelieferte Strategie mit der versteckten Spezifikation ab. Ein Lauf gilt nur dann als akzeptiert, wenn der Nutzer zufrieden ist und keiner der 15 Veto-Checks anschlägt. Ein überzeugend formulierter Bericht reicht damit allein nicht aus.
Agenten fragen nur 54 bis 64 Prozent der fehlenden Details ab
Nach Angaben der Autoren sprechen die Agenten nur 54 bis 64 Prozent der Details an, die ihnen nicht vorab mitgeteilt wurden. Menschliche Fachleute führen 88,33 Prozent der Fehler auf eine Ursache zurück. Welche Ursache das ist, bleibt offen. Der vorliegende Abstract bricht an dieser Stelle ab, das Material nennt sie nicht.
Für Leser von Backtest- und Strategieberichten ist der Befund trotzdem relevant. Ein Bericht kann überzeugend wirken und dennoch stille Fehler enthalten, etwa eine nicht erfragte Strategie, ungeprüfte Daten oder Zukunftsdaten im Backtest.
Neues Paradigma? Der Anspruch der Autoren und zwei Vergleichsbenchmarks
Die Autoren ordnen ihre Arbeit selbst ein. Bestehende Benchmarks legten die Welt an einer Stelle fest, indem sie Aufgabe, Daten oder Zeitlinie fixierten, und entfernten dadurch Fehler, statt sie zu messen. FinCosmos sei deshalb ein neues Paradigma. Das ist ein Eigenanspruch, keine unabhängige Feststellung.
Zwei Vergleichspunkte aus dem Material relativieren ihn zumindest teilweise. FinSearchComp fixiert die Aufgaben tatsächlich: Es gibt drei Aufgabentypen, von Finanzexperten annotiert. AgenticFinBench mit 230 Aufgaben arbeitet dagegen ebenfalls referenzfrei, mit Rubrics und einem zweistufigen Claim-Audit. Referenzfreiheit allein ist also nicht neu. Wie weit das Gesamtdesign aus versteckter Strategie, Webdaten und Veto-Checks neu ist, lässt sich anhand des vorliegenden Materials nur teilweise einordnen. Eine unabhängige Bewertung oder Replikation steht aus. Auch zu Code und Zugang fehlen belastbare Angaben.


