Neuer Benchmark prüft KI-Agenten von der Aktienrecherche bis zum Anlageurteil

Prophetlab und Shanghai Jiao Tong University prüfen KI-Agenten von der Recherche bis zum Anlageurteil

Prophetlab hat den Benchmark 'Investor's Last Exam' (ILE) vorgelegt. Das Unternehmen leitet ihn gemeinsam mit Foresight Fund Management, IvyRock Asset Management und der Shanghai Jiao Tong University. Beteiligt sind dort die School of Artificial Intelligence (ReThinkLab) und das Antai College of Economics and Management. Bislang liegt ein Preprint vor, der bei arXiv eingereicht wurde. Die Ankündigung auf arXiv steht noch aus.

ILE misst drei Dinge zugleich: Recherchequalität, Prognosegenauigkeit und simulierte Anlageperformance. Der Test umfasst 86 Aufgaben und 11 getestete Systeme. Damit die Agenten keine Informationen aus der Zukunft nutzen, gilt ein festgelegter historischer Cutoff. Validierte Zeitstempel stellen sicher, dass nur Daten bis zu diesem Stichtag einfließen. Die Prognosen vergleichen die Autoren anschließend mit später eingetretenen Ergebnissen.

Die Autoren schreiben, bestehende Benchmarks deckten nur Finanzwissen, Recherche-Workflows oder Prognosen ab. Erst ILE prüfe den vollständigen Prozess mit streng eingefrorenem Informationsstand und professionellen Kriterien. Das ist die Selbstdarstellung der Urheber. Einen Vergleich mit den Methoden anderer Finanz-Benchmarks gibt es im vorliegenden Material nicht. Die Neuheit ist deshalb unabhängig nicht geprüft.

GPT-6 Astra führt mit 68,1 Punkten, bei Prognosen sind es nur 52,5

Im Gesamtergebnis liegt GPT-6 Astra mit 68,1 Punkten knapp vor Claude Opus 5.5 mit 66,9 von 100 Punkten. In der Kategorie 'Forecast & Model' erreicht Astra jedoch nur 52,5 Punkte. Laut Paper sind Spitzenmodelle bei der Recherche stark, bei Prognosen und Anlageurteilen deutlich schwächer.

Der Abstand von 1,2 Punkten zwischen den beiden Spitzenmodellen lässt sich ohne Angaben zur Streuung nicht einordnen. Konkrete Prognose- und Anlageergebnisse im Vergleich zu Baselines enthält das vorliegende Material nicht. Das Abstract ist abgeschnitten.

Der Befund legt nahe: KI-Agenten taugen derzeit eher für die Recherche als für das abschließende Urteil.

3,43 Millionen Dokumentversionen und 1.472 Rubrics, offen auf GitHub und Hugging Face

Grundlage ist eine versionierte Finanzdatenbank mit 3,43 Millionen Dokumentversionen aus neun Quellenkategorien. Hinzu kommen strukturierte Marktdaten. Eine Aufgabentaxonomie orientiert sich an den Arbeitsergebnissen von Analysten. Ein von Fachleuten geführter Bewertungsrahmen verknüpft Kriterien über Abhängigkeitsgraphen mit Quellen, Rechnungen und Annahmen.

Der Aufgabensatz umfasst 41 strukturierte Aufgaben, 37 Report-Aufgaben und 8 Marktprognose-Aufgaben mit 1.472 englischen Rubrics. Veröffentlicht sind die System-Prompts für Solver und Judge sowie die Tool-Definitionen mit 11 Solver-Funktionen. Für die Marktaufgaben existiert kein Judge-Prompt.

Zugänglich ist das Material über GitHub (Prophetlab/Investor-Last-Exam), einen Hugging-Face-Datensatz und eine Projektseite mit Paper-PDF, Ergebnissen und Evaluationsprotokoll.

Bei Vals AI führt Opus 5.5, doch die Messungen sind nicht direkt vergleichbar

Der bestehende Benchmark Finance Agent von Vals AI prüft Aufgaben von Einstiegsanalysten auf Basis öffentlicher Unternehmensunterlagen. In Version 2.1 führt Claude Opus 5.5 mit 67,85 Prozent vor Gemini 4 Argon (67,66 Prozent) und Wonder Full (67,58 Prozent). Im Vals Finance Index führt kein Modell alle Komponenten an. GPT-6 Astra schneidet dort deutlich schlechter ab als im Vals Index. Bei Claude Opus 5.5 und Sonnet 5.5 bearbeitete ein Fallback-Modell teils Aufgaben, nachdem das Hauptmodell verweigert hatte.

Die Rangfolge unterscheidet sich also zwischen ILE und Vals. Ein echter Widerspruch ist das nicht. Vals prüft Fragen zu Unternehmensunterlagen und Modellierung. ILE dagegen prüft den Gesamtprozess samt Prognose und simulierter Anlage auf eingefrorenen Daten. Auch Aufgabenzahlen und Bewertungsverfahren unterscheiden sich. Die Ergebnisse sind deshalb nicht direkt vergleichbar.