FinDendro: Cutoff, Selbstauskunft und Stichtags-Prompt schützen Backtests laut Paper nicht verlässlich
Das Paper „LLMs Don't Know What They Know“ testet die drei gängigen Schutzmaßnahmen gegen Look-ahead-Leckage und hält sie im Verhalten für unzuverlässig. Andere Studien bewerten die Größe des Bias unterschiedlich.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- FinDendro ist ein Benchmark aus 2.226 datierten US-Fakten von 1999 bis 2026.
- Jeder Fakt erzeugt vier Prompts mit Wert-, Recall-, Predict- und Stichtagsfragen.
- Kontrollen für Persistenz und dominante Ausgänge halten die Zufallsgenauigkeit nahe 0,27.
- GPT-5 beantwortet 76 % der kontrollierten Fakten richtig, behauptet aber nur bei 38 % Wissen.
- Die Datenbasis umfasst zwölf FRED-Makroserien, 50 US-Aktien und Fed-Zinsentscheidungen.
FinDendro stellt Cutoff, Selbstauskunft und Stichtags-Prompt auf den Prüfstand
Wer ein Sprachmodell an historischen Fed-Entscheidungen oder Aktienkursen testet, läuft Gefahr, dass es Ergebnisse aus dem Training wiedergibt statt sie vorherzusagen. Das Paper „LLMs Don't Know What They Know“ (arXiv 2611.06808) prüft drei gängige Schutzmaßnahmen. Im Verhalten erweisen sie sich als unzuverlässig. Gemeint sind der vom Hersteller genannte Wissens-Cutoff, die direkte Frage an das Modell, was es weiß, und Prompts, die eine Antwort „zum Stichtag“ verlangen.
Dafür bauen die Autoren das Benchmark FinDendro. Es umfasst 2.226 datierte US-Fakten von 1999 bis 2026: monatliche Makroserien, Monatsend-Aktienkurse und Entscheidungen der Federal Reserve. Aus jedem Fakt entstehen vier Prompts. Eine Wertfrage fragt den Wert direkt ab. Recall- und Predict-Fragen koppeln jeden Kandidatenwert mit der Angabe, ob das Modell ihn kennt oder rät, ohne Datum. Eine vierte Predict-Frage nennt einen historischen Stichtag. Kontrollen für Persistenz und dominante Ausgänge halten die Zufallsgenauigkeit nahe 0,27.
Laut der Zusammenfassung von explainx.ai besteht die Datenbasis aus zwölf monatlichen FRED-Makroserien mit Erstveröffentlichungswerten, Monatsend-Kursen von 50 großen US-Aktien und Zinsentscheidungen der Fed. Diese Angabe stammt nur aus dieser Zusammenfassung. Die übrigen Aussagen dieses Beitrags beruhen auf dem Abstract und der Zusammenfassung, nicht auf einer Volltextprüfung des Papers.
Zum Stichtags-Prompt gibt es einen früheren Beitrag mit dem Titel „Datumsvorgabe im Prompt verdeckt das Wissen von LLMs, entfernt es aber nicht“. FinDendro dürfte diesen Befund bestätigen und erweitern. Vom früheren Beitrag liegt allerdings nur der Titel vor. Ein Abgleich im Detail ist deshalb nicht möglich.
GPT-5 weiß 76 % der Fakten, behauptet es aber nur bei 38 %
Der Kernbefund des Abstracts lautet: Bei den meisten Frontier-Modellen liegen die Selbstauskünfte unter dem tatsächlichen Wissen. GPT-5 beantwortet 76 % der kontrollierten Fakten richtig. Zu wissen behauptet es aber nur bei 38 %. Das ist das Gegenteil von Wissensvortäuschung: Das Modell hält sich häufiger für unwissend, als es ist.
Das Abstract nennt außerdem eine weitere GPT-5-Zahl (61 %). Der zugehörige Satz bricht im vorliegenden Material ab. Wofür die 61 % stehen, bleibt deshalb offen, und der Beitrag deutet die Zahl nicht.
Für Backtester folgt daraus: „Weiß ich nicht“ beweist nicht, dass ein Modell das Ergebnis nicht kennt. Zwischen Antwortverhalten und Selbstauskunft klafft eine Lücke. Ebenso wenig garantiert ein vom Hersteller genannter Cutoff Leckagefreiheit. Die Autoren prüfen ihn ausdrücklich als eine der unzuverlässigen Schutzmaßnahmen. Aussagen zu konkreten Produkten oder zum Ausmaß der Überschätzung bestehender Backtests lassen sich aus dem vorliegenden Material nicht ableiten.
Wie groß Look-ahead-Bias ist, bleibt zwischen den Studien umstritten
Nicht alle Arbeiten bewerten Leckage gleich stark. Eine Studie zu GPT-Sentiment-Signalen auf Nachrichtenschlagzeilen kommt zu einem überraschenden Ergebnis. In-Sample schneiden anonymisierte Schlagzeilen besser ab. Der Distraktionseffekt wiegt demnach schwerer als der Look-ahead-Bias. Distraktion heißt: Allgemeinwissen über die genannten Firmen stört die Sentimentmessung. Out-of-Sample spiele Look-ahead-Bias keine Rolle, Distraktion sei aber weiterhin möglich. Anonymisierung der Firmennamen könne In-Sample helfen.
Andere Arbeiten finden deutlicheren Bias. Look-Ahead-Bench stellt bei Standardmodellen wie Llama 3.1 (8B und 70B) und DeepSeek 3.2 erheblichen Look-ahead-Bias fest, gemessen als Alpha-Decay über Marktregime. FinCAD senkt In-Sample-Backtest-Renditen um bis zu 67,1 %, was auf erhebliche Memorisierung hindeutet. Didisheim, Fraschini und Somoza (Economics Letters 2025) messen den Bias, indem sie Modelle ohne Kontext historische Aktienrenditen abrufen lassen. Der Bias hängt von Datenfrequenz, Modellgröße und Aggregationsniveau ab. Kleinere Modelle und feinere Granularität zeigen vernachlässigbaren Bias.
Die Abstracts liefern selbst eine mögliche Erklärung. Die Studien messen unterschiedliche Aufgaben: Sentiment aus Schlagzeilen, Rendite- und Faktenabruf sowie Alpha-Decay. Sie nutzen verschiedene Modelle, Größen und Metriken. Das ordnet den Widerspruch ein, löst ihn aber nicht auf. FinDendro misst Faktenwissen und Selbstauskunft, also die Abrufseite. Den Effekt auf Handelsrenditen misst es nicht. Wie viel Bias daraus in konkreten Backtests entsteht, sagt das Benchmark nach den vorliegenden Angaben nicht.
Point-in-Time-Modelle und Decoding: Auswege mit Grenzen
Als konstruktive Lösung gelten Point-in-Time-Modelle, die nur Text bis zum jeweiligen Datum sehen. Eine Arbeit trainierte Modelle mit bis zu 4 Milliarden Parametern auf 1 Billion chronologisch gefilterter Tokens und erzeugte jährliche Checkpoints für 2013 bis 2024. Die Modelle nähern sich vergleichbaren unbeschränkten Modellen an. Bei einigen Aufgaben bleibt eine Lücke. In einer strikten Out-of-Sample-Auswertung erzielten Portfolios aus Point-in-Time-Embeddings robust positive Sharpe-Ratios nahe den Full-Sample-Varianten, die den zeitlichen Bezug verletzen.
FinCAD setzt anders an. Das Context-Aware-Decoding-Verfahren dämpft die Erinnerung an historische Ausgänge, ohne neu zu trainieren. Getestet wurde es an fünf Modellen mit 7 bis 14 Milliarden Parametern und fünf Mega-Cap-Aktien. Die Out-of-Sample-Renditen 2025 blieben nahe der Baseline. Der Sharpe-Wert lag innerhalb von 0,10.
Bei Pitinf-Large ist Vorsicht geboten. Die Bezeichnung „frontier-level“ und die Aussage, die Pitinf-Modelle generalisierten mit der Größe besser, stammen aus dem Abstract von Look-Ahead-Bench. Eine unabhängige Replikation liegt nicht vor. Ob die Benchmark-Autoren mit PiT-Inference verbunden sind, dem Anbieter der Pitinf-Modelle, geht aus dem Material nicht hervor.
Nur 28 Prozent der Studien diskutieren überhaupt einzelne Bias-Formen
Auch die methodische Lage verlangt Vorsicht. Ein Positionspapier wertete 164 Arbeiten aus den Jahren 2023 bis 2025 aus. Kein einzelner Bias, darunter Look-ahead- und Survivorship-Bias, wird demnach in mehr als 28 Prozent der Studien diskutiert. Die Autoren schlagen ein Structural Validity Framework und eine Checkliste vor.
Für Leser von LLM-Backtests heißt das: Eine Cutoff-Angabe, eine Selbstauskunft des Modells oder ein Stichtags-Prompt reichen nach FinDendro nicht als Nachweis. Zu prüfen ist, ob Anonymisierung, ein Point-in-Time-Modell oder dämpfendes Decoding zum Einsatz kam. Außerdem sollte klar sein, ob die Autoren Out-of-Sample-Ergebnisse ausweisen.



