Saturn-Test: KI-Chatbots liefern bei Finanzfragen laut Fintech Saturn oft falsche Antworten

Saturn-Test: Im Schnitt 57 Prozent der KI-Finanzantworten fehlerhaft

Das britische Fintech Saturn hat den Report „Artificial Authority“ (September 2026) veröffentlicht. Getestet wurden 18 KI-Modelle, darunter ChatGPT, Claude, Copilot, Grok und Gemini. Sie beantworteten 121 Finanzfragen zu Schulden, Hypotheken, Rente, Steuern und Sparen. Saturn stellte jede Frage fünfmal, um die Konsistenz zu prüfen. Nach Angaben des Unternehmens ergeben sich daraus mehr als 10.000 Antworten.

Laut Saturn waren im Schnitt 57 Prozent der Antworten falsch oder unvollständig. Bei schweren Fragen liegt die Fehlerquote laut Report bei 88 Prozent, die Genauigkeit betrug dort 12 Prozent. Saturn definiert diese Fragen als mehrteilige Szenarien mit ineinandergreifenden Steuerregeln und genauen Zahlen.

Die Kennzahlen beziehen sich auf 17 aktuelle Modelle. Ein eingestelltes Modell schloss Saturn aus den Headline-Werten aus. Dort lag die durchschnittliche Genauigkeit bei 43 Prozent. Alle Zahlen stammen von Saturn selbst.

Kostenlose Modelle schneiden schlechter ab, Claude Haiku 4.5 am schwächsten

Kostenlose Modelle lagen laut Saturn bei 63 Prozent Fehlern, bezahlte bei 49 Prozent. Bei schweren Fragen kamen die kostenlosen Modelle auf 93 Prozent.

Modellspezifisch nennt Saturn für Claude Haiku 4.5 82 Prozent Fehler, den schlechtesten Wert. Es folgen Gemini 3.1 Pro mit 73 Prozent, Grok 4.5 mit 59 Prozent und ChatGPT 5.6 Luna mit 58 Prozent. Als bestes Modell führt Saturn Claude Opus 5 (Reasoning) auf. Eine vollständige Modelltabelle liegt nicht vor.

Beim Gesamtwert des besten Modells ist die Quellenlage uneindeutig. Eine Quelle nennt rund 39 Prozent Fehler. Laut e24 gelten diese 39 Prozent nur für leichte Fragen, bei schweren Fragen seien es 67 Prozent. Berichte über 99 Prozent Fehler beziehen sich auf einzelne schwächste Modelle, nicht auf den Durchschnitt von 88 Prozent.

Erfundene Steuerfälle und falsche Kredit-Score-Auskunft als Fehlerbeispiele

Als Beispiele nennt Saturn einen erfundenen Rentensteuer-Fall. Ein Sparer hätte dadurch einen HMRC-Zuschlag von 17.500 £ riskieren können. Ein Modell erfand außerdem eine Ausnahme bei der Studienkredit-Rückzahlung für Auswanderer, die die britische Regelung nicht kennt. Ein drittes Modell behauptete, ein Hypotheken-Zahlungsaufschub wirke sich nicht auf den Kredit-Score aus. Das stimmt so nicht: Der Aufschub kann den Score beeinflussen und damit günstige Konditionen später erschweren.

Der Report ordnet die Fehler in vier Kategorien ein: Rechenfehler, fehlende Risikohinweise, Unkenntnis kommender Steueränderungen und erfundene Finanzregeln.

Saturn fordert FCA-Regulierung, testet aber in eigener Sache

Saturn fordert, dass die britische Finanzaufsicht FCA KI-Finanzberatung reguliert. Nach eigener Darstellung betreut das Unternehmen über 750 Beratungsfirmen und 6.500 Berater. Laut Financial Reporter stammt die Untersuchung von Saturn selbst und folgt dessen Methodik und Bewertungskriterien. Das Unternehmen hat zudem ein kommerzielles Interesse an FCA-Entscheidungen.

Saturn nennt den Report die bisher „tiefgehendste Benchmarking-Untersuchung dieser Art“. Chefin Amal Jolly sagt, Millionen Menschen vertrauten KI-Modellen bei Geldfragen und erhielten falsche Antworten, die sie Geld kosten könnten. Über ein Viertel der britischen Verbraucher nutze solche Tools bereits. Eine Quelle für diese Zahl nennt Saturn nicht.

Eine unabhängige Bestätigung, eine Einordnung durch Dritte und Reaktionen der KI-Anbieter liegen nicht vor. Ob die Zahlen über Saturns Selbstauskunft hinaus belastbar sind, bleibt offen.