CausalDS: Neuer Benchmark für kausale Argumentation in Data-Science-Workflows

CausalDS: Synthetische Kausalstrukturen treffen auf reale Beobachtungsdaten

CausalDS ist ein neuartiges Benchmark-Set, das speziell entwickelt wurde, um die kausale Argumentationsfähigkeit von LLM-basierten Data-Science-Agenten zu evaluieren. Es führt drei wesentliche Komponenten in einem einzigen, integrierten Workflow zusammen: synthetische Kausalstrukturen, realistische Beobachtungsdaten und natürliche Sprachgeschichten. Die synthetischen Kausalstrukturen liefern eine kontrollierte Grundwahrheit, da sie aus bekannten generativen Modellen stammen, deren Kanten die wahren kausalen Beziehungen festlegen, sodass die Antworten der Agenten objektiv bewertet werden können. Die realistischen Beobachtungsdaten simulieren typische Datensätze, wie sie in der Praxis vorkommen, und ermöglichen so eine angewandte Datenanalyse, die über abstrakte Symbole hinausgeht. Die natürlichen Sprachgeschichten betten die Aufgaben in einen narrativen Kontext ein, in verschiedenen Szenarien, und verlangen von den Agenten, dass sie die Fragestellung zunächst sprachlich verstehen, bevor sie datengetrieben kausale Schlüsse ziehen. Geprüft wird, ob die Agenten in der Lage sind, aus den gegebenen Daten und Geschichten korrekte kausale Zusammenhänge abzuleiten, Interventionen zu modellieren und kontrafaktische Überlegungen anzustellen. Bisherige Benchmarks konzentrierten sich entweder auf rein symbolische Kausalschlüsse ohne realistische Datenanalyse oder auf reine Datenanalyse ohne kausale Tiefe. CausalDS vereint beide Aspekte in einem durchgängigen Evaluierungsrahmen und schließt damit eine zentrale Lücke in der bisherigen Benchmark-Landschaft für Data-Science-Agenten.

Drei Stufen der kausalen Inferenz in einem Benchmark vereint

CausalDS deckt Pearls drei Stufen der kausalen Inferenz – Assoziation, Intervention und kontrafaktisches Denken – vollständig ab und operationalisiert sie durch aufeinander abgestimmte Aufgaben, Daten und Evaluationsmetriken. Die Operationalisierung erfolgt durch spezifische Aufgaben, die für jede Stufe definiert sind und mit den synthetischen Daten und Geschichten verknüpft werden. Auf der Assoziationsstufe werden statistische Zusammenhänge analysiert. Die Interventionsstufe verlangt, dass die Agenten die Auswirkungen eines gezielten Eingriffs in das System (z. B. das Setzen einer Variable auf einen festen Wert) vorhersagen. Die kontrafaktische Stufe prüft, ob Agenten Gegen‑Fakten‑Schlüsse ziehen können. Diese umfassende Abdeckung schließt eine Lücke, die frühere Benchmarks offenließen: Symbolische Kausal-Benchmarks beschränkten sich meist auf abstrakte Graphen ohne realistische Daten, während reine Datenanalyse-Benchmarks keine kausalen Fragestellungen auf den höheren Inferenzstufen stellten. CausalDS überwindet diese Trennung, indem es die drei Stufen in einen einheitlichen, datengetriebenen Workflow integriert und so eine ganzheitliche Bewertung der kausalen Argumentationsfähigkeit von Data-Science-Agenten ermöglicht.