Können Frontier-LLMs menschliche Experten bei der Analyse von Supreme-Court-Urteilen ersetzen?

Neue Studie testet LLMs für juristische Textanalyse

Auf dem siebten NLP+CSS-Workshop, der im Juli 2026 in San Diego stattfand, wurde eine vielbeachtete Studie vorgestellt, die den Einsatz von Frontier-LLMs für die automatisierte Klassifikation von Begründungsstilen in Urteilen des U.S. Supreme Court untersucht. Der Workshop ist eine etablierte Plattform für Forschung an der Schnittstelle von Computerlinguistik und Sozialwissenschaften. Die Autoren Caroline Cheng, Edward Stiglitz, David Mimno und Matthew Wilkens gehen der Frage nach, ob moderne große Sprachmodelle die aufwändige menschliche Annotation ersetzen können. Die Arbeit ist Teil des von Dallas Card, Anjalie Field, Katherine Keith und Julia Mendelsohn herausgegebenen Tagungsbandes, der von der Association for Computational Linguistics veröffentlicht wurde und unter der DOI 10.18653/v1/2026.nlpcss-1.0 abrufbar ist. Konkret geht es um die Klassifikation von Absätzen in drei Kategorien: formales Reasoning, grand-style Reasoning und kein Reasoning. Diese Unterscheidung ist für die rechtswissenschaftliche Forschung von großer Bedeutung, da sie Rückschlüsse auf Argumentationsmuster und richterliche Entscheidungsfindung erlaubt. Bisher war die Annotation solcher Texte eine zeitaufwändige Aufgabe für menschliche Experten. Die Studie knüpft an frühere Arbeiten an, die zeigten, dass ältere generative Modelle an dieser komplexen sozialwissenschaftlichen Aufgabe scheiterten, während feinabgestimmtes BERT erfolgreich war. Nun wird erstmals getestet, ob aktuelle Frontier-LLMs diese Lücke schließen und eine zuverlässige Automatisierung ermöglichen können. Die Ergebnisse könnten weitreichende Folgen für die computergestützte Sozialwissenschaft haben.

Frühere generative Modelle scheiterten, BERT meisterte die Aufgabe – jetzt werden Frontier-LLMs geprüft

Frühere Forschungsarbeiten hatten gezeigt, dass ältere generative Sprachmodelle nicht in der Lage waren, die komplexe Klassifikation juristischer Begründungsstile zuverlässig durchzuführen. Diese Modelle scheiterten vor allem an der nuancierten Sprache und den subtilen Unterschieden zwischen formalem und grand-style Reasoning, die ein tiefes Textverständnis erfordern. Im Gegensatz dazu erwies sich ein feinabgestimmtes BERT-Modell als erfolgreich. BERT, ein auf Diskriminierung trainiertes Modell, konnte durch die Anpassung an die spezifischen Klassifikationsdaten die relevanten sprachlichen Muster erkennen und die Absätze präzise den drei Kategorien zuordnen. Die neue Studie von Cheng et al. testet nun erstmals, ob aktuelle Frontier-LLMs diese Lücke schließen können. Dazu verwenden sie einen Datensatz aus Absätzen von Supreme-Court-Urteilen, die von menschlichen Experten annotiert wurden. Die Modelle müssen jeden Absatz als formales, grand-style oder kein Reasoning klassifizieren. Die Bewertung erfolgt anhand der Übereinstimmung mit den menschlichen Annotationen, wobei Metriken wie Genauigkeit und F1-Score zum Einsatz kommen. So soll ermittelt werden, ob die neuesten LLMs die Leistung von feinabgestimmtem BERT erreichen oder sogar übertreffen und damit menschliche Annotation überflüssig machen können.

Zwischen Tool und Totengräber: Die LLM-Debatte in der juristischen Praxis

Während nwbrown in r/ArtificialInteligence bereits einen weitgehenden Ersatz von Anwälten durch LLMs beobachtet, sieht DowntownLizard in r/ArtificialInteligence die Technologie lediglich als nützliches Werkzeug, dem das echte Verständnis fehlt. Dass die Realität komplexer ist, fasst ein anonymer Nutzer in r/Lawyertalk ironisch zusammen: „KI wird Anwälte ersetzen, sobald Mandanten klare und eindeutige Rechtsfragen haben.“ Die Haftungsfrage und die notorische Unschärfe juristischer Sachverhalte bleiben vorerst menschliche Domänen.