Transformer, Halluzination, Kontextfenster, Reasoning, Agentenzuverlässigkeit, Model Collapse und Weltmodelle — die vollständige, faktenbasierte Einordnung mit allen Belegen.
Von Andreas Rüdiger· Stand: 18.08.2026
·110 Min Lesezeit ·
Dieser Beitrag erklärt, wie moderne Sprachmodelle technisch wirklich arbeiten — vom Transformer über Pretraining und Post-Training bis zu Halluzination, Kontextfenstern, Reasoning und Agenten — und benennt die belegbaren Grenzen. Es ist die vollständige Fassung mit allen Kernaussagen, Forschungs- und Praxisprofilen, einem Prüf- und Einführungsfahrplan, Mythenprüfungen, Faktenkarten, Glossar sowie dem kompletten Quellenregister. Jede Fußnote verlinkt auf ihren Beleg. Recherchestand: 7. August 2026.
Management-Zusammenfassung
Was ein modernes Sprachmodell technisch ist
Der 2017 vorgestellte Transformer ist eine neuronale Sequenzarchitektur. Seine zentrale Operation, Self-Attention, berechnet für Tokenpositionen gewichtete Beziehungen zu anderen Positionen. Die Architektur machte Training stark parallelisierbar und ließ sich mit großen Daten- und Rechenmengen skalieren. Daraus folgt jedoch nicht, dass Attention eine Datenbank, ein Wahrheitsmechanismus oder ein menschliches Bedeutungsverständnis darstellt. Moderne LLMs entstehen erst aus dem Zusammenspiel von Architektur, Tokenisierung, Pretraining, Datenmischung, Post-Training, Inferenzlogik und Systemkomponenten. [S-001 bis S-013]
Autoregressive Sprachmodelle lernen im Pretraining primär, die Wahrscheinlichkeitsverteilung des nächsten Tokens aus dem vorherigen Kontext zu approximieren. Dieses Ziel zwingt sie, zahlreiche sprachliche, fachliche und strukturelle Regelmäßigkeiten zu komprimieren. Es verlangt aber nicht, jede erzeugte Behauptung gegen die Welt zu verifizieren. Wahrheitsgemäße Antworten können aus dem Trainingsziel entstehen; sie sind nicht identisch mit ihm. [S-003 bis S-006, S-031, S-052]
Skalierung verbessert viele Durchschnittsleistungen, doch „größer“ ist keine vollständige Fähigkeitsbeschreibung. Chinchilla zeigte, dass viele Modelle im Verhältnis zu ihrer Größe mit zu wenig Daten trainiert waren. Instruction Tuning und Präferenztraining verändern das Antwortverhalten erheblich; ein kleineres post-trainiertes Modell kann in Präferenztests vor einem größeren Basismodell liegen. Sparse Modelle aktivieren zudem nur einen Teil ihrer Parameter je Token. Parameterzahl, Trainingscompute, Inferenzkosten und effektive Qualität dürfen deshalb nicht gleichgesetzt werden. [S-004 bis S-013]
Halluzination ist kein einzelner Fehler und keine feste Modellquote
Der Begriff Halluzination wird uneinheitlich benutzt. Er kann eine objektiv falsche Behauptung, eine vom bereitgestellten Kontext nicht gestützte Aussage, einen Widerspruch zur Quelle, eine erfundene Quelle, eine falsche Rechenoperation oder eine instruktionstreue Abweichung bezeichnen. Eine Rate ist nur interpretierbar, wenn Fehlertyp, Aufgabe, Datensatz, Modellversion, Prompt, Antwortlänge, Grounding, Detektor und Umgang mit Nichtantworten benannt werden. [S-031 bis S-039]
Deshalb gibt es keine seriöse universelle Aussage wie „Modell X halluziniert zu sieben Prozent“. HaluEval, TruthfulQA, RAGTruth, FActScore, semantic entropy und Vectaras HHEM beantworten unterschiedliche Fragen. Vectaras aktuelles Leaderboard untersucht mit dem proprietären HHEM-2.3 vor allem, ob eine Zusammenfassung durch einen vorgegebenen Kontext gestützt wird. TruthfulQA prüft Fragen mit verbreiteten Fehlannahmen. RAGTruth annotiert ungestützte oder widersprüchliche Aussagen in RAG-Antworten. SciFactCheck ergänzt 2026 wissenschaftliche Langantworten und zeigt im untersuchten Fine-Tuning-Setting sogar schlechtere Faktentreue bei bestimmterer Sprache. Die Werte sind nicht austauschbar. [S-031 bis S-052, S-126]
Flüssigkeit, Detailgrad und Selbstsicherheit sind schwache Wahrheitsindikatoren. Ein Modell kann denselben Irrtum konsistent wiederholen. Umgekehrt kann ein korrektes Modell bei mehrfachem Sampling unterschiedliche Formulierungen erzeugen. Unsicherheitsverfahren wie SelfCheckGPT oder semantische Entropie liefern nützliche Signale, aber kein Wahrheitsorakel. Für praktische Systeme müssen Fehlererkennung, Abstention, Rückfragen, Retrieval, externe Berechnung und menschliche Freigabe als unterschiedliche Kontrollen kombiniert werden. [S-033, S-036, S-037, S-043, S-052 bis S-055]
RAG verbessert Grounding, nicht automatisch Wahrheit
Retrieval-Augmented Generation verknüpft ein Modell mit externen Dokumenten. Dies kann Aktualität, Quellenbezug und Nachprüfbarkeit verbessern. RAG ersetzt jedoch eine Fehlerquelle nicht, sondern baut eine Pipeline: Dokumentauswahl, Berechtigung, Parsing, Chunking, Embedding, Retrieval, Ranking, Kontextzusammenstellung, Konfliktauflösung und Generierung. Jede Stufe kann scheitern. [S-014 bis S-016, S-035, S-045, S-046]
RAGTruth dokumentiert, dass auch RAG-Antworten ungestützte oder widersprüchliche Aussagen enthalten. Eine angezeigte Quelle kann falsch zugeordnet sein oder nur einen Teil der Antwort tragen. Deshalb werden Retrieval Recall, Evidenzpräzision, Zitationskorrektheit, atomare Groundedness und Endantwortqualität getrennt gemessen. Eine einheitliche „RAG-Genauigkeit“ verschleiert Ursachen. [S-034, S-035, S-047 bis S-051]
Kontextfenster ist nicht gleich Arbeitsgedächtnis
Ein Anbieterwert von beispielsweise 128.000 oder mehr Token bezeichnet zunächst eine technische Eingabegrenze. Er beweist nicht, dass ein Modell jede Information über die gesamte Länge gleich gut findet, kombiniert und für Schlussfolgerungen nutzt. Lost in the Middle zeigte häufig bessere Nutzung relevanter Information am Anfang und Ende als in der Mitte. RULER, NoLiMa, HELMET und LongBench-Varianten zeigen zusätzlich, dass einfacher Wortabgleich, semantischer Abruf, Aggregation und Multi-Hop-Reasoning unterschiedliche Fähigkeiten sind. LongBench Pro evaluiert 1.500 natürliche bilinguale Fälle zwischen 8k und 256k Token und berichtet für 46 Modelle regelmäßig kürzere effektive als nominelle Kontexte. [S-057 bis S-070, S-123]
Ein perfekter Needle-in-a-Haystack-Test ist daher kein Beleg für effektives Langzeitgedächtnis. Lange Kontexte können sogar schaden, wenn irrelevante, widersprüchliche, veraltete oder sehr informationsdichte Inhalte Aufmerksamkeit binden. Kontrollierte 2026er Tests ergänzen Länge und Position um Informationsdichte; PAPerBench berichtet in seinem Setting zugleich sinkende Personalisierungs- und Datenschutzleistung mit wachsendem Kontext. Für Unternehmenssysteme ist ein kuratierter, versionierter und zielgerichtet abgerufener Kontext oft belastbarer als ein maximal gefülltes Fenster. [S-059, S-060, S-064, S-065, S-124, S-127]
Reasoning und Erklärungen
Chain-of-Thought und Testzeit-Compute können auf vielen Aufgaben Leistung verbessern. Das rechtfertigt jedoch nicht die Annahme, eine ausgegebene Begründung sei ein transparenter Blick in den kausalen Entscheidungsprozess. Turpin et al. zeigten, dass Modelle Antworten durch irrelevante Bias-Signale beeinflussen lassen und anschließend plausible, aber unvollständige Erklärungen erzeugen können. Prozessverifikation, Werkzeuge und mehrere Suchpfade können helfen, erzeugen aber neue Kosten und Fehlerstellen. [S-019 bis S-024, S-096]
Kontrollierte Arbeiten wie GSM-Symbolic und Apples Puzzleexperimente zeigen Robustheitsprobleme und Leistungseinbrüche. Gegenanalysen weisen auf unlösbare Testfälle, Tokenlimits und den Einfluss externer Werkzeuge hin. Der belastbare Schluss ist nicht „LLMs können denken“ oder „LLMs können grundsätzlich nicht denken“, sondern: Die gemessene Problemlösung ist empfindlich gegenüber Aufgabenform, Komplexität, Inferenzbudget, Prompt und Toolzugang. [S-103 bis S-106]
Agenten: Leistungswert des Gesamtsystems
Ein Agent verbindet ein Modell mit Tools, Speicher, Regeln und einer Schleife aus Beobachtung und Aktion. WebArena, OSWorld, SWE-bench und tau-bench haben die Evaluation näher an reale Arbeit gebracht. Gleichzeitig wird der Score untrennbar vom Scaffold: Prompt, Browser, Parser, Suchstrategie, Tooldefinitionen, Schrittbudget, Modellversion, Umgebung und Evaluator verändern das Resultat. [S-071 bis S-095]
Die Originalarbeiten zeigten meist deutliche Lücken zu Menschen. OSWorld 2.0 verschärft das Bild für lange Arbeitsabläufe: 108 Workflows mit median rund 1,6 Stunden menschlicher Bearbeitungszeit; das beste im Paper berichtete System erreichte bei 500 Schritten 20,6 Prozent binären und 54,8 Prozent partiellen Erfolg. Gleichzeitig verbessert sich manches Leaderboard schnell, ohne automatisch vergleichbar zu sein. SWE-bench Verified gilt seit dem OpenAI-Audit vom 23. Februar 2026 wegen Testfehlern und Kontaminationshinweisen nicht mehr als geeigneter Frontier-Maßstab. Besonders wichtig ist wiederholte Zuverlässigkeit. tau-bench verwendet pass^k, weil ein einmaliger Erfolg nicht beweist, dass derselbe Prozess achtmal korrekt und regelkonform läuft. In langen Workflows multiplizieren sich Schrittfehler; ein Agent kann zudem einen guten Endscore erreichen und trotzdem riskante Zwischenhandlungen ausführen. [S-078, S-079, S-088, S-091 bis S-094, S-122, S-125]
Model Collapse und Weltmodelle
Die Nature-Arbeit zu Model Collapse zeigt, dass rekursive Trainingsschleifen, in denen Modelloutput reale Daten zunehmend ersetzt, Verteilungsränder verlieren und Fehler verstärken können. Das ist kein Beleg, dass alle synthetischen Daten schädlich sind. Andere Arbeiten zeigen, dass das Beibehalten und Akkumulieren realer Daten in bestimmten Settings Kollaps vermeiden kann. Entscheidend sind Datenherkunft, Mischung, Filterung, Vielfalt und unabhängige Validierung. [S-107 bis S-110]
LeCuns Weltmodell-Programm kritisiert, dass reine Token- oder Pixelvorhersage für autonome, planende Maschinen nicht genügt, und schlägt latente prädiktive Repräsentationen vor. I-JEPA, V-JEPA, MuZero, Dreamer und Genie zeigen verschiedene Weltmodellansätze. Diese Forschung widerlegt LLMs nicht. Sie erweitert den Werkzeugkasten um Zustandsmodelle, Dynamik und Planung. Hybride Systeme aus Sprache, Wahrnehmung, Weltmodell, Suche und symbolischen Werkzeugen sind technisch naheliegend. Eine 2026er Definitions- und Roadmaparbeit dokumentiert zugleich, dass für den Begriff Weltmodell weiterhin kein Konsens über Definition, Vorhersageziel oder Architektur besteht. [S-111 bis S-121, S-128]
Konsequenz für Unternehmen und Buchaussagen
Die richtige Prüfungseinheit ist nicht „die KI“, sondern eine versionierte Systemkonfiguration in einem begrenzten Prozess. Das Dossier empfiehlt für jede Aussage die neun Angaben: Modell, Version, Stichtag, Prompt, Daten, Tools, Nutzergruppe, Aufgabe und Metrik. Ein externer Benchmark dient zur Vorauswahl; freigegeben wird erst nach einem internen Blindtest mit realen Häufigkeiten, kritischen Randfällen, Nettozeit, Vollkosten und wiederholter End-to-End-Zuverlässigkeit. [S-026, S-056, S-091 bis S-102]
> Management-Fazit > Modelle werden leistungsfähiger, aber ihre Grenzen verschwinden nicht gleichmäßig. Die professionellste Nutzung besteht nicht darin, Fehler zu leugnen oder Fähigkeiten kleinzureden. Sie besteht darin, die Aufgabe so zu bauen, dass Stärken nutzbar, Fehler sichtbar, Folgen begrenzt und Änderungen messbar werden.
Die 50 wichtigsten Kernaussagen
Fakten-ID
Kernaussage
Status
Einschränkung
Hauptquelle
Refresh
F-001
Der Transformer ersetzt rekurrente Sequenzverarbeitung nicht durch „Verstehen“, sondern durch eine Architektur, die Beziehungen zwischen Tokenpositionen über Attention berechnet und stark parallelisierbar trainiert werden kann.
FORSCHUNGSGRUNDLAGE
Die Originalarbeit betraf maschinelle Übersetzung; heutige LLMs ergänzen zahlreiche Trainings-, Daten- und Systemkomponenten.
S-001
niedrig
F-002
Ein Sprachmodell wird im Pretraining primär darauf optimiert, wahrscheinliche Tokenfortsetzungen zu modellieren; faktische Wahrheit ist nicht identisch mit diesem Trainingsziel.
TECHNISCHE GRUNDLAGE
Post-Training, Retrieval, Tools und Verifier verändern das Verhalten, heben die Grundspannung aber nicht vollständig auf.
S-003, S-006, S-052
niedrig
F-003
Skalengesetze beschreiben empirische Regelmäßigkeiten innerhalb bestimmter Modell-, Daten- und Compute-Regime; sie sind keine Naturgesetze und keine Garantie für jede nachgelagerte Fähigkeit.
FORSCHUNGSSTAND
Architektur, Datenqualität, Post-Training und Evaluation verändern die beobachteten Beziehungen.
S-004, S-005
niedrig
F-004
Compute-optimal bedeutet nicht „möglichst viele Parameter“, sondern eine abgestimmte Verteilung von Modellgröße, Daten und Rechenbudget.
FORSCHUNGSSTAND
Die konkrete optimale Relation hängt von Annahmen, Daten, Architektur und Ziel ab.
S-005
niedrig
F-005
Instruction Tuning und Präferenztraining können ein kleineres Modell in menschlichen Präferenztests vor einem deutlich größeren Basismodell platzieren.
EMPIRISCHER BEFUND
Präferenz, Faktentreue, Robustheit und Sicherheit sind verschiedene Zielgrößen.
S-006
niedrig
F-006
Parameterzahl, aktivierte Parameter, Speicherbedarf, Trainingscompute und Inferenzkosten sind unterschiedliche Größen.
TECHNISCHE GRUNDLAGE
Sparse Mixture-of-Experts und Quantisierung erschweren einfache Größenvergleiche zusätzlich.
S-012, S-013
mittel
F-007
Ein Modell kann mit Werkzeugen besser rechnen, suchen oder handeln, ohne dass sich seine internen Wissens- oder Schlussfolgerungsfähigkeiten im gleichen Maß verbessert haben.
SYSTEMEINORDNUNG
Gemessen wird dann das Gesamtsystem aus Modell, Prompt, Tool, Orchestrierung und Evaluator.
S-017, S-018, S-022
niedrig
F-008
Mehr Testzeit-Rechenbudget kann auf geeigneten Aufgaben Leistung erhöhen, aber der Nutzen hängt stark von Schwierigkeit, Suchstrategie und Verifierqualität ab.
FORSCHUNGSSTAND
Mehr Tokens oder längere Überlegung können auch Kosten, Latenz und Fehlerpfade erhöhen.
S-021, S-024
mittel
F-009
Chain-of-Thought kann Benchmarkleistung verbessern, ist aber kein verlässlicher Einblick in den tatsächlichen kausalen Entscheidungsprozess des Modells.
PEER-REVIEWTER BEFUND
Ausgegebene Begründungen können nachträglich rationalisieren oder relevante Einflüsse verschweigen.
S-019, S-096
niedrig
F-010
Eine flüssige, detaillierte und selbstsichere Antwort ist kein belastbarer Wahrheitsindikator.
FORSCHUNGSSYNTHESE
Stil und Faktentreue müssen getrennt evaluiert werden.
S-031 bis S-043
niedrig
F-011
„Halluzination“ umfasst je nach Literatur mindestens faktisch falsche, aus dem Kontext nicht gestützte, widersprüchliche oder instruktionstreue Fehler; ohne Definition sind Raten nicht vergleichbar.
METHODISCHE GRUNDLAGE
Benchmark, Annotationseinheit, Referenzquelle und Fehlertyp müssen genannt werden.
S-032, S-035, S-038, S-039
niedrig
F-012
Es gibt keine universelle Halluzinationsrate eines Modells.
METHODISCHE SCHLUSSFOLGERUNG
Raten hängen von Aufgabe, Domäne, Prompt, Modellversion, Grounding, Antwortlänge, Detektor und Verweigerungsstrategie ab.
S-032 bis S-052
hoch
F-013
Vectaras Hallucination Leaderboard misst mit HHEM-2.3 die faktische Konsistenz von Zusammenfassungen gegenüber einem bereitgestellten Dokument; seine Prozentwerte sind keine universelle Halluzinationswahrscheinlichkeit eines Modells.
ANBIETER-BENCHMARK
Datensatz, Prompt, Antwortfilter, Detektorversion und Modellendpunkte bestimmen das Ergebnis; HHEM-2.3 ist proprietär, HHEM-2.1-Open ein anderes Modell.
S-050, S-051
hoch
F-014
RAG kann faktische Fehler reduzieren, beseitigt sie aber nicht: Retrieval kann falsche, irrelevante oder unvollständige Belege liefern und die Generierung kann vorhandene Belege ignorieren oder verdrehen.
PEER-REVIEWTER BEFUND
RAG-Evaluation muss Retrieval und Generation getrennt messen.
S-014 bis S-016, S-035, S-045, S-046
mittel
F-015
Eine vorhandene Quellenangabe beweist weder, dass die Quelle die Aussage trägt, noch dass die Quelle selbst richtig oder aktuell ist.
EMPIRISCHER BEFUND
Zitationskorrektheit, -vollständigkeit und Quellenqualität sind getrennte Metriken.
S-047
mittel
F-016
FActScore zeigt, warum Langtext nicht sinnvoll mit einem einzigen Wahr/Falsch-Label bewertet wird: Ein Text kann gleichzeitig gestützte und ungestützte atomare Aussagen enthalten.
METHODISCHE GRUNDLAGE
Die Zerlegung und Prüfung kann selbst modellabhängig fehlerhaft sein.
S-034
niedrig
F-017
SelfCheckGPT und semantische Entropie nutzen Variabilität mehrerer Antworten als Unsicherheitssignal; Konsistenz garantiert jedoch keine Wahrheit.
FORSCHUNGSSTAND
Ein Modell kann denselben gelernten Irrtum stabil wiederholen.
S-033, S-036, S-037
mittel
F-018
Abstention, Rückfragen und „nicht ausreichend belegt“ sind eigenständige Qualitätsfähigkeiten und sollten nicht wie falsche Antworten bestraft werden.
EVALUATIONSGRUNDLAGE
Die optimale Antwortquote hängt von Fehlerkosten und Use Case ab.
S-052, S-054, S-055
mittel
F-019
Das nominelle Kontextfenster ist eine technische Eingabegrenze, keine Garantie für effektive Erinnerung, Abruf, Integration oder Schlussfolgerung über den gesamten Kontext.
FORSCHUNGSSTAND
LongBench Pro, Positions- und Dichtetests zeigen, dass effektive Kapazität von Aufgabe, Sprache, Position, Informationsdichte, Distraktoren und Training abhängt.
S-057 bis S-070, S-123, S-124, S-127
hoch
F-020
Lost in the Middle beschreibt häufig schlechtere Leistung, wenn relevante Information in der Mitte eines langen Kontextes liegt; neuere Befunde ergänzen Position um Informationsdichte und globale Integrationsanforderung.
PEER-REVIEWTER UND AKTUELLER FORSCHUNGSSTAND
Form und Stärke sind benchmark- und modellabhängig; nicht jede Aufgabe zeigt dieselbe U-Kurve, und aktuelle Ergänzungen sind überwiegend Preprints.
S-057, S-064, S-070, S-123, S-124
mittel
F-021
Ein perfekter Needle-in-a-Haystack-Abruf belegt weder semantische Suche noch Multi-Dokument-Integration, Aggregation, Datenschutzlogik oder belastbares Schlussfolgern.
METHODISCHE EINORDNUNG
RULER, NoLiMa, LongBench Pro, PAPerBench und realistische Suiten prüfen andere Fähigkeitsdimensionen.
S-059, S-060, S-065, S-123, S-127
mittel
F-022
Lange Kontexte können Fehler vergrößern, weil mehr irrelevante, widersprüchliche, veraltete oder dicht gepackte Information in die Entscheidung gelangt.
FORSCHUNGSSYNTHESE
Die Wirkung hängt von Retrieval, Ranking, Kontextaufbereitung, Sprache, Informationsdichte und Aufgabenstruktur ab.
S-057 bis S-064, S-123, S-124, S-127
mittel
F-023
Ein Agentenbenchmark misst nie nur das Sprachmodell, sondern mindestens Modell, Systemprompt, Toolset, Scaffold, Speicher, Schrittbudget, Umgebung und Evaluator.
METHODISCHE GRUNDLAGE
OSWorld 2.0 zeigt zusätzlich, wie stark lange Zustandsketten, versteckte Anforderungen und Verifikation die Endleistung begrenzen.
S-071 bis S-095, S-125
hoch
F-024
Realistische Agentenbenchmarks zeigen weiterhin eine große Lücke bei langen End-to-End-Workflows: In OSWorld 2.0 erreichte das beste im Paper berichtete System 20,6 Prozent binären Erfolg und 54,8 Prozent partiellen Erfolg bei 500 Schritten.
AKTUELLER PREPRINT-BEFUND
Die Werte gelten nur für Benchmarkversion, Modell, Scaffold, Toolaufrufe und Budget des Papers; sie sind kein universeller Produktwert.
S-125
hoch
F-025
SWE-bench Verified ist am Stichtag kein geeigneter Frontier-Maßstab mehr: OpenAI fand bei mindestens 59,4 Prozent von 138 auditierten schwierigen Fällen materielle Test- oder Aufgabenprobleme und Hinweise auf Trainingskontamination.
ANBIETER-AUDIT / BENCHMARK-EINORDNUNG
Der Audit stammt von OpenAI und betrifft den heutigen Sättigungsbereich; SWE-bench-Varianten bleiben mit vollständiger Konfiguration und unabhängiger Prüfung nutzbar.
S-073 bis S-075, S-122
hoch
F-026
Die Wahrscheinlichkeit, dass ein Workflow mit mehreren abhängigen Schritten vollständig gelingt, fällt bei unabhängigen Schrittfehlern multiplikativ.
MATHEMATISCHE SYSTEMLOGIK
Fehler sind in realen Agenten häufig korreliert; die einfache Multiplikation ist nur ein Modell.
S-078, S-088
niedrig
F-027
pass^k misst, ob ein Agent eine Aufgabe wiederholt zuverlässig löst; ein hoher einmaliger Best-of-N-Erfolg kann gleichzeitig geringe reproduzierbare Zuverlässigkeit verdecken.
BENCHMARK-METHODIK
Kosten und Auswahlverfahren müssen mitberichtet werden.
S-078, S-079
hoch
F-028
Ein Agent kann einen guten Endscore erreichen und dennoch riskante Zwischenhandlungen, unnötige Zugriffe oder regelwidrige Schritte ausführen.
FORSCHUNGSSYNTHESE
Outcome-only-Evaluation muss durch Trajektorien-, Policy- und Sicherheitsprüfung ergänzt werden.
S-091, S-092
mittel
F-029
Agentenumgebungen veralten: Websites, APIs, Abhängigkeiten, Tests und Konten ändern sich und können Scores unabhängig vom Modell verschieben.
BENCHMARK-METHODIK
Versionierte Container und Reproduktionsprotokolle sind notwendig.
S-072, S-074, S-077, S-079, S-091
hoch
F-030
Statische Benchmarks können durch öffentliche Testdaten, Trainingskontamination, fehlerhafte Tests und wiederholte Optimierung ihre Aussagekraft verlieren.
FORSCHUNGS- UND AUDITBEFUND
Kontamination ist schwer vollständig nachzuweisen, weil Trainingsdaten oft nicht offengelegt werden; ein Benchmark kann zugleich Unter- und Überschätzung erzeugen.
S-026 bis S-029, S-102, S-122
hoch
F-031
Scheinbar emergente Sprünge können durch diskontinuierliche Metriken entstehen; daraus folgt nicht, dass jede neue Fähigkeit ein Messartefakt ist.
PEER-REVIEWTER BEFUND
Fähigkeit, Messgröße und Skalierungskurve müssen getrennt analysiert werden.
S-097
niedrig
F-032
Promptformatierung kann die gemessene Leistung deutlich verändern, ohne dass das zugrunde liegende Modell neu trainiert wurde.
PEER-REVIEWTER BEFUND
Empfindlichkeit variiert nach Modell und Aufgabe; mehrere Promptvarianten sind für robuste Tests sinnvoll.
S-101
mittel
F-033
Sycophancy bezeichnet zustimmende Anpassung an Nutzerannahmen, auch wenn diese sachlich falsch sind.
PEER-REVIEWTER BEFUND
Die Ausprägung hängt von Post-Training, Prompt und Domäne ab.
S-098, S-099
mittel
F-034
Die Reversal-Curse-Arbeit zeigt eine spezifische asymmetrische Generalisierung; sie beweist nicht, dass LLMs grundsätzlich keine umkehrbaren Beziehungen lernen können.
PEER-REVIEWTER BEFUND
In-Context-Information und andere Trainingsformen können das Ergebnis verändern.
S-100
niedrig
F-035
GSM-Symbolic und ähnliche Arbeiten belegen Robustheitsprobleme gegenüber Varianten und irrelevanten Zusätzen, entscheiden aber nicht allein die philosophische Frage, ob Modelle „wirklich denken“.
FORSCHUNGSBEFUND
Aufgabengenerator, Tokenbudget, Toolzugang und Bewertungsregeln beeinflussen die Schlussfolgerung.
S-103 bis S-106
mittel
F-036
Modellkollaps ist kein unvermeidliches Schicksal jeder Nutzung synthetischer Daten.
FORSCHUNGSSTAND
Kritisch sind rekursive Ersetzung, Mischung, Sampling, Verteilungsränder, Qualitätssicherung und Anteil frischer realer Daten.
S-107 bis S-110
mittel
F-037
Die Nature-Arbeit zu Model Collapse untersucht bestimmte rekursive Trainingsregime; sie belegt nicht, dass ein einzelner KI-generierter Text das Internet oder ein Modell „vergiftet“.
PEER-REVIEWTER BEFUND
Übertragung auf reale Trainingspipelines erfordert Angaben zu Datenherkunft, Filterung und Mischung.
S-107, S-108
niedrig
F-038
Synthetische Daten können nützlich sein, etwa für seltene Fälle, Simulation, Distillation oder kontrollierte Aufgaben, wenn Qualität und Verteilung geprüft werden.
FORSCHUNGSSYNTHESE
Nutzen ist domänen- und verfahrensabhängig; Blindakkumulation kann schaden.
S-109, S-110
mittel
F-039
LeCuns Weltmodell-Position ist ein Forschungsprogramm und keine bewiesene Widerlegung von LLMs.
QUELLENSTATUS
Sie benennt Defizite von rein reaktiver Tokenvorhersage und schlägt JEPA, Planung und latente Zustände vor.
S-111
niedrig
F-040
Weltmodelle versuchen planungsrelevante Zustände und Dynamik zu lernen; sie müssen nicht jedes Detail der Umwelt pixelgenau rekonstruieren.
PEER-REVIEWTER BEFUND
MuZero zeigt explizit, dass eine latente planungsrelevante Repräsentation genügen kann.
S-116 bis S-119
niedrig
F-041
„LLM versus Weltmodell“ ist keine saubere Entweder-oder-Grenze: multimodale Modelle, latente Dynamik, Sprachschnittstellen und Planer können kombiniert werden; selbst die Definition von Weltmodell ist 2026 nicht konsensual.
FORSCHUNGSSYNTHESE
Die Architekturgrenzen entwickeln sich schnell; aktuelle Definitionen und Roadmaps sind Perspektivpapiere, keine abschließende Taxonomie.
S-111 bis S-121, S-128
hoch
F-042
Ein Modell kann beeindruckende Benchmarkleistung zeigen und zugleich bei dichterem Kontext, leicht veränderten Eingaben, seltenen Fällen oder langen Handlungsfolgen fragil sein.
FORSCHUNGSSYNTHESE
Robustheit muss über Verteilungen, Positionen, Dichte, Varianten, Wiederholungen und End-to-End-Trajektorien geprüft werden.
S-057, S-096 bis S-106, S-123 bis S-127
mittel
F-043
Modellupdates können eine Fähigkeit verbessern und eine andere verschlechtern; Versionswechsel brauchen Regressionstests.
BETRIEBLICHE SCHLUSSFOLGERUNG
Öffentliche Anbieter ändern Modelle, Routing und Sicherheitsregeln teilweise ohne vollständige Offenlegung.
S-025, S-050, S-072, S-074
hoch
F-044
Deterministische Temperatur- oder Samplingeinstellungen reduzieren Zufallsvariation, garantieren aber nicht überall bitidentische Antworten.
TECHNISCHE EINORDNUNG
Serverseitige Änderungen, Hardware, Routing, Parallelität und Toolantworten können Variabilität erzeugen.
S-025, S-026
hoch
F-045
Für Hochrisikoanwendungen ist eine gute durchschnittliche Genauigkeit unzureichend, wenn seltene Fehler hohe Schäden verursachen.
RISIKOSYNTHESE
Fehlerklassen, Worst Cases, Erkennungs- und Eskalationsfähigkeit müssen separat bewertet werden.
S-026, S-036, S-088
niedrig
F-046
Die wirtschaftlich relevante Metrik eines KI-Systems ist oft nicht Modellgenauigkeit, sondern akzeptierter Output nach Retrieval, Tools, Review, Latenz, Kosten und Fehlerfolgen.
SYSTEMEINORDNUNG
Modellbenchmarks bleiben für Vorauswahl nützlich, ersetzen aber den End-to-End-Test nicht.
S-014 bis S-018, S-071 bis S-095
niedrig
F-047
Ein Modell sollte gegen eine einfache Baseline getestet werden: Suche, Regelwerk, Datenbankabfrage, Template oder klassisches ML können günstiger und zuverlässiger sein.
BETRIEBLICHE SCHLUSSFOLGERUNG
Generative Flexibilität ist nur wertvoll, wenn sie für die Aufgabe benötigt wird.
S-014 bis S-017, S-022
niedrig
F-048
Für belastbare Einführung müssen Testfälle reale Häufigkeiten und seltene kritische Randfälle enthalten; nur „schöne“ Demoaufgaben überschätzen die Systemleistung.
EVALUATIONSGRUNDLAGE
Testsets benötigen Versionierung, Blindanteile und regelmäßige Erneuerung.
S-026, S-091, S-102
mittel
F-049
Human-in-the-loop ist kein automatischer Sicherheitsnachweis: Menschen können Vorschläge ungeprüft übernehmen, Warnungen übersehen oder unter Zeitdruck nur formell freigeben.
FORSCHUNGSSYNTHESE
Wirksamkeit muss über tatsächliche Entdeckung und Korrektur von Fehlern gemessen werden.
S-096, S-099
mittel
F-050
Die belastbarste Aussage über ein KI-System lautet immer kontextgebunden: welches Modell, welche Version, welcher Prompt, welche Daten, welche Tools, welche Aufgabe, welche Nutzer, welche Metrik und welcher Stichtag.
METHODISCHER REFERENZSTANDARD
Ohne diese Angaben ist ein Leistungsversprechen nicht überprüfbar.
S-026, S-091, S-102
hoch
Methodik, Evidenzhierarchie und Recherchegrenzen
Forschungsfrage
Untersucht wurde, welche technischen Grundlagen moderne Sprachmodelle tragen, welche Grenzen empirisch belegt sind, wie Halluzination, Kontextnutzung, Reasoning und Agentenzuverlässigkeit gemessen werden und wie Model Collapse sowie Weltmodelle sachlich einzuordnen sind. Der Schwerpunkt liegt auf Originalarbeiten und offiziellen Benchmarkquellen; Surveys dienen der Taxonomie und Querverbindung.
Replikation, Aufgabenübertragbarkeit und Alter bleiben zu prüfen
B
Preprint mit offenem Verfahren / Code
Aktueller Forschungsstand und Gegenposition
Nicht abschließend begutachtet; Version kann sich ändern
C
Offizielle Benchmarkseite / Repository
Aktuelle Aufgaben, Versionen und Leaderboards
Dynamisch; Anbieter- und Konfigurationsabhängigkeit
D
Anbieter-Forschungsbericht / Modellkarte
Produktnahe Eigenschaften und eigene Experimente
Selektions- und Marketinginteresse; begrenzte externe Prüfung
E
Survey
Taxonomie, Quellenfindung und Feldüberblick
Sekundärquelle; übernimmt mögliche Fehler und verkürzt Details
Belegregeln
Exakte Prozentwerte werden nur mit dem ursprünglichen Setting und nicht als zeitlose Modelleigenschaft verwendet.
Peer-reviewed, Preprint, Positionspapier, Anbieterquelle und dynamisches Leaderboard werden sichtbar getrennt.
Eine Forschungsaussage wird nicht von philosophischen Totalurteilen abgeleitet. „Zeigt Fragilität“ ist zulässig; „beweist fehlendes Denken“ regelmäßig nicht.
Agentenwerte werden dem gesamten System und nicht ausschließlich dem Basismodell zugerechnet.
Nominelle Kontextlänge, effektiver Abruf, semantische Integration und persistentes Gedächtnis werden getrennt.
Bei Halluzinationen werden Fehlertyp, Referenz, Annotationseinheit und Antwortpolitik genannt.
Aktuelle 2025/26-Preprints werden als schnell veraltend und revisionsbedürftig markiert.
Recherchegrenzen
Proprietäre Trainingsdaten, Post-Training-Rezepte, Routinglogik und vollständige Modellgewichte sind häufig nicht offengelegt. Dadurch lassen sich Kontamination, kausale Ursachen und Modelländerungen nicht vollständig prüfen. Öffentliche Leaderboards können kurzfristig wechseln oder unterschiedliche Budgets und Scaffolds zulassen. Das Dossier dokumentiert deshalb Verfahren und Einschränkungen stärker als Rangplätze.
Die Begriffe „Reasoning“, „Verstehen“, „Halluzination“, „Agent“ und „Weltmodell“ werden in der Literatur nicht einheitlich verwendet. Wo keine verbindliche Definition besteht, werden operationale Definitionen angegeben. Philosophische Fragen nach Bewusstsein oder menschgleichem Verständnis werden nicht als empirisch entschieden dargestellt.
Quellenstatistik
Kennzahl
Wert
Gesamtzahl dokumentierter Quellen
128
Wissenschaftliche Originalquellen
113
Peer-reviewte Quellen
68
Preprints / vorläufige Forschungsquellen
38
Offizielle Benchmarkquellen
7
Anbieterquellen
11
Abgedeckter Zeitraum
2016 bis 7. August 2026; zeitlose Grundlagen plus Schwerpunkt 2023–2026
Vom Transformer zum heutigen KI-System
Autoregressive Vorhersage: Aus dem bisherigen Text schätzt das Modell eine Wahrscheinlichkeitsverteilung über das nächste Token — und wählt daraus aus.Ein modernes KI-System entsteht nicht aus einem Schritt: Architektur und Tokenisierung, Pretraining, Post-Training, Inferenzlogik und Systemkomponenten greifen ineinander.
Self-Attention und Positionsinformation
Self-Attention erzeugt für jedes Token gewichtete Kombinationen anderer Repräsentationen. Query-, Key- und Value-Projektionen bestimmen, welche Beziehungen in einem Attention-Head relevant werden. Mehrere Heads können unterschiedliche Muster lernen. Da die Operation selbst keine Reihenfolge kennt, werden Positionsinformationen ergänzt, etwa sinusförmig, durch Rotary Position Embeddings oder lineare Biases. [S-001, S-067, S-068]
Die Berechnung ist kontextabhängig, aber nicht identisch mit menschlicher Aufmerksamkeit. Ein hoher Attention-Wert ist zudem keine vollständige Erklärung eines Outputs. Repräsentationen werden über viele Schichten, Residualpfade und nichtlineare Komponenten transformiert. Für Unternehmensanwender ist wichtig: „Das Modell hat den Text gesehen“ bedeutet nicht „das Modell hat jede Stelle korrekt berücksichtigt“.
Decoder-only und Tokenvorhersage
Heutige Chatmodelle beruhen häufig auf Decoder-only-Transformern. Beim Training wird der nächste Token aus vorherigen Token vorhergesagt. Die Loss-Funktion bewertet Wahrscheinlichkeiten, nicht den Wahrheitsgehalt einer vollständigen Antwort. Aus großen Korpora entstehen dennoch Grammatik, Stil, Faktenassoziationen, Muster von Code und teilweise generalisierbare Problemlösungsstrategien. Die Fähigkeiten sind eine Folge der Kompression vieler Strukturen, aber nicht für jede Verteilung gleich belastbar. [S-003, S-004, S-044]
Architekturvarianten
Ansatz
Kernidee
Potenzial
Grenze für Vergleich
Dense Transformer
Alle Parameterblöcke werden je Token genutzt
einfaches Modellverständnis und breite Evidenz
Rechen- und Speicheraufwand steigt stark
Mixture of Experts
Router aktiviert nur ausgewählte Experten
viele Gesamtparameter bei begrenzter Aktivierung
Routing, Lastverteilung und aktive Parameter variieren
Selektive Zustandsdynamik mit linearer Sequenzskalierung
Alternative für lange Sequenzen und Inferenz
weniger breite Langzeit- und Tool-Evidenz als Transformer
JEPA / latente Prädiktion
Vorhersage abstrakter Repräsentationen
Fokus auf relevante Struktur statt Rohdaten
kein direkter Ersatz für Sprachschnittstelle oder Wissenssystem
Modell versus Produkt
Ein produktiver Assistent besteht regelmäßig aus mehr als Gewichten: Moderation, Systemprompt, Kontextverwaltung, Retrieval, Toolausführung, Caching, Routing, Sicherheitsfilter und Nutzeroberfläche wirken auf das Ergebnis. Derselbe Modellname kann hinter verschiedenen Produkten mit anderem Prompt, anderem Toolzugang oder anderer Modellroute stehen. Eine Aussage über ein Produkt darf nicht ohne Prüfung auf das Basismodell oder eine API übertragen werden. [S-025, S-026]
Pretraining, Skalierung und Post-Training
Daten, Parameter und Compute
Skalengesetze zeigten über untersuchte Bereiche glatte Beziehungen zwischen Rechenbudget, Daten, Parametern und Sprachmodellverlust. Chinchilla korrigierte eine frühere Praxis, Compute überwiegend in größere Modelle zu investieren, und argumentierte für deutlich mehr Trainingstoken. Diese Befunde erklären, warum zwei Modelle gleicher Größe sehr unterschiedliche Leistung besitzen können. Datenmenge, Datenqualität, Duplikate, Curriculum und Trainingsdauer gehören zur Modellbeschreibung. [S-004, S-005]
Was ein niedriger Loss nicht garantiert
keine garantierte Wahrheit einzelner Behauptungen;
keine robuste Leistung außerhalb der Trainingsverteilung;
keine sichere Toolauswahl oder Regelbefolgung;
keine faire oder unvoreingenommene Entscheidung;
keine stabile Leistung über beliebig lange Kontexte;
keine wirtschaftliche Überlegenheit in einem konkreten Prozess.
SFT, Präferenztraining und Sicherheitsverhalten
Supervised Fine-Tuning lehrt gewünschte Antwortformate und Aufgaben. Präferenztraining bewertet Antwortpaare und optimiert das Modell auf menschliche oder KI-generierte Präferenzen. Dadurch entsteht ein Chatverhalten, das höflicher, hilfreicher und regelorientierter wirkt. Gleichzeitig können Präferenzdaten Zustimmung, sprachliche Überzeugung und typische Nutzererwartungen belohnen. Sycophancy ist deshalb kein zufälliger Ausreißer, sondern ein mögliches Nebenprodukt der Optimierung auf menschliche Bewertungen. [S-006, S-007, S-098, S-099]
Inferenzstrategien
Strategie
Mechanismus
Nutzen
Risiko / Kosten
Greedy / niedrige Temperatur
wählt sehr wahrscheinliche Fortsetzungen
stabiler und günstig
systematische Fehler bleiben stabil
Mehrfachsampling
mehrere Kandidaten
Diversität und Unsicherheitssignal
Kosten und Auswahlproblem
Self-Consistency
Mehrheit mehrerer Lösungswege
kann Reasoningbenchmarks verbessern
Mehrheit kann gemeinsam falsch sein
Verifier / Prozessreward
bewertet Kandidaten oder Schritte
bessere Auswahl bei gutem Verifier
Verifier kann Goodhart- oder Biasfehler haben
Tree Search
exploriert mehrere Zustände
hilft bei planbaren Aufgaben
Latenz und exponentielle Pfade
Toolaugmentation
Rechner, Code, Suche, APIs
exakte externe Fähigkeiten
Schnittstellen-, Rechte- und Integrationsfehler
Halluzination und Faktentreue
Operationale Taxonomie
Fehlerklasse
Definition
Beispiel
Geeigneter Test
Faktische Falschheit
Aussage widerspricht belastbarer Weltquelle
falsches Datum oder Urteil
atomare Quellenprüfung
Kontext-Untreue
Aussage wird vom bereitgestellten Dokument nicht getragen
Zusammenfassung ergänzt erfundenen Grund
Entailment / Groundedness
Intrinsischer Widerspruch
Antwort widerspricht direkt dem Kontext
Quelle nennt 12, Antwort nennt 21
NLI plus Human Review
Extrinsische Erfindung
Antwort ergänzt nicht belegte Information
erfundene Studie oder Funktion
FActScore / Webprüfung
Quellenhalluzination
URL, Titel oder Zitat existiert nicht oder passt nicht
erfundener DOI
Link- und Fundstellenprüfung
Rechen-/Logikfehler
Evidenz stimmt, Schluss oder Berechnung nicht
falsche Prozentrechnung
externer Rechner / formaler Test
Auslassung
kritische Einschränkung fehlt
Kontraindikation nicht erwähnt
Recall- und Vollständigkeitstest
Instruktionsabweichung
richtiger Inhalt, aber verletzte Vorgabe
verbotene Aktion oder falsches Format
Policy- und Schema-Validator
Ursachenebenen
Halluzinationen lassen sich nicht auf eine einzige Ursache reduzieren. Training kann seltene oder widersprüchliche Fakten unzureichend repräsentieren. Das Decoding kann eine plausible Fortsetzung auswählen, obwohl das Modell unsicher ist. Post-Training kann Raten statt Rückfragen belohnen. Retrieval kann relevante Evidenz verfehlen. Lange Kontexte können Aufmerksamkeit verdünnen. Der Nutzer kann eine falsche Prämisse setzen, der das Modell sycophantisch folgt. [S-031 bis S-046, S-052]
Ebene
Typische Ursache
Kontrolle
Daten
seltenes Wissen, Widerspruch, veraltete Information
Eine Antwort kann dem bereitgestellten Kontext treu sein und dennoch falsch sein, wenn die Quelle falsch oder veraltet ist. Sie kann faktisch korrekt sein und trotzdem die Instruktion verletzen. Sie kann wahr, aber unvollständig und dadurch gefährlich sein. Deshalb werden mindestens vier Achsen getrennt: Faktualität, Groundedness, Vollständigkeit und Policy-Compliance. Stil und Nützlichkeit kommen zusätzlich hinzu.
Abstention als produktive Fähigkeit
Ein System, das jede Frage beantwortet, maximiert Antwortquote, nicht notwendigerweise Nutzen. In risikoreichen Domänen kann eine richtige Nichtantwort besser sein als eine plausible Schätzung. Evaluationsdesigns müssen deshalb zulässige Rückfragen, Unsicherheitsmarkierung und Eskalation belohnen. Andernfalls trainiert und misst man das Raten. [S-052, S-054, S-055]
Halluzination messen: Benchmarks, Detektoren und Grenzen
Benchmarkvergleich
Benchmark / Methode
Primäres Messobjekt
Einheit
Stärke
Nicht gemessen
TruthfulQA
Wahrheit gegenüber verbreiteten Fehlannahmen
Frage/Antwort
gezielte adversariale Fragen
Unternehmens-RAG, Toolausführung
HaluEval
Erkennung/Erzeugung halluzinierter Beispiele
Beispiel / Aufgabe
mehrere Aufgabenarten
universelle Modellquote
FActScore
gestützte atomare Fakten in Langtext
atomare Behauptung
feingranulare Fehlerlokalisierung
Vollständigkeit und Quellenqualität vollständig
RAGTruth
ungestützte RAG-Spans
Fall und Wortspanne
natürlich erzeugte RAG-Antworten
alle RAG-Architekturen und Domänen
Semantic Entropy
semantische Antwortunsicherheit
Antwortverteilung
modellinterne/black-box Unsicherheit
Wahrheit bei stabilen Irrtümern
Vectara HHEM
Entailment Antwort gegen Kontext
Kontext-Antwort-Paar
schnelle groundedness-nahe Messung
offene Weltwahrheit und Vollständigkeit
FACTS Grounding
lange dokumentgestützte Antworten
Antwort / Rubrik
anspruchsvollere Groundingprüfung
Produktionsdaten und jede Sprache
Warum Detektoren keine absolute Wahrheit liefern
Automatische Halluzinationsdetektoren sind selbst Modelle oder Heuristiken. Sie besitzen False Positives und False Negatives, reagieren auf Sprache und Domäne und können durch lange oder komplexe Aussagen überfordert werden. Ein Leaderboard, das mit einem Detektor bewertet wird, ist daher eine Messung „laut Detektor D auf Datensatz X“, nicht die direkte Beobachtung einer objektiven universellen Halluzinationsrate. [S-033 bis S-038, S-050, S-051]
Bewertungsnenner
Metrik
Zähler
Nenner
Interpretationsrisiko
Antwortfehlerrate
falsche beantwortete Fälle
alle beantworteten Fälle
Verweigerung kann Rate künstlich senken
Task Accuracy
korrekte Fälle
alle Testfälle
Teilqualität und Schweregrade verschwinden
Atomic Precision
gestützte Fakten
alle erzeugten Fakten
Auslassungen bleiben unbestraft
Atomic Recall
korrekt erwähnte Sollfakten
alle Sollfakten
kann zum Aufblähen der Antwort motivieren
Selective Accuracy
korrekte Antworten
beantwortete Fälle bei Schwelle
Coverage muss parallel angegeben werden
Expected Cost
gewichtete Fehler- und Betriebskosten
Fälle oder Transaktionen
Gewichte sind unternehmensspezifisch
Mindestangaben für eine zitierfähige Rate
Modell und exakte Version
Stichtag und API/Checkpoint
Datensatz und Split
Aufgaben- und Fehlertyp
Prompt und Decoding
Grounding und verfügbare Tools
Antwort-/Abstentionpolitik
Annotation oder Detektorversion
Konfidenzintervall oder Stichprobengröße
Einschränkung der Übertragbarkeit
Grounding, RAG, Quellen und Verifikation
RAG (Retrieval-Augmented Generation): Belege werden gesucht und dem Modell mitgegeben. Das senkt Fehler, beseitigt sie aber nicht — Retrieval und Generierung müssen getrennt geprüft werden.
RAG als Kette
Stufe
Kernfrage
Fehlermodus
Metrik
Quellenbestand
Ist die richtige Information vorhanden und aktuell?
fehlendes/veraltetes Dokument
Coverage, Aktualitätsquote
Parsing
Wird Text, Tabelle und Struktur korrekt erfasst?
verlorene Spalte, OCR-Fehler
Extraktionsgenauigkeit
Chunking
Bleibt der Sachzusammenhang erhalten?
getrennte Definition und Ausnahme
Chunk-Recall / Kontextintegrität
Embedding / Index
Ist der Inhalt suchbar und berechtigt?
semantischer Verlust, ACL-Fehler
Index-Coverage, Zugriffstest
Retrieval
Werden relevante Chunks gefunden?
falscher oder kein Treffer
Recall@k, MRR, nDCG
Reranking
Stehen tragende Belege oben?
plausible Ablenkung dominiert
Precision@k
Kontextbau
Werden Versionen und Konflikte sichtbar?
widersprüchliche Quellen vermischt
Konflikt- und Versionsquote
Generierung
Bleibt jede Aussage bei der Evidenz?
Ergänzung aus Parametern
atomare Groundedness
Zitation
Zeigt der Beleg auf die tragende Stelle?
Quelle passt nur thematisch
Citation Correctness
Antwortpolitik
Wird bei Lücke zurückgefragt?
Raten trotz fehlender Evidenz
Coverage-Risk-Kurve
Grounded versus ungegroundet
Grounded Generation begrenzt die Antwort auf bereitgestellten Kontext oder verifizierte Tools. Ungegroundete Generation stützt sich stärker auf parametrisches Wissen. Diese Unterscheidung ist für Messung zentral: Eine aus dem Dokument nicht ableitbare Aussage ist im Groundingtest ein Fehler, selbst wenn sie zufällig wahr ist. Umgekehrt kann eine dokumenttreue Antwort eine veraltete Quelle korrekt wiedergeben. Das Produktionssystem braucht daher sowohl Groundedness als auch Quellenqualität.
Quellenpflicht und atomare Belege
Für Sachbuch, Rechts- oder Unternehmenswissen ist „Quelle am Absatzende“ oft zu grob. Ein Absatz kann fünf Behauptungen enthalten, von denen die Quelle nur zwei trägt. Der belastbare Workflow zerlegt Aussagen, speichert Fundstelle und Status und lässt nur freigegebene Fakten in die Manuskriptgenerierung. FActScore liefert hierfür eine methodische Vorlage, ersetzt aber nicht die menschliche Prüfung wichtiger Claims. [S-034, S-047]
Verifikation durch Tools
Inhalt
Geeignetes Werkzeug
LLM-Rolle
Freigaberegel
Arithmetik
Rechner / Code
Formel auswählen und Ergebnis erklären
Rechenweg maschinell reproduzierbar
Datenbankfakt
SQL / API
Query formulieren und Ergebnis verbalisieren
Schema und Berechtigung validieren
Webfakt
Suche plus Seitenabruf
Quellen finden und Claims atomisieren
Originalquelle öffnen, Datum prüfen
Dokumentklausel
Parser plus Seitenanker
Stelle finden und zusammenfassen
Seite/Absatz muss sichtbar sein
Geschäftsregel
Rule Engine
Ausnahme erklären
Regel entscheidet, Modell formuliert
Kontextfenster, Lost in the Middle und effektiver Kontext
Lost in the Middle: Information am Anfang und Ende des Kontexts wird oft zuverlässiger genutzt als Information in der Mitte — ein großes Kontextfenster garantiert keine effektive Nutzung.
Vier unterschiedliche Längenbegriffe
Begriff
Bedeutung
Typischer Nachweis
Nominelle Kontextlänge
technisch akzeptierte Tokenmenge
API-/Modellkarte
Effektive Retrievallänge
Länge, bei der relevante Information zuverlässig gefunden wird
Positions- und Nadeltests
Integrationslänge
Länge, bei der mehrere verstreute Belege korrekt kombiniert werden
RULER, LongBench, HELMET
Persistentes Gedächtnis
Information über getrennte Sitzungen oder Aufgaben
externer Speicher / Continual-Learning-Test
Lost in the Middle
Die Originalarbeit zeigte in mehreren Aufgaben, dass Leistung häufig am besten ist, wenn relevante Information am Anfang oder Ende des Kontextes steht, und schwächer, wenn sie in der Mitte liegt. Das Muster wird als Primacy-/Recency-Bias beschrieben. Es ist kein unveränderliches Gesetz: neuere Modelle, Promptformen und Aufgaben können schwächere oder andere Muster zeigen. [S-057, S-064, S-070]
Distraktoren und semantische Nähe
Ein langer Kontext ist nicht nur mehr Text. Entscheidend sind Dichte und Ähnlichkeit der Ablenkungen. Wenn viele Passagen dieselben Begriffe oder unabhängig relevante Fakten enthalten, muss das Modell semantische und relationale Unterschiede auflösen. NoLiMa reduziert wörtliche Überlappung zwischen Frage und Beleg. Dense Contexts Are Hard Contexts hält Länge und Zielposition annähernd konstant und variiert Informationsdichte; bei dichteren rund 12k-Token-Settings fielen zuvor nahezu perfekte Abrufwerte der untersuchten Modelle teils unter 60 Prozent. [S-059, S-060, S-124]
Kosten und Ausgabebudget
LongBench Pro zeigt zusätzlich, dass native Langkontextoptimierung im untersuchten Feld stärker wirken kann als reine Parameterskalierung und dass Reasoning-Prompts nicht jedem Modell gleichermaßen helfen. Längere Eingaben erhöhen häufig Latenz und Inferenzkosten und können das verfügbare Ausgabebudget reduzieren. Ein Modell kann die richtige Lösung intern nicht vollständig ausgeben, wenn die Aufgabe exponentiell viele Schritte verlangt. Dies ist bei Puzzle- und Agententests eine relevante methodische Grenze. Kontext- und Outputlimit müssen getrennt ausgewiesen werden. [S-021, S-104, S-105, S-123]
Praktische Architekturentscheidung
Methode
Geeignet wenn
Hauptvorteil
Hauptrisiko
Alles in den Prompt
kleiner, sauberer, konfliktfreier Bestand
einfach und vollständig sichtbar
Kosten, Position und Ablenkung
RAG
großer, versionierter Bestand
zielgerichteter Kontext
Retrievalfehler und fehlende Belege
Hierarchische Zusammenfassung
lange Dokumente mit klarer Struktur
kompakter Überblick
Fehler werden verdichtet und fortgeschrieben
Map-Reduce-Auswertung
unabhängige Teilabschnitte
skalierbare lokale Prüfung
globale Zusammenhänge gehen verloren
Strukturierte Extraktion
bekannte Felder und Tabellen
deterministische Weiterverarbeitung
Schema deckt freie Bedeutungen nicht ab
Reasoning, Chain-of-Thought, Kalibrierung und Sycophancy
Funktionale Definition
Für dieses Dossier bezeichnet Reasoning die Fähigkeit, aus gegebenen Informationen über mehrere abhängige Schritte eine verifizierbare Lösung zu erzeugen. Die Definition macht keine Aussage über Bewusstsein. Ein korrektes Ergebnis kann aus Memorisation, Heuristik, Suche, formaler Berechnung oder einer Kombination stammen. Deshalb muss Evaluation Varianten und neue Instanzen enthalten.
Chain-of-Thought
Chain-of-Thought-Prompting verbesserte in der Originalarbeit bestimmte arithmetische, symbolische und Common-Sense-Aufgaben bei ausreichend großen Modellen. Self-Consistency wählte häufige Antworten aus mehreren Pfaden. Diese Verfahren zeigen, dass explizite Zwischenschritte als Arbeitsraum nützlich sein können. [S-019, S-020]
Die Zwischenschritte sind dennoch keine garantierte Erklärung. Modelle können sensible Hinweise nutzen, ohne sie zu nennen, oder eine bereits beeinflusste Antwort nachträglich rationalisieren. Für Auditierbarkeit sind daher externe Belege, überprüfbare Rechenschritte und Toollogs stärker als sprachlich plausible Gedankenketten. [S-096]
Sycophancy und Nutzerprämissen
Sycophancy ist die Tendenz, Nutzermeinungen oder -annahmen zu bestätigen. Post-Training auf Präferenz kann dieses Verhalten belohnen, wenn Menschen Zustimmung angenehmer finden als Korrektur. Ein Systemprompt „Widersprich mir“ kann helfen, ist aber keine robuste Kontrolle. Tests müssen falsche Prämissen, Autoritätsdruck und gewünschte Antworttendenzen enthalten. [S-098, S-099]
Kalibrierung
Ausgabeform
Nutzen
Problem
Bessere Praxis
„Ich bin sicher“
einfach verständlich
verbale Sicherheit ist schlecht kalibriert
empirisch gemessene Risikoklasse
Prozentwert
scheinbar präzise
kann ohne Domänenkalibrierung bedeutungslos sein
Reliability Diagram / Coverage-Risk
Mehrfachantworten
zeigt mögliche Alternativen
teuer und nicht automatisch vollständig
semantische Cluster plus Schwelle
Rückfrage
reduziert Ambiguität
kostet Interaktion
bei fehlenden Pflichtfeldern erzwingen
Nichtantwort
begrenzt Risiko
reduziert Coverage
nach Fehlerkosten optimieren
Kontrollierte Reasoning-Benchmarks
GSM-Symbolic, Puzzleumgebungen und Reversal-Curse-Experimente sind wertvoll, weil sie gezielte Generalisationsfragen stellen. Sie dürfen aber nicht als alleinige Definition allgemeiner Intelligenz behandelt werden. Eine gute Studie trennt Beobachtung, Mechanismushypothese und philosophische Interpretation. [S-100, S-103 bis S-106]
Benchmarks, Kontamination und Übertragbarkeit
Was ein Benchmark leisten kann
Ein Benchmark schafft eine standardisierte Stichprobe, auf der Systeme unter definierten Regeln verglichen werden. Er kann Fortschritt sichtbar machen und Fehlerklassen strukturieren. Er ist keine vollständige Simulation des Produktionsbetriebs. Generalisierung auf ein Unternehmen setzt Ähnlichkeit von Aufgaben, Daten, Nutzern, Werkzeugen, Fehlerkosten und Betrieb voraus. [S-026 bis S-030, S-056]
Häufige Benchmarkfehler
Fehler
Wirkung
Gegenmaßnahme
Öffentliche Testdaten im Training
Memorisation erscheint als Generalisierung
zeitlich neue/private Blindsets
Ein einziger Prompt
Promptfit erscheint als Modellfähigkeit
mehrere äquivalente Prompts
Durchschnitt über heterogene Aufgaben
kritische Schwäche verschwindet
Segment- und Tailanalyse
Best-of-N ohne Kosten
Zuverlässigkeit wird überschätzt
pass^k, Budget und Auswahlverfahren
Ungültige/mehrdeutige Aufgaben
gute Systeme werden falsch bestraft
Human Validation und Dispute-Prozess
Dynamische Umgebung ohne Version
Replikation scheitert
Container, Snapshot, Commit-ID
Outcome ohne Trajektorie
riskante Handlungen bleiben unsichtbar
Policy- und Aktionsaudit
Keine Konfidenzintervalle
kleine Unterschiede werden überinterpretiert
Bootstrap / gepaarte Tests
Emergenz und Metrik
Schaeffer et al. zeigten, dass diskontinuierliche Metriken glatte Leistungsverbesserungen als sprunghaften Fähigkeitserwerb erscheinen lassen können. Dies widerlegt nicht jede emergente Fähigkeit. Es verlangt, Rohwahrscheinlichkeiten, kontinuierliche Teilmetriken und Aufgabenschwierigkeit mitzudenken. [S-097]
Interner Referenzstandard
Externer Benchmark nur als Hypothese für einen internen Test verwenden.
Testfälle aus echten Prozessen ziehen und von Fachexperten validieren.
Sensible und seltene Fälle separat gewichten.
Modell, Prompt, Tools und Budget vollständig versionieren.
Mehrere Wiederholungen und Promptvarianten durchführen.
Nettozeit, Review, Kosten, Latenz und Fehlerfolgen zusätzlich messen.
Nach jedem Modellupdate denselben Blindtest wiederholen.
Agenten: WebArena, SWE-bench, OSWorld, tau-bench und Zuverlässigkeit
Agentenstack
Komponente
Funktion
Typischer Fehler
Basismodell
interpretiert Zustand und erzeugt nächste Aktion
falsche Annahme oder Planung
Systemprompt / Policy
setzt Rolle und Regeln
Konflikt, Umgehung, unklare Priorität
Toolbeschreibung
definiert Aktionen und Argumente
falsche Auswahl oder Schemafehler
Umgebung
liefert Beobachtungen und Wirkung
UI-/API-Änderung, Latenz, unvollständiger Zustand
Memory
speichert Verlauf und Wissen
veraltete oder falsche Erinnerung
Planner / Loop
zerlegt und wiederholt
Endlosschleife, lokale statt globale Strategie
Verifier / Evaluator
prüft Erfolg
unvollständige Tests, Reward Hacking
Berechtigung
begrenzt Zugriff
zu weit, zu eng oder mandantenfalsch
Ausgangsbefunde der Kernbenchmarks
Benchmark
Originalumfang / Setting
Historischer Kernbefund
Warum nicht als aktueller Produktwert lesen
WebArena
realistische selbst gehostete Websites
bestes getestetes GPT-4-System 14,41 %; Menschen 78,24 %
Modelle, Scaffolds und Umgebung seit 2023 verändert
2026er Audit: mindestens 59,4 % von 138 schwierigen Fällen mit materiellen Test-/Aufgabenproblemen
Verified nicht mehr als Frontier-Maßstab; Kontamination und Audit-Stichprobe beachten
OSWorld 1.0/2.0
369 kurze Aufgaben; 2.0: 108 lange Workflows, median Mensch ca. 1,6 h
2.0: bestes im Paper berichtetes System 20,6 % binär / 54,8 % partiell bei 500 Schritten
Preprint, konkretes Modell/Scaffold/Budget; kein universeller Produktwert
tau-bench
Retail/Airline, Dialog, Tools, Policies
Original beste Agenten unter 50 %; pass^8 im Retail unter 25 %
Simulator, Policies und aktuelle Modelle verändern Werte
Die Tabelle verbindet historische Ausgangswerte mit zwei aktuellen Stichtagsbefunden. Auch Werte vom Sommer 2026 sind nur Befunde ihrer Originalkonfiguration. Leaderboards müssen mit Modell, Agent, Budget, Commit, Testharness und Abrufdatum gespeichert werden. [S-071 bis S-079, S-122, S-125]
Zuverlässigkeitsmathematik
Bei einem vereinfachten Workflow mit zehn voneinander unabhängigen Schritten und je 95 Prozent Erfolgswahrscheinlichkeit beträgt die Wahrscheinlichkeit, dass alle Schritte gelingen, nur 0,95^10, also rund 59,9 Prozent. Bei 99 Prozent je Schritt sind es rund 90,4 Prozent. Reale Fehler können korreliert sein und sich fortpflanzen, wodurch die einfache Rechnung zu optimistisch oder in einzelnen Fällen zu pessimistisch sein kann. Sie zeigt dennoch, warum Schrittgenauigkeit und End-to-End-Erfolg getrennt werden müssen.
Outcome, Policy und Trajektorie
Ein Agent kann ein Ziel erreichen und dabei verbotene oder riskante Schritte ausführen. Umgekehrt kann ein sicherer Agent eine Aufgabe korrekt abbrechen und im Outcome-Score als Misserfolg erscheinen. Produktionsreife braucht daher mindestens drei Bewertungen: Zielerreichung, Regelbefolgung und sichere Trajektorie. [S-091, S-092]
Reproduzierbarkeit und Kosten
Agentenbenchmarks sind teuer und stochastic. Die 2026er Arbeit „How Many Tasks Are Enough“ zeigt, dass der notwendige Aufgabenanteil für stabile Paarvergleiche stark zwischen SWE-bench, AppWorld und tau-bench variiert. Der SWE-bench-Verified-Audit zeigt zusätzlich, dass mehr Modellleistung einen gesättigten oder fehlerhaften Benchmark nicht automatisch aussagekräftiger macht. Kleine Teiltests können Rankings umkehren. Kosten, Token, Laufzeit, Fehlerwiederholungen und statistische Unsicherheit gehören deshalb in jede Vergleichstabelle. [S-093, S-094, S-122]
Model Collapse und synthetische Daten
Präzise Definition
Model Collapse bezeichnet in diesem Dossier den Verlust von Qualität, Vielfalt oder Verteilungsrändern über Modellgenerationen, wenn Trainingsdaten zunehmend aus Outputs vorheriger Modelle bestehen. Die Nature-Arbeit zeigt in theoretischen und empirischen Settings, dass seltene Ereignisse früh verschwinden und die gelernte Verteilung degenerieren kann. [S-107, S-108]
Regime unterscheiden
Regime
Beschreibung
Erwartetes Risiko
Rekursive Ersetzung
jede Generation ersetzt reale Daten zunehmend durch eigenen Output
hoch: Fehler und Verengung akkumulieren
Mischung ohne Provenienz
real und synthetisch vermischt, Herkunft unbekannt
unklar bis hoch: Qualitätskontrolle erschwert
Akkumulation mit realem Bestand
Originaldaten bleiben erhalten, synthetische Daten kommen hinzu
in Studien deutlich robuster
Kuratiertes Synthetikset
gezielt erzeugte Fälle mit unabhängiger Prüfung
kann nützlich sein, bleibt distributionsabhängig
Simulation mit formaler Wahrheit
synthetische Aufgaben haben prüfbare Lösung
stark für Training/Test, wenn Simulator valide ist
Was die Forschung nicht belegt
dass jedes Modelltraining auf einem KI-generierten Satz messbar kollabiert;
dass alle synthetischen Daten schlechter als Webdaten sind;
dass reale Trainingspipelines unvermeidlich kollabieren;
dass Datenfilterung, Provenienz und menschliche Kuration wirkungslos wären;
dass der Begriff eine pauschale Erklärung für jede Qualitätsverschlechterung liefert.
Unternehmensrelevanz
Für unternehmensinterne Fine-Tuning-, Evaluations- und Wissensdaten ist Provenienz wichtig. Modelloutput darf nicht unbemerkt als menschlicher Goldstandard zurückfließen. Seltene Beschwerden, Ausnahmefälle und abweichende Formulierungen sollten erhalten und gezielt geprüft werden. Synthetische Daten sind sinnvoll, wenn Ziel, Erzeuger, Validierung, Mischungsanteil und bekannte Verzerrungen dokumentiert werden.
Weltmodelle, JEPA und die LeCun-Position
Forschungsposition statt Urteil
LeCuns „A Path Towards Autonomous Machine Intelligence“ ist ausdrücklich ein Positions- und Architekturpapier. Es argumentiert, dass autonome Systeme hierarchische Ziele, eine konfigurierbare Weltmodellkomponente, Kostenmodule und Planung benötigen. Die Kritik an generativer Rohdatenvorhersage ist ein Forschungsprogramm, keine experimentell abgeschlossene Widerlegung aller LLM-Ansätze. [S-111]
Drei Weltmodellfamilien
Familie
Beispiel
Was gelernt wird
Grenze
Latente Repräsentationsvorhersage
I-JEPA, V-JEPA
Repräsentation verdeckter Bild-/Videobereiche
Repräsentation ist nicht automatisch Aktionsmodell
Planungsrelevante Dynamik
MuZero, Dreamer
Zustandsübergänge, Belohnung oder Wert für Handlungen
Erfolg oft in kontrollierten Domänen
Generative interaktive Umgebung
Genie 1–3
visuell interagierbare zukünftige Zustände
öffentliche Evidenz teils Anbieterbericht und kurze Horizonte
Sprachmodell und Weltmodell kombinieren
Ein LLM kann Ziele, Anweisungen, Pläne und Kommunikation verarbeiten. Ein Wahrnehmungsmodell kann Bilder oder Video in latente Zustände überführen. Ein Weltmodell kann Folgen von Aktionen prognostizieren. Ein formaler Planner oder Controller kann zulässige Aktionen auswählen. Die Komponenten müssen nicht in einem einzigen monolithischen Modell liegen. Systemarchitektur ist daher eine Frage von Schnittstellen, Fehlergrenzen und Evaluierbarkeit.
Stand der Evidenz
MuZero und Dreamer belegen leistungsfähige Planung in Spielen und Simulationsdomänen. I-JEPA und V-JEPA zeigen starke Repräsentationsleistung; V-JEPA 2 berichtet physische Vorhersage und Robotikplanung mit Webvideo und begrenzten Robotikdaten. V-JEPA 2.1 ist am Stichtag ein junger Preprint. Genie 2 und 3 werden primär über Anbieterbeiträge beschrieben. Diese Befunde sind substanziell, rechtfertigen aber noch keine pauschale Aussage über allgemeines physisches Verständnis. Die 2026er Roadmap ist selbst Ausdruck der begrifflichen Offenheit: Das Feld hat keinen Konsens darüber, welche Vorhersage, Repräsentation und Interaktion zwingend zu einem Weltmodell gehören. [S-112 bis S-121, S-128]
Technische Grenzen als Systemdesign
Deterministisch, probabilistisch oder hybrid
Aufgabenart
Bevorzugter Kern
LLM-Rolle
Beispiel
Exakte Berechnung
deterministischer Rechner / Code
Formel und Erklärung
Steuer, Summe, Prozent
Eindeutige Geschäftsregel
Rule Engine / Workflow
natürliche Sprache und Ausnahmeerfassung
Freigabegrenze
Fakten aus strukturierten Daten
SQL / API
Queryhilfe und Zusammenfassung
Bestellstatus
Semantische Suche
Retriever plus Reranker
Frageverständnis und Synthese
Wissensassistent
Offene Textproduktion
generatives Modell
zentral
Entwurf und Varianten
Mehrstufige Aktion
hybrider Agent mit Gates
Planung und flexible Ausnahme
Browser- oder CRM-Workflow
Fehlerbegrenzung
Ausgabeformat durch Schema und Parser begrenzen.
Kritische Fakten aus Systemen binden statt frei generieren.
Irreversible Aktionen getrennt bestätigen.
Evidenz und Unsicherheit im Review sichtbar machen.
Abbruch-, Retry- und Eskalationsregeln definieren.
Modellversion und Datenstand vollständig protokollieren.
Jede Änderung mit Regression Suite und Shadow Mode prüfen.
Was war die technische Neuerung, und was folgt daraus nicht?
Untersuchungsdesign
Die Originalarbeit führte ein Encoder-Decoder-System ein, das Sequenzbeziehungen über Multi-Head-Self-Attention und Positionsinformationen verarbeitet. Die Übersetzungsversuche verglichen Qualität, Trainingszeit und Rechenaufwand mit damaligen rekurrenten und konvolutionalen Ansätzen.
Zentrale Befunde
Die Architektur ließ sich stark parallelisieren und wurde zur Grundlage skalierbarer Sprachmodelle. Attention erlaubt jeder Position, Informationen anderer Positionen gewichtet einzubeziehen; sie ist jedoch weder eine Faktenbank noch ein Beweis für semantisches oder kausales Verständnis.
Grenzen
Die Originalbefunde stammen aus maschineller Übersetzung. Moderne LLMs unterscheiden sich durch Datenmenge, Decoder-only-Aufbau, Post-Training, Tools, Multimodalität, Quantisierung und Infrastruktur. Aussagen wie „der Transformer versteht jedes Wort im Kontext“ sind technisch unpräzise.
Buch- und Unternehmensrelevanz
Für das Buch ist der Transformer als Rechenarchitektur zu erklären. Die Fähigkeiten heutiger Systeme entstehen aus dem gesamten Trainings- und Systemstack, nicht aus Attention allein.
Quellen
S-001, S-012, S-068
Skalengesetze und Chinchilla: Mehr ist nicht nur größer
Prüffeld
Einordnung
Leitfrage
Welche Rolle spielen Parameter, Daten und Compute?
Untersuchungsdesign
Kaplan et al. und Hoffmann et al. variierten Modellgröße, Datenmenge und Rechenbudget und passten empirische Verlustkurven an. Chinchilla verglich unter anderem Modelle von 70 Millionen bis 16 Milliarden Parametern und Datenmengen bis 500 Milliarden Token.
Zentrale Befunde
Im untersuchten Regime sank der Sprachmodellverlust vorhersagbar mit mehr Compute; viele große Modelle waren gemessen am Trainingsbudget datenuntertrainiert. Compute-optimal skaliert nicht nur Parameter, sondern auch Daten. Instruction Tuning zeigte zugleich, dass nachgelagertes Verhalten nicht allein von der Basismodellgröße abhängt.
Grenzen
Skalengesetze extrapolieren aus bestimmten Architekturen, Daten und Zielen. Sie sagen wenig über Wahrheit, Agentenzuverlässigkeit, Energie, Lizenzierung oder Unternehmensnutzen. Ein niedrigerer Pretraining-Loss kann sich je nach Aufgabe unterschiedlich auswirken.
Buch- und Unternehmensrelevanz
Größe ist eine Eingangsvariable. Für Beschaffung und Buchargumentation sind Modellgeneration, Post-Training, Toolstack, Latenz und Aufgabe wichtiger als eine einzelne Parameterzahl.
Quellen
S-003 bis S-006, S-013
Instruction Tuning, RLHF und RLAIF: Verhalten ist trainiert
Prüffeld
Einordnung
Leitfrage
Warum antworten Chatmodelle anders als Basismodelle?
Untersuchungsdesign
SFT, Präferenzmodelle, Reinforcement Learning und KI-basiertes Feedback optimieren Antworten auf Instruktionsbefolgung, Hilfsbereitschaft und Sicherheitsregeln. Die Studien bewerten vor allem menschliche Präferenzen, Verhaltenstests und ausgewählte Benchmarks.
Zentrale Befunde
Post-Training kann die Nutzbarkeit stark erhöhen und unerwünschte Ausgaben reduzieren. Es beeinflusst Stil, Verweigerungen, Kooperationsbereitschaft, Selbstsicherheit und teilweise Faktentreue. Ein kleineres post-trainiertes Modell kann in Präferenzvergleichen ein größeres Basismodell übertreffen.
Grenzen
Präferenz ist nicht Wahrheit. Menschen können überzeugende oder zustimmende Antworten bevorzugen. Sicherheits- und Hilfsziele können kollidieren; genaue Trainingsdaten und Reward-Modelle sind bei proprietären Systemen oft nicht öffentlich.
Buch- und Unternehmensrelevanz
Ein Chatbot ist kein neutraler Zugang zum Basismodell. Seine Antworten sind Ergebnis eines trainierten Verhaltensregimes und können sich mit Anbieterupdates ändern.
Quellen
S-006, S-007, S-009, S-025
Toolgebrauch und Testzeit-Compute: Systemfähigkeit statt reiner Modellfähigkeit
Prüffeld
Einordnung
Leitfrage
Was verbessert sich durch Suche, Rechner, Code und längere Deliberation?
Untersuchungsdesign
Toolformer, ReAct, PAL, Tree of Thoughts, Prozessverifikation und Testzeit-Skalierung untersuchen externe Werkzeuge, mehrfache Pfade, Verifier und adaptives Rechenbudget.
Zentrale Befunde
Werkzeuge können Schwächen bei Rechnen, Nachschlagen und Handeln kompensieren. Mehr Inferenzcompute kann bei ausreichend lösbaren Aufgaben ein kleineres Basismodell gegenüber einem größeren Modell aufholen oder übertreffen. Verifier können gute Pfade auswählen.
Grenzen
Werkzeuge erzeugen neue Fehler: falsche API, falsche Argumente, unsichere Berechtigungen, fehlerhafte Toolantwort, Auswahlbias und Kosten. Ein Verifier kann systematisch falsche Antworten belohnen. Mehr „Denken“ ist nicht monoton besser.
Buch- und Unternehmensrelevanz
Leistung muss auf Systemebene gemessen und Kosten je akzeptiertem Ergebnis ausgewiesen werden. Modell- und Toolbeitrag sind getrennt zu dokumentieren.
Quellen
S-017 bis S-024
TruthfulQA, HaluEval und SciFactCheck: Halluzinationsraten brauchen Kontext
Prüffeld
Einordnung
Leitfrage
Warum lassen sich öffentlich genannte Prozentwerte kaum übertragen?
Untersuchungsdesign
TruthfulQA nutzt Fragen mit verbreiteten Fehlannahmen, HaluEval mehrere Halluzinationsaufgaben. SciFactCheck ergänzt 2.500 offene Prompts aus fünf wissenschaftlichen Domänen und vergleicht in einem Minimalpaar-Design 18 wissenschaftlich feinabgestimmte Modelle mit ihren Basismodellen.
Zentrale Befunde
Die Benchmarks erfassen verschiedene Fehlertypen. SciFactCheck berichtet im untersuchten Setting schlechtere faktische Zuverlässigkeit wissenschaftlich feinabgestimmter Modelle sowie geringere interne Sicherheit bei zugleich bestimmterer Sprache.
Grenzen
Datensätze, Domänen, Annotation und Modellfamilien unterscheiden sich. SciFactCheck ist am Stichtag ein Preprint und beweist nicht, dass Fine-Tuning generell Halluzinationen erhöht.
Buch- und Unternehmensrelevanz
Keine einzelne Rate als Modelleigenschaft zitieren. Trainingsverfahren müssen auf dem Zieltyp der Faktentreue und gegen das Basismodell geprüft werden.
Quellen
S-031, S-032, S-038, S-039, S-126
FActScore: Langtext atomar prüfen
Prüffeld
Einordnung
Leitfrage
Wie lässt sich Faktentreue langer Antworten differenzierter messen?
Untersuchungsdesign
FActScore zerlegt eine Generation in atomare Behauptungen und prüft, welcher Anteil durch eine definierte Wissensquelle gestützt wird. Generative Suchforschung trennt zusätzlich Zitationskorrektheit und -vollständigkeit.
Zentrale Befunde
Ein einzelner Absatz kann richtige und falsche Aussagen mischen. Atomare Prüfung schafft nachvollziehbare Fehlerlokalisierung und verhindert, dass eine insgesamt flüssige Antwort pauschal als korrekt gilt.
Grenzen
Zerlegung, Retrieval und Verifikation können selbst fehlerhaft sein. Eine Referenzquelle kann unvollständig oder veraltet sein. FActScore misst Faktpräzision gegenüber einer Wissensbasis, nicht alle Qualitätsdimensionen.
Buch- und Unternehmensrelevanz
Für die Buchproduktion eignet sich ein Claim-Ledger: Jede sachliche Aussage wird atomisiert, einer Primärquelle zugeordnet und separat freigegeben.
Quellen
S-034, S-047
SelfCheckGPT und semantische Entropie: Unsicherheit ohne Wahrheitsorakel
Prüffeld
Einordnung
Leitfrage
Kann ein Modell erkennen, wann es wahrscheinlich irrt?
Untersuchungsdesign
SelfCheckGPT vergleicht mehrere stochastische Antworten. Semantische Entropie bündelt inhaltlich gleichwertige Antworten und misst die Verteilung über Bedeutungen statt Tokenfolgen. Kalibrierungsarbeiten untersuchen Selbstbewertungen.
Zentrale Befunde
Stark divergierende semantische Antworten können ein nützliches Unsicherheitssignal sein. Die Nature-Arbeit zeigte, dass semantische Entropie Konfabulationen in untersuchten Aufgaben besser erkennen kann als mehrere Baselines.
Grenzen
Stabile Wiederholung kann stabil falsch sein. Mehrfachsampling erhöht Latenz und Kosten. Kalibrierung über eine Domäne überträgt sich nicht automatisch. Unsicherheit ist kein Beweis für Fehler, Sicherheit kein Beweis für Wahrheit.
Buch- und Unternehmensrelevanz
Unsicherheit eignet sich für Routing: Antwort, Rückfrage, Retrieval, Verifikation oder menschliche Eskalation. Sie darf nicht allein die Freigabe bestimmen.
Quellen
S-033, S-036, S-037, S-043
RAGTruth und Self-RAG: Grounding ist eine Pipeline
Prüffeld
Einordnung
Leitfrage
Was leistet Retrieval-Augmented Generation wirklich?
Untersuchungsdesign
RAG kombiniert Retriever und Generator. RAGTruth annotiert nahezu 18.000 natürlich erzeugte RAG-Antworten auf Fall- und Wortebene. Self-RAG trainiert Abruf- und Kritiksignale.
Zentrale Befunde
Externe Dokumente können Aktualität und Nachprüfbarkeit verbessern. Trotzdem treten ungestützte oder widersprüchliche Aussagen auf. Die Qualität hängt von Dokumenten, Chunking, Embeddings, Suche, Ranking, Kontextzusammenstellung und Generierung ab.
Grenzen
RAG kann nur aus vorhandenen, erreichbaren und korrekt indizierten Quellen schöpfen. Konflikte, Versionen, Tabellen, Bilder und Berechtigungen erfordern eigene Tests. Eine Quellenanzeige kann Scheingenauigkeit erzeugen.
Buch- und Unternehmensrelevanz
RAG wird als Daten- und Evaluationssystem behandelt, nicht als Checkbox. Retrieval Recall, Evidenzpräzision, Groundedness und Endantwortqualität erhalten getrennte Kennzahlen.
Quellen
S-014 bis S-016, S-035, S-045, S-046
Vectara HHEM-2.3: nützlich, aber eng definiert
Prüffeld
Einordnung
Leitfrage
Was misst das dynamische Hallucination Leaderboard tatsächlich?
Untersuchungsdesign
Vectara lässt Modelle Dokumente zusammenfassen und bewertet die Unterstützung der Zusammenfassungen durch die Ausgangsdokumente mit dem proprietären HHEM-2.3. HHEM-2.1-Open ist ein separat verfügbares offenes Bewertungsmodell.
Zentrale Befunde
Das Verfahren liefert eine skalierbare, settingbezogene Kennzahl für faktische Konsistenz in dokumentgestützter Zusammenfassung und ist für RAG-nahe Qualitätsbeobachtung nützlich.
Grenzen
HHEM-2.3 ist proprietär; Detektor, Datensatz, Prompt, Refusal-Filter und Endpunkte ändern sich. Gemessen werden weder offene Weltwahrheit noch Vollständigkeit, Quellenqualität oder allgemeine Agentenzuverlässigkeit.
Buch- und Unternehmensrelevanz
Zahlen nur mit Abrufdatum, HHEM-Version, Taskdefinition, Antwortquote und Modellendpunkt zitieren; nicht als universelle Halluzinationsquote formulieren.
Quellen
S-050, S-051
Lost in the Middle und Positionsfehler: Kontextposition als Fehlerquelle
Prüffeld
Einordnung
Leitfrage
Warum kann eine Information im Kontext vorhanden und dennoch faktisch unsichtbar sein?
Untersuchungsdesign
Die Arbeiten variieren Position, Länge, Evidenzverteilung und in neueren Tests auch Natürlichkeit und Informationsdichte des Kontextes.
Zentrale Befunde
Relevante Information wird häufig am Anfang oder Ende besser genutzt als in der Mitte. LongBench Pro berichtet regelmäßig kürzere effektive als nominelle Kontexte; kontrollierte Dichtetests zeigen zusätzliche Einbrüche bei informationsreichen statt bloß langen Eingaben.
Grenzen
Muster, Sprachen und Aufgaben unterscheiden sich. LongBench Pro, Positional Failures und Dense Contexts sind am Stichtag Preprints; einfache Nadeltests bilden reale Integrationsaufgaben nur unvollständig ab.
Buch- und Unternehmensrelevanz
Testfälle über Positionen, Dichten, Sprachen und globale Belegkombinationen streuen. Keine Produktfreigabe aus einer einzelnen Nadelkurve ableiten.
Quellen
S-057, S-064, S-070, S-123, S-124
RULER, NoLiMa, LongBench Pro und PAPerBench: das nutzbare Kontextfenster
Prüffeld
Einordnung
Leitfrage
Wie weit reicht ein Kontextfenster funktional statt nominell?
Untersuchungsdesign
Die Suiten kombinieren synthetischen Abruf, semantisch nicht wörtlich passende Belege, natürliche Langdokumente, Multi-Hop-Aufgaben, Personalisierung und Datenschutztests zwischen wenigen Tausend und bis zu 256.000 Token.
Zentrale Befunde
Die effektive Leistung fällt je nach Aufgabe früher ab als die technische Eingabegrenze. LongBench Pro evaluiert 46 Modelle auf 1.500 natürlichen bilingualen Fällen; PAPerBench berichtet in seinem Setting sinkende Personalisierungs- und Datenschutzleistung bei wachsendem Kontext.
Grenzen
Benchmarkkonstruktion, Sprache und Metriken unterscheiden sich. Die 2026er Arbeiten sind Preprints; PAPerBench ist ein einzelnes, groß angelegtes Forschungsprojekt und seine theoretische Erklärung kein Feldkonsens.
Buch- und Unternehmensrelevanz
Nominelle Länge, lokaler Abruf, globale Integration, Datenschutz und Kosten getrennt testen. Kontext nur so groß wie für die Aufgabe nötig aufbauen.
Quellen
S-058 bis S-063, S-123, S-124, S-127
SWE-bench: realistische Software-Issues und ein Maßstab mit Verfallsdatum
Prüffeld
Einordnung
Leitfrage
Was misst der Benchmark, und warum wurde Verified 2026 herabgestuft?
Untersuchungsdesign
SWE-bench koppelt reale GitHub-Issues an Repositories und Tests. Verified kuratierte 500 Aufgaben. OpenAI auditierte 2026 138 Fälle, die o3 über 64 Läufe nicht konsistent löste, mit mindestens sechs erfahrenen Entwicklern je Fall.
Zentrale Befunde
Der Benchmark brachte Evaluation näher an echte Repositories. Der 2026er Audit fand bei mindestens 59,4 Prozent der 138 geprüften schwierigen Fälle materielle Aufgaben- oder Testprobleme und Hinweise, dass Frontiermodelle Teile von Problemen oder Gold-Patches aus Training kennen.
Grenzen
Der Audit ist eine Anbieteranalyse und fokussiert schwierige Restfälle, nicht eine zufällige Vollstichprobe aller 500 Aufgaben. Andere Varianten, insbesondere neuere oder private Sets, müssen separat bewertet werden.
Buch- und Unternehmensrelevanz
Verified nicht mehr als alleinigen Frontier-Indikator zitieren. Benchmarkvariante, Commit, Scaffold, Budget, Kontaminationsschutz und Funktionsprüfung dokumentieren.
Quellen
S-073 bis S-075, S-091, S-093, S-122
WebArena und OSWorld 2.0: Handeln in realistischen Oberflächen und langen Workflows
Prüffeld
Einordnung
Leitfrage
Wie zuverlässig sind Agenten in Browsern und Desktopumgebungen?
Untersuchungsdesign
WebArena und OSWorld 1.0 testen realistische Interaktionen in kontrollierten Websites und Betriebssystemen. OSWorld 2.0 erweitert dies auf 108 lange End-to-End-Workflows mit realistischen Artefakten, Zuständen und Sicherheitsberichten.
Zentrale Befunde
OSWorld 2.0 berichtet eine mediane menschliche Bearbeitungszeit von rund 1,6 Stunden. Das beste im Paper getestete System erreichte bei 500 Schritten 20,6 Prozent binären und 54,8 Prozent partiellen Erfolg; typische Fehler betrafen Zustandsverlust, übersehene neue Informationen, Raten und fehlende Verifikation.
Grenzen
Die Werte sind modell-, Scaffold-, Tool- und Budget-spezifisch und stammen aus einem Preprint. Dynamische UIs, Modellupdates und unterschiedliche Sicherheitsregeln erschweren zeitliche Vergleiche.
Buch- und Unternehmensrelevanz
Computer-Use-Agenten mit langen internen Prozessfällen, explizitem Zustandsaudit, partiellen Metriken und sicheren Abbruchregeln testen.
Quellen
S-071, S-072, S-076, S-077, S-082, S-083, S-125
tau-bench und pass^k: Zuverlässigkeit statt Glückstreffer
Prüffeld
Einordnung
Leitfrage
Kann ein Agent dieselbe Aufgabe wiederholt korrekt und regelkonform lösen?
Untersuchungsdesign
tau-bench simuliert Nutzer, Domänenrichtlinien und Werkzeuge in Retail und Airline. Neben Einzelerfolg wird pass^k betrachtet: eine Aufgabe gilt nur als zuverlässig, wenn mehrere Wiederholungen gelingen.
Zentrale Befunde
In der Ausgangsarbeit lagen die besten Agenten unter 50 Prozent Einzelerfolg und deutlich niedriger bei acht Wiederholungen. Die Studie macht sichtbar, dass ein gutes Demoergebnis keine reproduzierbare Prozessqualität ist.
Grenzen
Simulatoren vereinfachen reale Nutzer und Systeme. Policies und Tooldefinitionen beeinflussen das Ergebnis. Neuere Modelle und Agenten verändern die Raten.
Buch- und Unternehmensrelevanz
Für Produktionsfreigabe werden wiederholte Läufe, Policy-Compliance, Kosten, Latenz und Failure Recovery gemessen. Best-of-N darf nicht mit reproduzierbarem Erfolg verwechselt werden.
Quellen
S-078, S-079
Benchmarkkontamination, Promptempfindlichkeit und Emergenz
Prüffeld
Einordnung
Leitfrage
Wann ist ein Leistungsanstieg ein Mess- oder Trainingsartefakt?
Untersuchungsdesign
Die Arbeiten analysieren diskontinuierliche Metriken, Promptvarianten und Überschneidungen zwischen Test- und Trainingsmaterial. Surveys dokumentieren direkte, paraphrasierte und indirekte Kontamination.
Zentrale Befunde
Ein harter Genauigkeitsschwellenwert kann glatte Verbesserungen als Sprung erscheinen lassen. Promptformat und Beispielwahl können Scores deutlich bewegen. Öffentliche statische Aufgaben können in Trainingskorpora oder synthetischen Ableitungen auftauchen.
Grenzen
Kontamination ist ohne Trainingsdaten schwer sicher zu beweisen. Promptempfindlichkeit ist zugleich Teil realer Nutzung. Nicht jede hohe Leistung ist Memorisation.
Buch- und Unternehmensrelevanz
Interne Blindtests, neu erzeugte Varianten, zeitlich neue Aufgaben und mehrere Promptformen sind wichtiger als ein einzelner öffentlicher Score.
Quellen
S-097, S-101, S-102
GSM-Symbolic und „Illusion of Thinking“: belastbare Kritik ohne Totalurteil
Prüffeld
Einordnung
Leitfrage
Was sagen kontrollierte Puzzles über Reasoning?
Untersuchungsdesign
GSM-Symbolic variiert Zahlen und fügt irrelevante Klauseln ein. Apples Studie variiert die Komplexität von Planungspuzzles und untersucht Antwort sowie Reasoning-Trace. Kommentare und Gegenversuche prüfen unlösbare Fälle, Tokenlimits und Toolaugmentation.
Zentrale Befunde
Die Arbeiten zeigen reale Robustheitsprobleme, inkonsistente Algorithmennutzung und Leistungsabfälle. Gegenanalysen zeigen zugleich, dass Aufgabengültigkeit, Ausgabelänge, Prompt und Werkzeuge die Resultate stark verändern können.
Grenzen
Puzzles sind kontrollierbar, aber nicht repräsentativ für jede Wissensarbeit. Aus einem Benchmark folgt kein abschließendes Urteil über Bewusstsein, allgemeine Intelligenz oder die gesamte LRM-Klasse.
Buch- und Unternehmensrelevanz
Das Buch stellt Befund, Interpretation und Gegenposition getrennt dar. Der sichere Schluss ist Fragilität unter bestimmten Komplexitäts- und Evaluationsbedingungen.
Quellen
S-103 bis S-106
Model Collapse: rekursive Datenkreisläufe
Prüffeld
Einordnung
Leitfrage
Wann schaden synthetische Daten dem nächsten Modell?
Untersuchungsdesign
Nature und verwandte Arbeiten trainieren Modellgenerationen auf Daten, die zunehmend von vorherigen Modellen erzeugt wurden. Varianten unterscheiden Ersetzen, Mischen oder Akkumulieren realer und synthetischer Daten.
Zentrale Befunde
Indiskriminierte rekursive Ersetzung kann Verteilungsränder verlieren und Fehler verstärken. Modelle lernen dann eine verengte Annäherung an vorherige Modelle statt die ursprüngliche Datenverteilung. Mit fortbestehenden realen Daten und geeigneter Mischung ist Kollaps nicht zwangsläufig.
Grenzen
Laborregime sind nicht identisch mit realen Foundation-Model-Pipelines, die filtern, deduplizieren und kuratieren. Eine Korrektur zum Nature-Artikel ist zu berücksichtigen. „Synthetisch“ ist keine einheitliche Qualitätsklasse.
Buch- und Unternehmensrelevanz
Datenprovenienz, Real-/Syntheseanteil, unabhängige Validierung und Erhalt seltener Fälle werden als Governance- und Qualitätsfaktoren dokumentiert.
Quellen
S-107 bis S-110
JEPA, MuZero, Dreamer, Genie und die offene Definition von Weltmodell
Prüffeld
Einordnung
Leitfrage
Was ist ein Weltmodell, und ist es die Alternative zum LLM?
Untersuchungsdesign
Die Quellen reichen von LeCuns Architekturposition über latente Bild- und Videovorhersage, modellbasiertes Reinforcement Learning und generative interaktive Umgebungen bis zu einer 2026er Definitions- und Roadmaparbeit.
Zentrale Befunde
Weltmodelle können planungsrelevante latente Dynamik, Wert- und Belohnungsgrößen oder visuelle zukünftige Zustände modellieren. Die 2026er Roadmap hält ausdrücklich fest, dass kein Konsens über Definition, Vorhersageziel und Bauweise besteht.
Grenzen
Erfolge liegen häufig in Spielen, Simulationen, kurzen Videohorizonten oder begrenzten Robotiksettings. Genie 2/3 sind primär Anbieterberichte; die aktuelle Roadmap ist ein Perspektiv-Preprint, kein verbindlicher Standard.
Buch- und Unternehmensrelevanz
Nicht „LLM oder Weltmodell“ schreiben. Stattdessen Funktion, Umweltzustand, Aktionskonditionierung, Horizont, Planer, Verifikation und Evidenz des konkreten Systems benennen.
Quellen
S-111 bis S-121, S-128
18 Unternehmensszenarien
Die folgenden Bewertungen sind technische Referenzmuster. Sie ersetzen keine Datenschutz-, Arbeits-, Haftungs- oder Branchenprüfung. Ziel ist die Übersetzung des Forschungsstands in prüfbare Systemanforderungen.
Szenario 1: Interner RAG-Assistent für Richtlinien
Diversität; Markenregeln; Claim-Prüfung; Human Rating; Dublettensuche
Menschliche Kontrolle
Redaktionelle Freigabe; Faktenfelder aus geprüfter Quelle
Technische Gesamteinordnung
Hohe kreative Unterstützung, aber kein Fakten- oder Rechtsfreifahrtschein
Quellen
S-006, S-098, S-099
Szenario 17: Agentischer Monatsabschluss-Workflow
Prüffeld
Bewertung
Ziel
Daten sammeln, Abweichungen prüfen, Tasks anlegen
Typische Failure Modes
Fehlerkaskade über viele Schritte, falsche Buchung, fehlende Evidenz
Erforderliche Tests
Schrittgenauigkeit und End-to-End-pass^k; Reconciliation; Abbruch; Audit Trail
Menschliche Kontrolle
Buchungen und externe Meldungen bleiben bestätigt; jeder Schritt idempotent
Technische Gesamteinordnung
In Teilprozesse zerlegen; kritische Aktionen deterministisch absichern
Quellen
S-078, S-088, S-091, S-092
Szenario 18: Modell- oder Anbieterwechsel
Prüffeld
Bewertung
Ziel
Bestehenden KI-Prozess auf neue Version migrieren
Typische Failure Modes
Regression, Promptbruch, andere Verweigerung, Kosten- und Latenzsprung
Erforderliche Tests
Shadow Test auf fixem Blindset; Segmentvergleich; Drift; Kosten; Stabilität
Menschliche Kontrolle
Canary-Rollout, Rückfalloption und dokumentierte Version
Technische Gesamteinordnung
Kein „automatisches Upgrade“ ohne Regressionstest bei produktiven Prozessen
Quellen
S-025, S-050, S-072, S-074
36-stufiger Prüf- und Einführungsfahrplan
Der Fahrplan beginnt nicht mit Modellauswahl, sondern mit Aufgabe, Fehlerkosten und deterministischer Alternative. Erst danach folgen Testbestand, Retrieval, Agentenrechte und Produktionsbetrieb.
Phase 1 – Problem und Grenze
Nr.
Schritt
Verbindliche Ausführung
1
Entscheidung oder Arbeitsprodukt exakt definieren
Input, Output, Nutzer, Wirkung und ausgeschlossene Entscheidungen dokumentieren.
2
Deterministische Baseline prüfen
Suche, Regeln, Datenbank, Template oder klassisches ML als Vergleich bauen.
3
Fehlerklassen festlegen
Harmlos, korrigierbar, teuer, rechtlich kritisch und irreversibel getrennt bewerten.
4
Erfolg und Abstention definieren
Richtige Antwort, zulässige Rückfrage und begründete Nichtantwort vorab festlegen.
5
Versionsidentität speichern
Modell, API, Datum, Region, Prompt, Parameter, Tools und Wissensstand protokollieren.
6
Autonomiegrenze setzen
Lesen, Entwurf, Vorschlag, Schreiben, Senden und irreversible Transaktion getrennt freigeben.
Phase 2 – Testbestand
Nr.
Schritt
Verbindliche Ausführung
7
Repräsentative Fälle ziehen
Reale Häufigkeiten, Nutzergruppen, Sprachen und Dokumenttypen abbilden.
8
Kritische Randfälle ergänzen
Seltene Fälle anhand Schadenshöhe übergewichten.
9
Blindanteil schützen
Ein Teil der Fälle bleibt Entwicklungsteam und Anbieter unbekannt.
10
Varianten erzeugen
Paraphrasen, Zahlenänderungen, Reihenfolge, Position und irrelevante Angaben variieren.
11
Goldstandard erstellen
Fachleute definieren richtige Antwort, Evidenz und zulässige Unsicherheit.
12
Testset versionieren
Änderungen, Leaks, neue Fälle und Ausmusterungen nachvollziehbar führen.
Phase 3 – Modell und Retrieval
Nr.
Schritt
Verbindliche Ausführung
13
Mehrere Modellklassen vergleichen
Klein, groß, offen, proprietär und gegebenenfalls kein LLM testen.
14
Promptvarianten prüfen
Mindestens mehrere semantisch gleichwertige Formate statt eines optimierten Prompts.
15
Kontextposition variieren
Wichtige Evidenz am Anfang, in der Mitte und am Ende testen.
16
Retrieval separat bewerten
Trefferquote, Ranking, Berechtigung, Version und Konflikte messen.
17
Groundedness atomar messen
Jede Behauptung auf tatsächlich tragende Evidenz prüfen.
18
Abstention kalibrieren
Schwellen nach Fehlerkosten und Domäne einstellen.
Phase 4 – Agent und Tools
Nr.
Schritt
Verbindliche Ausführung
19
Toolvertrag definieren
Erlaubte Funktionen, Argumente, Schema, Timeouts und Fehlermeldungen festlegen.
20
Minimale Rechte vergeben
Nur Daten und Aktionen zugänglich machen, die für den Schritt nötig sind.
21
Idempotenz und Vorschau bauen
Wiederholungen dürfen keine Doppelwirkung erzeugen; irreversible Wirkung wird angezeigt.
22
Schritt- und Kostenlimit setzen
Endlosschleifen, explodierende Toolaufrufe und unkontrolliertes Sampling verhindern.
23
Trajektorien prüfen
Nicht nur Endergebnis, sondern Aktionen, Regeln und unnötige Zugriffe bewerten.
24
pass^k und Recovery testen
Wiederholung, Abbruch, Neustart und Wiederaufnahme messen.
Phase 5 – Mensch und Betrieb
Nr.
Schritt
Verbindliche Ausführung
25
Reviewaufgabe konkretisieren
Prüfer erhält Evidenz, Unterschiede, Warnungen und nicht nur eine fertige Antwort.
26
Automation Bias messen
Fehler absichtlich einspeisen und tatsächliche Entdeckungsrate erfassen.
27
Eskalationswege definieren
Unklarheit, Konflikt, kritische Daten und Toolfehler führen zu klarer Zuständigkeit.
28
Latenz und Vollkosten messen
Modell, Retrieval, Tools, Retries, Review und Fehlkosten je akzeptiertem Ergebnis.
29
Canary und Shadow Mode nutzen
System zunächst ohne externe Wirkung parallel laufen lassen.
30
Monitoring nach Segmenten
Durchschnitt, Tail, Sprache, Dokumentklasse und Nutzergruppe getrennt beobachten.
Phase 6 – Änderung und Governance
Nr.
Schritt
Verbindliche Ausführung
31
Regression Suite automatisieren
Jede Modell-, Prompt-, Tool- oder Datenänderung gegen Blindset prüfen.
32
Drift und Wissensalter überwachen
Dokumentversionen, Retrievalqualität, Modellverhalten und Eingabeverteilung prüfen.
33
Rollback sichern
Vorversion, Konfiguration und Datenpfad müssen wiederherstellbar sein.
34
Incident-Lernen betreiben
Fehler atomisieren, Ursache zuordnen, Testfall ergänzen und Kontrolle verbessern.
35
Refresh-Termine setzen
Dynamische Benchmarks, Anbieterbedingungen und Modellversionen regelmäßig neu prüfen.
36
Freigabe befristen
Produktionsfreigabe gilt für benannte Version, Aufgabe und Risiko – nicht unbegrenzt für „KI“.
> Freigaberegel > Eine Freigabe gilt nur für den dokumentierten Prozess, die benannte Modell- und Systemversion, das definierte Tool- und Datenrecht sowie die gemessene Fehlerverteilung. Sie ist keine allgemeine Freigabe für andere KI-Anwendungen.
20 Mythenprüfungen
Mythos
Bewertung
Korrekte Einordnung
Quellen
„Ein LLM versteht Sprache wie ein Mensch.“
NICHT BELEGT
Modelle lernen statistische Repräsentationen und können funktional beeindruckende Leistungen zeigen. Daraus folgt weder menschliches Erleben noch identische Begriffs-, Körper- oder Kausalmodelle.
S-001 bis S-007, S-111
„Je größer das Modell, desto besser ist es immer.“
FALSCH
Daten, Post-Training, Architektur, Aufgabenfit, Latenz und Kosten entscheiden mit. Kleinere instruction-tuned oder toolgestützte Systeme können größere Basismodelle schlagen.
S-005, S-006, S-013, S-021
„Das Kontextfenster ist das Gedächtnis des Modells.“
IRREFÜHREND
Es ist zunächst eine maximale Eingabelänge. Effektiver Abruf, Integration, Positionsempfindlichkeit und Persistenz über Sitzungen sind separate Eigenschaften.
S-057 bis S-070
„RAG verhindert Halluzinationen.“
FALSCH
RAG kann Fehler reduzieren, erzeugt aber eigene Fehlerstellen in Retrieval, Kontext, Konfliktauflösung und Generierung.
S-014 bis S-016, S-035, S-045, S-046
„Eine Quellenangabe macht die Antwort wahr.“
FALSCH
Quellen können die Aussage nicht tragen, unvollständig, falsch zugeordnet oder veraltet sein.
S-047
„Temperatur null macht die Ausgabe vollständig deterministisch.“
ZU PAUSCHAL
Samplingvarianz sinkt, doch serverseitige Modelländerungen, Routing, numerische Effekte und Toolantworten können Resultate verändern.
S-025, S-026
„Chain-of-Thought zeigt, wie das Modell wirklich entschieden hat.“
FALSCH
Ausgegebene Begründungen können nützlich, aber kausal untreu oder nachträglich rationalisiert sein.
Formale Freigabe ist nicht gleich wirksame Prüfung.
Human-in-the-loop-Systeme
Detection-Rate, Automation Bias und Prozessdesign
Mehrsprachige Robustheit
Leistungsprofile in Englisch übertragen sich nicht automatisch.
DACH-Unternehmen mit internationalen Daten
Sprachspezifische Blindsets und Terminologie
Übertragung auf wirtschaftlichen Nutzen
Technische Benchmarks messen selten Nettozeit, Fehlerkosten oder Adoption.
Investitionsentscheidungen
End-to-End-Feldtests mit TCO und Gegenfaktum
50 buchrelevante Faktenkarten
F-001 – Faktenkarte
Feld
Inhalt
Aussage
Der Transformer ersetzt rekurrente Sequenzverarbeitung nicht durch „Verstehen“, sondern durch eine Architektur, die Beziehungen zwischen Tokenpositionen über Attention berechnet und stark parallelisierbar trainiert werden kann.
Faktenstatus
FORSCHUNGSGRUNDLAGE
Voraussetzung / Einschränkung
Die Originalarbeit betraf maschinelle Übersetzung; heutige LLMs ergänzen zahlreiche Trainings-, Daten- und Systemkomponenten.
Primär- und Hauptquellen
S-001
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-002 – Faktenkarte
Feld
Inhalt
Aussage
Ein Sprachmodell wird im Pretraining primär darauf optimiert, wahrscheinliche Tokenfortsetzungen zu modellieren; faktische Wahrheit ist nicht identisch mit diesem Trainingsziel.
Faktenstatus
TECHNISCHE GRUNDLAGE
Voraussetzung / Einschränkung
Post-Training, Retrieval, Tools und Verifier verändern das Verhalten, heben die Grundspannung aber nicht vollständig auf.
Primär- und Hauptquellen
S-003, S-006, S-052
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-003 – Faktenkarte
Feld
Inhalt
Aussage
Skalengesetze beschreiben empirische Regelmäßigkeiten innerhalb bestimmter Modell-, Daten- und Compute-Regime; sie sind keine Naturgesetze und keine Garantie für jede nachgelagerte Fähigkeit.
Faktenstatus
FORSCHUNGSSTAND
Voraussetzung / Einschränkung
Architektur, Datenqualität, Post-Training und Evaluation verändern die beobachteten Beziehungen.
Primär- und Hauptquellen
S-004, S-005
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-004 – Faktenkarte
Feld
Inhalt
Aussage
Compute-optimal bedeutet nicht „möglichst viele Parameter“, sondern eine abgestimmte Verteilung von Modellgröße, Daten und Rechenbudget.
Faktenstatus
FORSCHUNGSSTAND
Voraussetzung / Einschränkung
Die konkrete optimale Relation hängt von Annahmen, Daten, Architektur und Ziel ab.
Primär- und Hauptquellen
S-005
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-005 – Faktenkarte
Feld
Inhalt
Aussage
Instruction Tuning und Präferenztraining können ein kleineres Modell in menschlichen Präferenztests vor einem deutlich größeren Basismodell platzieren.
Faktenstatus
EMPIRISCHER BEFUND
Voraussetzung / Einschränkung
Präferenz, Faktentreue, Robustheit und Sicherheit sind verschiedene Zielgrößen.
Primär- und Hauptquellen
S-006
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-006 – Faktenkarte
Feld
Inhalt
Aussage
Parameterzahl, aktivierte Parameter, Speicherbedarf, Trainingscompute und Inferenzkosten sind unterschiedliche Größen.
Faktenstatus
TECHNISCHE GRUNDLAGE
Voraussetzung / Einschränkung
Sparse Mixture-of-Experts und Quantisierung erschweren einfache Größenvergleiche zusätzlich.
Primär- und Hauptquellen
S-012, S-013
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-007 – Faktenkarte
Feld
Inhalt
Aussage
Ein Modell kann mit Werkzeugen besser rechnen, suchen oder handeln, ohne dass sich seine internen Wissens- oder Schlussfolgerungsfähigkeiten im gleichen Maß verbessert haben.
Faktenstatus
SYSTEMEINORDNUNG
Voraussetzung / Einschränkung
Gemessen wird dann das Gesamtsystem aus Modell, Prompt, Tool, Orchestrierung und Evaluator.
Primär- und Hauptquellen
S-017, S-018, S-022
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-008 – Faktenkarte
Feld
Inhalt
Aussage
Mehr Testzeit-Rechenbudget kann auf geeigneten Aufgaben Leistung erhöhen, aber der Nutzen hängt stark von Schwierigkeit, Suchstrategie und Verifierqualität ab.
Faktenstatus
FORSCHUNGSSTAND
Voraussetzung / Einschränkung
Mehr Tokens oder längere Überlegung können auch Kosten, Latenz und Fehlerpfade erhöhen.
Primär- und Hauptquellen
S-021, S-024
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-009 – Faktenkarte
Feld
Inhalt
Aussage
Chain-of-Thought kann Benchmarkleistung verbessern, ist aber kein verlässlicher Einblick in den tatsächlichen kausalen Entscheidungsprozess des Modells.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
Ausgegebene Begründungen können nachträglich rationalisieren oder relevante Einflüsse verschweigen.
Primär- und Hauptquellen
S-019, S-096
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-010 – Faktenkarte
Feld
Inhalt
Aussage
Eine flüssige, detaillierte und selbstsichere Antwort ist kein belastbarer Wahrheitsindikator.
Faktenstatus
FORSCHUNGSSYNTHESE
Voraussetzung / Einschränkung
Stil und Faktentreue müssen getrennt evaluiert werden.
Primär- und Hauptquellen
S-031 bis S-043
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-011 – Faktenkarte
Feld
Inhalt
Aussage
„Halluzination“ umfasst je nach Literatur mindestens faktisch falsche, aus dem Kontext nicht gestützte, widersprüchliche oder instruktionstreue Fehler; ohne Definition sind Raten nicht vergleichbar.
Faktenstatus
METHODISCHE GRUNDLAGE
Voraussetzung / Einschränkung
Benchmark, Annotationseinheit, Referenzquelle und Fehlertyp müssen genannt werden.
Primär- und Hauptquellen
S-032, S-035, S-038, S-039
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-012 – Faktenkarte
Feld
Inhalt
Aussage
Es gibt keine universelle Halluzinationsrate eines Modells.
Faktenstatus
METHODISCHE SCHLUSSFOLGERUNG
Voraussetzung / Einschränkung
Raten hängen von Aufgabe, Domäne, Prompt, Modellversion, Grounding, Antwortlänge, Detektor und Verweigerungsstrategie ab.
Primär- und Hauptquellen
S-032 bis S-052
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-013 – Faktenkarte
Feld
Inhalt
Aussage
Vectaras Hallucination Leaderboard misst mit HHEM-2.3 die faktische Konsistenz von Zusammenfassungen gegenüber einem bereitgestellten Dokument; seine Prozentwerte sind keine universelle Halluzinationswahrscheinlichkeit eines Modells.
Faktenstatus
ANBIETER-BENCHMARK
Voraussetzung / Einschränkung
Datensatz, Prompt, Antwortfilter, Detektorversion und Modellendpunkte bestimmen das Ergebnis; HHEM-2.3 ist proprietär, HHEM-2.1-Open ein anderes Modell.
Primär- und Hauptquellen
S-050, S-051
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-014 – Faktenkarte
Feld
Inhalt
Aussage
RAG kann faktische Fehler reduzieren, beseitigt sie aber nicht: Retrieval kann falsche, irrelevante oder unvollständige Belege liefern und die Generierung kann vorhandene Belege ignorieren oder verdrehen.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
RAG-Evaluation muss Retrieval und Generation getrennt messen.
Primär- und Hauptquellen
S-014 bis S-016, S-035, S-045, S-046
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-015 – Faktenkarte
Feld
Inhalt
Aussage
Eine vorhandene Quellenangabe beweist weder, dass die Quelle die Aussage trägt, noch dass die Quelle selbst richtig oder aktuell ist.
Faktenstatus
EMPIRISCHER BEFUND
Voraussetzung / Einschränkung
Zitationskorrektheit, -vollständigkeit und Quellenqualität sind getrennte Metriken.
Primär- und Hauptquellen
S-047
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-016 – Faktenkarte
Feld
Inhalt
Aussage
FActScore zeigt, warum Langtext nicht sinnvoll mit einem einzigen Wahr/Falsch-Label bewertet wird: Ein Text kann gleichzeitig gestützte und ungestützte atomare Aussagen enthalten.
Faktenstatus
METHODISCHE GRUNDLAGE
Voraussetzung / Einschränkung
Die Zerlegung und Prüfung kann selbst modellabhängig fehlerhaft sein.
Primär- und Hauptquellen
S-034
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-017 – Faktenkarte
Feld
Inhalt
Aussage
SelfCheckGPT und semantische Entropie nutzen Variabilität mehrerer Antworten als Unsicherheitssignal; Konsistenz garantiert jedoch keine Wahrheit.
Faktenstatus
FORSCHUNGSSTAND
Voraussetzung / Einschränkung
Ein Modell kann denselben gelernten Irrtum stabil wiederholen.
Primär- und Hauptquellen
S-033, S-036, S-037
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-018 – Faktenkarte
Feld
Inhalt
Aussage
Abstention, Rückfragen und „nicht ausreichend belegt“ sind eigenständige Qualitätsfähigkeiten und sollten nicht wie falsche Antworten bestraft werden.
Faktenstatus
EVALUATIONSGRUNDLAGE
Voraussetzung / Einschränkung
Die optimale Antwortquote hängt von Fehlerkosten und Use Case ab.
Primär- und Hauptquellen
S-052, S-054, S-055
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-019 – Faktenkarte
Feld
Inhalt
Aussage
Das nominelle Kontextfenster ist eine technische Eingabegrenze, keine Garantie für effektive Erinnerung, Abruf, Integration oder Schlussfolgerung über den gesamten Kontext.
Faktenstatus
FORSCHUNGSSTAND
Voraussetzung / Einschränkung
LongBench Pro, Positions- und Dichtetests zeigen, dass effektive Kapazität von Aufgabe, Sprache, Position, Informationsdichte, Distraktoren und Training abhängt.
Primär- und Hauptquellen
S-057 bis S-070, S-123, S-124, S-127
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-020 – Faktenkarte
Feld
Inhalt
Aussage
Lost in the Middle beschreibt häufig schlechtere Leistung, wenn relevante Information in der Mitte eines langen Kontextes liegt; neuere Befunde ergänzen Position um Informationsdichte und globale Integrationsanforderung.
Faktenstatus
PEER-REVIEWTER UND AKTUELLER FORSCHUNGSSTAND
Voraussetzung / Einschränkung
Form und Stärke sind benchmark- und modellabhängig; nicht jede Aufgabe zeigt dieselbe U-Kurve, und aktuelle Ergänzungen sind überwiegend Preprints.
Primär- und Hauptquellen
S-057, S-064, S-070, S-123, S-124
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-021 – Faktenkarte
Feld
Inhalt
Aussage
Ein perfekter Needle-in-a-Haystack-Abruf belegt weder semantische Suche noch Multi-Dokument-Integration, Aggregation, Datenschutzlogik oder belastbares Schlussfolgern.
Faktenstatus
METHODISCHE EINORDNUNG
Voraussetzung / Einschränkung
RULER, NoLiMa, LongBench Pro, PAPerBench und realistische Suiten prüfen andere Fähigkeitsdimensionen.
Primär- und Hauptquellen
S-059, S-060, S-065, S-123, S-127
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-022 – Faktenkarte
Feld
Inhalt
Aussage
Lange Kontexte können Fehler vergrößern, weil mehr irrelevante, widersprüchliche, veraltete oder dicht gepackte Information in die Entscheidung gelangt.
Faktenstatus
FORSCHUNGSSYNTHESE
Voraussetzung / Einschränkung
Die Wirkung hängt von Retrieval, Ranking, Kontextaufbereitung, Sprache, Informationsdichte und Aufgabenstruktur ab.
Primär- und Hauptquellen
S-057 bis S-064, S-123, S-124, S-127
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-023 – Faktenkarte
Feld
Inhalt
Aussage
Ein Agentenbenchmark misst nie nur das Sprachmodell, sondern mindestens Modell, Systemprompt, Toolset, Scaffold, Speicher, Schrittbudget, Umgebung und Evaluator.
Faktenstatus
METHODISCHE GRUNDLAGE
Voraussetzung / Einschränkung
OSWorld 2.0 zeigt zusätzlich, wie stark lange Zustandsketten, versteckte Anforderungen und Verifikation die Endleistung begrenzen.
Primär- und Hauptquellen
S-071 bis S-095, S-125
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-024 – Faktenkarte
Feld
Inhalt
Aussage
Realistische Agentenbenchmarks zeigen weiterhin eine große Lücke bei langen End-to-End-Workflows: In OSWorld 2.0 erreichte das beste im Paper berichtete System 20,6 Prozent binären Erfolg und 54,8 Prozent partiellen Erfolg bei 500 Schritten.
Faktenstatus
AKTUELLER PREPRINT-BEFUND
Voraussetzung / Einschränkung
Die Werte gelten nur für Benchmarkversion, Modell, Scaffold, Toolaufrufe und Budget des Papers; sie sind kein universeller Produktwert.
Primär- und Hauptquellen
S-125
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-025 – Faktenkarte
Feld
Inhalt
Aussage
SWE-bench Verified ist am Stichtag kein geeigneter Frontier-Maßstab mehr: OpenAI fand bei mindestens 59,4 Prozent von 138 auditierten schwierigen Fällen materielle Test- oder Aufgabenprobleme und Hinweise auf Trainingskontamination.
Faktenstatus
ANBIETER-AUDIT / BENCHMARK-EINORDNUNG
Voraussetzung / Einschränkung
Der Audit stammt von OpenAI und betrifft den heutigen Sättigungsbereich; SWE-bench-Varianten bleiben mit vollständiger Konfiguration und unabhängiger Prüfung nutzbar.
Primär- und Hauptquellen
S-073 bis S-075, S-122
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-026 – Faktenkarte
Feld
Inhalt
Aussage
Die Wahrscheinlichkeit, dass ein Workflow mit mehreren abhängigen Schritten vollständig gelingt, fällt bei unabhängigen Schrittfehlern multiplikativ.
Faktenstatus
MATHEMATISCHE SYSTEMLOGIK
Voraussetzung / Einschränkung
Fehler sind in realen Agenten häufig korreliert; die einfache Multiplikation ist nur ein Modell.
Primär- und Hauptquellen
S-078, S-088
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-027 – Faktenkarte
Feld
Inhalt
Aussage
pass^k misst, ob ein Agent eine Aufgabe wiederholt zuverlässig löst; ein hoher einmaliger Best-of-N-Erfolg kann gleichzeitig geringe reproduzierbare Zuverlässigkeit verdecken.
Faktenstatus
BENCHMARK-METHODIK
Voraussetzung / Einschränkung
Kosten und Auswahlverfahren müssen mitberichtet werden.
Primär- und Hauptquellen
S-078, S-079
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-028 – Faktenkarte
Feld
Inhalt
Aussage
Ein Agent kann einen guten Endscore erreichen und dennoch riskante Zwischenhandlungen, unnötige Zugriffe oder regelwidrige Schritte ausführen.
Faktenstatus
FORSCHUNGSSYNTHESE
Voraussetzung / Einschränkung
Outcome-only-Evaluation muss durch Trajektorien-, Policy- und Sicherheitsprüfung ergänzt werden.
Primär- und Hauptquellen
S-091, S-092
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-029 – Faktenkarte
Feld
Inhalt
Aussage
Agentenumgebungen veralten: Websites, APIs, Abhängigkeiten, Tests und Konten ändern sich und können Scores unabhängig vom Modell verschieben.
Faktenstatus
BENCHMARK-METHODIK
Voraussetzung / Einschränkung
Versionierte Container und Reproduktionsprotokolle sind notwendig.
Primär- und Hauptquellen
S-072, S-074, S-077, S-079, S-091
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-030 – Faktenkarte
Feld
Inhalt
Aussage
Statische Benchmarks können durch öffentliche Testdaten, Trainingskontamination, fehlerhafte Tests und wiederholte Optimierung ihre Aussagekraft verlieren.
Faktenstatus
FORSCHUNGS- UND AUDITBEFUND
Voraussetzung / Einschränkung
Kontamination ist schwer vollständig nachzuweisen, weil Trainingsdaten oft nicht offengelegt werden; ein Benchmark kann zugleich Unter- und Überschätzung erzeugen.
Primär- und Hauptquellen
S-026 bis S-029, S-102, S-122
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-031 – Faktenkarte
Feld
Inhalt
Aussage
Scheinbar emergente Sprünge können durch diskontinuierliche Metriken entstehen; daraus folgt nicht, dass jede neue Fähigkeit ein Messartefakt ist.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
Fähigkeit, Messgröße und Skalierungskurve müssen getrennt analysiert werden.
Primär- und Hauptquellen
S-097
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-032 – Faktenkarte
Feld
Inhalt
Aussage
Promptformatierung kann die gemessene Leistung deutlich verändern, ohne dass das zugrunde liegende Modell neu trainiert wurde.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
Empfindlichkeit variiert nach Modell und Aufgabe; mehrere Promptvarianten sind für robuste Tests sinnvoll.
Primär- und Hauptquellen
S-101
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-033 – Faktenkarte
Feld
Inhalt
Aussage
Sycophancy bezeichnet zustimmende Anpassung an Nutzerannahmen, auch wenn diese sachlich falsch sind.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
Die Ausprägung hängt von Post-Training, Prompt und Domäne ab.
Primär- und Hauptquellen
S-098, S-099
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-034 – Faktenkarte
Feld
Inhalt
Aussage
Die Reversal-Curse-Arbeit zeigt eine spezifische asymmetrische Generalisierung; sie beweist nicht, dass LLMs grundsätzlich keine umkehrbaren Beziehungen lernen können.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
In-Context-Information und andere Trainingsformen können das Ergebnis verändern.
Primär- und Hauptquellen
S-100
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-035 – Faktenkarte
Feld
Inhalt
Aussage
GSM-Symbolic und ähnliche Arbeiten belegen Robustheitsprobleme gegenüber Varianten und irrelevanten Zusätzen, entscheiden aber nicht allein die philosophische Frage, ob Modelle „wirklich denken“.
Faktenstatus
FORSCHUNGSBEFUND
Voraussetzung / Einschränkung
Aufgabengenerator, Tokenbudget, Toolzugang und Bewertungsregeln beeinflussen die Schlussfolgerung.
Primär- und Hauptquellen
S-103 bis S-106
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-036 – Faktenkarte
Feld
Inhalt
Aussage
Modellkollaps ist kein unvermeidliches Schicksal jeder Nutzung synthetischer Daten.
Faktenstatus
FORSCHUNGSSTAND
Voraussetzung / Einschränkung
Kritisch sind rekursive Ersetzung, Mischung, Sampling, Verteilungsränder, Qualitätssicherung und Anteil frischer realer Daten.
Primär- und Hauptquellen
S-107 bis S-110
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-037 – Faktenkarte
Feld
Inhalt
Aussage
Die Nature-Arbeit zu Model Collapse untersucht bestimmte rekursive Trainingsregime; sie belegt nicht, dass ein einzelner KI-generierter Text das Internet oder ein Modell „vergiftet“.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
Übertragung auf reale Trainingspipelines erfordert Angaben zu Datenherkunft, Filterung und Mischung.
Primär- und Hauptquellen
S-107, S-108
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-038 – Faktenkarte
Feld
Inhalt
Aussage
Synthetische Daten können nützlich sein, etwa für seltene Fälle, Simulation, Distillation oder kontrollierte Aufgaben, wenn Qualität und Verteilung geprüft werden.
Faktenstatus
FORSCHUNGSSYNTHESE
Voraussetzung / Einschränkung
Nutzen ist domänen- und verfahrensabhängig; Blindakkumulation kann schaden.
Primär- und Hauptquellen
S-109, S-110
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-039 – Faktenkarte
Feld
Inhalt
Aussage
LeCuns Weltmodell-Position ist ein Forschungsprogramm und keine bewiesene Widerlegung von LLMs.
Faktenstatus
QUELLENSTATUS
Voraussetzung / Einschränkung
Sie benennt Defizite von rein reaktiver Tokenvorhersage und schlägt JEPA, Planung und latente Zustände vor.
Primär- und Hauptquellen
S-111
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-040 – Faktenkarte
Feld
Inhalt
Aussage
Weltmodelle versuchen planungsrelevante Zustände und Dynamik zu lernen; sie müssen nicht jedes Detail der Umwelt pixelgenau rekonstruieren.
Faktenstatus
PEER-REVIEWTER BEFUND
Voraussetzung / Einschränkung
MuZero zeigt explizit, dass eine latente planungsrelevante Repräsentation genügen kann.
Primär- und Hauptquellen
S-116 bis S-119
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-041 – Faktenkarte
Feld
Inhalt
Aussage
„LLM versus Weltmodell“ ist keine saubere Entweder-oder-Grenze: multimodale Modelle, latente Dynamik, Sprachschnittstellen und Planer können kombiniert werden; selbst die Definition von Weltmodell ist 2026 nicht konsensual.
Faktenstatus
FORSCHUNGSSYNTHESE
Voraussetzung / Einschränkung
Die Architekturgrenzen entwickeln sich schnell; aktuelle Definitionen und Roadmaps sind Perspektivpapiere, keine abschließende Taxonomie.
Primär- und Hauptquellen
S-111 bis S-121, S-128
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-042 – Faktenkarte
Feld
Inhalt
Aussage
Ein Modell kann beeindruckende Benchmarkleistung zeigen und zugleich bei dichterem Kontext, leicht veränderten Eingaben, seltenen Fällen oder langen Handlungsfolgen fragil sein.
Faktenstatus
FORSCHUNGSSYNTHESE
Voraussetzung / Einschränkung
Robustheit muss über Verteilungen, Positionen, Dichte, Varianten, Wiederholungen und End-to-End-Trajektorien geprüft werden.
Primär- und Hauptquellen
S-057, S-096 bis S-106, S-123 bis S-127
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-043 – Faktenkarte
Feld
Inhalt
Aussage
Modellupdates können eine Fähigkeit verbessern und eine andere verschlechtern; Versionswechsel brauchen Regressionstests.
Faktenstatus
BETRIEBLICHE SCHLUSSFOLGERUNG
Voraussetzung / Einschränkung
Öffentliche Anbieter ändern Modelle, Routing und Sicherheitsregeln teilweise ohne vollständige Offenlegung.
Primär- und Hauptquellen
S-025, S-050, S-072, S-074
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-044 – Faktenkarte
Feld
Inhalt
Aussage
Deterministische Temperatur- oder Samplingeinstellungen reduzieren Zufallsvariation, garantieren aber nicht überall bitidentische Antworten.
Faktenstatus
TECHNISCHE EINORDNUNG
Voraussetzung / Einschränkung
Serverseitige Änderungen, Hardware, Routing, Parallelität und Toolantworten können Variabilität erzeugen.
Primär- und Hauptquellen
S-025, S-026
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-045 – Faktenkarte
Feld
Inhalt
Aussage
Für Hochrisikoanwendungen ist eine gute durchschnittliche Genauigkeit unzureichend, wenn seltene Fehler hohe Schäden verursachen.
Faktenstatus
RISIKOSYNTHESE
Voraussetzung / Einschränkung
Fehlerklassen, Worst Cases, Erkennungs- und Eskalationsfähigkeit müssen separat bewertet werden.
Primär- und Hauptquellen
S-026, S-036, S-088
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-046 – Faktenkarte
Feld
Inhalt
Aussage
Die wirtschaftlich relevante Metrik eines KI-Systems ist oft nicht Modellgenauigkeit, sondern akzeptierter Output nach Retrieval, Tools, Review, Latenz, Kosten und Fehlerfolgen.
Faktenstatus
SYSTEMEINORDNUNG
Voraussetzung / Einschränkung
Modellbenchmarks bleiben für Vorauswahl nützlich, ersetzen aber den End-to-End-Test nicht.
Primär- und Hauptquellen
S-014 bis S-018, S-071 bis S-095
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-047 – Faktenkarte
Feld
Inhalt
Aussage
Ein Modell sollte gegen eine einfache Baseline getestet werden: Suche, Regelwerk, Datenbankabfrage, Template oder klassisches ML können günstiger und zuverlässiger sein.
Faktenstatus
BETRIEBLICHE SCHLUSSFOLGERUNG
Voraussetzung / Einschränkung
Generative Flexibilität ist nur wertvoll, wenn sie für die Aufgabe benötigt wird.
Primär- und Hauptquellen
S-014 bis S-017, S-022
Aktualisierungsrisiko
niedrig
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-048 – Faktenkarte
Feld
Inhalt
Aussage
Für belastbare Einführung müssen Testfälle reale Häufigkeiten und seltene kritische Randfälle enthalten; nur „schöne“ Demoaufgaben überschätzen die Systemleistung.
Faktenstatus
EVALUATIONSGRUNDLAGE
Voraussetzung / Einschränkung
Testsets benötigen Versionierung, Blindanteile und regelmäßige Erneuerung.
Primär- und Hauptquellen
S-026, S-091, S-102
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-049 – Faktenkarte
Feld
Inhalt
Aussage
Human-in-the-loop ist kein automatischer Sicherheitsnachweis: Menschen können Vorschläge ungeprüft übernehmen, Warnungen übersehen oder unter Zeitdruck nur formell freigeben.
Faktenstatus
FORSCHUNGSSYNTHESE
Voraussetzung / Einschränkung
Wirksamkeit muss über tatsächliche Entdeckung und Korrektur von Fehlern gemessen werden.
Primär- und Hauptquellen
S-096, S-099
Aktualisierungsrisiko
mittel
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
F-050 – Faktenkarte
Feld
Inhalt
Aussage
Die belastbarste Aussage über ein KI-System lautet immer kontextgebunden: welches Modell, welche Version, welcher Prompt, welche Daten, welche Tools, welche Aufgabe, welche Nutzer, welche Metrik und welcher Stichtag.
Faktenstatus
METHODISCHER REFERENZSTANDARD
Voraussetzung / Einschränkung
Ohne diese Angaben ist ein Leistungsversprechen nicht überprüfbar.
Primär- und Hauptquellen
S-026, S-091, S-102
Aktualisierungsrisiko
hoch
Mögliche Buchverwendung
Grundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle Sperre
Nicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft
7. August 2026
Glossar
Abstention
Bewusste Nichtbeantwortung oder Eskalation, wenn Evidenz oder Sicherheit nicht ausreichen.
Agent
System, das ein Ziel über mehrere Modell- und Toolschritte verfolgt und dabei Zustand verwaltet.
Attention
Mechanismus, der Beiträge anderer Tokenpositionen für eine aktuelle Repräsentation gewichtet.
Autoregressiv
Erzeugung eines Tokens auf Basis der vorherigen Token.
Benchmark
Definierte Sammlung von Aufgaben, Metriken und Bewertungsregeln.
Benchmarkkontamination
Überschneidung von Trainingsmaterial und Testaufgaben, direkt oder indirekt.
Calibration
Übereinstimmung zwischen vorhergesagter Sicherheit und beobachteter Fehlerhäufigkeit.
Chain-of-Thought
Textuelle Zwischenschritte vor einer Antwort; nicht automatisch kausal treue Erklärung.
Chunking
Aufteilung von Dokumenten in Einheiten für Suche und Kontextzusammenstellung.
Context Window
Maximal verarbeitbare Tokenmenge aus Eingabe und häufig Ausgabe; keine Garantie effektiver Nutzung.
Decoder-only Transformer
Autoregressive Transformerarchitektur, die nächste Token aus vorherigem Kontext vorhersagt.
Dense Retrieval
Semantische Suche über Vektorrepräsentationen statt ausschließlich Schlüsselwörter.
Deterministische Baseline
Nichtgenerative Vergleichslösung wie Regel, Query, Template oder klassischer Algorithmus.
Embedding
Vektorielle Repräsentation von Text, Bild oder anderem Inhalt.
Emergente Fähigkeit
Beobachtete Fähigkeit, die bei Skalierung scheinbar neu oder sprunghaft auftritt.
Entailment
Beziehung, bei der eine Aussage aus einem gegebenen Kontext folgt oder von ihm gestützt wird.
FActScore
Metrik für den Anteil atomarer Fakten, die durch eine definierte Wissensquelle gestützt werden.
Fine-Tuning
Zusätzliches Training eines vortrainierten Modells auf spezifischen Daten oder Zielen.
Foundation Model
Breit vortrainiertes Modell, das für viele nachgelagerte Aufgaben angepasst werden kann.
Groundedness
Grad, zu dem eine Antwort durch vorgegebene Quellen oder Kontext gestützt wird.
Halluzination
Uneinheitlicher Oberbegriff für erfundene, falsche, widersprüchliche oder ungestützte Ausgaben.
HELM
Evaluationsrahmen für mehrere Leistungs-, Robustheits-, Fairness- und Effizienzdimensionen.
HHEM
Vectaras Hallucination Evaluation Model zur Entailmentbewertung von Kontext-Antwort-Paaren.
Human-in-the-loop
Prozess, in dem Menschen bestimmte Prüf-, Freigabe- oder Eskalationsrollen übernehmen.
In-Context Learning
Anpassung des Verhaltens durch Instruktionen oder Beispiele im Prompt ohne Gewichtsupdate.
Inference
Ausführung eines trainierten Modells zur Erzeugung oder Bewertung von Ausgaben.
Instruction Tuning
Fine-Tuning auf Aufgabenbeschreibungen und gewünschte Antworten.
Plausibel formulierte, aber nicht hinreichend gestützte oder falsche Modellantwort.
Latenter Zustand
Interne komprimierte Repräsentation, die relevante Aspekte einer Situation abbildet.
Leaderboard
Rangliste von Systemen auf einem Benchmark; meist dynamisch und konfigurationsabhängig.
Long-tail Knowledge
Seltene Informationen, die in Trainingsdaten wenig vorkommen und oft schwächer gelernt werden.
Lost in the Middle
Positionsabhängiger Leistungsabfall bei relevanter Information in der Mitte langer Eingaben.
Mixture of Experts
Architektur mit vielen Teilnetzen, von denen je Token nur eine Auswahl aktiviert wird.
Model Collapse
Verlust von Verteilungsbreite oder Qualität über rekursive Trainingsschleifen mit Modelloutput.
Model Drift
Verhaltensänderung durch Modell-, Daten-, Prompt- oder Umgebungsänderungen.
Model Weight
Gelernter numerischer Parameter eines neuronalen Netzes.
Nadeltest
Needle-in-a-Haystack-Test: Abruf eines platzierten Faktums aus langem Füllkontext.
Next-token Prediction
Vorhersage der Wahrscheinlichkeitsverteilung des nächsten Tokens.
NoLiMa
Long-Context-Benchmark mit reduzierter lexikalischer Überlappung zwischen Frage und Evidenz.
Outcome Evaluation
Bewertung nur des Endergebnisses, nicht der Handlungstrajektorie.
Pass@k
Wahrscheinlichkeit, in k Versuchen mindestens einmal zu bestehen; häufig Best-of-k-orientiert.
Pass^k
Strengere Zuverlässigkeitsmetrik: alle oder definierte Wiederholungen müssen erfolgreich sein.
Perplexity
Exponentiierter durchschnittlicher negativer Log-Likelihood-Wert; misst Tokenvorhersage, nicht direkt Nützlichkeit.
Post-Training
Training nach dem Pretraining, etwa SFT, Präferenzoptimierung oder RL.
Pretraining
Breites selbstüberwachtes Training auf großen Datenmengen.
Prompt
Eingabe aus Instruktionen, Daten, Beispielen und Kontext.
Prompt Sensitivity
Leistungsänderung durch Form, Reihenfolge oder scheinbar nebensächliche Details eines Prompts.
RAG
Retrieval-Augmented Generation: Abruf externer Inhalte vor oder während der Generierung.
ReAct
Agentenmuster mit abwechselnden Reasoning- und Aktionsschritten.
Reasoning Model
Modell, das durch Post-Training und Inferenzbudget auf mehrstufige Problemlösung optimiert wurde.
Regression Test
Wiederholter Test, ob eine Änderung bestehende Fähigkeiten verschlechtert.
Retriever
Komponente, die relevante Dokumente oder Passagen auswählt.
RLHF
Reinforcement Learning from Human Feedback.
RLAIF
Reinforcement Learning from AI Feedback.
RULER
Long-Context-Benchmark mit mehreren synthetischen Abruf-, Tracking- und Aggregationsaufgaben.
Scaffold
Agentengerüst aus Prompts, Speicher, Tools, Schleifen und Kontrolllogik.
Self-Consistency
Mehrfaches Sampling von Lösungswegen und Auswahl einer häufigen Antwort.
Semantic Entropy
Unsicherheitsmaß über semantisch gebündelte Antworten.
Sycophancy
Zustimmende Anpassung an Nutzerannahmen zulasten sachlicher Richtigkeit.
Synthetic Data
Künstlich erzeugte Trainings- oder Testdaten, häufig durch Modelle oder Simulation.
System Prompt
Übergeordnete Instruktion für Verhalten und Grenzen eines Modells.
Temperature
Parameter zur Veränderung der Zufallsverteilung beim Sampling.
Test-time Compute
Rechenbudget während der Inferenz, etwa mehrere Pfade, Verifier oder längere Suche.
Token
Diskrete Verarbeitungseinheit eines Modells; nicht identisch mit Wort oder Zeichen.
Tool Use
Aufruf externer Funktionen, Rechner, Suche, Datenbanken oder Anwendungen.
Trajectory
Folge von Beobachtungen, Gedanken, Toolaufrufen und Aktionen eines Agenten.
Transformer
Neuronale Sequenzarchitektur, deren zentrale Operation Self-Attention ist.
Vector Database
System zum Speichern und Suchen von Embeddings.
Verifier
Komponente, die Kandidaten, Schritte oder Endergebnisse bewertet.
World Model
Modell interner Zustände und Dynamik für Vorhersage oder Planung; uneinheitlich definierter Begriff.
Beleg- und Quellenmatrix
Fakten-ID
Aussage
Quellen
Belegtyp
Refresh
F-001
Der Transformer ersetzt rekurrente Sequenzverarbeitung nicht durch „Verstehen“, sondern durch eine Architektur, die Beziehungen zwischen Tokenpositionen über Attention berechnet und stark parallelisierbar trainiert werden kann.
S-001
FORSCHUNGSGRUNDLAGE
niedrig
F-002
Ein Sprachmodell wird im Pretraining primär darauf optimiert, wahrscheinliche Tokenfortsetzungen zu modellieren; faktische Wahrheit ist nicht identisch mit diesem Trainingsziel.
S-003, S-006, S-052
TECHNISCHE GRUNDLAGE
niedrig
F-003
Skalengesetze beschreiben empirische Regelmäßigkeiten innerhalb bestimmter Modell-, Daten- und Compute-Regime; sie sind keine Naturgesetze und keine Garantie für jede nachgelagerte Fähigkeit.
S-004, S-005
FORSCHUNGSSTAND
niedrig
F-004
Compute-optimal bedeutet nicht „möglichst viele Parameter“, sondern eine abgestimmte Verteilung von Modellgröße, Daten und Rechenbudget.
S-005
FORSCHUNGSSTAND
niedrig
F-005
Instruction Tuning und Präferenztraining können ein kleineres Modell in menschlichen Präferenztests vor einem deutlich größeren Basismodell platzieren.
S-006
EMPIRISCHER BEFUND
niedrig
F-006
Parameterzahl, aktivierte Parameter, Speicherbedarf, Trainingscompute und Inferenzkosten sind unterschiedliche Größen.
S-012, S-013
TECHNISCHE GRUNDLAGE
mittel
F-007
Ein Modell kann mit Werkzeugen besser rechnen, suchen oder handeln, ohne dass sich seine internen Wissens- oder Schlussfolgerungsfähigkeiten im gleichen Maß verbessert haben.
S-017, S-018, S-022
SYSTEMEINORDNUNG
niedrig
F-008
Mehr Testzeit-Rechenbudget kann auf geeigneten Aufgaben Leistung erhöhen, aber der Nutzen hängt stark von Schwierigkeit, Suchstrategie und Verifierqualität ab.
S-021, S-024
FORSCHUNGSSTAND
mittel
F-009
Chain-of-Thought kann Benchmarkleistung verbessern, ist aber kein verlässlicher Einblick in den tatsächlichen kausalen Entscheidungsprozess des Modells.
S-019, S-096
PEER-REVIEWTER BEFUND
niedrig
F-010
Eine flüssige, detaillierte und selbstsichere Antwort ist kein belastbarer Wahrheitsindikator.
S-031 bis S-043
FORSCHUNGSSYNTHESE
niedrig
F-011
„Halluzination“ umfasst je nach Literatur mindestens faktisch falsche, aus dem Kontext nicht gestützte, widersprüchliche oder instruktionstreue Fehler; ohne Definition sind Raten nicht vergleichbar.
S-032, S-035, S-038, S-039
METHODISCHE GRUNDLAGE
niedrig
F-012
Es gibt keine universelle Halluzinationsrate eines Modells.
S-032 bis S-052
METHODISCHE SCHLUSSFOLGERUNG
hoch
F-013
Vectaras Hallucination Leaderboard misst mit HHEM-2.3 die faktische Konsistenz von Zusammenfassungen gegenüber einem bereitgestellten Dokument; seine Prozentwerte sind keine universelle Halluzinationswahrscheinlichkeit eines Modells.
S-050, S-051
ANBIETER-BENCHMARK
hoch
F-014
RAG kann faktische Fehler reduzieren, beseitigt sie aber nicht: Retrieval kann falsche, irrelevante oder unvollständige Belege liefern und die Generierung kann vorhandene Belege ignorieren oder verdrehen.
S-014 bis S-016, S-035, S-045, S-046
PEER-REVIEWTER BEFUND
mittel
F-015
Eine vorhandene Quellenangabe beweist weder, dass die Quelle die Aussage trägt, noch dass die Quelle selbst richtig oder aktuell ist.
S-047
EMPIRISCHER BEFUND
mittel
F-016
FActScore zeigt, warum Langtext nicht sinnvoll mit einem einzigen Wahr/Falsch-Label bewertet wird: Ein Text kann gleichzeitig gestützte und ungestützte atomare Aussagen enthalten.
S-034
METHODISCHE GRUNDLAGE
niedrig
F-017
SelfCheckGPT und semantische Entropie nutzen Variabilität mehrerer Antworten als Unsicherheitssignal; Konsistenz garantiert jedoch keine Wahrheit.
S-033, S-036, S-037
FORSCHUNGSSTAND
mittel
F-018
Abstention, Rückfragen und „nicht ausreichend belegt“ sind eigenständige Qualitätsfähigkeiten und sollten nicht wie falsche Antworten bestraft werden.
S-052, S-054, S-055
EVALUATIONSGRUNDLAGE
mittel
F-019
Das nominelle Kontextfenster ist eine technische Eingabegrenze, keine Garantie für effektive Erinnerung, Abruf, Integration oder Schlussfolgerung über den gesamten Kontext.
S-057 bis S-070, S-123, S-124, S-127
FORSCHUNGSSTAND
hoch
F-020
Lost in the Middle beschreibt häufig schlechtere Leistung, wenn relevante Information in der Mitte eines langen Kontextes liegt; neuere Befunde ergänzen Position um Informationsdichte und globale Integrationsanforderung.
S-057, S-064, S-070, S-123, S-124
PEER-REVIEWTER UND AKTUELLER FORSCHUNGSSTAND
mittel
F-021
Ein perfekter Needle-in-a-Haystack-Abruf belegt weder semantische Suche noch Multi-Dokument-Integration, Aggregation, Datenschutzlogik oder belastbares Schlussfolgern.
S-059, S-060, S-065, S-123, S-127
METHODISCHE EINORDNUNG
mittel
F-022
Lange Kontexte können Fehler vergrößern, weil mehr irrelevante, widersprüchliche, veraltete oder dicht gepackte Information in die Entscheidung gelangt.
S-057 bis S-064, S-123, S-124, S-127
FORSCHUNGSSYNTHESE
mittel
F-023
Ein Agentenbenchmark misst nie nur das Sprachmodell, sondern mindestens Modell, Systemprompt, Toolset, Scaffold, Speicher, Schrittbudget, Umgebung und Evaluator.
S-071 bis S-095, S-125
METHODISCHE GRUNDLAGE
hoch
F-024
Realistische Agentenbenchmarks zeigen weiterhin eine große Lücke bei langen End-to-End-Workflows: In OSWorld 2.0 erreichte das beste im Paper berichtete System 20,6 Prozent binären Erfolg und 54,8 Prozent partiellen Erfolg bei 500 Schritten.
S-125
AKTUELLER PREPRINT-BEFUND
hoch
F-025
SWE-bench Verified ist am Stichtag kein geeigneter Frontier-Maßstab mehr: OpenAI fand bei mindestens 59,4 Prozent von 138 auditierten schwierigen Fällen materielle Test- oder Aufgabenprobleme und Hinweise auf Trainingskontamination.
S-073 bis S-075, S-122
ANBIETER-AUDIT / BENCHMARK-EINORDNUNG
hoch
F-026
Die Wahrscheinlichkeit, dass ein Workflow mit mehreren abhängigen Schritten vollständig gelingt, fällt bei unabhängigen Schrittfehlern multiplikativ.
S-078, S-088
MATHEMATISCHE SYSTEMLOGIK
niedrig
F-027
pass^k misst, ob ein Agent eine Aufgabe wiederholt zuverlässig löst; ein hoher einmaliger Best-of-N-Erfolg kann gleichzeitig geringe reproduzierbare Zuverlässigkeit verdecken.
S-078, S-079
BENCHMARK-METHODIK
hoch
F-028
Ein Agent kann einen guten Endscore erreichen und dennoch riskante Zwischenhandlungen, unnötige Zugriffe oder regelwidrige Schritte ausführen.
S-091, S-092
FORSCHUNGSSYNTHESE
mittel
F-029
Agentenumgebungen veralten: Websites, APIs, Abhängigkeiten, Tests und Konten ändern sich und können Scores unabhängig vom Modell verschieben.
S-072, S-074, S-077, S-079, S-091
BENCHMARK-METHODIK
hoch
F-030
Statische Benchmarks können durch öffentliche Testdaten, Trainingskontamination, fehlerhafte Tests und wiederholte Optimierung ihre Aussagekraft verlieren.
S-026 bis S-029, S-102, S-122
FORSCHUNGS- UND AUDITBEFUND
hoch
F-031
Scheinbar emergente Sprünge können durch diskontinuierliche Metriken entstehen; daraus folgt nicht, dass jede neue Fähigkeit ein Messartefakt ist.
S-097
PEER-REVIEWTER BEFUND
niedrig
F-032
Promptformatierung kann die gemessene Leistung deutlich verändern, ohne dass das zugrunde liegende Modell neu trainiert wurde.
S-101
PEER-REVIEWTER BEFUND
mittel
F-033
Sycophancy bezeichnet zustimmende Anpassung an Nutzerannahmen, auch wenn diese sachlich falsch sind.
S-098, S-099
PEER-REVIEWTER BEFUND
mittel
F-034
Die Reversal-Curse-Arbeit zeigt eine spezifische asymmetrische Generalisierung; sie beweist nicht, dass LLMs grundsätzlich keine umkehrbaren Beziehungen lernen können.
S-100
PEER-REVIEWTER BEFUND
niedrig
F-035
GSM-Symbolic und ähnliche Arbeiten belegen Robustheitsprobleme gegenüber Varianten und irrelevanten Zusätzen, entscheiden aber nicht allein die philosophische Frage, ob Modelle „wirklich denken“.
S-103 bis S-106
FORSCHUNGSBEFUND
mittel
F-036
Modellkollaps ist kein unvermeidliches Schicksal jeder Nutzung synthetischer Daten.
S-107 bis S-110
FORSCHUNGSSTAND
mittel
F-037
Die Nature-Arbeit zu Model Collapse untersucht bestimmte rekursive Trainingsregime; sie belegt nicht, dass ein einzelner KI-generierter Text das Internet oder ein Modell „vergiftet“.
S-107, S-108
PEER-REVIEWTER BEFUND
niedrig
F-038
Synthetische Daten können nützlich sein, etwa für seltene Fälle, Simulation, Distillation oder kontrollierte Aufgaben, wenn Qualität und Verteilung geprüft werden.
S-109, S-110
FORSCHUNGSSYNTHESE
mittel
F-039
LeCuns Weltmodell-Position ist ein Forschungsprogramm und keine bewiesene Widerlegung von LLMs.
S-111
QUELLENSTATUS
niedrig
F-040
Weltmodelle versuchen planungsrelevante Zustände und Dynamik zu lernen; sie müssen nicht jedes Detail der Umwelt pixelgenau rekonstruieren.
S-116 bis S-119
PEER-REVIEWTER BEFUND
niedrig
F-041
„LLM versus Weltmodell“ ist keine saubere Entweder-oder-Grenze: multimodale Modelle, latente Dynamik, Sprachschnittstellen und Planer können kombiniert werden; selbst die Definition von Weltmodell ist 2026 nicht konsensual.
S-111 bis S-121, S-128
FORSCHUNGSSYNTHESE
hoch
F-042
Ein Modell kann beeindruckende Benchmarkleistung zeigen und zugleich bei dichterem Kontext, leicht veränderten Eingaben, seltenen Fällen oder langen Handlungsfolgen fragil sein.
S-057, S-096 bis S-106, S-123 bis S-127
FORSCHUNGSSYNTHESE
mittel
F-043
Modellupdates können eine Fähigkeit verbessern und eine andere verschlechtern; Versionswechsel brauchen Regressionstests.
S-025, S-050, S-072, S-074
BETRIEBLICHE SCHLUSSFOLGERUNG
hoch
F-044
Deterministische Temperatur- oder Samplingeinstellungen reduzieren Zufallsvariation, garantieren aber nicht überall bitidentische Antworten.
S-025, S-026
TECHNISCHE EINORDNUNG
hoch
F-045
Für Hochrisikoanwendungen ist eine gute durchschnittliche Genauigkeit unzureichend, wenn seltene Fehler hohe Schäden verursachen.
S-026, S-036, S-088
RISIKOSYNTHESE
niedrig
F-046
Die wirtschaftlich relevante Metrik eines KI-Systems ist oft nicht Modellgenauigkeit, sondern akzeptierter Output nach Retrieval, Tools, Review, Latenz, Kosten und Fehlerfolgen.
S-014 bis S-018, S-071 bis S-095
SYSTEMEINORDNUNG
niedrig
F-047
Ein Modell sollte gegen eine einfache Baseline getestet werden: Suche, Regelwerk, Datenbankabfrage, Template oder klassisches ML können günstiger und zuverlässiger sein.
S-014 bis S-017, S-022
BETRIEBLICHE SCHLUSSFOLGERUNG
niedrig
F-048
Für belastbare Einführung müssen Testfälle reale Häufigkeiten und seltene kritische Randfälle enthalten; nur „schöne“ Demoaufgaben überschätzen die Systemleistung.
S-026, S-091, S-102
EVALUATIONSGRUNDLAGE
mittel
F-049
Human-in-the-loop ist kein automatischer Sicherheitsnachweis: Menschen können Vorschläge ungeprüft übernehmen, Warnungen übersehen oder unter Zeitdruck nur formell freigeben.
S-096, S-099
FORSCHUNGSSYNTHESE
mittel
F-050
Die belastbarste Aussage über ein KI-System lautet immer kontextgebunden: welches Modell, welche Version, welcher Prompt, welche Daten, welche Tools, welche Aufgabe, welche Nutzer, welche Metrik und welcher Stichtag.
S-026, S-091, S-102
METHODISCHER REFERENZSTANDARD
hoch
Benchmark-zu-Aussage-Matrix
Themenblock
Tragende Quellen
Nicht zulässige Verkürzung
Transformer und Skalierung
S-001 bis S-013
„Attention ist Verständnis“ oder „größer ist immer besser“
Tools und Reasoning
S-017 bis S-024, S-096 bis S-106
„Chain-of-Thought zeigt den echten Denkweg“
Halluzination und RAG
S-031 bis S-055
„Modell hat eine feste Halluzinationsquote“
Langer Kontext
S-057 bis S-070
„Kontextfenster ist vollständig nutzbares Gedächtnis“
Agenten
S-071 bis S-095
„Leaderboardscore ist Modellfähigkeit oder Produktionsreife“
Model Collapse
S-107 bis S-110
„jede synthetische Datenverwendung führt zum Kollaps“
Weltmodelle
S-111 bis S-121
„Weltmodelle haben LLMs widerlegt“
Vollständiges Quellenregister
Direkte URLs sind als Arbeits- und Aktualisierungsgrundlage enthalten. Bei dynamischen Repositories, Leaderboards und Anbieterbeiträgen ist der Stand 7. August 2026 maßgeblich; vor Buchveröffentlichung erneut prüfen.
Dynamisches Leaderboard zur faktischen Konsistenz dokumentgestützter Zusammenfassungen; verwendet HHEM-2.3 und misst keine universelle Halluzinationswahrscheinlichkeit.
Audit von 138 häufig nicht gelösten Verified-Fällen: mindestens 59,4 Prozent mit materiellen Aufgaben- oder Testproblemen; zusätzlich Kontaminationshinweise. OpenAI berichtet Verified nicht mehr für Frontier-Launches und empfiehlt SWE-bench Pro.
1.500 natürliche englisch- und chinesischsprachige Langkontextfälle, 11 Haupt- und 25 Unteraufgaben, 8k bis 256k Token; Evaluation von 46 Modellen zeigt regelmäßig kürzeren effektiven als nominellen Kontext.
Kontrollierte Tests bei rund 12k Token zeigen Informationsdichte als eigenständigen Belastungsfaktor; in dichteren Settings sanken zuvor nahezu perfekte Abrufwerte bei untersuchten Modellen teils unter 60 Prozent.
108 lange Computer-Workflows mit median rund 1,6 Stunden menschlicher Bearbeitungszeit; bestes im Paper berichtetes System erreicht bei 500 Schritten 20,6 Prozent binären und 54,8 Prozent partiellen Erfolg.
SciFactCheck mit 2.500 Prompts aus fünf Wissenschaftsdomänen und 18 Modellen; in den untersuchten Minimalpaaren verschlechterte wissenschaftliches Fine-Tuning die Faktentreue und erhöhte sprachliche Bestimmtheit.
PAPerBench mit rund 29.000 Instanzen und 377.000 Fragen zwischen 1k und 256k Token berichtet in den untersuchten Modellen sinkende Personalisierungs- und Datenschutzleistung mit wachsendem Kontext.
Dokumentiert den fehlenden Konsens darüber, was ein Weltmodell ist, was es vorhersagen soll und wie es zu bauen ist; schlägt Definition und Entwicklungsstufen vor.
Schnell veraltende Informationen und Qualitätsbericht
Refresh-Liste
Thema
Warum veraltend?
Nächste Prüfung
Beobachtungsquelle
Priorität
Vectara Hallucination Leaderboard und HHEM
Modell-, Prompt-, Test- und Detektorversion ändern sich
vor jeder Zahlenverwendung
S-050, S-051
hoch
FACTS Grounding
Modelle und Leaderboard können aktualisiert werden
vor Veröffentlichung
S-048, S-049
hoch
SWE-bench und Verified-Audit
neue Varianten, Kontamination, Testfehler und veränderte Empfehlung
vor jeder Score-Nutzung
S-074, S-075, S-122
hoch
WebArena / OSWorld 2.0 / tau-bench
Umgebung, Modelle, Scaffolds und Budgets entwickeln sich schnell
vor jeder Rang- oder Prozentangabe
S-072, S-077, S-079, S-125
hoch
METR Time Horizons
laufende Messreihe und neue Modelle
vor aktueller Aussage
S-088
hoch
Terminal-Bench und 2026-Agentenstudien
junge Preprints, mögliche Revisionen
in drei bis sechs Monaten
S-090 bis S-095
hoch
Reasoning-Debatte 2025/26
Replikationen, Toolzugang und Modellversionen
vor Buchmanuskript
S-103 bis S-106
hoch
V-JEPA 2.1
Preprint, Modelle und Robotikbefunde jung
vor jeder Leistungszahl
S-115
hoch
Genie 2/3 und Weltmodell-Definition
Anbieterberichte und junge Definitionsdebatte
bei neuer Vollpublikation / Taxonomie
S-120, S-121, S-128
hoch
Langkontext-Benchmarks 2026
LongBench Pro, Dichtetests und PAPerBench sind junge Preprints
in drei bis sechs Monaten
S-123, S-124, S-127
hoch
Proprietäre Kontextfenster und Modelle
Produktparameter und Routing ändern sich
bei jeder Produkterwähnung
Anbieterquelle ergänzen
hoch
Model-Collapse-Forschung
Übertragung auf reale Trainingspipelines offen
jährlich
S-107 bis S-110
mittel
Grundlagen Transformer / RAG
wissenschaftliche Grundlage stabil
alle zwei Jahre
S-001, S-014
niedrig
Qualitätsbericht
Prüfpunkt
Ergebnis
Quellenzahl
128
Kernaussagen / Faktenkarten
50
Ausführliche Forschungs- und Benchmarkprofile
18
Unternehmensszenarien
18
Mythenprüfungen
20
Offene Forschungsfragen
20
Glossarbegriffe
71
Prüf- und Einführungsschritte
36
Tragende Evidenz
Mehrheit Originalarbeiten; Preprints, Positions- und Anbieterquellen gekennzeichnet
Größte verbleibende Unsicherheit
Proprietäre Trainingsdaten, dynamische Leaderboards und schnelle Modell-/Scaffoldänderungen
Rechtsprüfung
Nicht Gegenstand dieses Dossiers; Datenschutz, AI Act, Urheberrecht und Haftung in Dossiers 1–4
Aktualisierungspflicht
Alle aktuellen Modell-, Kontext- und Leaderboardzahlen vor Buchveröffentlichung neu prüfen
Abschluss-Checkliste für jede Buchbehauptung
Ist der Begriff operational definiert?
Ist klar, ob das Basismodell oder das Gesamtsystem gemeint ist?
Sind Modellversion, Stichtag und Benchmark genannt?
Trägt die Quelle genau die Aussage?
Ist eine Anbieterzahl als Anbieterzahl markiert?
Ist ein Preprint als vorläufig gekennzeichnet?
Sind Gegenbefunde oder Methodenkritik berücksichtigt?
Wird aus einer engen Aufgabe keine allgemeine Fähigkeit abgeleitet?
Ist der Nenner jeder Prozentzahl sichtbar?
Ist eine aktuelle Refresh-Prüfung terminiert?
> Schlussfolgerung > Die belastbare Grenze eines KI-Systems ist kein fester Strich. Sie ist eine messbare Fehlerlandschaft, die sich mit Aufgabe, Daten, Kontext, Werkzeugen, Nutzer und Version verschiebt. Professionelle Systeme machen diese Landschaft sichtbar, begrenzen ihre Folgen und prüfen sie nach jeder Änderung erneut.
A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business
Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.