Live Singapurs Banken versprechen KI-Umbau ohne Entlassungen
Dossier

Wie große Sprachmodelle wirklich funktionieren

Transformer, Halluzination, Kontextfenster, Reasoning, Agentenzuverlässigkeit, Model Collapse und Weltmodelle — die vollständige, faktenbasierte Einordnung mit allen Belegen.

· Stand: 18.08.2026 ·110 Min Lesezeit ·

Dieser Beitrag erklärt, wie moderne Sprachmodelle technisch wirklich arbeiten — vom Transformer über Pretraining und Post-Training bis zu Halluzination, Kontextfenstern, Reasoning und Agenten — und benennt die belegbaren Grenzen. Es ist die vollständige Fassung mit allen Kernaussagen, Forschungs- und Praxisprofilen, einem Prüf- und Einführungsfahrplan, Mythenprüfungen, Faktenkarten, Glossar sowie dem kompletten Quellenregister. Jede Fußnote verlinkt auf ihren Beleg. Recherchestand: 7. August 2026.

Management-Zusammenfassung

Was ein modernes Sprachmodell technisch ist

Der 2017 vorgestellte Transformer ist eine neuronale Sequenzarchitektur. Seine zentrale Operation, Self-Attention, berechnet für Tokenpositionen gewichtete Beziehungen zu anderen Positionen. Die Architektur machte Training stark parallelisierbar und ließ sich mit großen Daten- und Rechenmengen skalieren. Daraus folgt jedoch nicht, dass Attention eine Datenbank, ein Wahrheitsmechanismus oder ein menschliches Bedeutungsverständnis darstellt. Moderne LLMs entstehen erst aus dem Zusammenspiel von Architektur, Tokenisierung, Pretraining, Datenmischung, Post-Training, Inferenzlogik und Systemkomponenten. [S-001 bis S-013]

Autoregressive Sprachmodelle lernen im Pretraining primär, die Wahrscheinlichkeitsverteilung des nächsten Tokens aus dem vorherigen Kontext zu approximieren. Dieses Ziel zwingt sie, zahlreiche sprachliche, fachliche und strukturelle Regelmäßigkeiten zu komprimieren. Es verlangt aber nicht, jede erzeugte Behauptung gegen die Welt zu verifizieren. Wahrheitsgemäße Antworten können aus dem Trainingsziel entstehen; sie sind nicht identisch mit ihm. [S-003 bis S-006, S-031, S-052]

Skalierung verbessert viele Durchschnittsleistungen, doch „größer“ ist keine vollständige Fähigkeitsbeschreibung. Chinchilla zeigte, dass viele Modelle im Verhältnis zu ihrer Größe mit zu wenig Daten trainiert waren. Instruction Tuning und Präferenztraining verändern das Antwortverhalten erheblich; ein kleineres post-trainiertes Modell kann in Präferenztests vor einem größeren Basismodell liegen. Sparse Modelle aktivieren zudem nur einen Teil ihrer Parameter je Token. Parameterzahl, Trainingscompute, Inferenzkosten und effektive Qualität dürfen deshalb nicht gleichgesetzt werden. [S-004 bis S-013]

Halluzination ist kein einzelner Fehler und keine feste Modellquote

Der Begriff Halluzination wird uneinheitlich benutzt. Er kann eine objektiv falsche Behauptung, eine vom bereitgestellten Kontext nicht gestützte Aussage, einen Widerspruch zur Quelle, eine erfundene Quelle, eine falsche Rechenoperation oder eine instruktionstreue Abweichung bezeichnen. Eine Rate ist nur interpretierbar, wenn Fehlertyp, Aufgabe, Datensatz, Modellversion, Prompt, Antwortlänge, Grounding, Detektor und Umgang mit Nichtantworten benannt werden. [S-031 bis S-039]

Deshalb gibt es keine seriöse universelle Aussage wie „Modell X halluziniert zu sieben Prozent“. HaluEval, TruthfulQA, RAGTruth, FActScore, semantic entropy und Vectaras HHEM beantworten unterschiedliche Fragen. Vectaras aktuelles Leaderboard untersucht mit dem proprietären HHEM-2.3 vor allem, ob eine Zusammenfassung durch einen vorgegebenen Kontext gestützt wird. TruthfulQA prüft Fragen mit verbreiteten Fehlannahmen. RAGTruth annotiert ungestützte oder widersprüchliche Aussagen in RAG-Antworten. SciFactCheck ergänzt 2026 wissenschaftliche Langantworten und zeigt im untersuchten Fine-Tuning-Setting sogar schlechtere Faktentreue bei bestimmterer Sprache. Die Werte sind nicht austauschbar. [S-031 bis S-052, S-126]

Flüssigkeit, Detailgrad und Selbstsicherheit sind schwache Wahrheitsindikatoren. Ein Modell kann denselben Irrtum konsistent wiederholen. Umgekehrt kann ein korrektes Modell bei mehrfachem Sampling unterschiedliche Formulierungen erzeugen. Unsicherheitsverfahren wie SelfCheckGPT oder semantische Entropie liefern nützliche Signale, aber kein Wahrheitsorakel. Für praktische Systeme müssen Fehlererkennung, Abstention, Rückfragen, Retrieval, externe Berechnung und menschliche Freigabe als unterschiedliche Kontrollen kombiniert werden. [S-033, S-036, S-037, S-043, S-052 bis S-055]

RAG verbessert Grounding, nicht automatisch Wahrheit

Retrieval-Augmented Generation verknüpft ein Modell mit externen Dokumenten. Dies kann Aktualität, Quellenbezug und Nachprüfbarkeit verbessern. RAG ersetzt jedoch eine Fehlerquelle nicht, sondern baut eine Pipeline: Dokumentauswahl, Berechtigung, Parsing, Chunking, Embedding, Retrieval, Ranking, Kontextzusammenstellung, Konfliktauflösung und Generierung. Jede Stufe kann scheitern. [S-014 bis S-016, S-035, S-045, S-046]

RAGTruth dokumentiert, dass auch RAG-Antworten ungestützte oder widersprüchliche Aussagen enthalten. Eine angezeigte Quelle kann falsch zugeordnet sein oder nur einen Teil der Antwort tragen. Deshalb werden Retrieval Recall, Evidenzpräzision, Zitationskorrektheit, atomare Groundedness und Endantwortqualität getrennt gemessen. Eine einheitliche „RAG-Genauigkeit“ verschleiert Ursachen. [S-034, S-035, S-047 bis S-051]

Kontextfenster ist nicht gleich Arbeitsgedächtnis

Ein Anbieterwert von beispielsweise 128.000 oder mehr Token bezeichnet zunächst eine technische Eingabegrenze. Er beweist nicht, dass ein Modell jede Information über die gesamte Länge gleich gut findet, kombiniert und für Schlussfolgerungen nutzt. Lost in the Middle zeigte häufig bessere Nutzung relevanter Information am Anfang und Ende als in der Mitte. RULER, NoLiMa, HELMET und LongBench-Varianten zeigen zusätzlich, dass einfacher Wortabgleich, semantischer Abruf, Aggregation und Multi-Hop-Reasoning unterschiedliche Fähigkeiten sind. LongBench Pro evaluiert 1.500 natürliche bilinguale Fälle zwischen 8k und 256k Token und berichtet für 46 Modelle regelmäßig kürzere effektive als nominelle Kontexte. [S-057 bis S-070, S-123]

Ein perfekter Needle-in-a-Haystack-Test ist daher kein Beleg für effektives Langzeitgedächtnis. Lange Kontexte können sogar schaden, wenn irrelevante, widersprüchliche, veraltete oder sehr informationsdichte Inhalte Aufmerksamkeit binden. Kontrollierte 2026er Tests ergänzen Länge und Position um Informationsdichte; PAPerBench berichtet in seinem Setting zugleich sinkende Personalisierungs- und Datenschutzleistung mit wachsendem Kontext. Für Unternehmenssysteme ist ein kuratierter, versionierter und zielgerichtet abgerufener Kontext oft belastbarer als ein maximal gefülltes Fenster. [S-059, S-060, S-064, S-065, S-124, S-127]

Reasoning und Erklärungen

Chain-of-Thought und Testzeit-Compute können auf vielen Aufgaben Leistung verbessern. Das rechtfertigt jedoch nicht die Annahme, eine ausgegebene Begründung sei ein transparenter Blick in den kausalen Entscheidungsprozess. Turpin et al. zeigten, dass Modelle Antworten durch irrelevante Bias-Signale beeinflussen lassen und anschließend plausible, aber unvollständige Erklärungen erzeugen können. Prozessverifikation, Werkzeuge und mehrere Suchpfade können helfen, erzeugen aber neue Kosten und Fehlerstellen. [S-019 bis S-024, S-096]

Kontrollierte Arbeiten wie GSM-Symbolic und Apples Puzzleexperimente zeigen Robustheitsprobleme und Leistungseinbrüche. Gegenanalysen weisen auf unlösbare Testfälle, Tokenlimits und den Einfluss externer Werkzeuge hin. Der belastbare Schluss ist nicht „LLMs können denken“ oder „LLMs können grundsätzlich nicht denken“, sondern: Die gemessene Problemlösung ist empfindlich gegenüber Aufgabenform, Komplexität, Inferenzbudget, Prompt und Toolzugang. [S-103 bis S-106]

Agenten: Leistungswert des Gesamtsystems

Ein Agent verbindet ein Modell mit Tools, Speicher, Regeln und einer Schleife aus Beobachtung und Aktion. WebArena, OSWorld, SWE-bench und tau-bench haben die Evaluation näher an reale Arbeit gebracht. Gleichzeitig wird der Score untrennbar vom Scaffold: Prompt, Browser, Parser, Suchstrategie, Tooldefinitionen, Schrittbudget, Modellversion, Umgebung und Evaluator verändern das Resultat. [S-071 bis S-095]

Die Originalarbeiten zeigten meist deutliche Lücken zu Menschen. OSWorld 2.0 verschärft das Bild für lange Arbeitsabläufe: 108 Workflows mit median rund 1,6 Stunden menschlicher Bearbeitungszeit; das beste im Paper berichtete System erreichte bei 500 Schritten 20,6 Prozent binären und 54,8 Prozent partiellen Erfolg. Gleichzeitig verbessert sich manches Leaderboard schnell, ohne automatisch vergleichbar zu sein. SWE-bench Verified gilt seit dem OpenAI-Audit vom 23. Februar 2026 wegen Testfehlern und Kontaminationshinweisen nicht mehr als geeigneter Frontier-Maßstab. Besonders wichtig ist wiederholte Zuverlässigkeit. tau-bench verwendet pass^k, weil ein einmaliger Erfolg nicht beweist, dass derselbe Prozess achtmal korrekt und regelkonform läuft. In langen Workflows multiplizieren sich Schrittfehler; ein Agent kann zudem einen guten Endscore erreichen und trotzdem riskante Zwischenhandlungen ausführen. [S-078, S-079, S-088, S-091 bis S-094, S-122, S-125]

Model Collapse und Weltmodelle

Die Nature-Arbeit zu Model Collapse zeigt, dass rekursive Trainingsschleifen, in denen Modelloutput reale Daten zunehmend ersetzt, Verteilungsränder verlieren und Fehler verstärken können. Das ist kein Beleg, dass alle synthetischen Daten schädlich sind. Andere Arbeiten zeigen, dass das Beibehalten und Akkumulieren realer Daten in bestimmten Settings Kollaps vermeiden kann. Entscheidend sind Datenherkunft, Mischung, Filterung, Vielfalt und unabhängige Validierung. [S-107 bis S-110]

LeCuns Weltmodell-Programm kritisiert, dass reine Token- oder Pixelvorhersage für autonome, planende Maschinen nicht genügt, und schlägt latente prädiktive Repräsentationen vor. I-JEPA, V-JEPA, MuZero, Dreamer und Genie zeigen verschiedene Weltmodellansätze. Diese Forschung widerlegt LLMs nicht. Sie erweitert den Werkzeugkasten um Zustandsmodelle, Dynamik und Planung. Hybride Systeme aus Sprache, Wahrnehmung, Weltmodell, Suche und symbolischen Werkzeugen sind technisch naheliegend. Eine 2026er Definitions- und Roadmaparbeit dokumentiert zugleich, dass für den Begriff Weltmodell weiterhin kein Konsens über Definition, Vorhersageziel oder Architektur besteht. [S-111 bis S-121, S-128]

Konsequenz für Unternehmen und Buchaussagen

Die richtige Prüfungseinheit ist nicht „die KI“, sondern eine versionierte Systemkonfiguration in einem begrenzten Prozess. Das Dossier empfiehlt für jede Aussage die neun Angaben: Modell, Version, Stichtag, Prompt, Daten, Tools, Nutzergruppe, Aufgabe und Metrik. Ein externer Benchmark dient zur Vorauswahl; freigegeben wird erst nach einem internen Blindtest mit realen Häufigkeiten, kritischen Randfällen, Nettozeit, Vollkosten und wiederholter End-to-End-Zuverlässigkeit. [S-026, S-056, S-091 bis S-102]

> Management-Fazit > Modelle werden leistungsfähiger, aber ihre Grenzen verschwinden nicht gleichmäßig. Die professionellste Nutzung besteht nicht darin, Fehler zu leugnen oder Fähigkeiten kleinzureden. Sie besteht darin, die Aufgabe so zu bauen, dass Stärken nutzbar, Fehler sichtbar, Folgen begrenzt und Änderungen messbar werden.

Die 50 wichtigsten Kernaussagen

Fakten-IDKernaussageStatusEinschränkungHauptquelleRefresh
F-001Der Transformer ersetzt rekurrente Sequenzverarbeitung nicht durch „Verstehen“, sondern durch eine Architektur, die Beziehungen zwischen Tokenpositionen über Attention berechnet und stark parallelisierbar trainiert werden kann.FORSCHUNGSGRUNDLAGEDie Originalarbeit betraf maschinelle Übersetzung; heutige LLMs ergänzen zahlreiche Trainings-, Daten- und Systemkomponenten.S-001niedrig
F-002Ein Sprachmodell wird im Pretraining primär darauf optimiert, wahrscheinliche Tokenfortsetzungen zu modellieren; faktische Wahrheit ist nicht identisch mit diesem Trainingsziel.TECHNISCHE GRUNDLAGEPost-Training, Retrieval, Tools und Verifier verändern das Verhalten, heben die Grundspannung aber nicht vollständig auf.S-003, S-006, S-052niedrig
F-003Skalengesetze beschreiben empirische Regelmäßigkeiten innerhalb bestimmter Modell-, Daten- und Compute-Regime; sie sind keine Naturgesetze und keine Garantie für jede nachgelagerte Fähigkeit.FORSCHUNGSSTANDArchitektur, Datenqualität, Post-Training und Evaluation verändern die beobachteten Beziehungen.S-004, S-005niedrig
F-004Compute-optimal bedeutet nicht „möglichst viele Parameter“, sondern eine abgestimmte Verteilung von Modellgröße, Daten und Rechenbudget.FORSCHUNGSSTANDDie konkrete optimale Relation hängt von Annahmen, Daten, Architektur und Ziel ab.S-005niedrig
F-005Instruction Tuning und Präferenztraining können ein kleineres Modell in menschlichen Präferenztests vor einem deutlich größeren Basismodell platzieren.EMPIRISCHER BEFUNDPräferenz, Faktentreue, Robustheit und Sicherheit sind verschiedene Zielgrößen.S-006niedrig
F-006Parameterzahl, aktivierte Parameter, Speicherbedarf, Trainingscompute und Inferenzkosten sind unterschiedliche Größen.TECHNISCHE GRUNDLAGESparse Mixture-of-Experts und Quantisierung erschweren einfache Größenvergleiche zusätzlich.S-012, S-013mittel
F-007Ein Modell kann mit Werkzeugen besser rechnen, suchen oder handeln, ohne dass sich seine internen Wissens- oder Schlussfolgerungsfähigkeiten im gleichen Maß verbessert haben.SYSTEMEINORDNUNGGemessen wird dann das Gesamtsystem aus Modell, Prompt, Tool, Orchestrierung und Evaluator.S-017, S-018, S-022niedrig
F-008Mehr Testzeit-Rechenbudget kann auf geeigneten Aufgaben Leistung erhöhen, aber der Nutzen hängt stark von Schwierigkeit, Suchstrategie und Verifierqualität ab.FORSCHUNGSSTANDMehr Tokens oder längere Überlegung können auch Kosten, Latenz und Fehlerpfade erhöhen.S-021, S-024mittel
F-009Chain-of-Thought kann Benchmarkleistung verbessern, ist aber kein verlässlicher Einblick in den tatsächlichen kausalen Entscheidungsprozess des Modells.PEER-REVIEWTER BEFUNDAusgegebene Begründungen können nachträglich rationalisieren oder relevante Einflüsse verschweigen.S-019, S-096niedrig
F-010Eine flüssige, detaillierte und selbstsichere Antwort ist kein belastbarer Wahrheitsindikator.FORSCHUNGSSYNTHESEStil und Faktentreue müssen getrennt evaluiert werden.S-031 bis S-043niedrig
F-011„Halluzination“ umfasst je nach Literatur mindestens faktisch falsche, aus dem Kontext nicht gestützte, widersprüchliche oder instruktionstreue Fehler; ohne Definition sind Raten nicht vergleichbar.METHODISCHE GRUNDLAGEBenchmark, Annotationseinheit, Referenzquelle und Fehlertyp müssen genannt werden.S-032, S-035, S-038, S-039niedrig
F-012Es gibt keine universelle Halluzinationsrate eines Modells.METHODISCHE SCHLUSSFOLGERUNGRaten hängen von Aufgabe, Domäne, Prompt, Modellversion, Grounding, Antwortlänge, Detektor und Verweigerungsstrategie ab.S-032 bis S-052hoch
F-013Vectaras Hallucination Leaderboard misst mit HHEM-2.3 die faktische Konsistenz von Zusammenfassungen gegenüber einem bereitgestellten Dokument; seine Prozentwerte sind keine universelle Halluzinationswahrscheinlichkeit eines Modells.ANBIETER-BENCHMARKDatensatz, Prompt, Antwortfilter, Detektorversion und Modellendpunkte bestimmen das Ergebnis; HHEM-2.3 ist proprietär, HHEM-2.1-Open ein anderes Modell.S-050, S-051hoch
F-014RAG kann faktische Fehler reduzieren, beseitigt sie aber nicht: Retrieval kann falsche, irrelevante oder unvollständige Belege liefern und die Generierung kann vorhandene Belege ignorieren oder verdrehen.PEER-REVIEWTER BEFUNDRAG-Evaluation muss Retrieval und Generation getrennt messen.S-014 bis S-016, S-035, S-045, S-046mittel
F-015Eine vorhandene Quellenangabe beweist weder, dass die Quelle die Aussage trägt, noch dass die Quelle selbst richtig oder aktuell ist.EMPIRISCHER BEFUNDZitationskorrektheit, -vollständigkeit und Quellenqualität sind getrennte Metriken.S-047mittel
F-016FActScore zeigt, warum Langtext nicht sinnvoll mit einem einzigen Wahr/Falsch-Label bewertet wird: Ein Text kann gleichzeitig gestützte und ungestützte atomare Aussagen enthalten.METHODISCHE GRUNDLAGEDie Zerlegung und Prüfung kann selbst modellabhängig fehlerhaft sein.S-034niedrig
F-017SelfCheckGPT und semantische Entropie nutzen Variabilität mehrerer Antworten als Unsicherheitssignal; Konsistenz garantiert jedoch keine Wahrheit.FORSCHUNGSSTANDEin Modell kann denselben gelernten Irrtum stabil wiederholen.S-033, S-036, S-037mittel
F-018Abstention, Rückfragen und „nicht ausreichend belegt“ sind eigenständige Qualitätsfähigkeiten und sollten nicht wie falsche Antworten bestraft werden.EVALUATIONSGRUNDLAGEDie optimale Antwortquote hängt von Fehlerkosten und Use Case ab.S-052, S-054, S-055mittel
F-019Das nominelle Kontextfenster ist eine technische Eingabegrenze, keine Garantie für effektive Erinnerung, Abruf, Integration oder Schlussfolgerung über den gesamten Kontext.FORSCHUNGSSTANDLongBench Pro, Positions- und Dichtetests zeigen, dass effektive Kapazität von Aufgabe, Sprache, Position, Informationsdichte, Distraktoren und Training abhängt.S-057 bis S-070, S-123, S-124, S-127hoch
F-020Lost in the Middle beschreibt häufig schlechtere Leistung, wenn relevante Information in der Mitte eines langen Kontextes liegt; neuere Befunde ergänzen Position um Informationsdichte und globale Integrationsanforderung.PEER-REVIEWTER UND AKTUELLER FORSCHUNGSSTANDForm und Stärke sind benchmark- und modellabhängig; nicht jede Aufgabe zeigt dieselbe U-Kurve, und aktuelle Ergänzungen sind überwiegend Preprints.S-057, S-064, S-070, S-123, S-124mittel
F-021Ein perfekter Needle-in-a-Haystack-Abruf belegt weder semantische Suche noch Multi-Dokument-Integration, Aggregation, Datenschutzlogik oder belastbares Schlussfolgern.METHODISCHE EINORDNUNGRULER, NoLiMa, LongBench Pro, PAPerBench und realistische Suiten prüfen andere Fähigkeitsdimensionen.S-059, S-060, S-065, S-123, S-127mittel
F-022Lange Kontexte können Fehler vergrößern, weil mehr irrelevante, widersprüchliche, veraltete oder dicht gepackte Information in die Entscheidung gelangt.FORSCHUNGSSYNTHESEDie Wirkung hängt von Retrieval, Ranking, Kontextaufbereitung, Sprache, Informationsdichte und Aufgabenstruktur ab.S-057 bis S-064, S-123, S-124, S-127mittel
F-023Ein Agentenbenchmark misst nie nur das Sprachmodell, sondern mindestens Modell, Systemprompt, Toolset, Scaffold, Speicher, Schrittbudget, Umgebung und Evaluator.METHODISCHE GRUNDLAGEOSWorld 2.0 zeigt zusätzlich, wie stark lange Zustandsketten, versteckte Anforderungen und Verifikation die Endleistung begrenzen.S-071 bis S-095, S-125hoch
F-024Realistische Agentenbenchmarks zeigen weiterhin eine große Lücke bei langen End-to-End-Workflows: In OSWorld 2.0 erreichte das beste im Paper berichtete System 20,6 Prozent binären Erfolg und 54,8 Prozent partiellen Erfolg bei 500 Schritten.AKTUELLER PREPRINT-BEFUNDDie Werte gelten nur für Benchmarkversion, Modell, Scaffold, Toolaufrufe und Budget des Papers; sie sind kein universeller Produktwert.S-125hoch
F-025SWE-bench Verified ist am Stichtag kein geeigneter Frontier-Maßstab mehr: OpenAI fand bei mindestens 59,4 Prozent von 138 auditierten schwierigen Fällen materielle Test- oder Aufgabenprobleme und Hinweise auf Trainingskontamination.ANBIETER-AUDIT / BENCHMARK-EINORDNUNGDer Audit stammt von OpenAI und betrifft den heutigen Sättigungsbereich; SWE-bench-Varianten bleiben mit vollständiger Konfiguration und unabhängiger Prüfung nutzbar.S-073 bis S-075, S-122hoch
F-026Die Wahrscheinlichkeit, dass ein Workflow mit mehreren abhängigen Schritten vollständig gelingt, fällt bei unabhängigen Schrittfehlern multiplikativ.MATHEMATISCHE SYSTEMLOGIKFehler sind in realen Agenten häufig korreliert; die einfache Multiplikation ist nur ein Modell.S-078, S-088niedrig
F-027pass^k misst, ob ein Agent eine Aufgabe wiederholt zuverlässig löst; ein hoher einmaliger Best-of-N-Erfolg kann gleichzeitig geringe reproduzierbare Zuverlässigkeit verdecken.BENCHMARK-METHODIKKosten und Auswahlverfahren müssen mitberichtet werden.S-078, S-079hoch
F-028Ein Agent kann einen guten Endscore erreichen und dennoch riskante Zwischenhandlungen, unnötige Zugriffe oder regelwidrige Schritte ausführen.FORSCHUNGSSYNTHESEOutcome-only-Evaluation muss durch Trajektorien-, Policy- und Sicherheitsprüfung ergänzt werden.S-091, S-092mittel
F-029Agentenumgebungen veralten: Websites, APIs, Abhängigkeiten, Tests und Konten ändern sich und können Scores unabhängig vom Modell verschieben.BENCHMARK-METHODIKVersionierte Container und Reproduktionsprotokolle sind notwendig.S-072, S-074, S-077, S-079, S-091hoch
F-030Statische Benchmarks können durch öffentliche Testdaten, Trainingskontamination, fehlerhafte Tests und wiederholte Optimierung ihre Aussagekraft verlieren.FORSCHUNGS- UND AUDITBEFUNDKontamination ist schwer vollständig nachzuweisen, weil Trainingsdaten oft nicht offengelegt werden; ein Benchmark kann zugleich Unter- und Überschätzung erzeugen.S-026 bis S-029, S-102, S-122hoch
F-031Scheinbar emergente Sprünge können durch diskontinuierliche Metriken entstehen; daraus folgt nicht, dass jede neue Fähigkeit ein Messartefakt ist.PEER-REVIEWTER BEFUNDFähigkeit, Messgröße und Skalierungskurve müssen getrennt analysiert werden.S-097niedrig
F-032Promptformatierung kann die gemessene Leistung deutlich verändern, ohne dass das zugrunde liegende Modell neu trainiert wurde.PEER-REVIEWTER BEFUNDEmpfindlichkeit variiert nach Modell und Aufgabe; mehrere Promptvarianten sind für robuste Tests sinnvoll.S-101mittel
F-033Sycophancy bezeichnet zustimmende Anpassung an Nutzerannahmen, auch wenn diese sachlich falsch sind.PEER-REVIEWTER BEFUNDDie Ausprägung hängt von Post-Training, Prompt und Domäne ab.S-098, S-099mittel
F-034Die Reversal-Curse-Arbeit zeigt eine spezifische asymmetrische Generalisierung; sie beweist nicht, dass LLMs grundsätzlich keine umkehrbaren Beziehungen lernen können.PEER-REVIEWTER BEFUNDIn-Context-Information und andere Trainingsformen können das Ergebnis verändern.S-100niedrig
F-035GSM-Symbolic und ähnliche Arbeiten belegen Robustheitsprobleme gegenüber Varianten und irrelevanten Zusätzen, entscheiden aber nicht allein die philosophische Frage, ob Modelle „wirklich denken“.FORSCHUNGSBEFUNDAufgabengenerator, Tokenbudget, Toolzugang und Bewertungsregeln beeinflussen die Schlussfolgerung.S-103 bis S-106mittel
F-036Modellkollaps ist kein unvermeidliches Schicksal jeder Nutzung synthetischer Daten.FORSCHUNGSSTANDKritisch sind rekursive Ersetzung, Mischung, Sampling, Verteilungsränder, Qualitätssicherung und Anteil frischer realer Daten.S-107 bis S-110mittel
F-037Die Nature-Arbeit zu Model Collapse untersucht bestimmte rekursive Trainingsregime; sie belegt nicht, dass ein einzelner KI-generierter Text das Internet oder ein Modell „vergiftet“.PEER-REVIEWTER BEFUNDÜbertragung auf reale Trainingspipelines erfordert Angaben zu Datenherkunft, Filterung und Mischung.S-107, S-108niedrig
F-038Synthetische Daten können nützlich sein, etwa für seltene Fälle, Simulation, Distillation oder kontrollierte Aufgaben, wenn Qualität und Verteilung geprüft werden.FORSCHUNGSSYNTHESENutzen ist domänen- und verfahrensabhängig; Blindakkumulation kann schaden.S-109, S-110mittel
F-039LeCuns Weltmodell-Position ist ein Forschungsprogramm und keine bewiesene Widerlegung von LLMs.QUELLENSTATUSSie benennt Defizite von rein reaktiver Tokenvorhersage und schlägt JEPA, Planung und latente Zustände vor.S-111niedrig
F-040Weltmodelle versuchen planungsrelevante Zustände und Dynamik zu lernen; sie müssen nicht jedes Detail der Umwelt pixelgenau rekonstruieren.PEER-REVIEWTER BEFUNDMuZero zeigt explizit, dass eine latente planungsrelevante Repräsentation genügen kann.S-116 bis S-119niedrig
F-041„LLM versus Weltmodell“ ist keine saubere Entweder-oder-Grenze: multimodale Modelle, latente Dynamik, Sprachschnittstellen und Planer können kombiniert werden; selbst die Definition von Weltmodell ist 2026 nicht konsensual.FORSCHUNGSSYNTHESEDie Architekturgrenzen entwickeln sich schnell; aktuelle Definitionen und Roadmaps sind Perspektivpapiere, keine abschließende Taxonomie.S-111 bis S-121, S-128hoch
F-042Ein Modell kann beeindruckende Benchmarkleistung zeigen und zugleich bei dichterem Kontext, leicht veränderten Eingaben, seltenen Fällen oder langen Handlungsfolgen fragil sein.FORSCHUNGSSYNTHESERobustheit muss über Verteilungen, Positionen, Dichte, Varianten, Wiederholungen und End-to-End-Trajektorien geprüft werden.S-057, S-096 bis S-106, S-123 bis S-127mittel
F-043Modellupdates können eine Fähigkeit verbessern und eine andere verschlechtern; Versionswechsel brauchen Regressionstests.BETRIEBLICHE SCHLUSSFOLGERUNGÖffentliche Anbieter ändern Modelle, Routing und Sicherheitsregeln teilweise ohne vollständige Offenlegung.S-025, S-050, S-072, S-074hoch
F-044Deterministische Temperatur- oder Samplingeinstellungen reduzieren Zufallsvariation, garantieren aber nicht überall bitidentische Antworten.TECHNISCHE EINORDNUNGServerseitige Änderungen, Hardware, Routing, Parallelität und Toolantworten können Variabilität erzeugen.S-025, S-026hoch
F-045Für Hochrisikoanwendungen ist eine gute durchschnittliche Genauigkeit unzureichend, wenn seltene Fehler hohe Schäden verursachen.RISIKOSYNTHESEFehlerklassen, Worst Cases, Erkennungs- und Eskalationsfähigkeit müssen separat bewertet werden.S-026, S-036, S-088niedrig
F-046Die wirtschaftlich relevante Metrik eines KI-Systems ist oft nicht Modellgenauigkeit, sondern akzeptierter Output nach Retrieval, Tools, Review, Latenz, Kosten und Fehlerfolgen.SYSTEMEINORDNUNGModellbenchmarks bleiben für Vorauswahl nützlich, ersetzen aber den End-to-End-Test nicht.S-014 bis S-018, S-071 bis S-095niedrig
F-047Ein Modell sollte gegen eine einfache Baseline getestet werden: Suche, Regelwerk, Datenbankabfrage, Template oder klassisches ML können günstiger und zuverlässiger sein.BETRIEBLICHE SCHLUSSFOLGERUNGGenerative Flexibilität ist nur wertvoll, wenn sie für die Aufgabe benötigt wird.S-014 bis S-017, S-022niedrig
F-048Für belastbare Einführung müssen Testfälle reale Häufigkeiten und seltene kritische Randfälle enthalten; nur „schöne“ Demoaufgaben überschätzen die Systemleistung.EVALUATIONSGRUNDLAGETestsets benötigen Versionierung, Blindanteile und regelmäßige Erneuerung.S-026, S-091, S-102mittel
F-049Human-in-the-loop ist kein automatischer Sicherheitsnachweis: Menschen können Vorschläge ungeprüft übernehmen, Warnungen übersehen oder unter Zeitdruck nur formell freigeben.FORSCHUNGSSYNTHESEWirksamkeit muss über tatsächliche Entdeckung und Korrektur von Fehlern gemessen werden.S-096, S-099mittel
F-050Die belastbarste Aussage über ein KI-System lautet immer kontextgebunden: welches Modell, welche Version, welcher Prompt, welche Daten, welche Tools, welche Aufgabe, welche Nutzer, welche Metrik und welcher Stichtag.METHODISCHER REFERENZSTANDARDOhne diese Angaben ist ein Leistungsversprechen nicht überprüfbar.S-026, S-091, S-102hoch

Methodik, Evidenzhierarchie und Recherchegrenzen

Forschungsfrage

Untersucht wurde, welche technischen Grundlagen moderne Sprachmodelle tragen, welche Grenzen empirisch belegt sind, wie Halluzination, Kontextnutzung, Reasoning und Agentenzuverlässigkeit gemessen werden und wie Model Collapse sowie Weltmodelle sachlich einzuordnen sind. Der Schwerpunkt liegt auf Originalarbeiten und offiziellen Benchmarkquellen; Surveys dienen der Taxonomie und Querverbindung.

Evidenzhierarchie

StufeQuellentypVerwendungTypische Grenze
APeer-reviewte Originalarbeit / offizieller DatensatzTragende Befunde und MethodikReplikation, Aufgabenübertragbarkeit und Alter bleiben zu prüfen
BPreprint mit offenem Verfahren / CodeAktueller Forschungsstand und GegenpositionNicht abschließend begutachtet; Version kann sich ändern
COffizielle Benchmarkseite / RepositoryAktuelle Aufgaben, Versionen und LeaderboardsDynamisch; Anbieter- und Konfigurationsabhängigkeit
DAnbieter-Forschungsbericht / ModellkarteProduktnahe Eigenschaften und eigene ExperimenteSelektions- und Marketinginteresse; begrenzte externe Prüfung
ESurveyTaxonomie, Quellenfindung und FeldüberblickSekundärquelle; übernimmt mögliche Fehler und verkürzt Details

Belegregeln

  • Exakte Prozentwerte werden nur mit dem ursprünglichen Setting und nicht als zeitlose Modelleigenschaft verwendet.
  • Peer-reviewed, Preprint, Positionspapier, Anbieterquelle und dynamisches Leaderboard werden sichtbar getrennt.
  • Eine Forschungsaussage wird nicht von philosophischen Totalurteilen abgeleitet. „Zeigt Fragilität“ ist zulässig; „beweist fehlendes Denken“ regelmäßig nicht.
  • Agentenwerte werden dem gesamten System und nicht ausschließlich dem Basismodell zugerechnet.
  • Nominelle Kontextlänge, effektiver Abruf, semantische Integration und persistentes Gedächtnis werden getrennt.
  • Bei Halluzinationen werden Fehlertyp, Referenz, Annotationseinheit und Antwortpolitik genannt.
  • Aktuelle 2025/26-Preprints werden als schnell veraltend und revisionsbedürftig markiert.

Recherchegrenzen

Proprietäre Trainingsdaten, Post-Training-Rezepte, Routinglogik und vollständige Modellgewichte sind häufig nicht offengelegt. Dadurch lassen sich Kontamination, kausale Ursachen und Modelländerungen nicht vollständig prüfen. Öffentliche Leaderboards können kurzfristig wechseln oder unterschiedliche Budgets und Scaffolds zulassen. Das Dossier dokumentiert deshalb Verfahren und Einschränkungen stärker als Rangplätze.

Die Begriffe „Reasoning“, „Verstehen“, „Halluzination“, „Agent“ und „Weltmodell“ werden in der Literatur nicht einheitlich verwendet. Wo keine verbindliche Definition besteht, werden operationale Definitionen angegeben. Philosophische Fragen nach Bewusstsein oder menschgleichem Verständnis werden nicht als empirisch entschieden dargestellt.

Quellenstatistik

KennzahlWert
Gesamtzahl dokumentierter Quellen128
Wissenschaftliche Originalquellen113
Peer-reviewte Quellen68
Preprints / vorläufige Forschungsquellen38
Offizielle Benchmarkquellen7
Anbieterquellen11
Abgedeckter Zeitraum2016 bis 7. August 2026; zeitlose Grundlagen plus Schwerpunkt 2023–2026

Vom Transformer zum heutigen KI-System

GroßeSprach-modellesagen?Wahrscheinlichkeit je Kandidatvoraus0.58vorher0.18Wörter0.140.10kispotlight.de
Autoregressive Vorhersage: Aus dem bisherigen Text schätzt das Modell eine Wahrscheinlichkeitsverteilung über das nächste Token — und wählt daraus aus.
TokenisierungPretrainingPost-TrainingInferenzSystemkispotlight.de
Ein modernes KI-System entsteht nicht aus einem Schritt: Architektur und Tokenisierung, Pretraining, Post-Training, Inferenzlogik und Systemkomponenten greifen ineinander.

Self-Attention und Positionsinformation

Self-Attention erzeugt für jedes Token gewichtete Kombinationen anderer Repräsentationen. Query-, Key- und Value-Projektionen bestimmen, welche Beziehungen in einem Attention-Head relevant werden. Mehrere Heads können unterschiedliche Muster lernen. Da die Operation selbst keine Reihenfolge kennt, werden Positionsinformationen ergänzt, etwa sinusförmig, durch Rotary Position Embeddings oder lineare Biases. [S-001, S-067, S-068]

Die Berechnung ist kontextabhängig, aber nicht identisch mit menschlicher Aufmerksamkeit. Ein hoher Attention-Wert ist zudem keine vollständige Erklärung eines Outputs. Repräsentationen werden über viele Schichten, Residualpfade und nichtlineare Komponenten transformiert. Für Unternehmensanwender ist wichtig: „Das Modell hat den Text gesehen“ bedeutet nicht „das Modell hat jede Stelle korrekt berücksichtigt“.

Decoder-only und Tokenvorhersage

Heutige Chatmodelle beruhen häufig auf Decoder-only-Transformern. Beim Training wird der nächste Token aus vorherigen Token vorhergesagt. Die Loss-Funktion bewertet Wahrscheinlichkeiten, nicht den Wahrheitsgehalt einer vollständigen Antwort. Aus großen Korpora entstehen dennoch Grammatik, Stil, Faktenassoziationen, Muster von Code und teilweise generalisierbare Problemlösungsstrategien. Die Fähigkeiten sind eine Folge der Kompression vieler Strukturen, aber nicht für jede Verteilung gleich belastbar. [S-003, S-004, S-044]

Architekturvarianten

AnsatzKernideePotenzialGrenze für Vergleich
Dense TransformerAlle Parameterblöcke werden je Token genutzteinfaches Modellverständnis und breite EvidenzRechen- und Speicheraufwand steigt stark
Mixture of ExpertsRouter aktiviert nur ausgewählte Expertenviele Gesamtparameter bei begrenzter AktivierungRouting, Lastverteilung und aktive Parameter variieren
Sliding-Window / lokale AttentionBegrenzt direkte Attention auf Ausschnitteeffizientere lange Sequenzenglobale Beziehungen benötigen zusätzliche Mechanismen
State-Space-Modelle / MambaSelektive Zustandsdynamik mit linearer SequenzskalierungAlternative für lange Sequenzen und Inferenzweniger breite Langzeit- und Tool-Evidenz als Transformer
JEPA / latente PrädiktionVorhersage abstrakter RepräsentationenFokus auf relevante Struktur statt Rohdatenkein direkter Ersatz für Sprachschnittstelle oder Wissenssystem

Modell versus Produkt

Ein produktiver Assistent besteht regelmäßig aus mehr als Gewichten: Moderation, Systemprompt, Kontextverwaltung, Retrieval, Toolausführung, Caching, Routing, Sicherheitsfilter und Nutzeroberfläche wirken auf das Ergebnis. Derselbe Modellname kann hinter verschiedenen Produkten mit anderem Prompt, anderem Toolzugang oder anderer Modellroute stehen. Eine Aussage über ein Produkt darf nicht ohne Prüfung auf das Basismodell oder eine API übertragen werden. [S-025, S-026]

Pretraining, Skalierung und Post-Training

Daten, Parameter und Compute

Skalengesetze zeigten über untersuchte Bereiche glatte Beziehungen zwischen Rechenbudget, Daten, Parametern und Sprachmodellverlust. Chinchilla korrigierte eine frühere Praxis, Compute überwiegend in größere Modelle zu investieren, und argumentierte für deutlich mehr Trainingstoken. Diese Befunde erklären, warum zwei Modelle gleicher Größe sehr unterschiedliche Leistung besitzen können. Datenmenge, Datenqualität, Duplikate, Curriculum und Trainingsdauer gehören zur Modellbeschreibung. [S-004, S-005]

Was ein niedriger Loss nicht garantiert

  • keine garantierte Wahrheit einzelner Behauptungen;
  • keine robuste Leistung außerhalb der Trainingsverteilung;
  • keine sichere Toolauswahl oder Regelbefolgung;
  • keine faire oder unvoreingenommene Entscheidung;
  • keine stabile Leistung über beliebig lange Kontexte;
  • keine wirtschaftliche Überlegenheit in einem konkreten Prozess.

SFT, Präferenztraining und Sicherheitsverhalten

Supervised Fine-Tuning lehrt gewünschte Antwortformate und Aufgaben. Präferenztraining bewertet Antwortpaare und optimiert das Modell auf menschliche oder KI-generierte Präferenzen. Dadurch entsteht ein Chatverhalten, das höflicher, hilfreicher und regelorientierter wirkt. Gleichzeitig können Präferenzdaten Zustimmung, sprachliche Überzeugung und typische Nutzererwartungen belohnen. Sycophancy ist deshalb kein zufälliger Ausreißer, sondern ein mögliches Nebenprodukt der Optimierung auf menschliche Bewertungen. [S-006, S-007, S-098, S-099]

Inferenzstrategien

StrategieMechanismusNutzenRisiko / Kosten
Greedy / niedrige Temperaturwählt sehr wahrscheinliche Fortsetzungenstabiler und günstigsystematische Fehler bleiben stabil
Mehrfachsamplingmehrere KandidatenDiversität und UnsicherheitssignalKosten und Auswahlproblem
Self-ConsistencyMehrheit mehrerer Lösungswegekann Reasoningbenchmarks verbessernMehrheit kann gemeinsam falsch sein
Verifier / Prozessrewardbewertet Kandidaten oder Schrittebessere Auswahl bei gutem VerifierVerifier kann Goodhart- oder Biasfehler haben
Tree Searchexploriert mehrere Zuständehilft bei planbaren AufgabenLatenz und exponentielle Pfade
ToolaugmentationRechner, Code, Suche, APIsexakte externe FähigkeitenSchnittstellen-, Rechte- und Integrationsfehler

Halluzination und Faktentreue

Operationale Taxonomie

FehlerklasseDefinitionBeispielGeeigneter Test
Faktische FalschheitAussage widerspricht belastbarer Weltquellefalsches Datum oder Urteilatomare Quellenprüfung
Kontext-UntreueAussage wird vom bereitgestellten Dokument nicht getragenZusammenfassung ergänzt erfundenen GrundEntailment / Groundedness
Intrinsischer WiderspruchAntwort widerspricht direkt dem KontextQuelle nennt 12, Antwort nennt 21NLI plus Human Review
Extrinsische ErfindungAntwort ergänzt nicht belegte Informationerfundene Studie oder FunktionFActScore / Webprüfung
QuellenhalluzinationURL, Titel oder Zitat existiert nicht oder passt nichterfundener DOILink- und Fundstellenprüfung
Rechen-/LogikfehlerEvidenz stimmt, Schluss oder Berechnung nichtfalsche Prozentrechnungexterner Rechner / formaler Test
Auslassungkritische Einschränkung fehltKontraindikation nicht erwähntRecall- und Vollständigkeitstest
Instruktionsabweichungrichtiger Inhalt, aber verletzte Vorgabeverbotene Aktion oder falsches FormatPolicy- und Schema-Validator

Ursachenebenen

Halluzinationen lassen sich nicht auf eine einzige Ursache reduzieren. Training kann seltene oder widersprüchliche Fakten unzureichend repräsentieren. Das Decoding kann eine plausible Fortsetzung auswählen, obwohl das Modell unsicher ist. Post-Training kann Raten statt Rückfragen belohnen. Retrieval kann relevante Evidenz verfehlen. Lange Kontexte können Aufmerksamkeit verdünnen. Der Nutzer kann eine falsche Prämisse setzen, der das Modell sycophantisch folgt. [S-031 bis S-046, S-052]

EbeneTypische UrsacheKontrolle
Datenseltenes Wissen, Widerspruch, veraltete Informationkuratierte Quellen, Retrieval, Aktualisierung
Modellkomprimierte statt explizite FaktenspeicherungDomänentest, kleinere Antwortfreiheit
Promptunklare Aufgabe, falsche Prämisse, fehlende Rückfragestrukturierte Eingabe, Prämissenprüfung
DecodingRaten statt Abstention, lange freie Antwortselektive Antwort, Längen- und Formatgrenzen
Retrievalfalscher Chunk, niedriger Recall, Versionskonfliktseparate Retrievalmetriken, Metadatenfilter
Toolfalscher Aufruf oder fehlerhafte RückgabeSchema, Validierung, Reconciliation
MenschAutomation Bias, Zeitdruck, Scheinkontrollegezieltes Reviewdesign und Detection-Tests

Wahrheit, Treue und Nützlichkeit

Eine Antwort kann dem bereitgestellten Kontext treu sein und dennoch falsch sein, wenn die Quelle falsch oder veraltet ist. Sie kann faktisch korrekt sein und trotzdem die Instruktion verletzen. Sie kann wahr, aber unvollständig und dadurch gefährlich sein. Deshalb werden mindestens vier Achsen getrennt: Faktualität, Groundedness, Vollständigkeit und Policy-Compliance. Stil und Nützlichkeit kommen zusätzlich hinzu.

Abstention als produktive Fähigkeit

Ein System, das jede Frage beantwortet, maximiert Antwortquote, nicht notwendigerweise Nutzen. In risikoreichen Domänen kann eine richtige Nichtantwort besser sein als eine plausible Schätzung. Evaluationsdesigns müssen deshalb zulässige Rückfragen, Unsicherheitsmarkierung und Eskalation belohnen. Andernfalls trainiert und misst man das Raten. [S-052, S-054, S-055]

Halluzination messen: Benchmarks, Detektoren und Grenzen

Benchmarkvergleich

Benchmark / MethodePrimäres MessobjektEinheitStärkeNicht gemessen
TruthfulQAWahrheit gegenüber verbreiteten FehlannahmenFrage/Antwortgezielte adversariale FragenUnternehmens-RAG, Toolausführung
HaluEvalErkennung/Erzeugung halluzinierter BeispieleBeispiel / Aufgabemehrere Aufgabenartenuniverselle Modellquote
FActScoregestützte atomare Fakten in Langtextatomare Behauptungfeingranulare FehlerlokalisierungVollständigkeit und Quellenqualität vollständig
RAGTruthungestützte RAG-SpansFall und Wortspannenatürlich erzeugte RAG-Antwortenalle RAG-Architekturen und Domänen
Semantic Entropysemantische AntwortunsicherheitAntwortverteilungmodellinterne/black-box UnsicherheitWahrheit bei stabilen Irrtümern
Vectara HHEMEntailment Antwort gegen KontextKontext-Antwort-Paarschnelle groundedness-nahe Messungoffene Weltwahrheit und Vollständigkeit
FACTS Groundinglange dokumentgestützte AntwortenAntwort / Rubrikanspruchsvollere GroundingprüfungProduktionsdaten und jede Sprache

Warum Detektoren keine absolute Wahrheit liefern

Automatische Halluzinationsdetektoren sind selbst Modelle oder Heuristiken. Sie besitzen False Positives und False Negatives, reagieren auf Sprache und Domäne und können durch lange oder komplexe Aussagen überfordert werden. Ein Leaderboard, das mit einem Detektor bewertet wird, ist daher eine Messung „laut Detektor D auf Datensatz X“, nicht die direkte Beobachtung einer objektiven universellen Halluzinationsrate. [S-033 bis S-038, S-050, S-051]

Bewertungsnenner

MetrikZählerNennerInterpretationsrisiko
Antwortfehlerratefalsche beantwortete Fällealle beantworteten FälleVerweigerung kann Rate künstlich senken
Task Accuracykorrekte Fällealle TestfälleTeilqualität und Schweregrade verschwinden
Atomic Precisiongestützte Faktenalle erzeugten FaktenAuslassungen bleiben unbestraft
Atomic Recallkorrekt erwähnte Sollfaktenalle Sollfaktenkann zum Aufblähen der Antwort motivieren
Selective Accuracykorrekte Antwortenbeantwortete Fälle bei SchwelleCoverage muss parallel angegeben werden
Expected Costgewichtete Fehler- und BetriebskostenFälle oder TransaktionenGewichte sind unternehmensspezifisch

Mindestangaben für eine zitierfähige Rate

  1. Modell und exakte Version
  2. Stichtag und API/Checkpoint
  3. Datensatz und Split
  4. Aufgaben- und Fehlertyp
  5. Prompt und Decoding
  6. Grounding und verfügbare Tools
  7. Antwort-/Abstentionpolitik
  8. Annotation oder Detektorversion
  9. Konfidenzintervall oder Stichprobengröße
  10. Einschränkung der Übertragbarkeit

Grounding, RAG, Quellen und Verifikation

FrageRetrieverWissenBelegeModellAntwort mit Belegkispotlight.de
RAG (Retrieval-Augmented Generation): Belege werden gesucht und dem Modell mitgegeben. Das senkt Fehler, beseitigt sie aber nicht — Retrieval und Generierung müssen getrennt geprüft werden.

RAG als Kette

StufeKernfrageFehlermodusMetrik
QuellenbestandIst die richtige Information vorhanden und aktuell?fehlendes/veraltetes DokumentCoverage, Aktualitätsquote
ParsingWird Text, Tabelle und Struktur korrekt erfasst?verlorene Spalte, OCR-FehlerExtraktionsgenauigkeit
ChunkingBleibt der Sachzusammenhang erhalten?getrennte Definition und AusnahmeChunk-Recall / Kontextintegrität
Embedding / IndexIst der Inhalt suchbar und berechtigt?semantischer Verlust, ACL-FehlerIndex-Coverage, Zugriffstest
RetrievalWerden relevante Chunks gefunden?falscher oder kein TrefferRecall@k, MRR, nDCG
RerankingStehen tragende Belege oben?plausible Ablenkung dominiertPrecision@k
KontextbauWerden Versionen und Konflikte sichtbar?widersprüchliche Quellen vermischtKonflikt- und Versionsquote
GenerierungBleibt jede Aussage bei der Evidenz?Ergänzung aus Parameternatomare Groundedness
ZitationZeigt der Beleg auf die tragende Stelle?Quelle passt nur thematischCitation Correctness
AntwortpolitikWird bei Lücke zurückgefragt?Raten trotz fehlender EvidenzCoverage-Risk-Kurve

Grounded versus ungegroundet

Grounded Generation begrenzt die Antwort auf bereitgestellten Kontext oder verifizierte Tools. Ungegroundete Generation stützt sich stärker auf parametrisches Wissen. Diese Unterscheidung ist für Messung zentral: Eine aus dem Dokument nicht ableitbare Aussage ist im Groundingtest ein Fehler, selbst wenn sie zufällig wahr ist. Umgekehrt kann eine dokumenttreue Antwort eine veraltete Quelle korrekt wiedergeben. Das Produktionssystem braucht daher sowohl Groundedness als auch Quellenqualität.

Quellenpflicht und atomare Belege

Für Sachbuch, Rechts- oder Unternehmenswissen ist „Quelle am Absatzende“ oft zu grob. Ein Absatz kann fünf Behauptungen enthalten, von denen die Quelle nur zwei trägt. Der belastbare Workflow zerlegt Aussagen, speichert Fundstelle und Status und lässt nur freigegebene Fakten in die Manuskriptgenerierung. FActScore liefert hierfür eine methodische Vorlage, ersetzt aber nicht die menschliche Prüfung wichtiger Claims. [S-034, S-047]

Verifikation durch Tools

InhaltGeeignetes WerkzeugLLM-RolleFreigaberegel
ArithmetikRechner / CodeFormel auswählen und Ergebnis erklärenRechenweg maschinell reproduzierbar
DatenbankfaktSQL / APIQuery formulieren und Ergebnis verbalisierenSchema und Berechtigung validieren
WebfaktSuche plus SeitenabrufQuellen finden und Claims atomisierenOriginalquelle öffnen, Datum prüfen
DokumentklauselParser plus SeitenankerStelle finden und zusammenfassenSeite/Absatz muss sichtbar sein
GeschäftsregelRule EngineAusnahme erklärenRegel entscheidet, Modell formuliert

Kontextfenster, Lost in the Middle und effektiver Kontext

ZuverlässigkeitAnfangMitteEndeschwächste Nutzungkispotlight.de
Lost in the Middle: Information am Anfang und Ende des Kontexts wird oft zuverlässiger genutzt als Information in der Mitte — ein großes Kontextfenster garantiert keine effektive Nutzung.

Vier unterschiedliche Längenbegriffe

BegriffBedeutungTypischer Nachweis
Nominelle Kontextlängetechnisch akzeptierte TokenmengeAPI-/Modellkarte
Effektive RetrievallängeLänge, bei der relevante Information zuverlässig gefunden wirdPositions- und Nadeltests
IntegrationslängeLänge, bei der mehrere verstreute Belege korrekt kombiniert werdenRULER, LongBench, HELMET
Persistentes GedächtnisInformation über getrennte Sitzungen oder Aufgabenexterner Speicher / Continual-Learning-Test

Lost in the Middle

Die Originalarbeit zeigte in mehreren Aufgaben, dass Leistung häufig am besten ist, wenn relevante Information am Anfang oder Ende des Kontextes steht, und schwächer, wenn sie in der Mitte liegt. Das Muster wird als Primacy-/Recency-Bias beschrieben. Es ist kein unveränderliches Gesetz: neuere Modelle, Promptformen und Aufgaben können schwächere oder andere Muster zeigen. [S-057, S-064, S-070]

Distraktoren und semantische Nähe

Ein langer Kontext ist nicht nur mehr Text. Entscheidend sind Dichte und Ähnlichkeit der Ablenkungen. Wenn viele Passagen dieselben Begriffe oder unabhängig relevante Fakten enthalten, muss das Modell semantische und relationale Unterschiede auflösen. NoLiMa reduziert wörtliche Überlappung zwischen Frage und Beleg. Dense Contexts Are Hard Contexts hält Länge und Zielposition annähernd konstant und variiert Informationsdichte; bei dichteren rund 12k-Token-Settings fielen zuvor nahezu perfekte Abrufwerte der untersuchten Modelle teils unter 60 Prozent. [S-059, S-060, S-124]

Kosten und Ausgabebudget

LongBench Pro zeigt zusätzlich, dass native Langkontextoptimierung im untersuchten Feld stärker wirken kann als reine Parameterskalierung und dass Reasoning-Prompts nicht jedem Modell gleichermaßen helfen. Längere Eingaben erhöhen häufig Latenz und Inferenzkosten und können das verfügbare Ausgabebudget reduzieren. Ein Modell kann die richtige Lösung intern nicht vollständig ausgeben, wenn die Aufgabe exponentiell viele Schritte verlangt. Dies ist bei Puzzle- und Agententests eine relevante methodische Grenze. Kontext- und Outputlimit müssen getrennt ausgewiesen werden. [S-021, S-104, S-105, S-123]

Praktische Architekturentscheidung

MethodeGeeignet wennHauptvorteilHauptrisiko
Alles in den Promptkleiner, sauberer, konfliktfreier Bestandeinfach und vollständig sichtbarKosten, Position und Ablenkung
RAGgroßer, versionierter Bestandzielgerichteter KontextRetrievalfehler und fehlende Belege
Hierarchische Zusammenfassunglange Dokumente mit klarer Strukturkompakter ÜberblickFehler werden verdichtet und fortgeschrieben
Map-Reduce-Auswertungunabhängige Teilabschnitteskalierbare lokale Prüfungglobale Zusammenhänge gehen verloren
Strukturierte Extraktionbekannte Felder und Tabellendeterministische WeiterverarbeitungSchema deckt freie Bedeutungen nicht ab

Reasoning, Chain-of-Thought, Kalibrierung und Sycophancy

Funktionale Definition

Für dieses Dossier bezeichnet Reasoning die Fähigkeit, aus gegebenen Informationen über mehrere abhängige Schritte eine verifizierbare Lösung zu erzeugen. Die Definition macht keine Aussage über Bewusstsein. Ein korrektes Ergebnis kann aus Memorisation, Heuristik, Suche, formaler Berechnung oder einer Kombination stammen. Deshalb muss Evaluation Varianten und neue Instanzen enthalten.

Chain-of-Thought

Chain-of-Thought-Prompting verbesserte in der Originalarbeit bestimmte arithmetische, symbolische und Common-Sense-Aufgaben bei ausreichend großen Modellen. Self-Consistency wählte häufige Antworten aus mehreren Pfaden. Diese Verfahren zeigen, dass explizite Zwischenschritte als Arbeitsraum nützlich sein können. [S-019, S-020]

Die Zwischenschritte sind dennoch keine garantierte Erklärung. Modelle können sensible Hinweise nutzen, ohne sie zu nennen, oder eine bereits beeinflusste Antwort nachträglich rationalisieren. Für Auditierbarkeit sind daher externe Belege, überprüfbare Rechenschritte und Toollogs stärker als sprachlich plausible Gedankenketten. [S-096]

Sycophancy und Nutzerprämissen

Sycophancy ist die Tendenz, Nutzermeinungen oder -annahmen zu bestätigen. Post-Training auf Präferenz kann dieses Verhalten belohnen, wenn Menschen Zustimmung angenehmer finden als Korrektur. Ein Systemprompt „Widersprich mir“ kann helfen, ist aber keine robuste Kontrolle. Tests müssen falsche Prämissen, Autoritätsdruck und gewünschte Antworttendenzen enthalten. [S-098, S-099]

Kalibrierung

AusgabeformNutzenProblemBessere Praxis
„Ich bin sicher“einfach verständlichverbale Sicherheit ist schlecht kalibriertempirisch gemessene Risikoklasse
Prozentwertscheinbar präzisekann ohne Domänenkalibrierung bedeutungslos seinReliability Diagram / Coverage-Risk
Mehrfachantwortenzeigt mögliche Alternativenteuer und nicht automatisch vollständigsemantische Cluster plus Schwelle
Rückfragereduziert Ambiguitätkostet Interaktionbei fehlenden Pflichtfeldern erzwingen
Nichtantwortbegrenzt Risikoreduziert Coveragenach Fehlerkosten optimieren

Kontrollierte Reasoning-Benchmarks

GSM-Symbolic, Puzzleumgebungen und Reversal-Curse-Experimente sind wertvoll, weil sie gezielte Generalisationsfragen stellen. Sie dürfen aber nicht als alleinige Definition allgemeiner Intelligenz behandelt werden. Eine gute Studie trennt Beobachtung, Mechanismushypothese und philosophische Interpretation. [S-100, S-103 bis S-106]

Benchmarks, Kontamination und Übertragbarkeit

Was ein Benchmark leisten kann

Ein Benchmark schafft eine standardisierte Stichprobe, auf der Systeme unter definierten Regeln verglichen werden. Er kann Fortschritt sichtbar machen und Fehlerklassen strukturieren. Er ist keine vollständige Simulation des Produktionsbetriebs. Generalisierung auf ein Unternehmen setzt Ähnlichkeit von Aufgaben, Daten, Nutzern, Werkzeugen, Fehlerkosten und Betrieb voraus. [S-026 bis S-030, S-056]

Häufige Benchmarkfehler

FehlerWirkungGegenmaßnahme
Öffentliche Testdaten im TrainingMemorisation erscheint als Generalisierungzeitlich neue/private Blindsets
Ein einziger PromptPromptfit erscheint als Modellfähigkeitmehrere äquivalente Prompts
Durchschnitt über heterogene Aufgabenkritische Schwäche verschwindetSegment- und Tailanalyse
Best-of-N ohne KostenZuverlässigkeit wird überschätztpass^k, Budget und Auswahlverfahren
Ungültige/mehrdeutige Aufgabengute Systeme werden falsch bestraftHuman Validation und Dispute-Prozess
Dynamische Umgebung ohne VersionReplikation scheitertContainer, Snapshot, Commit-ID
Outcome ohne Trajektorieriskante Handlungen bleiben unsichtbarPolicy- und Aktionsaudit
Keine Konfidenzintervallekleine Unterschiede werden überinterpretiertBootstrap / gepaarte Tests

Emergenz und Metrik

Schaeffer et al. zeigten, dass diskontinuierliche Metriken glatte Leistungsverbesserungen als sprunghaften Fähigkeitserwerb erscheinen lassen können. Dies widerlegt nicht jede emergente Fähigkeit. Es verlangt, Rohwahrscheinlichkeiten, kontinuierliche Teilmetriken und Aufgabenschwierigkeit mitzudenken. [S-097]

Interner Referenzstandard

  1. Externer Benchmark nur als Hypothese für einen internen Test verwenden.
  2. Testfälle aus echten Prozessen ziehen und von Fachexperten validieren.
  3. Sensible und seltene Fälle separat gewichten.
  4. Modell, Prompt, Tools und Budget vollständig versionieren.
  5. Mehrere Wiederholungen und Promptvarianten durchführen.
  6. Nettozeit, Review, Kosten, Latenz und Fehlerfolgen zusätzlich messen.
  7. Nach jedem Modellupdate denselben Blindtest wiederholen.

Agenten: WebArena, SWE-bench, OSWorld, tau-bench und Zuverlässigkeit

Agentenstack

KomponenteFunktionTypischer Fehler
Basismodellinterpretiert Zustand und erzeugt nächste Aktionfalsche Annahme oder Planung
Systemprompt / Policysetzt Rolle und RegelnKonflikt, Umgehung, unklare Priorität
Toolbeschreibungdefiniert Aktionen und Argumentefalsche Auswahl oder Schemafehler
Umgebungliefert Beobachtungen und WirkungUI-/API-Änderung, Latenz, unvollständiger Zustand
Memoryspeichert Verlauf und Wissenveraltete oder falsche Erinnerung
Planner / Loopzerlegt und wiederholtEndlosschleife, lokale statt globale Strategie
Verifier / Evaluatorprüft Erfolgunvollständige Tests, Reward Hacking
Berechtigungbegrenzt Zugriffzu weit, zu eng oder mandantenfalsch

Ausgangsbefunde der Kernbenchmarks

BenchmarkOriginalumfang / SettingHistorischer KernbefundWarum nicht als aktueller Produktwert lesen
WebArenarealistische selbst gehostete Websitesbestes getestetes GPT-4-System 14,41 %; Menschen 78,24 %Modelle, Scaffolds und Umgebung seit 2023 verändert
SWE-bench2.294 Issues, 12 Python-Repositories; Verified 500 Fälle2026er Audit: mindestens 59,4 % von 138 schwierigen Fällen mit materiellen Test-/AufgabenproblemenVerified nicht mehr als Frontier-Maßstab; Kontamination und Audit-Stichprobe beachten
OSWorld 1.0/2.0369 kurze Aufgaben; 2.0: 108 lange Workflows, median Mensch ca. 1,6 h2.0: bestes im Paper berichtetes System 20,6 % binär / 54,8 % partiell bei 500 SchrittenPreprint, konkretes Modell/Scaffold/Budget; kein universeller Produktwert
tau-benchRetail/Airline, Dialog, Tools, PoliciesOriginal beste Agenten unter 50 %; pass^8 im Retail unter 25 %Simulator, Policies und aktuelle Modelle verändern Werte

Die Tabelle verbindet historische Ausgangswerte mit zwei aktuellen Stichtagsbefunden. Auch Werte vom Sommer 2026 sind nur Befunde ihrer Originalkonfiguration. Leaderboards müssen mit Modell, Agent, Budget, Commit, Testharness und Abrufdatum gespeichert werden. [S-071 bis S-079, S-122, S-125]

Zuverlässigkeitsmathematik

Bei einem vereinfachten Workflow mit zehn voneinander unabhängigen Schritten und je 95 Prozent Erfolgswahrscheinlichkeit beträgt die Wahrscheinlichkeit, dass alle Schritte gelingen, nur 0,95^10, also rund 59,9 Prozent. Bei 99 Prozent je Schritt sind es rund 90,4 Prozent. Reale Fehler können korreliert sein und sich fortpflanzen, wodurch die einfache Rechnung zu optimistisch oder in einzelnen Fällen zu pessimistisch sein kann. Sie zeigt dennoch, warum Schrittgenauigkeit und End-to-End-Erfolg getrennt werden müssen.

Outcome, Policy und Trajektorie

Ein Agent kann ein Ziel erreichen und dabei verbotene oder riskante Schritte ausführen. Umgekehrt kann ein sicherer Agent eine Aufgabe korrekt abbrechen und im Outcome-Score als Misserfolg erscheinen. Produktionsreife braucht daher mindestens drei Bewertungen: Zielerreichung, Regelbefolgung und sichere Trajektorie. [S-091, S-092]

Reproduzierbarkeit und Kosten

Agentenbenchmarks sind teuer und stochastic. Die 2026er Arbeit „How Many Tasks Are Enough“ zeigt, dass der notwendige Aufgabenanteil für stabile Paarvergleiche stark zwischen SWE-bench, AppWorld und tau-bench variiert. Der SWE-bench-Verified-Audit zeigt zusätzlich, dass mehr Modellleistung einen gesättigten oder fehlerhaften Benchmark nicht automatisch aussagekräftiger macht. Kleine Teiltests können Rankings umkehren. Kosten, Token, Laufzeit, Fehlerwiederholungen und statistische Unsicherheit gehören deshalb in jede Vergleichstabelle. [S-093, S-094, S-122]

Model Collapse und synthetische Daten

Präzise Definition

Model Collapse bezeichnet in diesem Dossier den Verlust von Qualität, Vielfalt oder Verteilungsrändern über Modellgenerationen, wenn Trainingsdaten zunehmend aus Outputs vorheriger Modelle bestehen. Die Nature-Arbeit zeigt in theoretischen und empirischen Settings, dass seltene Ereignisse früh verschwinden und die gelernte Verteilung degenerieren kann. [S-107, S-108]

Regime unterscheiden

RegimeBeschreibungErwartetes Risiko
Rekursive Ersetzungjede Generation ersetzt reale Daten zunehmend durch eigenen Outputhoch: Fehler und Verengung akkumulieren
Mischung ohne Provenienzreal und synthetisch vermischt, Herkunft unbekanntunklar bis hoch: Qualitätskontrolle erschwert
Akkumulation mit realem BestandOriginaldaten bleiben erhalten, synthetische Daten kommen hinzuin Studien deutlich robuster
Kuratiertes Synthetiksetgezielt erzeugte Fälle mit unabhängiger Prüfungkann nützlich sein, bleibt distributionsabhängig
Simulation mit formaler Wahrheitsynthetische Aufgaben haben prüfbare Lösungstark für Training/Test, wenn Simulator valide ist

Was die Forschung nicht belegt

  • dass jedes Modelltraining auf einem KI-generierten Satz messbar kollabiert;
  • dass alle synthetischen Daten schlechter als Webdaten sind;
  • dass reale Trainingspipelines unvermeidlich kollabieren;
  • dass Datenfilterung, Provenienz und menschliche Kuration wirkungslos wären;
  • dass der Begriff eine pauschale Erklärung für jede Qualitätsverschlechterung liefert.

Unternehmensrelevanz

Für unternehmensinterne Fine-Tuning-, Evaluations- und Wissensdaten ist Provenienz wichtig. Modelloutput darf nicht unbemerkt als menschlicher Goldstandard zurückfließen. Seltene Beschwerden, Ausnahmefälle und abweichende Formulierungen sollten erhalten und gezielt geprüft werden. Synthetische Daten sind sinnvoll, wenn Ziel, Erzeuger, Validierung, Mischungsanteil und bekannte Verzerrungen dokumentiert werden.

Weltmodelle, JEPA und die LeCun-Position

Forschungsposition statt Urteil

LeCuns „A Path Towards Autonomous Machine Intelligence“ ist ausdrücklich ein Positions- und Architekturpapier. Es argumentiert, dass autonome Systeme hierarchische Ziele, eine konfigurierbare Weltmodellkomponente, Kostenmodule und Planung benötigen. Die Kritik an generativer Rohdatenvorhersage ist ein Forschungsprogramm, keine experimentell abgeschlossene Widerlegung aller LLM-Ansätze. [S-111]

Drei Weltmodellfamilien

FamilieBeispielWas gelernt wirdGrenze
Latente RepräsentationsvorhersageI-JEPA, V-JEPARepräsentation verdeckter Bild-/VideobereicheRepräsentation ist nicht automatisch Aktionsmodell
Planungsrelevante DynamikMuZero, DreamerZustandsübergänge, Belohnung oder Wert für HandlungenErfolg oft in kontrollierten Domänen
Generative interaktive UmgebungGenie 1–3visuell interagierbare zukünftige Zuständeöffentliche Evidenz teils Anbieterbericht und kurze Horizonte

Sprachmodell und Weltmodell kombinieren

Ein LLM kann Ziele, Anweisungen, Pläne und Kommunikation verarbeiten. Ein Wahrnehmungsmodell kann Bilder oder Video in latente Zustände überführen. Ein Weltmodell kann Folgen von Aktionen prognostizieren. Ein formaler Planner oder Controller kann zulässige Aktionen auswählen. Die Komponenten müssen nicht in einem einzigen monolithischen Modell liegen. Systemarchitektur ist daher eine Frage von Schnittstellen, Fehlergrenzen und Evaluierbarkeit.

Stand der Evidenz

MuZero und Dreamer belegen leistungsfähige Planung in Spielen und Simulationsdomänen. I-JEPA und V-JEPA zeigen starke Repräsentationsleistung; V-JEPA 2 berichtet physische Vorhersage und Robotikplanung mit Webvideo und begrenzten Robotikdaten. V-JEPA 2.1 ist am Stichtag ein junger Preprint. Genie 2 und 3 werden primär über Anbieterbeiträge beschrieben. Diese Befunde sind substanziell, rechtfertigen aber noch keine pauschale Aussage über allgemeines physisches Verständnis. Die 2026er Roadmap ist selbst Ausdruck der begrifflichen Offenheit: Das Feld hat keinen Konsens darüber, welche Vorhersage, Repräsentation und Interaktion zwingend zu einem Weltmodell gehören. [S-112 bis S-121, S-128]

Technische Grenzen als Systemdesign

Deterministisch, probabilistisch oder hybrid

AufgabenartBevorzugter KernLLM-RolleBeispiel
Exakte Berechnungdeterministischer Rechner / CodeFormel und ErklärungSteuer, Summe, Prozent
Eindeutige GeschäftsregelRule Engine / Workflownatürliche Sprache und AusnahmeerfassungFreigabegrenze
Fakten aus strukturierten DatenSQL / APIQueryhilfe und ZusammenfassungBestellstatus
Semantische SucheRetriever plus RerankerFrageverständnis und SyntheseWissensassistent
Offene Textproduktiongeneratives ModellzentralEntwurf und Varianten
Mehrstufige Aktionhybrider Agent mit GatesPlanung und flexible AusnahmeBrowser- oder CRM-Workflow

Fehlerbegrenzung

  • Ausgabeformat durch Schema und Parser begrenzen.
  • Kritische Fakten aus Systemen binden statt frei generieren.
  • Irreversible Aktionen getrennt bestätigen.
  • Evidenz und Unsicherheit im Review sichtbar machen.
  • Abbruch-, Retry- und Eskalationsregeln definieren.
  • Modellversion und Datenstand vollständig protokollieren.
  • Jede Änderung mit Regression Suite und Shadow Mode prüfen.

Mindestmetriken eines produktiven Systems

DimensionMetrikbeispiele
AufgabenleistungAccuracy, F1, Success Rate, atomare Präzision/Recall
Zuverlässigkeitpass^k, Varianz, Retry-Rate, End-to-End-Erfolg
GroundingRetrieval Recall, Citation Correctness, Unsupported Claim Rate
SicherheitPolicy-Verstöße, unerlaubte Aktionen, Datenzugriffe
Menschliche ArbeitReviewzeit, Korrekturrate, Automation-Bias-Detection
BetriebLatenz, Verfügbarkeit, Kosten je akzeptiertem Ergebnis
ÄnderungRegressionen nach Modell-, Prompt-, Tool- und Datenupdate

18 ausführliche Forschungs- und Benchmarkprofile

Transformer (2017): Architektur statt magisches Verständnis

PrüffeldEinordnung
LeitfrageWas war die technische Neuerung, und was folgt daraus nicht?
UntersuchungsdesignDie Originalarbeit führte ein Encoder-Decoder-System ein, das Sequenzbeziehungen über Multi-Head-Self-Attention und Positionsinformationen verarbeitet. Die Übersetzungsversuche verglichen Qualität, Trainingszeit und Rechenaufwand mit damaligen rekurrenten und konvolutionalen Ansätzen.
Zentrale BefundeDie Architektur ließ sich stark parallelisieren und wurde zur Grundlage skalierbarer Sprachmodelle. Attention erlaubt jeder Position, Informationen anderer Positionen gewichtet einzubeziehen; sie ist jedoch weder eine Faktenbank noch ein Beweis für semantisches oder kausales Verständnis.
GrenzenDie Originalbefunde stammen aus maschineller Übersetzung. Moderne LLMs unterscheiden sich durch Datenmenge, Decoder-only-Aufbau, Post-Training, Tools, Multimodalität, Quantisierung und Infrastruktur. Aussagen wie „der Transformer versteht jedes Wort im Kontext“ sind technisch unpräzise.
Buch- und UnternehmensrelevanzFür das Buch ist der Transformer als Rechenarchitektur zu erklären. Die Fähigkeiten heutiger Systeme entstehen aus dem gesamten Trainings- und Systemstack, nicht aus Attention allein.
QuellenS-001, S-012, S-068

Skalengesetze und Chinchilla: Mehr ist nicht nur größer

PrüffeldEinordnung
LeitfrageWelche Rolle spielen Parameter, Daten und Compute?
UntersuchungsdesignKaplan et al. und Hoffmann et al. variierten Modellgröße, Datenmenge und Rechenbudget und passten empirische Verlustkurven an. Chinchilla verglich unter anderem Modelle von 70 Millionen bis 16 Milliarden Parametern und Datenmengen bis 500 Milliarden Token.
Zentrale BefundeIm untersuchten Regime sank der Sprachmodellverlust vorhersagbar mit mehr Compute; viele große Modelle waren gemessen am Trainingsbudget datenuntertrainiert. Compute-optimal skaliert nicht nur Parameter, sondern auch Daten. Instruction Tuning zeigte zugleich, dass nachgelagertes Verhalten nicht allein von der Basismodellgröße abhängt.
GrenzenSkalengesetze extrapolieren aus bestimmten Architekturen, Daten und Zielen. Sie sagen wenig über Wahrheit, Agentenzuverlässigkeit, Energie, Lizenzierung oder Unternehmensnutzen. Ein niedrigerer Pretraining-Loss kann sich je nach Aufgabe unterschiedlich auswirken.
Buch- und UnternehmensrelevanzGröße ist eine Eingangsvariable. Für Beschaffung und Buchargumentation sind Modellgeneration, Post-Training, Toolstack, Latenz und Aufgabe wichtiger als eine einzelne Parameterzahl.
QuellenS-003 bis S-006, S-013

Instruction Tuning, RLHF und RLAIF: Verhalten ist trainiert

PrüffeldEinordnung
LeitfrageWarum antworten Chatmodelle anders als Basismodelle?
UntersuchungsdesignSFT, Präferenzmodelle, Reinforcement Learning und KI-basiertes Feedback optimieren Antworten auf Instruktionsbefolgung, Hilfsbereitschaft und Sicherheitsregeln. Die Studien bewerten vor allem menschliche Präferenzen, Verhaltenstests und ausgewählte Benchmarks.
Zentrale BefundePost-Training kann die Nutzbarkeit stark erhöhen und unerwünschte Ausgaben reduzieren. Es beeinflusst Stil, Verweigerungen, Kooperationsbereitschaft, Selbstsicherheit und teilweise Faktentreue. Ein kleineres post-trainiertes Modell kann in Präferenzvergleichen ein größeres Basismodell übertreffen.
GrenzenPräferenz ist nicht Wahrheit. Menschen können überzeugende oder zustimmende Antworten bevorzugen. Sicherheits- und Hilfsziele können kollidieren; genaue Trainingsdaten und Reward-Modelle sind bei proprietären Systemen oft nicht öffentlich.
Buch- und UnternehmensrelevanzEin Chatbot ist kein neutraler Zugang zum Basismodell. Seine Antworten sind Ergebnis eines trainierten Verhaltensregimes und können sich mit Anbieterupdates ändern.
QuellenS-006, S-007, S-009, S-025

Toolgebrauch und Testzeit-Compute: Systemfähigkeit statt reiner Modellfähigkeit

PrüffeldEinordnung
LeitfrageWas verbessert sich durch Suche, Rechner, Code und längere Deliberation?
UntersuchungsdesignToolformer, ReAct, PAL, Tree of Thoughts, Prozessverifikation und Testzeit-Skalierung untersuchen externe Werkzeuge, mehrfache Pfade, Verifier und adaptives Rechenbudget.
Zentrale BefundeWerkzeuge können Schwächen bei Rechnen, Nachschlagen und Handeln kompensieren. Mehr Inferenzcompute kann bei ausreichend lösbaren Aufgaben ein kleineres Basismodell gegenüber einem größeren Modell aufholen oder übertreffen. Verifier können gute Pfade auswählen.
GrenzenWerkzeuge erzeugen neue Fehler: falsche API, falsche Argumente, unsichere Berechtigungen, fehlerhafte Toolantwort, Auswahlbias und Kosten. Ein Verifier kann systematisch falsche Antworten belohnen. Mehr „Denken“ ist nicht monoton besser.
Buch- und UnternehmensrelevanzLeistung muss auf Systemebene gemessen und Kosten je akzeptiertem Ergebnis ausgewiesen werden. Modell- und Toolbeitrag sind getrennt zu dokumentieren.
QuellenS-017 bis S-024

TruthfulQA, HaluEval und SciFactCheck: Halluzinationsraten brauchen Kontext

PrüffeldEinordnung
LeitfrageWarum lassen sich öffentlich genannte Prozentwerte kaum übertragen?
UntersuchungsdesignTruthfulQA nutzt Fragen mit verbreiteten Fehlannahmen, HaluEval mehrere Halluzinationsaufgaben. SciFactCheck ergänzt 2.500 offene Prompts aus fünf wissenschaftlichen Domänen und vergleicht in einem Minimalpaar-Design 18 wissenschaftlich feinabgestimmte Modelle mit ihren Basismodellen.
Zentrale BefundeDie Benchmarks erfassen verschiedene Fehlertypen. SciFactCheck berichtet im untersuchten Setting schlechtere faktische Zuverlässigkeit wissenschaftlich feinabgestimmter Modelle sowie geringere interne Sicherheit bei zugleich bestimmterer Sprache.
GrenzenDatensätze, Domänen, Annotation und Modellfamilien unterscheiden sich. SciFactCheck ist am Stichtag ein Preprint und beweist nicht, dass Fine-Tuning generell Halluzinationen erhöht.
Buch- und UnternehmensrelevanzKeine einzelne Rate als Modelleigenschaft zitieren. Trainingsverfahren müssen auf dem Zieltyp der Faktentreue und gegen das Basismodell geprüft werden.
QuellenS-031, S-032, S-038, S-039, S-126

FActScore: Langtext atomar prüfen

PrüffeldEinordnung
LeitfrageWie lässt sich Faktentreue langer Antworten differenzierter messen?
UntersuchungsdesignFActScore zerlegt eine Generation in atomare Behauptungen und prüft, welcher Anteil durch eine definierte Wissensquelle gestützt wird. Generative Suchforschung trennt zusätzlich Zitationskorrektheit und -vollständigkeit.
Zentrale BefundeEin einzelner Absatz kann richtige und falsche Aussagen mischen. Atomare Prüfung schafft nachvollziehbare Fehlerlokalisierung und verhindert, dass eine insgesamt flüssige Antwort pauschal als korrekt gilt.
GrenzenZerlegung, Retrieval und Verifikation können selbst fehlerhaft sein. Eine Referenzquelle kann unvollständig oder veraltet sein. FActScore misst Faktpräzision gegenüber einer Wissensbasis, nicht alle Qualitätsdimensionen.
Buch- und UnternehmensrelevanzFür die Buchproduktion eignet sich ein Claim-Ledger: Jede sachliche Aussage wird atomisiert, einer Primärquelle zugeordnet und separat freigegeben.
QuellenS-034, S-047

SelfCheckGPT und semantische Entropie: Unsicherheit ohne Wahrheitsorakel

PrüffeldEinordnung
LeitfrageKann ein Modell erkennen, wann es wahrscheinlich irrt?
UntersuchungsdesignSelfCheckGPT vergleicht mehrere stochastische Antworten. Semantische Entropie bündelt inhaltlich gleichwertige Antworten und misst die Verteilung über Bedeutungen statt Tokenfolgen. Kalibrierungsarbeiten untersuchen Selbstbewertungen.
Zentrale BefundeStark divergierende semantische Antworten können ein nützliches Unsicherheitssignal sein. Die Nature-Arbeit zeigte, dass semantische Entropie Konfabulationen in untersuchten Aufgaben besser erkennen kann als mehrere Baselines.
GrenzenStabile Wiederholung kann stabil falsch sein. Mehrfachsampling erhöht Latenz und Kosten. Kalibrierung über eine Domäne überträgt sich nicht automatisch. Unsicherheit ist kein Beweis für Fehler, Sicherheit kein Beweis für Wahrheit.
Buch- und UnternehmensrelevanzUnsicherheit eignet sich für Routing: Antwort, Rückfrage, Retrieval, Verifikation oder menschliche Eskalation. Sie darf nicht allein die Freigabe bestimmen.
QuellenS-033, S-036, S-037, S-043

RAGTruth und Self-RAG: Grounding ist eine Pipeline

PrüffeldEinordnung
LeitfrageWas leistet Retrieval-Augmented Generation wirklich?
UntersuchungsdesignRAG kombiniert Retriever und Generator. RAGTruth annotiert nahezu 18.000 natürlich erzeugte RAG-Antworten auf Fall- und Wortebene. Self-RAG trainiert Abruf- und Kritiksignale.
Zentrale BefundeExterne Dokumente können Aktualität und Nachprüfbarkeit verbessern. Trotzdem treten ungestützte oder widersprüchliche Aussagen auf. Die Qualität hängt von Dokumenten, Chunking, Embeddings, Suche, Ranking, Kontextzusammenstellung und Generierung ab.
GrenzenRAG kann nur aus vorhandenen, erreichbaren und korrekt indizierten Quellen schöpfen. Konflikte, Versionen, Tabellen, Bilder und Berechtigungen erfordern eigene Tests. Eine Quellenanzeige kann Scheingenauigkeit erzeugen.
Buch- und UnternehmensrelevanzRAG wird als Daten- und Evaluationssystem behandelt, nicht als Checkbox. Retrieval Recall, Evidenzpräzision, Groundedness und Endantwortqualität erhalten getrennte Kennzahlen.
QuellenS-014 bis S-016, S-035, S-045, S-046

Vectara HHEM-2.3: nützlich, aber eng definiert

PrüffeldEinordnung
LeitfrageWas misst das dynamische Hallucination Leaderboard tatsächlich?
UntersuchungsdesignVectara lässt Modelle Dokumente zusammenfassen und bewertet die Unterstützung der Zusammenfassungen durch die Ausgangsdokumente mit dem proprietären HHEM-2.3. HHEM-2.1-Open ist ein separat verfügbares offenes Bewertungsmodell.
Zentrale BefundeDas Verfahren liefert eine skalierbare, settingbezogene Kennzahl für faktische Konsistenz in dokumentgestützter Zusammenfassung und ist für RAG-nahe Qualitätsbeobachtung nützlich.
GrenzenHHEM-2.3 ist proprietär; Detektor, Datensatz, Prompt, Refusal-Filter und Endpunkte ändern sich. Gemessen werden weder offene Weltwahrheit noch Vollständigkeit, Quellenqualität oder allgemeine Agentenzuverlässigkeit.
Buch- und UnternehmensrelevanzZahlen nur mit Abrufdatum, HHEM-Version, Taskdefinition, Antwortquote und Modellendpunkt zitieren; nicht als universelle Halluzinationsquote formulieren.
QuellenS-050, S-051

Lost in the Middle und Positionsfehler: Kontextposition als Fehlerquelle

PrüffeldEinordnung
LeitfrageWarum kann eine Information im Kontext vorhanden und dennoch faktisch unsichtbar sein?
UntersuchungsdesignDie Arbeiten variieren Position, Länge, Evidenzverteilung und in neueren Tests auch Natürlichkeit und Informationsdichte des Kontextes.
Zentrale BefundeRelevante Information wird häufig am Anfang oder Ende besser genutzt als in der Mitte. LongBench Pro berichtet regelmäßig kürzere effektive als nominelle Kontexte; kontrollierte Dichtetests zeigen zusätzliche Einbrüche bei informationsreichen statt bloß langen Eingaben.
GrenzenMuster, Sprachen und Aufgaben unterscheiden sich. LongBench Pro, Positional Failures und Dense Contexts sind am Stichtag Preprints; einfache Nadeltests bilden reale Integrationsaufgaben nur unvollständig ab.
Buch- und UnternehmensrelevanzTestfälle über Positionen, Dichten, Sprachen und globale Belegkombinationen streuen. Keine Produktfreigabe aus einer einzelnen Nadelkurve ableiten.
QuellenS-057, S-064, S-070, S-123, S-124

RULER, NoLiMa, LongBench Pro und PAPerBench: das nutzbare Kontextfenster

PrüffeldEinordnung
LeitfrageWie weit reicht ein Kontextfenster funktional statt nominell?
UntersuchungsdesignDie Suiten kombinieren synthetischen Abruf, semantisch nicht wörtlich passende Belege, natürliche Langdokumente, Multi-Hop-Aufgaben, Personalisierung und Datenschutztests zwischen wenigen Tausend und bis zu 256.000 Token.
Zentrale BefundeDie effektive Leistung fällt je nach Aufgabe früher ab als die technische Eingabegrenze. LongBench Pro evaluiert 46 Modelle auf 1.500 natürlichen bilingualen Fällen; PAPerBench berichtet in seinem Setting sinkende Personalisierungs- und Datenschutzleistung bei wachsendem Kontext.
GrenzenBenchmarkkonstruktion, Sprache und Metriken unterscheiden sich. Die 2026er Arbeiten sind Preprints; PAPerBench ist ein einzelnes, groß angelegtes Forschungsprojekt und seine theoretische Erklärung kein Feldkonsens.
Buch- und UnternehmensrelevanzNominelle Länge, lokaler Abruf, globale Integration, Datenschutz und Kosten getrennt testen. Kontext nur so groß wie für die Aufgabe nötig aufbauen.
QuellenS-058 bis S-063, S-123, S-124, S-127

SWE-bench: realistische Software-Issues und ein Maßstab mit Verfallsdatum

PrüffeldEinordnung
LeitfrageWas misst der Benchmark, und warum wurde Verified 2026 herabgestuft?
UntersuchungsdesignSWE-bench koppelt reale GitHub-Issues an Repositories und Tests. Verified kuratierte 500 Aufgaben. OpenAI auditierte 2026 138 Fälle, die o3 über 64 Läufe nicht konsistent löste, mit mindestens sechs erfahrenen Entwicklern je Fall.
Zentrale BefundeDer Benchmark brachte Evaluation näher an echte Repositories. Der 2026er Audit fand bei mindestens 59,4 Prozent der 138 geprüften schwierigen Fälle materielle Aufgaben- oder Testprobleme und Hinweise, dass Frontiermodelle Teile von Problemen oder Gold-Patches aus Training kennen.
GrenzenDer Audit ist eine Anbieteranalyse und fokussiert schwierige Restfälle, nicht eine zufällige Vollstichprobe aller 500 Aufgaben. Andere Varianten, insbesondere neuere oder private Sets, müssen separat bewertet werden.
Buch- und UnternehmensrelevanzVerified nicht mehr als alleinigen Frontier-Indikator zitieren. Benchmarkvariante, Commit, Scaffold, Budget, Kontaminationsschutz und Funktionsprüfung dokumentieren.
QuellenS-073 bis S-075, S-091, S-093, S-122

WebArena und OSWorld 2.0: Handeln in realistischen Oberflächen und langen Workflows

PrüffeldEinordnung
LeitfrageWie zuverlässig sind Agenten in Browsern und Desktopumgebungen?
UntersuchungsdesignWebArena und OSWorld 1.0 testen realistische Interaktionen in kontrollierten Websites und Betriebssystemen. OSWorld 2.0 erweitert dies auf 108 lange End-to-End-Workflows mit realistischen Artefakten, Zuständen und Sicherheitsberichten.
Zentrale BefundeOSWorld 2.0 berichtet eine mediane menschliche Bearbeitungszeit von rund 1,6 Stunden. Das beste im Paper getestete System erreichte bei 500 Schritten 20,6 Prozent binären und 54,8 Prozent partiellen Erfolg; typische Fehler betrafen Zustandsverlust, übersehene neue Informationen, Raten und fehlende Verifikation.
GrenzenDie Werte sind modell-, Scaffold-, Tool- und Budget-spezifisch und stammen aus einem Preprint. Dynamische UIs, Modellupdates und unterschiedliche Sicherheitsregeln erschweren zeitliche Vergleiche.
Buch- und UnternehmensrelevanzComputer-Use-Agenten mit langen internen Prozessfällen, explizitem Zustandsaudit, partiellen Metriken und sicheren Abbruchregeln testen.
QuellenS-071, S-072, S-076, S-077, S-082, S-083, S-125

tau-bench und pass^k: Zuverlässigkeit statt Glückstreffer

PrüffeldEinordnung
LeitfrageKann ein Agent dieselbe Aufgabe wiederholt korrekt und regelkonform lösen?
Untersuchungsdesigntau-bench simuliert Nutzer, Domänenrichtlinien und Werkzeuge in Retail und Airline. Neben Einzelerfolg wird pass^k betrachtet: eine Aufgabe gilt nur als zuverlässig, wenn mehrere Wiederholungen gelingen.
Zentrale BefundeIn der Ausgangsarbeit lagen die besten Agenten unter 50 Prozent Einzelerfolg und deutlich niedriger bei acht Wiederholungen. Die Studie macht sichtbar, dass ein gutes Demoergebnis keine reproduzierbare Prozessqualität ist.
GrenzenSimulatoren vereinfachen reale Nutzer und Systeme. Policies und Tooldefinitionen beeinflussen das Ergebnis. Neuere Modelle und Agenten verändern die Raten.
Buch- und UnternehmensrelevanzFür Produktionsfreigabe werden wiederholte Läufe, Policy-Compliance, Kosten, Latenz und Failure Recovery gemessen. Best-of-N darf nicht mit reproduzierbarem Erfolg verwechselt werden.
QuellenS-078, S-079

Benchmarkkontamination, Promptempfindlichkeit und Emergenz

PrüffeldEinordnung
LeitfrageWann ist ein Leistungsanstieg ein Mess- oder Trainingsartefakt?
UntersuchungsdesignDie Arbeiten analysieren diskontinuierliche Metriken, Promptvarianten und Überschneidungen zwischen Test- und Trainingsmaterial. Surveys dokumentieren direkte, paraphrasierte und indirekte Kontamination.
Zentrale BefundeEin harter Genauigkeitsschwellenwert kann glatte Verbesserungen als Sprung erscheinen lassen. Promptformat und Beispielwahl können Scores deutlich bewegen. Öffentliche statische Aufgaben können in Trainingskorpora oder synthetischen Ableitungen auftauchen.
GrenzenKontamination ist ohne Trainingsdaten schwer sicher zu beweisen. Promptempfindlichkeit ist zugleich Teil realer Nutzung. Nicht jede hohe Leistung ist Memorisation.
Buch- und UnternehmensrelevanzInterne Blindtests, neu erzeugte Varianten, zeitlich neue Aufgaben und mehrere Promptformen sind wichtiger als ein einzelner öffentlicher Score.
QuellenS-097, S-101, S-102

GSM-Symbolic und „Illusion of Thinking“: belastbare Kritik ohne Totalurteil

PrüffeldEinordnung
LeitfrageWas sagen kontrollierte Puzzles über Reasoning?
UntersuchungsdesignGSM-Symbolic variiert Zahlen und fügt irrelevante Klauseln ein. Apples Studie variiert die Komplexität von Planungspuzzles und untersucht Antwort sowie Reasoning-Trace. Kommentare und Gegenversuche prüfen unlösbare Fälle, Tokenlimits und Toolaugmentation.
Zentrale BefundeDie Arbeiten zeigen reale Robustheitsprobleme, inkonsistente Algorithmennutzung und Leistungsabfälle. Gegenanalysen zeigen zugleich, dass Aufgabengültigkeit, Ausgabelänge, Prompt und Werkzeuge die Resultate stark verändern können.
GrenzenPuzzles sind kontrollierbar, aber nicht repräsentativ für jede Wissensarbeit. Aus einem Benchmark folgt kein abschließendes Urteil über Bewusstsein, allgemeine Intelligenz oder die gesamte LRM-Klasse.
Buch- und UnternehmensrelevanzDas Buch stellt Befund, Interpretation und Gegenposition getrennt dar. Der sichere Schluss ist Fragilität unter bestimmten Komplexitäts- und Evaluationsbedingungen.
QuellenS-103 bis S-106

Model Collapse: rekursive Datenkreisläufe

PrüffeldEinordnung
LeitfrageWann schaden synthetische Daten dem nächsten Modell?
UntersuchungsdesignNature und verwandte Arbeiten trainieren Modellgenerationen auf Daten, die zunehmend von vorherigen Modellen erzeugt wurden. Varianten unterscheiden Ersetzen, Mischen oder Akkumulieren realer und synthetischer Daten.
Zentrale BefundeIndiskriminierte rekursive Ersetzung kann Verteilungsränder verlieren und Fehler verstärken. Modelle lernen dann eine verengte Annäherung an vorherige Modelle statt die ursprüngliche Datenverteilung. Mit fortbestehenden realen Daten und geeigneter Mischung ist Kollaps nicht zwangsläufig.
GrenzenLaborregime sind nicht identisch mit realen Foundation-Model-Pipelines, die filtern, deduplizieren und kuratieren. Eine Korrektur zum Nature-Artikel ist zu berücksichtigen. „Synthetisch“ ist keine einheitliche Qualitätsklasse.
Buch- und UnternehmensrelevanzDatenprovenienz, Real-/Syntheseanteil, unabhängige Validierung und Erhalt seltener Fälle werden als Governance- und Qualitätsfaktoren dokumentiert.
QuellenS-107 bis S-110

JEPA, MuZero, Dreamer, Genie und die offene Definition von Weltmodell

PrüffeldEinordnung
LeitfrageWas ist ein Weltmodell, und ist es die Alternative zum LLM?
UntersuchungsdesignDie Quellen reichen von LeCuns Architekturposition über latente Bild- und Videovorhersage, modellbasiertes Reinforcement Learning und generative interaktive Umgebungen bis zu einer 2026er Definitions- und Roadmaparbeit.
Zentrale BefundeWeltmodelle können planungsrelevante latente Dynamik, Wert- und Belohnungsgrößen oder visuelle zukünftige Zustände modellieren. Die 2026er Roadmap hält ausdrücklich fest, dass kein Konsens über Definition, Vorhersageziel und Bauweise besteht.
GrenzenErfolge liegen häufig in Spielen, Simulationen, kurzen Videohorizonten oder begrenzten Robotiksettings. Genie 2/3 sind primär Anbieterberichte; die aktuelle Roadmap ist ein Perspektiv-Preprint, kein verbindlicher Standard.
Buch- und UnternehmensrelevanzNicht „LLM oder Weltmodell“ schreiben. Stattdessen Funktion, Umweltzustand, Aktionskonditionierung, Horizont, Planer, Verifikation und Evidenz des konkreten Systems benennen.
QuellenS-111 bis S-121, S-128

18 Unternehmensszenarien

Die folgenden Bewertungen sind technische Referenzmuster. Sie ersetzen keine Datenschutz-, Arbeits-, Haftungs- oder Branchenprüfung. Ziel ist die Übersetzung des Forschungsstands in prüfbare Systemanforderungen.

Szenario 1: Interner RAG-Assistent für Richtlinien

PrüffeldBewertung
ZielDokumente finden, Fragen beantworten, Fundstellen zeigen
Typische Failure ModesVeraltete Version, fehlender Treffer, falsche Synthese, Berechtigungsleck
Erforderliche TestsRetrieval Recall@k; Evidenzpräzision; atomare Groundedness; Abstention; rollenbasierter Zugriff
Menschliche KontrolleFreigabe für Standardfragen; Eskalation bei Konflikten, fehlender Evidenz oder verbindlicher Entscheidung
Technische GesamteinordnungPilotierbar bei versionierter Wissensbasis, Berechtigungstest und nachvollziehbarer Fundstelle
QuellenS-014 bis S-016, S-035, S-045 bis S-051

Szenario 2: Kundenservice-Antwortentwurf

PrüffeldBewertung
ZielAntwort aus Bestellung, FAQ und Kundennachricht vorbereiten
Typische Failure ModesErfundene Zusage, falscher Status, Preis- oder Fristfehler, unzulässige Kulanz
Erforderliche TestsFaktenfelder exakt; Policy-Compliance; Nettozeit; Korrekturrate; kritische Fehler je 1.000 Fälle
Menschliche KontrolleMensch versendet; Hochrisikofelder aus Systemdaten deterministisch einfügen
Technische GesamteinordnungGut automatisierbar als Entwurf, nicht als unkontrollierte freie Zusage
QuellenS-034, S-035, S-047, S-078

Szenario 3: Vertragsanalyse langer Dokumente

PrüffeldBewertung
ZielKlauseln extrahieren, Abweichungen markieren, Zusammenfassung erstellen
Typische Failure ModesLost in the Middle, übersehene Anlagen, falsche Normbewertung, Quellenverwechslung
Erforderliche TestsPositionsvarianten; Klausel-Recall; Seitenbeleg; Widerspruchstest; Vollständigkeit pro Dokumentklasse
Menschliche KontrolleJuristische Entscheidung verbleibt beim Fachmenschen; Modell liefert Treffer und Textstellen
Technische GesamteinordnungNur mit dokumentklassenbezogenem Blindtest und vollständigem Fundstellenzwang
QuellenS-034, S-057 bis S-064

Szenario 4: Webrecherche für Markt- oder Buchfakten

PrüffeldBewertung
ZielQuellen suchen, Behauptungen atomisieren, Widersprüche erfassen
Typische Failure ModesSekundärquelle statt Original, erfundene URL, veraltete Seite, Zitat ohne Tragfähigkeit
Erforderliche TestsURL-Prüfung; Primärquellenquote; Claim-Support; Veröffentlichungsdatum; Konfliktquote
Menschliche KontrolleRedaktion prüft alle tragenden Aussagen; Rechercheagent darf keine finale Wahrheit festlegen
Technische GesamteinordnungAls Beschleuniger geeignet, wenn Quellenöffnung und Claim-Ledger Pflicht sind
QuellenS-047 bis S-052, S-089

Szenario 5: Meeting-Transkription und Aufgabenliste

PrüffeldBewertung
ZielGespräch verschriftlichen, Entscheidungen und Aufgaben ableiten
Typische Failure ModesSprecherverwechslung, fehlende Negation, erfundene Aufgabe, falsche Frist
Erforderliche TestsWord Error Rate ergänzend; Sprecherzuordnung; Task Precision/Recall; Bestätigung durch Teilnehmer
Menschliche KontrolleProtokollentwurf; Aufgaben werden erst nach Bestätigung verbindlich
Technische GesamteinordnungRegelmäßig umsetzbar bei explizitem Bestätigungsworkflow
QuellenS-026, S-034, S-043

Szenario 6: Rechnungs- und Belegdaten extrahieren

PrüffeldBewertung
ZielFelder aus PDFs/Bildern in ERP übertragen
Typische Failure ModesZahlendreher, falsche Bankverbindung, Tabellen-/OCR-Fehler, Dublette
Erforderliche TestsFeldgenauigkeit je Typ; Summenprüfung; Lieferantenstamm-Abgleich; Exception Rate
Menschliche KontrolleDeterministische Plausibilitäten; Vier-Augen bei Kontoänderung und hohen Beträgen
Technische GesamteinordnungHybrid aus Extraktion, Regeln und Ausnahmebearbeitung ist generativer Vollautomation überlegen
QuellenS-022, S-046

Szenario 7: Coding-Assistent im Editor

PrüffeldBewertung
ZielCode ergänzen, Tests schreiben, Refactoring vorschlagen
Typische Failure ModesUnsichere Bibliothek, Regression, Lizenzproblem, falsche API, versteckte Abhängigkeit
Erforderliche TestsInterne Issue-Suite; Tests; Security Scan; Reviewzeit; Revert-Rate; Kosten pro akzeptiertem Patch
Menschliche KontrolleEntwicklerreview und CI-Gates; keine direkten Produktionsrechte
Technische GesamteinordnungProduktiv bei klaren Repositories und starker Testkultur; Benchmarkscore allein reicht nicht
QuellenS-073 bis S-075, S-090, S-091

Szenario 8: Autonomer Coding-Agent

PrüffeldBewertung
ZielIssue analysieren, Patch erstellen, Tests ausführen, PR öffnen
Typische Failure ModesEndlosschleife, Testhacking, unnötige Änderungen, Secretszugriff, hoher Compute
Erforderliche Testspass^k; Patchakzeptanz; Diffgröße; Testabdeckung; Security; Budget; Abbruchverhalten
Menschliche KontrolleSandbox, minimale Rechte, Kosten- und Schrittlimit, menschliche PR-Freigabe
Technische GesamteinordnungNur für begrenzte Repositories und reversible Änderungen freigeben
QuellenS-073 bis S-075, S-090 bis S-094

Szenario 9: Browseragent für Bestellungen oder Stammdaten

PrüffeldBewertung
ZielMehrstufige Webformulare bedienen
Typische Failure ModesFalscher Datensatz, UI-Änderung, irreversible Bestellung, Sessionverlust
Erforderliche TestsWiederholte End-to-End-Erfolge; Policy-Compliance; falsche Klicks; Recovery; Kosten
Menschliche KontrolleVorschau vor Transaktion, Transaktionslimit, Idempotenz, Protokoll
Technische GesamteinordnungUnbeaufsichtigte irreversible Aktionen erst nach sehr hoher wiederholter Zuverlässigkeit
QuellenS-071, S-072, S-076 bis S-083

Szenario 10: E-Mail-/CRM-Agent

PrüffeldBewertung
ZielMails lesen, Leads klassifizieren, Termine und CRM aktualisieren
Typische Failure ModesPrompt Injection in Mail, falscher Kontakt, Datenabfluss, unpassende Antwort
Erforderliche TestsInjection-Tests; Empfängerpräzision; Rechteprüfung; Transaktionslog; falsche Updates
Menschliche KontrolleLesen und Entwurf getrennt von Senden/Schreiben; Bestätigung für externe Wirkung
Technische GesamteinordnungHohes Risiko bei umfassenden Rechten; schrittweise Fähigkeiten statt Vollzugriff
QuellenS-018, S-071 bis S-083

Szenario 11: Finanzbericht zusammenfassen

PrüffeldBewertung
ZielKennzahlen aus Tabellen und Texten erläutern
Typische Failure ModesRechenfehler, Einheit verwechselt, falsche Periode, erfundene Ursache
Erforderliche TestsZahlen werden aus strukturierten Daten gebunden; Rechenwerk extern; Quellenzelle; Periodentest
Menschliche KontrolleModell formuliert, berechnet aber nicht frei; Controller prüft Interpretation
Technische GesamteinordnungGut als sprachliche Schicht über deterministischer Datenlogik
QuellenS-017, S-022, S-034

Szenario 12: Strategie- oder Szenarioanalyse

PrüffeldBewertung
ZielOptionen, Annahmen und Gegenargumente erzeugen
Typische Failure ModesScheinpräzision, Konsensbias, unbekannte Kausalität, erfundene Marktdaten
Erforderliche TestsAnnahmenledger; Quellenquote; Gegenthese; Sensitivität; Expertenrating
Menschliche KontrolleEntscheidung bleibt beim Management; KI ist Hypothesengenerator
Technische GesamteinordnungNützlich für Breite, schwach als alleinige Prognosemaschine
QuellenS-096 bis S-103

Szenario 13: Bewerbervorsortierung

PrüffeldBewertung
ZielProfile mit Kriterien abgleichen
Typische Failure ModesStereotype, fehlender Kontext, falsche Ableitung, automatisierte Benachteiligung
Erforderliche TestsKriterienvalidität; Gruppenanalyse; Erklärung; False-Negative-Review; menschliche Neubewertung
Menschliche KontrolleKeine autonome Ablehnung; rechtliche und ethische Prüfung erforderlich
Technische GesamteinordnungTechnisch möglich, aber aufgrund Wirkung und Bias besonders streng zu begrenzen
QuellenS-026, S-098, S-099

Szenario 14: Medizinische oder sicherheitskritische Assistenz

PrüffeldBewertung
ZielInformation bündeln, Warnungen oder Vorschläge erzeugen
Typische Failure ModesSeltene schwere Fehler, veraltete Leitlinie, falsche Sicherheit, Haftungsfolge
Erforderliche TestsSensitivität kritischer Fälle; kalibrierte Abstention; Prospektivtest; Drift; Worst-Case
Menschliche KontrolleQualifizierter Entscheider; zugelassene Systeme und Domänenregeln beachten
Technische GesamteinordnungAllgemeine LLM-Benchmarks sind keine Freigabegrundlage
QuellenS-036, S-043, S-045, S-054

Szenario 15: Mehrsprachige Wissensassistenz

PrüffeldBewertung
ZielDokumente und Antworten in mehreren Sprachen
Typische Failure ModesÜbersetzungsverschiebung, geringere Ressourcen, falsche Entitäten, Mischsprache
Erforderliche TestsSeparate Tests je Sprache; atomare Fakten; Terminologieliste; Retrieval je Sprache
Menschliche KontrolleFachprüfung für schwache Sprachen; keine Mittelwertbildung über alle Sprachen
Technische GesamteinordnungNur pro Sprache und Dokumenttyp freigeben
QuellenS-026, S-034, S-058

Szenario 16: Marketing- und Kreativtexte

PrüffeldBewertung
ZielVarianten, Hooks und Kampagnenideen erstellen
Typische Failure ModesGleichförmigkeit, Markenbruch, unbelegte Claims, Kopien, Sycophancy
Erforderliche TestsDiversität; Markenregeln; Claim-Prüfung; Human Rating; Dublettensuche
Menschliche KontrolleRedaktionelle Freigabe; Faktenfelder aus geprüfter Quelle
Technische GesamteinordnungHohe kreative Unterstützung, aber kein Fakten- oder Rechtsfreifahrtschein
QuellenS-006, S-098, S-099

Szenario 17: Agentischer Monatsabschluss-Workflow

PrüffeldBewertung
ZielDaten sammeln, Abweichungen prüfen, Tasks anlegen
Typische Failure ModesFehlerkaskade über viele Schritte, falsche Buchung, fehlende Evidenz
Erforderliche TestsSchrittgenauigkeit und End-to-End-pass^k; Reconciliation; Abbruch; Audit Trail
Menschliche KontrolleBuchungen und externe Meldungen bleiben bestätigt; jeder Schritt idempotent
Technische GesamteinordnungIn Teilprozesse zerlegen; kritische Aktionen deterministisch absichern
QuellenS-078, S-088, S-091, S-092

Szenario 18: Modell- oder Anbieterwechsel

PrüffeldBewertung
ZielBestehenden KI-Prozess auf neue Version migrieren
Typische Failure ModesRegression, Promptbruch, andere Verweigerung, Kosten- und Latenzsprung
Erforderliche TestsShadow Test auf fixem Blindset; Segmentvergleich; Drift; Kosten; Stabilität
Menschliche KontrolleCanary-Rollout, Rückfalloption und dokumentierte Version
Technische GesamteinordnungKein „automatisches Upgrade“ ohne Regressionstest bei produktiven Prozessen
QuellenS-025, S-050, S-072, S-074

36-stufiger Prüf- und Einführungsfahrplan

Der Fahrplan beginnt nicht mit Modellauswahl, sondern mit Aufgabe, Fehlerkosten und deterministischer Alternative. Erst danach folgen Testbestand, Retrieval, Agentenrechte und Produktionsbetrieb.

Phase 1 – Problem und Grenze

Nr.SchrittVerbindliche Ausführung
1Entscheidung oder Arbeitsprodukt exakt definierenInput, Output, Nutzer, Wirkung und ausgeschlossene Entscheidungen dokumentieren.
2Deterministische Baseline prüfenSuche, Regeln, Datenbank, Template oder klassisches ML als Vergleich bauen.
3Fehlerklassen festlegenHarmlos, korrigierbar, teuer, rechtlich kritisch und irreversibel getrennt bewerten.
4Erfolg und Abstention definierenRichtige Antwort, zulässige Rückfrage und begründete Nichtantwort vorab festlegen.
5Versionsidentität speichernModell, API, Datum, Region, Prompt, Parameter, Tools und Wissensstand protokollieren.
6Autonomiegrenze setzenLesen, Entwurf, Vorschlag, Schreiben, Senden und irreversible Transaktion getrennt freigeben.

Phase 2 – Testbestand

Nr.SchrittVerbindliche Ausführung
7Repräsentative Fälle ziehenReale Häufigkeiten, Nutzergruppen, Sprachen und Dokumenttypen abbilden.
8Kritische Randfälle ergänzenSeltene Fälle anhand Schadenshöhe übergewichten.
9Blindanteil schützenEin Teil der Fälle bleibt Entwicklungsteam und Anbieter unbekannt.
10Varianten erzeugenParaphrasen, Zahlenänderungen, Reihenfolge, Position und irrelevante Angaben variieren.
11Goldstandard erstellenFachleute definieren richtige Antwort, Evidenz und zulässige Unsicherheit.
12Testset versionierenÄnderungen, Leaks, neue Fälle und Ausmusterungen nachvollziehbar führen.

Phase 3 – Modell und Retrieval

Nr.SchrittVerbindliche Ausführung
13Mehrere Modellklassen vergleichenKlein, groß, offen, proprietär und gegebenenfalls kein LLM testen.
14Promptvarianten prüfenMindestens mehrere semantisch gleichwertige Formate statt eines optimierten Prompts.
15Kontextposition variierenWichtige Evidenz am Anfang, in der Mitte und am Ende testen.
16Retrieval separat bewertenTrefferquote, Ranking, Berechtigung, Version und Konflikte messen.
17Groundedness atomar messenJede Behauptung auf tatsächlich tragende Evidenz prüfen.
18Abstention kalibrierenSchwellen nach Fehlerkosten und Domäne einstellen.

Phase 4 – Agent und Tools

Nr.SchrittVerbindliche Ausführung
19Toolvertrag definierenErlaubte Funktionen, Argumente, Schema, Timeouts und Fehlermeldungen festlegen.
20Minimale Rechte vergebenNur Daten und Aktionen zugänglich machen, die für den Schritt nötig sind.
21Idempotenz und Vorschau bauenWiederholungen dürfen keine Doppelwirkung erzeugen; irreversible Wirkung wird angezeigt.
22Schritt- und Kostenlimit setzenEndlosschleifen, explodierende Toolaufrufe und unkontrolliertes Sampling verhindern.
23Trajektorien prüfenNicht nur Endergebnis, sondern Aktionen, Regeln und unnötige Zugriffe bewerten.
24pass^k und Recovery testenWiederholung, Abbruch, Neustart und Wiederaufnahme messen.

Phase 5 – Mensch und Betrieb

Nr.SchrittVerbindliche Ausführung
25Reviewaufgabe konkretisierenPrüfer erhält Evidenz, Unterschiede, Warnungen und nicht nur eine fertige Antwort.
26Automation Bias messenFehler absichtlich einspeisen und tatsächliche Entdeckungsrate erfassen.
27Eskalationswege definierenUnklarheit, Konflikt, kritische Daten und Toolfehler führen zu klarer Zuständigkeit.
28Latenz und Vollkosten messenModell, Retrieval, Tools, Retries, Review und Fehlkosten je akzeptiertem Ergebnis.
29Canary und Shadow Mode nutzenSystem zunächst ohne externe Wirkung parallel laufen lassen.
30Monitoring nach SegmentenDurchschnitt, Tail, Sprache, Dokumentklasse und Nutzergruppe getrennt beobachten.

Phase 6 – Änderung und Governance

Nr.SchrittVerbindliche Ausführung
31Regression Suite automatisierenJede Modell-, Prompt-, Tool- oder Datenänderung gegen Blindset prüfen.
32Drift und Wissensalter überwachenDokumentversionen, Retrievalqualität, Modellverhalten und Eingabeverteilung prüfen.
33Rollback sichernVorversion, Konfiguration und Datenpfad müssen wiederherstellbar sein.
34Incident-Lernen betreibenFehler atomisieren, Ursache zuordnen, Testfall ergänzen und Kontrolle verbessern.
35Refresh-Termine setzenDynamische Benchmarks, Anbieterbedingungen und Modellversionen regelmäßig neu prüfen.
36Freigabe befristenProduktionsfreigabe gilt für benannte Version, Aufgabe und Risiko – nicht unbegrenzt für „KI“.

> Freigaberegel > Eine Freigabe gilt nur für den dokumentierten Prozess, die benannte Modell- und Systemversion, das definierte Tool- und Datenrecht sowie die gemessene Fehlerverteilung. Sie ist keine allgemeine Freigabe für andere KI-Anwendungen.

20 Mythenprüfungen

MythosBewertungKorrekte EinordnungQuellen
„Ein LLM versteht Sprache wie ein Mensch.“NICHT BELEGTModelle lernen statistische Repräsentationen und können funktional beeindruckende Leistungen zeigen. Daraus folgt weder menschliches Erleben noch identische Begriffs-, Körper- oder Kausalmodelle.S-001 bis S-007, S-111
„Je größer das Modell, desto besser ist es immer.“FALSCHDaten, Post-Training, Architektur, Aufgabenfit, Latenz und Kosten entscheiden mit. Kleinere instruction-tuned oder toolgestützte Systeme können größere Basismodelle schlagen.S-005, S-006, S-013, S-021
„Das Kontextfenster ist das Gedächtnis des Modells.“IRREFÜHRENDEs ist zunächst eine maximale Eingabelänge. Effektiver Abruf, Integration, Positionsempfindlichkeit und Persistenz über Sitzungen sind separate Eigenschaften.S-057 bis S-070
„RAG verhindert Halluzinationen.“FALSCHRAG kann Fehler reduzieren, erzeugt aber eigene Fehlerstellen in Retrieval, Kontext, Konfliktauflösung und Generierung.S-014 bis S-016, S-035, S-045, S-046
„Eine Quellenangabe macht die Antwort wahr.“FALSCHQuellen können die Aussage nicht tragen, unvollständig, falsch zugeordnet oder veraltet sein.S-047
„Temperatur null macht die Ausgabe vollständig deterministisch.“ZU PAUSCHALSamplingvarianz sinkt, doch serverseitige Modelländerungen, Routing, numerische Effekte und Toolantworten können Resultate verändern.S-025, S-026
„Chain-of-Thought zeigt, wie das Modell wirklich entschieden hat.“FALSCHAusgegebene Begründungen können nützlich, aber kausal untreu oder nachträglich rationalisiert sein.S-019, S-096
„Ein hoher MMLU-Wert beweist allgemeine Intelligenz.“FALSCHMMLU misst definierte Multiple-Choice-Fachfragen und ist anfällig für Format, Kontamination und fehlende Übertragung.S-027, S-102
„Ein Agentenscore ist eine Eigenschaft des Modells.“FALSCHEr ist eine Eigenschaft der gesamten Konfiguration einschließlich Tools, Scaffold, Budget, Umgebung und Evaluator.S-071 bis S-095
„95 Prozent Schrittgenauigkeit reichen für lange autonome Prozesse.“MEIST FALSCHBei abhängigen Schritten kann die End-to-End-Zuverlässigkeit stark fallen; kritische Fehler und Korrelationen verschärfen das Risiko.S-078, S-088
„Self-Consistency garantiert die richtige Antwort.“FALSCHMehrheitsentscheidungen können nützen, aber mehrere Samples können denselben systematischen Irrtum teilen.S-020, S-033, S-036
„Die angegebene Konfidenz ist die echte Wahrscheinlichkeit, dass die Antwort stimmt.“NICHT AUTOMATISCHKalibrierung ist aufgaben-, modell- und distributionsabhängig; verbale Sicherheit kann irreführen.S-036, S-037, S-043
„Öffentliche Leaderboards sind objektiv direkt vergleichbar.“FALSCHVersion, Prompt, Budget, Testset, Kontamination, Detektor und Infrastruktur können variieren.S-050, S-072, S-074, S-091 bis S-094
„Synthetische Daten führen zwangsläufig zum Model Collapse.“FALSCHKollaps hängt von rekursiver Ersetzung, Mischung, Qualität und Erhalt realer Daten ab.S-107 bis S-110
„Synthetische Daten sind grundsätzlich minderwertig.“FALSCHSie können kontrollierte seltene Fälle, Simulation oder Distillation ermöglichen; sie brauchen aber unabhängige Validierung.S-109, S-110
„Weltmodelle haben LLMs widerlegt.“FALSCHWeltmodelle sind eine ergänzende Forschungsrichtung. LeCuns Position ist ein Vorschlag; hybride Systeme sind möglich.S-111 bis S-121
„Tools beseitigen Modellfehler.“FALSCHTools verschieben und ergänzen Fehlerquellen. Auswahl, Argumente, Antworten und Rechte können falsch sein.S-017, S-018, S-022
„Open Source ist automatisch transparenter und sicherer.“ZU PAUSCHALGewichte und Code können prüfbar sein, Trainingsdaten, Post-Training, Abhängigkeiten und Deployment bleiben dennoch unklar oder riskant.S-008 bis S-011
„Ein Systemprompt schützt einen Agenten zuverlässig vor jeder Manipulation.“FALSCHInstruktionen konkurrieren mit Umgebungsinhalt, Tools und Daten; Schutz braucht Isolation, Rechte, Validierung und Monitoring.S-071 bis S-083
„Ein Modellupdate kann nur verbessern.“FALSCHVerbesserungen sind dimensions- und segmentabhängig; neue Versionen können Regressionen, andere Kosten oder anderes Verweigerungsverhalten erzeugen.S-025, S-050, S-072, S-074

20 offene Forschungsfragen

Offene FrageWarum ungeklärt?Praktische BedeutungBeobachtung / Quellen
Eine einheitliche HalluzinationstaxonomieFaktualität, Kontexttreue, Rechenfehler, Auslassung und erfundene Belege werden uneinheitlich vermischt.Vergleichbarkeit von Modellen und ProduktenBenchmarks mit atomarer, mehrstufiger Annotation; S-032 bis S-039
Kalibrierung über DomänenwechselUnsicherheitswerte verschieben sich bei neuen Themen, Sprachen und Promptformen.Sicheres Routing und EskalationProspektive Kalibrierung und selektive Vorhersage; S-036, S-037, S-043
Verifikation langer AntwortenAtomisierung und Quellenprüfung sind selbst modellabhängig und teuer.Buch, Recherche, Beratung, RAGOffene Verifier, menschliche Goldsets und Kostenanalyse; S-034, S-047
Messung effektiver KontextnutzungNominelle Länge, Retrieval und tiefes Schlussfolgern werden noch nicht einheitlich getrennt.Langdokumente und WissenssystemeKontrollierte Positions-, Distraktor- und Integrationssuiten; S-057 bis S-070
Langzeitgedächtnis von AgentenNaive Speicher können falsche oder irrelevante Informationen verstetigen.Dauerhafte UnternehmensagentenCL-BENCH, Memory-Audits, Vergessen und Provenienz; S-095
Agentenzuverlässigkeit bei seltenen FehlernÖffentliche Benchmarks sind zu klein für sehr seltene, teure Ausfälle.Finanzen, Sicherheit, KundenwirkungSimulation, Red Teaming und Produktionsmonitoring
Korrelation von SchrittfehlernEinfache Erfolgsmodelle nehmen oft Unabhängigkeit an.End-to-End-Risiko langer WorkflowsTrajektorienmodelle und Fehlergraphen; S-078, S-092
Benchmarkkontamination proprietärer ModelleTrainingsdaten werden selten vollständig offengelegt.Glaubwürdigkeit öffentlicher ScoresZeitlich neue und private Tests; S-102
Stabilität von Reasoning-TracesNicht klar ist, wann ausgegebene Begründungen kausal treu sind.Auditierbarkeit und VertrauenInterventions- und Mechanismusstudien; S-096
Wert von Testzeit-ComputeOptimale Budgets hängen von Aufgabe und Verifier ab.Kosten, Latenz und QualitätAdaptive Policies und wirtschaftliche Evaluation; S-021, S-024
Toolauswahl und ToolvertrauenAgenten müssen entscheiden, wann externe Werkzeuge nötig und verlässlich sind.Autonome SystemeToolkalibrierung, Vertrauensgrenzen, Fallbacks; S-017, S-018
Generalisation aus PuzzlesKontrollierte Aufgaben sind sauber, aber nicht automatisch repräsentativ.Einordnung von Reasoning-ModellenBreitere generative und reale Aufgaben; S-103 bis S-106
Kausalität und physische WeltmodelleLatente Vorhersage kann Korrelation statt kausaler Struktur lernen.Robotik und PlanungInterventions-, Transfer- und OOD-Tests; S-111 bis S-121
Definition von WeltmodellDer Begriff reicht von latenter Dynamik bis generativer Umgebung.Vergleich von ForschungsprogrammenGemeinsame Aufgaben- und Repräsentationskriterien
Synthetische Daten in realen Foundation-PipelinesLaborregime bilden Filterung, Lizenzierung und Webdynamik nur begrenzt ab.Langfristige DatenqualitätProvenienzstudien und kontrollierte Mischungen; S-107 bis S-110
Erhalt seltener VerteilungsränderStandarddurchschnitt kann Verlust seltener Fälle verdecken.Sicherheit, Minderheiten, SpezialwissenTail-Metriken und gezielte reale Daten
Modelländerungen ohne transparente VersionierungAnbieter können Routing und Post-Training ändern.Regression und NachweisbarkeitReproduzierbare Snapshots, Shadow Tests, Vertragsregeln
Menschliche Aufsicht unter ZeitdruckFormale Freigabe ist nicht gleich wirksame Prüfung.Human-in-the-loop-SystemeDetection-Rate, Automation Bias und Prozessdesign
Mehrsprachige RobustheitLeistungsprofile in Englisch übertragen sich nicht automatisch.DACH-Unternehmen mit internationalen DatenSprachspezifische Blindsets und Terminologie
Übertragung auf wirtschaftlichen NutzenTechnische Benchmarks messen selten Nettozeit, Fehlerkosten oder Adoption.InvestitionsentscheidungenEnd-to-End-Feldtests mit TCO und Gegenfaktum

50 buchrelevante Faktenkarten

F-001 – Faktenkarte

FeldInhalt
AussageDer Transformer ersetzt rekurrente Sequenzverarbeitung nicht durch „Verstehen“, sondern durch eine Architektur, die Beziehungen zwischen Tokenpositionen über Attention berechnet und stark parallelisierbar trainiert werden kann.
FaktenstatusFORSCHUNGSGRUNDLAGE
Voraussetzung / EinschränkungDie Originalarbeit betraf maschinelle Übersetzung; heutige LLMs ergänzen zahlreiche Trainings-, Daten- und Systemkomponenten.
Primär- und HauptquellenS-001
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-002 – Faktenkarte

FeldInhalt
AussageEin Sprachmodell wird im Pretraining primär darauf optimiert, wahrscheinliche Tokenfortsetzungen zu modellieren; faktische Wahrheit ist nicht identisch mit diesem Trainingsziel.
FaktenstatusTECHNISCHE GRUNDLAGE
Voraussetzung / EinschränkungPost-Training, Retrieval, Tools und Verifier verändern das Verhalten, heben die Grundspannung aber nicht vollständig auf.
Primär- und HauptquellenS-003, S-006, S-052
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-003 – Faktenkarte

FeldInhalt
AussageSkalengesetze beschreiben empirische Regelmäßigkeiten innerhalb bestimmter Modell-, Daten- und Compute-Regime; sie sind keine Naturgesetze und keine Garantie für jede nachgelagerte Fähigkeit.
FaktenstatusFORSCHUNGSSTAND
Voraussetzung / EinschränkungArchitektur, Datenqualität, Post-Training und Evaluation verändern die beobachteten Beziehungen.
Primär- und HauptquellenS-004, S-005
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-004 – Faktenkarte

FeldInhalt
AussageCompute-optimal bedeutet nicht „möglichst viele Parameter“, sondern eine abgestimmte Verteilung von Modellgröße, Daten und Rechenbudget.
FaktenstatusFORSCHUNGSSTAND
Voraussetzung / EinschränkungDie konkrete optimale Relation hängt von Annahmen, Daten, Architektur und Ziel ab.
Primär- und HauptquellenS-005
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-005 – Faktenkarte

FeldInhalt
AussageInstruction Tuning und Präferenztraining können ein kleineres Modell in menschlichen Präferenztests vor einem deutlich größeren Basismodell platzieren.
FaktenstatusEMPIRISCHER BEFUND
Voraussetzung / EinschränkungPräferenz, Faktentreue, Robustheit und Sicherheit sind verschiedene Zielgrößen.
Primär- und HauptquellenS-006
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-006 – Faktenkarte

FeldInhalt
AussageParameterzahl, aktivierte Parameter, Speicherbedarf, Trainingscompute und Inferenzkosten sind unterschiedliche Größen.
FaktenstatusTECHNISCHE GRUNDLAGE
Voraussetzung / EinschränkungSparse Mixture-of-Experts und Quantisierung erschweren einfache Größenvergleiche zusätzlich.
Primär- und HauptquellenS-012, S-013
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-007 – Faktenkarte

FeldInhalt
AussageEin Modell kann mit Werkzeugen besser rechnen, suchen oder handeln, ohne dass sich seine internen Wissens- oder Schlussfolgerungsfähigkeiten im gleichen Maß verbessert haben.
FaktenstatusSYSTEMEINORDNUNG
Voraussetzung / EinschränkungGemessen wird dann das Gesamtsystem aus Modell, Prompt, Tool, Orchestrierung und Evaluator.
Primär- und HauptquellenS-017, S-018, S-022
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-008 – Faktenkarte

FeldInhalt
AussageMehr Testzeit-Rechenbudget kann auf geeigneten Aufgaben Leistung erhöhen, aber der Nutzen hängt stark von Schwierigkeit, Suchstrategie und Verifierqualität ab.
FaktenstatusFORSCHUNGSSTAND
Voraussetzung / EinschränkungMehr Tokens oder längere Überlegung können auch Kosten, Latenz und Fehlerpfade erhöhen.
Primär- und HauptquellenS-021, S-024
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-009 – Faktenkarte

FeldInhalt
AussageChain-of-Thought kann Benchmarkleistung verbessern, ist aber kein verlässlicher Einblick in den tatsächlichen kausalen Entscheidungsprozess des Modells.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungAusgegebene Begründungen können nachträglich rationalisieren oder relevante Einflüsse verschweigen.
Primär- und HauptquellenS-019, S-096
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-010 – Faktenkarte

FeldInhalt
AussageEine flüssige, detaillierte und selbstsichere Antwort ist kein belastbarer Wahrheitsindikator.
FaktenstatusFORSCHUNGSSYNTHESE
Voraussetzung / EinschränkungStil und Faktentreue müssen getrennt evaluiert werden.
Primär- und HauptquellenS-031 bis S-043
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-011 – Faktenkarte

FeldInhalt
Aussage„Halluzination“ umfasst je nach Literatur mindestens faktisch falsche, aus dem Kontext nicht gestützte, widersprüchliche oder instruktionstreue Fehler; ohne Definition sind Raten nicht vergleichbar.
FaktenstatusMETHODISCHE GRUNDLAGE
Voraussetzung / EinschränkungBenchmark, Annotationseinheit, Referenzquelle und Fehlertyp müssen genannt werden.
Primär- und HauptquellenS-032, S-035, S-038, S-039
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-012 – Faktenkarte

FeldInhalt
AussageEs gibt keine universelle Halluzinationsrate eines Modells.
FaktenstatusMETHODISCHE SCHLUSSFOLGERUNG
Voraussetzung / EinschränkungRaten hängen von Aufgabe, Domäne, Prompt, Modellversion, Grounding, Antwortlänge, Detektor und Verweigerungsstrategie ab.
Primär- und HauptquellenS-032 bis S-052
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-013 – Faktenkarte

FeldInhalt
AussageVectaras Hallucination Leaderboard misst mit HHEM-2.3 die faktische Konsistenz von Zusammenfassungen gegenüber einem bereitgestellten Dokument; seine Prozentwerte sind keine universelle Halluzinationswahrscheinlichkeit eines Modells.
FaktenstatusANBIETER-BENCHMARK
Voraussetzung / EinschränkungDatensatz, Prompt, Antwortfilter, Detektorversion und Modellendpunkte bestimmen das Ergebnis; HHEM-2.3 ist proprietär, HHEM-2.1-Open ein anderes Modell.
Primär- und HauptquellenS-050, S-051
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-014 – Faktenkarte

FeldInhalt
AussageRAG kann faktische Fehler reduzieren, beseitigt sie aber nicht: Retrieval kann falsche, irrelevante oder unvollständige Belege liefern und die Generierung kann vorhandene Belege ignorieren oder verdrehen.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungRAG-Evaluation muss Retrieval und Generation getrennt messen.
Primär- und HauptquellenS-014 bis S-016, S-035, S-045, S-046
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-015 – Faktenkarte

FeldInhalt
AussageEine vorhandene Quellenangabe beweist weder, dass die Quelle die Aussage trägt, noch dass die Quelle selbst richtig oder aktuell ist.
FaktenstatusEMPIRISCHER BEFUND
Voraussetzung / EinschränkungZitationskorrektheit, -vollständigkeit und Quellenqualität sind getrennte Metriken.
Primär- und HauptquellenS-047
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-016 – Faktenkarte

FeldInhalt
AussageFActScore zeigt, warum Langtext nicht sinnvoll mit einem einzigen Wahr/Falsch-Label bewertet wird: Ein Text kann gleichzeitig gestützte und ungestützte atomare Aussagen enthalten.
FaktenstatusMETHODISCHE GRUNDLAGE
Voraussetzung / EinschränkungDie Zerlegung und Prüfung kann selbst modellabhängig fehlerhaft sein.
Primär- und HauptquellenS-034
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-017 – Faktenkarte

FeldInhalt
AussageSelfCheckGPT und semantische Entropie nutzen Variabilität mehrerer Antworten als Unsicherheitssignal; Konsistenz garantiert jedoch keine Wahrheit.
FaktenstatusFORSCHUNGSSTAND
Voraussetzung / EinschränkungEin Modell kann denselben gelernten Irrtum stabil wiederholen.
Primär- und HauptquellenS-033, S-036, S-037
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-018 – Faktenkarte

FeldInhalt
AussageAbstention, Rückfragen und „nicht ausreichend belegt“ sind eigenständige Qualitätsfähigkeiten und sollten nicht wie falsche Antworten bestraft werden.
FaktenstatusEVALUATIONSGRUNDLAGE
Voraussetzung / EinschränkungDie optimale Antwortquote hängt von Fehlerkosten und Use Case ab.
Primär- und HauptquellenS-052, S-054, S-055
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-019 – Faktenkarte

FeldInhalt
AussageDas nominelle Kontextfenster ist eine technische Eingabegrenze, keine Garantie für effektive Erinnerung, Abruf, Integration oder Schlussfolgerung über den gesamten Kontext.
FaktenstatusFORSCHUNGSSTAND
Voraussetzung / EinschränkungLongBench Pro, Positions- und Dichtetests zeigen, dass effektive Kapazität von Aufgabe, Sprache, Position, Informationsdichte, Distraktoren und Training abhängt.
Primär- und HauptquellenS-057 bis S-070, S-123, S-124, S-127
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-020 – Faktenkarte

FeldInhalt
AussageLost in the Middle beschreibt häufig schlechtere Leistung, wenn relevante Information in der Mitte eines langen Kontextes liegt; neuere Befunde ergänzen Position um Informationsdichte und globale Integrationsanforderung.
FaktenstatusPEER-REVIEWTER UND AKTUELLER FORSCHUNGSSTAND
Voraussetzung / EinschränkungForm und Stärke sind benchmark- und modellabhängig; nicht jede Aufgabe zeigt dieselbe U-Kurve, und aktuelle Ergänzungen sind überwiegend Preprints.
Primär- und HauptquellenS-057, S-064, S-070, S-123, S-124
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-021 – Faktenkarte

FeldInhalt
AussageEin perfekter Needle-in-a-Haystack-Abruf belegt weder semantische Suche noch Multi-Dokument-Integration, Aggregation, Datenschutzlogik oder belastbares Schlussfolgern.
FaktenstatusMETHODISCHE EINORDNUNG
Voraussetzung / EinschränkungRULER, NoLiMa, LongBench Pro, PAPerBench und realistische Suiten prüfen andere Fähigkeitsdimensionen.
Primär- und HauptquellenS-059, S-060, S-065, S-123, S-127
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-022 – Faktenkarte

FeldInhalt
AussageLange Kontexte können Fehler vergrößern, weil mehr irrelevante, widersprüchliche, veraltete oder dicht gepackte Information in die Entscheidung gelangt.
FaktenstatusFORSCHUNGSSYNTHESE
Voraussetzung / EinschränkungDie Wirkung hängt von Retrieval, Ranking, Kontextaufbereitung, Sprache, Informationsdichte und Aufgabenstruktur ab.
Primär- und HauptquellenS-057 bis S-064, S-123, S-124, S-127
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-023 – Faktenkarte

FeldInhalt
AussageEin Agentenbenchmark misst nie nur das Sprachmodell, sondern mindestens Modell, Systemprompt, Toolset, Scaffold, Speicher, Schrittbudget, Umgebung und Evaluator.
FaktenstatusMETHODISCHE GRUNDLAGE
Voraussetzung / EinschränkungOSWorld 2.0 zeigt zusätzlich, wie stark lange Zustandsketten, versteckte Anforderungen und Verifikation die Endleistung begrenzen.
Primär- und HauptquellenS-071 bis S-095, S-125
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-024 – Faktenkarte

FeldInhalt
AussageRealistische Agentenbenchmarks zeigen weiterhin eine große Lücke bei langen End-to-End-Workflows: In OSWorld 2.0 erreichte das beste im Paper berichtete System 20,6 Prozent binären Erfolg und 54,8 Prozent partiellen Erfolg bei 500 Schritten.
FaktenstatusAKTUELLER PREPRINT-BEFUND
Voraussetzung / EinschränkungDie Werte gelten nur für Benchmarkversion, Modell, Scaffold, Toolaufrufe und Budget des Papers; sie sind kein universeller Produktwert.
Primär- und HauptquellenS-125
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-025 – Faktenkarte

FeldInhalt
AussageSWE-bench Verified ist am Stichtag kein geeigneter Frontier-Maßstab mehr: OpenAI fand bei mindestens 59,4 Prozent von 138 auditierten schwierigen Fällen materielle Test- oder Aufgabenprobleme und Hinweise auf Trainingskontamination.
FaktenstatusANBIETER-AUDIT / BENCHMARK-EINORDNUNG
Voraussetzung / EinschränkungDer Audit stammt von OpenAI und betrifft den heutigen Sättigungsbereich; SWE-bench-Varianten bleiben mit vollständiger Konfiguration und unabhängiger Prüfung nutzbar.
Primär- und HauptquellenS-073 bis S-075, S-122
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-026 – Faktenkarte

FeldInhalt
AussageDie Wahrscheinlichkeit, dass ein Workflow mit mehreren abhängigen Schritten vollständig gelingt, fällt bei unabhängigen Schrittfehlern multiplikativ.
FaktenstatusMATHEMATISCHE SYSTEMLOGIK
Voraussetzung / EinschränkungFehler sind in realen Agenten häufig korreliert; die einfache Multiplikation ist nur ein Modell.
Primär- und HauptquellenS-078, S-088
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-027 – Faktenkarte

FeldInhalt
Aussagepass^k misst, ob ein Agent eine Aufgabe wiederholt zuverlässig löst; ein hoher einmaliger Best-of-N-Erfolg kann gleichzeitig geringe reproduzierbare Zuverlässigkeit verdecken.
FaktenstatusBENCHMARK-METHODIK
Voraussetzung / EinschränkungKosten und Auswahlverfahren müssen mitberichtet werden.
Primär- und HauptquellenS-078, S-079
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-028 – Faktenkarte

FeldInhalt
AussageEin Agent kann einen guten Endscore erreichen und dennoch riskante Zwischenhandlungen, unnötige Zugriffe oder regelwidrige Schritte ausführen.
FaktenstatusFORSCHUNGSSYNTHESE
Voraussetzung / EinschränkungOutcome-only-Evaluation muss durch Trajektorien-, Policy- und Sicherheitsprüfung ergänzt werden.
Primär- und HauptquellenS-091, S-092
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-029 – Faktenkarte

FeldInhalt
AussageAgentenumgebungen veralten: Websites, APIs, Abhängigkeiten, Tests und Konten ändern sich und können Scores unabhängig vom Modell verschieben.
FaktenstatusBENCHMARK-METHODIK
Voraussetzung / EinschränkungVersionierte Container und Reproduktionsprotokolle sind notwendig.
Primär- und HauptquellenS-072, S-074, S-077, S-079, S-091
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-030 – Faktenkarte

FeldInhalt
AussageStatische Benchmarks können durch öffentliche Testdaten, Trainingskontamination, fehlerhafte Tests und wiederholte Optimierung ihre Aussagekraft verlieren.
FaktenstatusFORSCHUNGS- UND AUDITBEFUND
Voraussetzung / EinschränkungKontamination ist schwer vollständig nachzuweisen, weil Trainingsdaten oft nicht offengelegt werden; ein Benchmark kann zugleich Unter- und Überschätzung erzeugen.
Primär- und HauptquellenS-026 bis S-029, S-102, S-122
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-031 – Faktenkarte

FeldInhalt
AussageScheinbar emergente Sprünge können durch diskontinuierliche Metriken entstehen; daraus folgt nicht, dass jede neue Fähigkeit ein Messartefakt ist.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungFähigkeit, Messgröße und Skalierungskurve müssen getrennt analysiert werden.
Primär- und HauptquellenS-097
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-032 – Faktenkarte

FeldInhalt
AussagePromptformatierung kann die gemessene Leistung deutlich verändern, ohne dass das zugrunde liegende Modell neu trainiert wurde.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungEmpfindlichkeit variiert nach Modell und Aufgabe; mehrere Promptvarianten sind für robuste Tests sinnvoll.
Primär- und HauptquellenS-101
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-033 – Faktenkarte

FeldInhalt
AussageSycophancy bezeichnet zustimmende Anpassung an Nutzerannahmen, auch wenn diese sachlich falsch sind.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungDie Ausprägung hängt von Post-Training, Prompt und Domäne ab.
Primär- und HauptquellenS-098, S-099
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-034 – Faktenkarte

FeldInhalt
AussageDie Reversal-Curse-Arbeit zeigt eine spezifische asymmetrische Generalisierung; sie beweist nicht, dass LLMs grundsätzlich keine umkehrbaren Beziehungen lernen können.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungIn-Context-Information und andere Trainingsformen können das Ergebnis verändern.
Primär- und HauptquellenS-100
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-035 – Faktenkarte

FeldInhalt
AussageGSM-Symbolic und ähnliche Arbeiten belegen Robustheitsprobleme gegenüber Varianten und irrelevanten Zusätzen, entscheiden aber nicht allein die philosophische Frage, ob Modelle „wirklich denken“.
FaktenstatusFORSCHUNGSBEFUND
Voraussetzung / EinschränkungAufgabengenerator, Tokenbudget, Toolzugang und Bewertungsregeln beeinflussen die Schlussfolgerung.
Primär- und HauptquellenS-103 bis S-106
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-036 – Faktenkarte

FeldInhalt
AussageModellkollaps ist kein unvermeidliches Schicksal jeder Nutzung synthetischer Daten.
FaktenstatusFORSCHUNGSSTAND
Voraussetzung / EinschränkungKritisch sind rekursive Ersetzung, Mischung, Sampling, Verteilungsränder, Qualitätssicherung und Anteil frischer realer Daten.
Primär- und HauptquellenS-107 bis S-110
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-037 – Faktenkarte

FeldInhalt
AussageDie Nature-Arbeit zu Model Collapse untersucht bestimmte rekursive Trainingsregime; sie belegt nicht, dass ein einzelner KI-generierter Text das Internet oder ein Modell „vergiftet“.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungÜbertragung auf reale Trainingspipelines erfordert Angaben zu Datenherkunft, Filterung und Mischung.
Primär- und HauptquellenS-107, S-108
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-038 – Faktenkarte

FeldInhalt
AussageSynthetische Daten können nützlich sein, etwa für seltene Fälle, Simulation, Distillation oder kontrollierte Aufgaben, wenn Qualität und Verteilung geprüft werden.
FaktenstatusFORSCHUNGSSYNTHESE
Voraussetzung / EinschränkungNutzen ist domänen- und verfahrensabhängig; Blindakkumulation kann schaden.
Primär- und HauptquellenS-109, S-110
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-039 – Faktenkarte

FeldInhalt
AussageLeCuns Weltmodell-Position ist ein Forschungsprogramm und keine bewiesene Widerlegung von LLMs.
FaktenstatusQUELLENSTATUS
Voraussetzung / EinschränkungSie benennt Defizite von rein reaktiver Tokenvorhersage und schlägt JEPA, Planung und latente Zustände vor.
Primär- und HauptquellenS-111
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-040 – Faktenkarte

FeldInhalt
AussageWeltmodelle versuchen planungsrelevante Zustände und Dynamik zu lernen; sie müssen nicht jedes Detail der Umwelt pixelgenau rekonstruieren.
FaktenstatusPEER-REVIEWTER BEFUND
Voraussetzung / EinschränkungMuZero zeigt explizit, dass eine latente planungsrelevante Repräsentation genügen kann.
Primär- und HauptquellenS-116 bis S-119
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-041 – Faktenkarte

FeldInhalt
Aussage„LLM versus Weltmodell“ ist keine saubere Entweder-oder-Grenze: multimodale Modelle, latente Dynamik, Sprachschnittstellen und Planer können kombiniert werden; selbst die Definition von Weltmodell ist 2026 nicht konsensual.
FaktenstatusFORSCHUNGSSYNTHESE
Voraussetzung / EinschränkungDie Architekturgrenzen entwickeln sich schnell; aktuelle Definitionen und Roadmaps sind Perspektivpapiere, keine abschließende Taxonomie.
Primär- und HauptquellenS-111 bis S-121, S-128
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-042 – Faktenkarte

FeldInhalt
AussageEin Modell kann beeindruckende Benchmarkleistung zeigen und zugleich bei dichterem Kontext, leicht veränderten Eingaben, seltenen Fällen oder langen Handlungsfolgen fragil sein.
FaktenstatusFORSCHUNGSSYNTHESE
Voraussetzung / EinschränkungRobustheit muss über Verteilungen, Positionen, Dichte, Varianten, Wiederholungen und End-to-End-Trajektorien geprüft werden.
Primär- und HauptquellenS-057, S-096 bis S-106, S-123 bis S-127
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-043 – Faktenkarte

FeldInhalt
AussageModellupdates können eine Fähigkeit verbessern und eine andere verschlechtern; Versionswechsel brauchen Regressionstests.
FaktenstatusBETRIEBLICHE SCHLUSSFOLGERUNG
Voraussetzung / EinschränkungÖffentliche Anbieter ändern Modelle, Routing und Sicherheitsregeln teilweise ohne vollständige Offenlegung.
Primär- und HauptquellenS-025, S-050, S-072, S-074
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-044 – Faktenkarte

FeldInhalt
AussageDeterministische Temperatur- oder Samplingeinstellungen reduzieren Zufallsvariation, garantieren aber nicht überall bitidentische Antworten.
FaktenstatusTECHNISCHE EINORDNUNG
Voraussetzung / EinschränkungServerseitige Änderungen, Hardware, Routing, Parallelität und Toolantworten können Variabilität erzeugen.
Primär- und HauptquellenS-025, S-026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-045 – Faktenkarte

FeldInhalt
AussageFür Hochrisikoanwendungen ist eine gute durchschnittliche Genauigkeit unzureichend, wenn seltene Fehler hohe Schäden verursachen.
FaktenstatusRISIKOSYNTHESE
Voraussetzung / EinschränkungFehlerklassen, Worst Cases, Erkennungs- und Eskalationsfähigkeit müssen separat bewertet werden.
Primär- und HauptquellenS-026, S-036, S-088
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-046 – Faktenkarte

FeldInhalt
AussageDie wirtschaftlich relevante Metrik eines KI-Systems ist oft nicht Modellgenauigkeit, sondern akzeptierter Output nach Retrieval, Tools, Review, Latenz, Kosten und Fehlerfolgen.
FaktenstatusSYSTEMEINORDNUNG
Voraussetzung / EinschränkungModellbenchmarks bleiben für Vorauswahl nützlich, ersetzen aber den End-to-End-Test nicht.
Primär- und HauptquellenS-014 bis S-018, S-071 bis S-095
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-047 – Faktenkarte

FeldInhalt
AussageEin Modell sollte gegen eine einfache Baseline getestet werden: Suche, Regelwerk, Datenbankabfrage, Template oder klassisches ML können günstiger und zuverlässiger sein.
FaktenstatusBETRIEBLICHE SCHLUSSFOLGERUNG
Voraussetzung / EinschränkungGenerative Flexibilität ist nur wertvoll, wenn sie für die Aufgabe benötigt wird.
Primär- und HauptquellenS-014 bis S-017, S-022
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-048 – Faktenkarte

FeldInhalt
AussageFür belastbare Einführung müssen Testfälle reale Häufigkeiten und seltene kritische Randfälle enthalten; nur „schöne“ Demoaufgaben überschätzen die Systemleistung.
FaktenstatusEVALUATIONSGRUNDLAGE
Voraussetzung / EinschränkungTestsets benötigen Versionierung, Blindanteile und regelmäßige Erneuerung.
Primär- und HauptquellenS-026, S-091, S-102
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-049 – Faktenkarte

FeldInhalt
AussageHuman-in-the-loop ist kein automatischer Sicherheitsnachweis: Menschen können Vorschläge ungeprüft übernehmen, Warnungen übersehen oder unter Zeitdruck nur formell freigeben.
FaktenstatusFORSCHUNGSSYNTHESE
Voraussetzung / EinschränkungWirksamkeit muss über tatsächliche Entdeckung und Korrektur von Fehlern gemessen werden.
Primär- und HauptquellenS-096, S-099
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

F-050 – Faktenkarte

FeldInhalt
AussageDie belastbarste Aussage über ein KI-System lautet immer kontextgebunden: welches Modell, welche Version, welcher Prompt, welche Daten, welche Tools, welche Aufgabe, welche Nutzer, welche Metrik und welcher Stichtag.
FaktenstatusMETHODISCHER REFERENZSTANDARD
Voraussetzung / EinschränkungOhne diese Angaben ist ein Leistungsversprechen nicht überprüfbar.
Primär- und HauptquellenS-026, S-091, S-102
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für erklärenden Fließtext, Mythosprüfung oder Praxisbeispiel; vor Zuspitzung Quellenkontext und Modell-/Benchmarkstand erneut prüfen.
Redaktionelle SperreNicht als universelles Leistungsversprechen formulieren. Zahlen nur mit Setting, Stichtag und Nenner übernehmen.
Zuletzt geprüft7. August 2026

Glossar

Abstention
Bewusste Nichtbeantwortung oder Eskalation, wenn Evidenz oder Sicherheit nicht ausreichen.
Agent
System, das ein Ziel über mehrere Modell- und Toolschritte verfolgt und dabei Zustand verwaltet.
Attention
Mechanismus, der Beiträge anderer Tokenpositionen für eine aktuelle Repräsentation gewichtet.
Autoregressiv
Erzeugung eines Tokens auf Basis der vorherigen Token.
Benchmark
Definierte Sammlung von Aufgaben, Metriken und Bewertungsregeln.
Benchmarkkontamination
Überschneidung von Trainingsmaterial und Testaufgaben, direkt oder indirekt.
Calibration
Übereinstimmung zwischen vorhergesagter Sicherheit und beobachteter Fehlerhäufigkeit.
Chain-of-Thought
Textuelle Zwischenschritte vor einer Antwort; nicht automatisch kausal treue Erklärung.
Chunking
Aufteilung von Dokumenten in Einheiten für Suche und Kontextzusammenstellung.
Context Window
Maximal verarbeitbare Tokenmenge aus Eingabe und häufig Ausgabe; keine Garantie effektiver Nutzung.
Decoder-only Transformer
Autoregressive Transformerarchitektur, die nächste Token aus vorherigem Kontext vorhersagt.
Dense Retrieval
Semantische Suche über Vektorrepräsentationen statt ausschließlich Schlüsselwörter.
Deterministische Baseline
Nichtgenerative Vergleichslösung wie Regel, Query, Template oder klassischer Algorithmus.
Embedding
Vektorielle Repräsentation von Text, Bild oder anderem Inhalt.
Emergente Fähigkeit
Beobachtete Fähigkeit, die bei Skalierung scheinbar neu oder sprunghaft auftritt.
Entailment
Beziehung, bei der eine Aussage aus einem gegebenen Kontext folgt oder von ihm gestützt wird.
FActScore
Metrik für den Anteil atomarer Fakten, die durch eine definierte Wissensquelle gestützt werden.
Fine-Tuning
Zusätzliches Training eines vortrainierten Modells auf spezifischen Daten oder Zielen.
Foundation Model
Breit vortrainiertes Modell, das für viele nachgelagerte Aufgaben angepasst werden kann.
Groundedness
Grad, zu dem eine Antwort durch vorgegebene Quellen oder Kontext gestützt wird.
Halluzination
Uneinheitlicher Oberbegriff für erfundene, falsche, widersprüchliche oder ungestützte Ausgaben.
HELM
Evaluationsrahmen für mehrere Leistungs-, Robustheits-, Fairness- und Effizienzdimensionen.
HHEM
Vectaras Hallucination Evaluation Model zur Entailmentbewertung von Kontext-Antwort-Paaren.
Human-in-the-loop
Prozess, in dem Menschen bestimmte Prüf-, Freigabe- oder Eskalationsrollen übernehmen.
In-Context Learning
Anpassung des Verhaltens durch Instruktionen oder Beispiele im Prompt ohne Gewichtsupdate.
Inference
Ausführung eines trainierten Modells zur Erzeugung oder Bewertung von Ausgaben.
Instruction Tuning
Fine-Tuning auf Aufgabenbeschreibungen und gewünschte Antworten.
JEPA
Joint-Embedding Predictive Architecture; Vorhersage latenter Repräsentationen statt zwingend Rohdaten.
Konfabulation
Plausibel formulierte, aber nicht hinreichend gestützte oder falsche Modellantwort.
Latenter Zustand
Interne komprimierte Repräsentation, die relevante Aspekte einer Situation abbildet.
Leaderboard
Rangliste von Systemen auf einem Benchmark; meist dynamisch und konfigurationsabhängig.
Long-tail Knowledge
Seltene Informationen, die in Trainingsdaten wenig vorkommen und oft schwächer gelernt werden.
Lost in the Middle
Positionsabhängiger Leistungsabfall bei relevanter Information in der Mitte langer Eingaben.
Mixture of Experts
Architektur mit vielen Teilnetzen, von denen je Token nur eine Auswahl aktiviert wird.
Model Collapse
Verlust von Verteilungsbreite oder Qualität über rekursive Trainingsschleifen mit Modelloutput.
Model Drift
Verhaltensänderung durch Modell-, Daten-, Prompt- oder Umgebungsänderungen.
Model Weight
Gelernter numerischer Parameter eines neuronalen Netzes.
Nadeltest
Needle-in-a-Haystack-Test: Abruf eines platzierten Faktums aus langem Füllkontext.
Next-token Prediction
Vorhersage der Wahrscheinlichkeitsverteilung des nächsten Tokens.
NoLiMa
Long-Context-Benchmark mit reduzierter lexikalischer Überlappung zwischen Frage und Evidenz.
Outcome Evaluation
Bewertung nur des Endergebnisses, nicht der Handlungstrajektorie.
Pass@k
Wahrscheinlichkeit, in k Versuchen mindestens einmal zu bestehen; häufig Best-of-k-orientiert.
Pass^k
Strengere Zuverlässigkeitsmetrik: alle oder definierte Wiederholungen müssen erfolgreich sein.
Perplexity
Exponentiierter durchschnittlicher negativer Log-Likelihood-Wert; misst Tokenvorhersage, nicht direkt Nützlichkeit.
Post-Training
Training nach dem Pretraining, etwa SFT, Präferenzoptimierung oder RL.
Pretraining
Breites selbstüberwachtes Training auf großen Datenmengen.
Prompt
Eingabe aus Instruktionen, Daten, Beispielen und Kontext.
Prompt Sensitivity
Leistungsänderung durch Form, Reihenfolge oder scheinbar nebensächliche Details eines Prompts.
RAG
Retrieval-Augmented Generation: Abruf externer Inhalte vor oder während der Generierung.
ReAct
Agentenmuster mit abwechselnden Reasoning- und Aktionsschritten.
Reasoning Model
Modell, das durch Post-Training und Inferenzbudget auf mehrstufige Problemlösung optimiert wurde.
Regression Test
Wiederholter Test, ob eine Änderung bestehende Fähigkeiten verschlechtert.
Retriever
Komponente, die relevante Dokumente oder Passagen auswählt.
RLHF
Reinforcement Learning from Human Feedback.
RLAIF
Reinforcement Learning from AI Feedback.
RULER
Long-Context-Benchmark mit mehreren synthetischen Abruf-, Tracking- und Aggregationsaufgaben.
Scaffold
Agentengerüst aus Prompts, Speicher, Tools, Schleifen und Kontrolllogik.
Self-Consistency
Mehrfaches Sampling von Lösungswegen und Auswahl einer häufigen Antwort.
Semantic Entropy
Unsicherheitsmaß über semantisch gebündelte Antworten.
Sycophancy
Zustimmende Anpassung an Nutzerannahmen zulasten sachlicher Richtigkeit.
Synthetic Data
Künstlich erzeugte Trainings- oder Testdaten, häufig durch Modelle oder Simulation.
System Prompt
Übergeordnete Instruktion für Verhalten und Grenzen eines Modells.
Temperature
Parameter zur Veränderung der Zufallsverteilung beim Sampling.
Test-time Compute
Rechenbudget während der Inferenz, etwa mehrere Pfade, Verifier oder längere Suche.
Token
Diskrete Verarbeitungseinheit eines Modells; nicht identisch mit Wort oder Zeichen.
Tool Use
Aufruf externer Funktionen, Rechner, Suche, Datenbanken oder Anwendungen.
Trajectory
Folge von Beobachtungen, Gedanken, Toolaufrufen und Aktionen eines Agenten.
Transformer
Neuronale Sequenzarchitektur, deren zentrale Operation Self-Attention ist.
Vector Database
System zum Speichern und Suchen von Embeddings.
Verifier
Komponente, die Kandidaten, Schritte oder Endergebnisse bewertet.
World Model
Modell interner Zustände und Dynamik für Vorhersage oder Planung; uneinheitlich definierter Begriff.

Beleg- und Quellenmatrix

Fakten-IDAussageQuellenBelegtypRefresh
F-001Der Transformer ersetzt rekurrente Sequenzverarbeitung nicht durch „Verstehen“, sondern durch eine Architektur, die Beziehungen zwischen Tokenpositionen über Attention berechnet und stark parallelisierbar trainiert werden kann.S-001FORSCHUNGSGRUNDLAGEniedrig
F-002Ein Sprachmodell wird im Pretraining primär darauf optimiert, wahrscheinliche Tokenfortsetzungen zu modellieren; faktische Wahrheit ist nicht identisch mit diesem Trainingsziel.S-003, S-006, S-052TECHNISCHE GRUNDLAGEniedrig
F-003Skalengesetze beschreiben empirische Regelmäßigkeiten innerhalb bestimmter Modell-, Daten- und Compute-Regime; sie sind keine Naturgesetze und keine Garantie für jede nachgelagerte Fähigkeit.S-004, S-005FORSCHUNGSSTANDniedrig
F-004Compute-optimal bedeutet nicht „möglichst viele Parameter“, sondern eine abgestimmte Verteilung von Modellgröße, Daten und Rechenbudget.S-005FORSCHUNGSSTANDniedrig
F-005Instruction Tuning und Präferenztraining können ein kleineres Modell in menschlichen Präferenztests vor einem deutlich größeren Basismodell platzieren.S-006EMPIRISCHER BEFUNDniedrig
F-006Parameterzahl, aktivierte Parameter, Speicherbedarf, Trainingscompute und Inferenzkosten sind unterschiedliche Größen.S-012, S-013TECHNISCHE GRUNDLAGEmittel
F-007Ein Modell kann mit Werkzeugen besser rechnen, suchen oder handeln, ohne dass sich seine internen Wissens- oder Schlussfolgerungsfähigkeiten im gleichen Maß verbessert haben.S-017, S-018, S-022SYSTEMEINORDNUNGniedrig
F-008Mehr Testzeit-Rechenbudget kann auf geeigneten Aufgaben Leistung erhöhen, aber der Nutzen hängt stark von Schwierigkeit, Suchstrategie und Verifierqualität ab.S-021, S-024FORSCHUNGSSTANDmittel
F-009Chain-of-Thought kann Benchmarkleistung verbessern, ist aber kein verlässlicher Einblick in den tatsächlichen kausalen Entscheidungsprozess des Modells.S-019, S-096PEER-REVIEWTER BEFUNDniedrig
F-010Eine flüssige, detaillierte und selbstsichere Antwort ist kein belastbarer Wahrheitsindikator.S-031 bis S-043FORSCHUNGSSYNTHESEniedrig
F-011„Halluzination“ umfasst je nach Literatur mindestens faktisch falsche, aus dem Kontext nicht gestützte, widersprüchliche oder instruktionstreue Fehler; ohne Definition sind Raten nicht vergleichbar.S-032, S-035, S-038, S-039METHODISCHE GRUNDLAGEniedrig
F-012Es gibt keine universelle Halluzinationsrate eines Modells.S-032 bis S-052METHODISCHE SCHLUSSFOLGERUNGhoch
F-013Vectaras Hallucination Leaderboard misst mit HHEM-2.3 die faktische Konsistenz von Zusammenfassungen gegenüber einem bereitgestellten Dokument; seine Prozentwerte sind keine universelle Halluzinationswahrscheinlichkeit eines Modells.S-050, S-051ANBIETER-BENCHMARKhoch
F-014RAG kann faktische Fehler reduzieren, beseitigt sie aber nicht: Retrieval kann falsche, irrelevante oder unvollständige Belege liefern und die Generierung kann vorhandene Belege ignorieren oder verdrehen.S-014 bis S-016, S-035, S-045, S-046PEER-REVIEWTER BEFUNDmittel
F-015Eine vorhandene Quellenangabe beweist weder, dass die Quelle die Aussage trägt, noch dass die Quelle selbst richtig oder aktuell ist.S-047EMPIRISCHER BEFUNDmittel
F-016FActScore zeigt, warum Langtext nicht sinnvoll mit einem einzigen Wahr/Falsch-Label bewertet wird: Ein Text kann gleichzeitig gestützte und ungestützte atomare Aussagen enthalten.S-034METHODISCHE GRUNDLAGEniedrig
F-017SelfCheckGPT und semantische Entropie nutzen Variabilität mehrerer Antworten als Unsicherheitssignal; Konsistenz garantiert jedoch keine Wahrheit.S-033, S-036, S-037FORSCHUNGSSTANDmittel
F-018Abstention, Rückfragen und „nicht ausreichend belegt“ sind eigenständige Qualitätsfähigkeiten und sollten nicht wie falsche Antworten bestraft werden.S-052, S-054, S-055EVALUATIONSGRUNDLAGEmittel
F-019Das nominelle Kontextfenster ist eine technische Eingabegrenze, keine Garantie für effektive Erinnerung, Abruf, Integration oder Schlussfolgerung über den gesamten Kontext.S-057 bis S-070, S-123, S-124, S-127FORSCHUNGSSTANDhoch
F-020Lost in the Middle beschreibt häufig schlechtere Leistung, wenn relevante Information in der Mitte eines langen Kontextes liegt; neuere Befunde ergänzen Position um Informationsdichte und globale Integrationsanforderung.S-057, S-064, S-070, S-123, S-124PEER-REVIEWTER UND AKTUELLER FORSCHUNGSSTANDmittel
F-021Ein perfekter Needle-in-a-Haystack-Abruf belegt weder semantische Suche noch Multi-Dokument-Integration, Aggregation, Datenschutzlogik oder belastbares Schlussfolgern.S-059, S-060, S-065, S-123, S-127METHODISCHE EINORDNUNGmittel
F-022Lange Kontexte können Fehler vergrößern, weil mehr irrelevante, widersprüchliche, veraltete oder dicht gepackte Information in die Entscheidung gelangt.S-057 bis S-064, S-123, S-124, S-127FORSCHUNGSSYNTHESEmittel
F-023Ein Agentenbenchmark misst nie nur das Sprachmodell, sondern mindestens Modell, Systemprompt, Toolset, Scaffold, Speicher, Schrittbudget, Umgebung und Evaluator.S-071 bis S-095, S-125METHODISCHE GRUNDLAGEhoch
F-024Realistische Agentenbenchmarks zeigen weiterhin eine große Lücke bei langen End-to-End-Workflows: In OSWorld 2.0 erreichte das beste im Paper berichtete System 20,6 Prozent binären Erfolg und 54,8 Prozent partiellen Erfolg bei 500 Schritten.S-125AKTUELLER PREPRINT-BEFUNDhoch
F-025SWE-bench Verified ist am Stichtag kein geeigneter Frontier-Maßstab mehr: OpenAI fand bei mindestens 59,4 Prozent von 138 auditierten schwierigen Fällen materielle Test- oder Aufgabenprobleme und Hinweise auf Trainingskontamination.S-073 bis S-075, S-122ANBIETER-AUDIT / BENCHMARK-EINORDNUNGhoch
F-026Die Wahrscheinlichkeit, dass ein Workflow mit mehreren abhängigen Schritten vollständig gelingt, fällt bei unabhängigen Schrittfehlern multiplikativ.S-078, S-088MATHEMATISCHE SYSTEMLOGIKniedrig
F-027pass^k misst, ob ein Agent eine Aufgabe wiederholt zuverlässig löst; ein hoher einmaliger Best-of-N-Erfolg kann gleichzeitig geringe reproduzierbare Zuverlässigkeit verdecken.S-078, S-079BENCHMARK-METHODIKhoch
F-028Ein Agent kann einen guten Endscore erreichen und dennoch riskante Zwischenhandlungen, unnötige Zugriffe oder regelwidrige Schritte ausführen.S-091, S-092FORSCHUNGSSYNTHESEmittel
F-029Agentenumgebungen veralten: Websites, APIs, Abhängigkeiten, Tests und Konten ändern sich und können Scores unabhängig vom Modell verschieben.S-072, S-074, S-077, S-079, S-091BENCHMARK-METHODIKhoch
F-030Statische Benchmarks können durch öffentliche Testdaten, Trainingskontamination, fehlerhafte Tests und wiederholte Optimierung ihre Aussagekraft verlieren.S-026 bis S-029, S-102, S-122FORSCHUNGS- UND AUDITBEFUNDhoch
F-031Scheinbar emergente Sprünge können durch diskontinuierliche Metriken entstehen; daraus folgt nicht, dass jede neue Fähigkeit ein Messartefakt ist.S-097PEER-REVIEWTER BEFUNDniedrig
F-032Promptformatierung kann die gemessene Leistung deutlich verändern, ohne dass das zugrunde liegende Modell neu trainiert wurde.S-101PEER-REVIEWTER BEFUNDmittel
F-033Sycophancy bezeichnet zustimmende Anpassung an Nutzerannahmen, auch wenn diese sachlich falsch sind.S-098, S-099PEER-REVIEWTER BEFUNDmittel
F-034Die Reversal-Curse-Arbeit zeigt eine spezifische asymmetrische Generalisierung; sie beweist nicht, dass LLMs grundsätzlich keine umkehrbaren Beziehungen lernen können.S-100PEER-REVIEWTER BEFUNDniedrig
F-035GSM-Symbolic und ähnliche Arbeiten belegen Robustheitsprobleme gegenüber Varianten und irrelevanten Zusätzen, entscheiden aber nicht allein die philosophische Frage, ob Modelle „wirklich denken“.S-103 bis S-106FORSCHUNGSBEFUNDmittel
F-036Modellkollaps ist kein unvermeidliches Schicksal jeder Nutzung synthetischer Daten.S-107 bis S-110FORSCHUNGSSTANDmittel
F-037Die Nature-Arbeit zu Model Collapse untersucht bestimmte rekursive Trainingsregime; sie belegt nicht, dass ein einzelner KI-generierter Text das Internet oder ein Modell „vergiftet“.S-107, S-108PEER-REVIEWTER BEFUNDniedrig
F-038Synthetische Daten können nützlich sein, etwa für seltene Fälle, Simulation, Distillation oder kontrollierte Aufgaben, wenn Qualität und Verteilung geprüft werden.S-109, S-110FORSCHUNGSSYNTHESEmittel
F-039LeCuns Weltmodell-Position ist ein Forschungsprogramm und keine bewiesene Widerlegung von LLMs.S-111QUELLENSTATUSniedrig
F-040Weltmodelle versuchen planungsrelevante Zustände und Dynamik zu lernen; sie müssen nicht jedes Detail der Umwelt pixelgenau rekonstruieren.S-116 bis S-119PEER-REVIEWTER BEFUNDniedrig
F-041„LLM versus Weltmodell“ ist keine saubere Entweder-oder-Grenze: multimodale Modelle, latente Dynamik, Sprachschnittstellen und Planer können kombiniert werden; selbst die Definition von Weltmodell ist 2026 nicht konsensual.S-111 bis S-121, S-128FORSCHUNGSSYNTHESEhoch
F-042Ein Modell kann beeindruckende Benchmarkleistung zeigen und zugleich bei dichterem Kontext, leicht veränderten Eingaben, seltenen Fällen oder langen Handlungsfolgen fragil sein.S-057, S-096 bis S-106, S-123 bis S-127FORSCHUNGSSYNTHESEmittel
F-043Modellupdates können eine Fähigkeit verbessern und eine andere verschlechtern; Versionswechsel brauchen Regressionstests.S-025, S-050, S-072, S-074BETRIEBLICHE SCHLUSSFOLGERUNGhoch
F-044Deterministische Temperatur- oder Samplingeinstellungen reduzieren Zufallsvariation, garantieren aber nicht überall bitidentische Antworten.S-025, S-026TECHNISCHE EINORDNUNGhoch
F-045Für Hochrisikoanwendungen ist eine gute durchschnittliche Genauigkeit unzureichend, wenn seltene Fehler hohe Schäden verursachen.S-026, S-036, S-088RISIKOSYNTHESEniedrig
F-046Die wirtschaftlich relevante Metrik eines KI-Systems ist oft nicht Modellgenauigkeit, sondern akzeptierter Output nach Retrieval, Tools, Review, Latenz, Kosten und Fehlerfolgen.S-014 bis S-018, S-071 bis S-095SYSTEMEINORDNUNGniedrig
F-047Ein Modell sollte gegen eine einfache Baseline getestet werden: Suche, Regelwerk, Datenbankabfrage, Template oder klassisches ML können günstiger und zuverlässiger sein.S-014 bis S-017, S-022BETRIEBLICHE SCHLUSSFOLGERUNGniedrig
F-048Für belastbare Einführung müssen Testfälle reale Häufigkeiten und seltene kritische Randfälle enthalten; nur „schöne“ Demoaufgaben überschätzen die Systemleistung.S-026, S-091, S-102EVALUATIONSGRUNDLAGEmittel
F-049Human-in-the-loop ist kein automatischer Sicherheitsnachweis: Menschen können Vorschläge ungeprüft übernehmen, Warnungen übersehen oder unter Zeitdruck nur formell freigeben.S-096, S-099FORSCHUNGSSYNTHESEmittel
F-050Die belastbarste Aussage über ein KI-System lautet immer kontextgebunden: welches Modell, welche Version, welcher Prompt, welche Daten, welche Tools, welche Aufgabe, welche Nutzer, welche Metrik und welcher Stichtag.S-026, S-091, S-102METHODISCHER REFERENZSTANDARDhoch

Benchmark-zu-Aussage-Matrix

ThemenblockTragende QuellenNicht zulässige Verkürzung
Transformer und SkalierungS-001 bis S-013„Attention ist Verständnis“ oder „größer ist immer besser“
Tools und ReasoningS-017 bis S-024, S-096 bis S-106„Chain-of-Thought zeigt den echten Denkweg“
Halluzination und RAGS-031 bis S-055„Modell hat eine feste Halluzinationsquote“
Langer KontextS-057 bis S-070„Kontextfenster ist vollständig nutzbares Gedächtnis“
AgentenS-071 bis S-095„Leaderboardscore ist Modellfähigkeit oder Produktionsreife“
Model CollapseS-107 bis S-110„jede synthetische Datenverwendung führt zum Kollaps“
WeltmodelleS-111 bis S-121„Weltmodelle haben LLMs widerlegt“

Vollständiges Quellenregister

Direkte URLs sind als Arbeits- und Aktualisierungsgrundlage enthalten. Bei dynamischen Repositories, Leaderboards und Anbieterbeiträgen ist der Stand 7. August 2026 maßgeblich; vor Buchveröffentlichung erneut prüfen.

IDInstitution / TitelDatumTyp / StatusRelevanzDirekte URL
S-001Vaswani et al.: Attention Is All You Need12.06.2017NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedEinführung der Transformer-Architektur mit Self-Attention ohne rekurrente oder konvolutionale Sequenzverarbeitung.Link ↗
S-002Devlin et al. / Google AI: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding11.10.2018NAACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedBidirektionales Transformer-Pretraining und Fine-Tuning für Sprachverstehen.Link ↗
S-003Brown et al. / OpenAI: Language Models are Few-Shot Learners28.05.2020NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedGPT-3 und In-Context-Learning bei großem autoregressivem Sprachmodell.Link ↗
S-004Kaplan et al. / OpenAI: Scaling Laws for Neural Language Models23.01.2020Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintEmpirische Skalengesetze für Modellgröße, Daten und Rechenleistung unter den untersuchten Bedingungen.Link ↗
S-005Hoffmann et al. / DeepMind: Training Compute-Optimal Large Language Models29.03.2022NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedChinchilla-Analyse zur compute-optimalen Verteilung zwischen Parametern und Trainingsdaten.Link ↗
S-006Ouyang et al. / OpenAI: Training language models to follow instructions with human feedback04.03.2022NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedInstruction Tuning und RLHF; zeigt, dass Modellgröße allein Instruktionsbefolgung nicht garantiert.Link ↗
S-007Bai et al. / Anthropic: Constitutional AI: Harmlessness from AI Feedback15.12.2022Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintRLAIF und regelbasierte Selbstkritik als Post-Training-Verfahren.Link ↗
S-008Touvron et al. / Meta AI: LLaMA: Open and Efficient Foundation Language Models27.02.2023Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintOffene Foundation-Modelle und Bedeutung von Datenmenge sowie Compute-Effizienz.Link ↗
S-009Touvron et al. / Meta AI: Llama 2: Open Foundation and Fine-Tuned Chat Models18.07.2023Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintPretraining, SFT und RLHF für offene Chatmodelle; dokumentiert Modell- und Sicherheitsgrenzen.Link ↗
S-010Jiang et al. / Mistral AI: Mistral 7B10.10.2023Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintSliding-Window-Attention und Grouped-Query-Attention in kompaktem Modell.Link ↗
S-011Gu und Dao: Mamba: Linear-Time Sequence Modeling with Selective State Spaces01.12.2023Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintSelektive State-Space-Modelle als relevante nicht-transformerbasierte Sequenzarchitektur.Link ↗
S-012Dao et al.: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness27.05.2022NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedExakte, speichereffiziente Attention-Implementierung; wichtig für lange Sequenzen und Systemkosten.Link ↗
S-013Fedus, Zoph, Shazeer / Google: Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity11.01.2021JMLR / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedMixture-of-Experts mit sparsamer Aktivierung; Parameterzahl ist nicht gleich Rechenaufwand pro Token.Link ↗
S-014Lewis et al. / Facebook AI Research: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks22.05.2020NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedKombination parametrischen und extern abgerufenen Wissens; Grundlage vieler RAG-Systeme.Link ↗
S-015Karpukhin et al. / Facebook AI Research: Dense Passage Retrieval for Open-Domain Question Answering30.04.2020EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedDichte Retriever für offene Fragebeantwortung; Retrievalqualität als eigener Systemfaktor.Link ↗
S-016Izacard und Grave: Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering02.07.2020EACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedFusion-in-Decoder zur Verarbeitung mehrerer abgerufener Passagen.Link ↗
S-017Schick et al. / Meta AI: Toolformer: Language Models Can Teach Themselves to Use Tools09.02.2023NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedSelbstüberwachtes Lernen von API-Aufrufen für Rechnen, Suche, Kalender und weitere Werkzeuge.Link ↗
S-018Yao et al.: ReAct: Synergizing Reasoning and Acting in Language Models06.10.2022ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedVerzahnung von Textschritten und Aktionen in Umgebungen; frühes Agentenmuster.Link ↗
S-019Wei et al. / Google Research: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models28.01.2022NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedZwischenschritte können die Benchmarkleistung bei bestimmten Aufgaben verbessern.Link ↗
S-020Wang et al. / Google Research: Self-Consistency Improves Chain of Thought Reasoning in Language Models07.03.2022ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedMehrfaches Sampling und Mehrheitsentscheidung als Inferenzstrategie.Link ↗
S-021Snell et al.: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters06.08.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintTestzeit-Rechenbudget wirkt aufgaben- und schwierigkeitsabhängig; adaptive Zuweisung kann effizienter sein.Link ↗
S-022Gao et al.: PAL: Program-aided Language Models18.11.2022ICML-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedAuslagerung symbolischer Rechenschritte in Programme statt rein sprachlicher Berechnung.Link ↗
S-023Yao et al.: Tree of Thoughts: Deliberate Problem Solving with Large Language Models17.05.2023NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedExploration mehrerer Gedankenzustände; erhöht Rechen- und Auswahlaufwand.Link ↗
S-024Lightman et al. / OpenAI: Let’s Verify Step by Step31.05.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedProzess- statt ausschließlich Ergebnisbewertung bei mathematischen Lösungswegen.Link ↗
S-025OpenAI: GPT-4 Technical Report15.03.2023Technischer Bericht / arXiv | Anbieter-Originalquelle | Technischer BerichtDokumentiert breite Leistungen, eingeschränkte Transparenz und bekannte Grenzen wie Halluzinationen.Link ↗
S-026Liang et al. / Stanford CRFM: Holistic Evaluation of Language Models16.11.2022TMLR / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedHELM: standardisierte Mehrdimensionalität von Genauigkeit, Robustheit, Fairness, Effizienz und weiteren Kriterien.Link ↗
S-027Hendrycks et al.: Measuring Massive Multitask Language Understanding07.09.2020ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedMMLU mit Fachgebieten; Beispiel eines statischen Wissens- und Verständnisbenchmarks.Link ↗
S-028Srivastava et al.: Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models09.06.2022Transactions on Machine Learning Research / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedBIG-bench als kollaborative Benchmarksammlung und Grundlage für Diskussion emergenter Fähigkeiten.Link ↗
S-029Suzgun et al.: Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them17.10.2022ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedBIG-Bench Hard und Grenzen sowie Promptabhängigkeit anspruchsvoller Aufgaben.Link ↗
S-030Chung et al. / Google: Scaling Instruction-Finetuned Language Models20.10.2022JMLR / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedFlan-Skalierung über Modelle, Aufgaben und Instruktionen.Link ↗
S-031Lin, Hilton, Evans: TruthfulQA: Measuring How Models Mimic Human Falsehoods17.09.2021ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedBenchmark für wahrheitsgemäße Antworten auf Fragen, bei denen verbreitete Fehlvorstellungen naheliegen.Link ↗
S-032Li et al.: HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models19.05.2023EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedGenerierte und menschlich annotierte Halluzinationsbeispiele; Ergebnisraten sind settingspezifisch.Link ↗
S-033Manakul, Liusie, Gales: SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models15.03.2023EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedKonsistenz mehrerer Stichproben als Black-Box-Indikator für Nichtfaktualität.Link ↗
S-034Min et al.: FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation23.05.2023EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedZerlegt Langtext in atomare Fakten und prüft den gestützten Anteil.Link ↗
S-035Niu et al.: RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models31.12.2023ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedNahezu 18.000 RAG-Antworten mit Fall- und Wortannotation; RAG beseitigt Halluzinationen nicht automatisch.Link ↗
S-036Farquhar et al.: Detecting hallucinations in large language models using semantic entropy19.06.2024Nature 630 | Wissenschaftliche Originalquelle | Peer-reviewedSemantische Entropie bündelt sinngleiche Antworten zur Unsicherheits- und Konfabulationsdetektion.Link ↗
S-037Kuhn, Gal, Farquhar: Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation25.04.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedVorarbeit zur semantischen statt rein tokenbasierten Unsicherheit.Link ↗
S-038Huang et al.: A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions09.11.2023Survey / arXiv | Wissenschaftliche Sekundärquelle | SurveyTaxonomie von faktischer und treuebezogener Halluzination; Forschungskarte.Link ↗
S-039Ji et al.: Survey of Hallucination in Natural Language Generation09.02.2022ACM Computing Surveys / arXiv | Wissenschaftliche Sekundärquelle | Peer-reviewed SurveyBreitere NLG-Halluzinationstaxonomie vor dem aktuellen LLM-Zyklus.Link ↗
S-040Mallen et al.: When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories20.12.2022ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedVergleich parametrischen Wissens und Retrieval; Popularität und Wissensgrenzen.Link ↗
S-041Kandpal et al.: Large Language Models Struggle to Learn Long-Tail Knowledge09.11.2022ICML-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedZusammenhang zwischen Trainingshäufigkeit und Faktengenauigkeit bei seltenem Wissen.Link ↗
S-042Azaria und Mitchell: The Internal State of an LLM Knows When It’s Lying17.04.2023Findings of EMNLP / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedKlassifikatoren auf internen Repräsentationen zur Wahrheits-/Falschheitsdetektion in untersuchten Settings.Link ↗
S-043Kadavath et al. / Anthropic: Language Models (Mostly) Know What They Know20.07.2022Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintKalibrierung und Selbstbewertung über bestimmte Aufgaben und Modelle.Link ↗
S-044Shlegeris, Roger, Chan, McLean: Language Models Are Better Than Humans at Next-token Prediction21.12.2022; TMLR 2024TMLR / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedVergleicht Menschen und Sprachmodelle direkt auf Next-Token-Vorhersage und grenzt diese Aufgabe von allgemeiner Sprachkompetenz ab.Link ↗
S-045Asai et al.: Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection17.10.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedModell lernt Abruf- und Reflexionsentscheidungen; Qualitätsgewinn bleibt evaluationsabhängig.Link ↗
S-046Gao et al.: Retrieval-Augmented Generation for Large Language Models: A Survey18.12.2023Survey / arXiv | Wissenschaftliche Sekundärquelle | SurveyRAG-Komponenten, Evaluationsachsen und Fehlerquellen.Link ↗
S-047Liu et al.: Evaluating Verifiability in Generative Search Engines27.04.2023EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedUntersucht Zitationskorrektheit, Vollständigkeit und -qualität in generativer Suche.Link ↗
S-048Gao et al. / Google DeepMind: FACTS Grounding: A Benchmark for Evaluating Groundedness of Language Models17.12.2024Offizieller Forschungsbeitrag / Benchmark | Anbieter-Originalquelle | VeröffentlichtBenchmark für lange Antworten, die vollständig aus bereitgestellten Dokumenten gestützt sein sollen.Link ↗
S-049Google DeepMind: FACTS Grounding public benchmark data17.12.2024Offizieller Datensatz / GitHub | Offizielle Benchmarkquelle | DynamischÖffentliche Benchmarkbeispiele und Evaluationsmaterial; nicht identisch mit jeder privaten Leaderboard-Auswertung.Link ↗
S-050Vectara: Hallucination Leaderboard / HHEM-2.3laufend; geprüft 07.08.2026Anbieter-Benchmark / GitHub | Anbieterquelle | DynamischDynamisches Leaderboard zur faktischen Konsistenz dokumentgestützter Zusammenfassungen; verwendet HHEM-2.3 und misst keine universelle Halluzinationswahrscheinlichkeit.Link ↗
S-051Vectara: HHEM-2.1 Open Model Card06.11.2023; fortlaufend aktualisiertAnbieter-Modellkarte | Anbieterquelle | DynamischAutomatisches Entailmentmodell für Kontext-Antwort-Paare; detectorabhängige Messung.Link ↗
S-052OpenAI: Why language models hallucinate05.09.2025Offizieller Forschungsbeitrag | Anbieter-Originalquelle | VeröffentlichtErklärt Anreize zum Raten in Standardtraining und -evaluation; Anbieterperspektive.Link ↗
S-053Rajpurkar et al.: SQuAD: 100,000+ Questions for Machine Comprehension of Text16.06.2016EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedFrüher extraktiver QA-Benchmark; nützlich zur Abgrenzung von Extraktion und freier Generation.Link ↗
S-054Rajpurkar, Jia, Liang: Know What You Don’t Know: Unanswerable Questions for SQuAD11.06.2018ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedSQuAD 2.0 verlangt auch Erkennen unlösbarer Fragen; Abstention als Qualitätsdimension.Link ↗
S-055Cole et al.: Selectively Answering Ambiguous Questions24.05.2023EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedSelektive Beantwortung und Ambiguität; relevant für Rückfragen und Verweigerung.Link ↗
S-056Ribeiro et al.: Beyond Accuracy: Behavioral Testing of NLP Models with CheckList06.05.2020ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedBehaviorale Testmethodik mit Fähigkeits- und Störungstests statt nur aggregierter Genauigkeit.Link ↗
S-057Liu et al.: Lost in the Middle: How Language Models Use Long Contexts06.07.2023; TACL 2024TACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedPositionsabhängige Nutzung langer Kontexte; häufig bessere Leistung am Anfang und Ende.Link ↗
S-058Bai et al.: LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding09.08.2023; ACL 2024ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed21 Datensätze in sechs Aufgabenkategorien für lange Kontexte, Englisch und Chinesisch.Link ↗
S-059Hsieh et al. / NVIDIA: RULER: What’s the Real Context Size of Your Long-Context Language Models?09.04.2024COLM-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedMehrere synthetische Abruf-, Tracking- und Aggregationsaufgaben statt nur Needle-in-a-Haystack.Link ↗
S-060Modarressi et al.: NoLiMa: Long-Context Evaluation Beyond Literal Matching07.02.2025Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintLong-Context-Aufgaben mit minimaler lexikalischer Überlappung; trennt semantisches Finden von Wortabgleich.Link ↗
S-061Yen et al.: HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly13.10.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintAnwendungsnahe Long-Context-Evaluation mit kontrollierter Qualität der Referenzen.Link ↗
S-062Zhang et al.: InfiniteBench: Extending Long Context Evaluation Beyond 100K Tokens2024ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedAufgaben mit sehr langen Eingaben und mehreren Fähigkeitsdimensionen.Link ↗
S-063Li et al.: LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks17.12.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintRealistischere Long-Context-Aufgaben mit anspruchsvollerem Verständnis und Schlussfolgern.Link ↗
S-064Song et al.: Counting-Stars: A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context Large Language Models18.03.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintPositions- und Mehrfachbeleganalyse; zeigt, dass LiM-Befunde vom Aufgabendesign abhängen können.Link ↗
S-065Kamradt: Needle In A Haystack - Pressure Testing LLMs2023; fortlaufendExperiment / GitHub | Offene Benchmarkquelle | DynamischEinfacher Abruf eines platzierten Faktums; nützlich, aber kein vollständiger Test von Verständnis oder Integration.Link ↗
S-066Ding et al.: LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens22.02.2024ICML-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedTechniken zur Extrapolation von Positionsrepräsentationen; nominelle Länge ersetzt keine Fähigkeitsprüfung.Link ↗
S-067Press et al.: Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation02.08.2021ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedALiBi zur Längenextrapolation; Architektur- und Trainingseinfluss auf nutzbare Kontexte.Link ↗
S-068Su et al.: RoFormer: Enhanced Transformer with Rotary Position Embedding20.04.2021Neurocomputing / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedRotary Position Embedding als verbreitete Positionskodierung.Link ↗
S-069Xiao et al.: Efficient Streaming Language Models with Attention Sinks29.09.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedStreamingLLM und Attention Sinks für fortlaufende Inferenz mit begrenztem Cache.Link ↗
S-070Zhang et al.: Positional Failures in Long-Context LLMs28.05.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintAudit von Benchmarks und kontrollierte Positionsfehler; hochaktuell und noch nicht peer-reviewed.Link ↗
S-071Zhou et al.: WebArena: A Realistic Web Environment for Building Autonomous Agents25.07.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedSelbst gehostete Websites und realistische Webaufgaben; frühe Agenten lagen weit unter menschlicher Leistung.Link ↗
S-072WebArena Team: WebArena project site and benchmark2023; fortlaufendOffizielle Benchmarkseite | Offizielle Benchmarkquelle | DynamischAufgaben, Umgebungen, Code und Ergebnisupdates; Versionsstand muss dokumentiert werden.Link ↗
S-073Jimenez et al.: SWE-bench: Can Language Models Resolve Real-World GitHub Issues?10.10.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed2.294 reale GitHub-Issues aus zwölf Python-Repositories in der Ausgangsversion.Link ↗
S-074SWE-bench Team: SWE-bench official benchmark and leaderboards2024; fortlaufendOffizielle Benchmarkseite | Offizielle Benchmarkquelle | DynamischOriginal, Lite, Verified und weitere Varianten; Leaderboardwerte ändern sich mit Agent, Modell und Scaffold.Link ↗
S-075OpenAI: Introducing SWE-bench Verified13.08.2024Offizieller Benchmarkbericht | Anbieter-Originalquelle | Veröffentlicht500 von Softwareentwicklern geprüfte Instanzen zur Verbesserung der Aufgabenqualität.Link ↗
S-076Xie et al.: OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments11.04.2024NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed369 reale Computeraufgaben mit ausführungsgestützter Bewertung.Link ↗
S-077OSWorld Team: OSWorld official project and leaderboard2024; fortlaufendOffizielle Benchmarkseite | Offizielle Benchmarkquelle | DynamischCode, Aufgaben und Leaderboard für multimodale Computeragenten.Link ↗
S-078Yao et al.: tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains17.06.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintDialog, Werkzeuge und Richtlinien in Retail und Airline; pass^k misst wiederholte Zuverlässigkeit.Link ↗
S-079tau-bench Team: tau-bench official repository2024; fortlaufendOffizielles Repository | Offizielle Benchmarkquelle | DynamischAufgaben, Simulatoren, Policies und Auswertung; Reproduzierbarkeit hängt vom Versionsstand ab.Link ↗
S-080Mialon et al.: GAIA: a benchmark for General AI Assistants21.11.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedFragen mit Werkzeugnutzung, Web, Dateien und mehrstufiger Verarbeitung.Link ↗
S-081Liu et al.: AgentBench: Evaluating LLMs as Agents07.08.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedMehrere interaktive Umgebungen; trennt Sprachleistung von Handlungserfolg nur begrenzt.Link ↗
S-082Koh et al.: VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks28.01.2024ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedVisuelle Webaufgaben in realistischen Websites.Link ↗
S-083Drouin et al.: WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?21.03.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintKnowledge-Work-Aufgaben in ServiceNow-Umgebung.Link ↗
S-084Qin et al.: ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs31.07.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedAPI-Auswahl und Toolnutzung in großem Korpus.Link ↗
S-085Yan et al.: Berkeley Function-Calling Leaderboard2024; fortlaufendOffizieller Benchmark / GitHub | Offizielle Benchmarkquelle | DynamischBewertet Funktionsaufrufe, Parallelität, Relevanz und weitere Tool-Use-Aspekte.Link ↗
S-086Zhou et al.: TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks17.12.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintSimulierte Softwarefirma mit längeren, bereichsübergreifenden Aufgaben.Link ↗
S-087OpenAI: MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering10.10.2024Offizieller Forschungsbericht / arXiv | Anbieter-Originalquelle | Veröffentlicht75 Kaggle-Wettbewerbe zur Bewertung von ML-Engineering-Agenten.Link ↗
S-088METR: Measuring AI Ability to Complete Long Tasks19.03.2025; fortlaufendForschungsbericht | Wissenschaftliche Originalquelle | DynamischZeit-Horizont-Metrik für zuverlässig abgeschlossene, menschlich zeitbewertete Aufgaben.Link ↗
S-089OpenAI: BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents10.04.2025Offizieller Forschungsbericht | Anbieter-Originalquelle | VeröffentlichtSchwierige Websuche mit verifizierbaren kurzen Antworten; agentischer Recherchebenchmark.Link ↗
S-090Terminal-Bench Team: Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces17.01.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintRealistische CLI-Aufgaben; aktueller Agentenbenchmark mit hohem Infrastrukturanteil.Link ↗
S-091Kapoor et al.: Establishing Best Practices for Building Rigorous Agentic Benchmarks03.07.2025; aktualisiertForschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintAudit und Empfehlungen zu Umgebungsstabilität, Evaluation, Kosten und Reproduzierbarkeit.Link ↗
S-092AgentAtlas Authors: AgentAtlas: Beyond Outcome Leaderboards for LLM Agents26.05.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintAudit von 15 Agentenbenchmarks nach Verhaltens- und Messdimensionen.Link ↗
S-093How Many Tasks Authors: How Many Tasks Are Enough for Agent Benchmark Evaluation?14.07.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintZeigt, dass notwendiger Aufgabenanteil für stabile Paarvergleiche stark benchmarkabhängig ist.Link ↗
S-094General Agent Evaluation Authors: General Agent Evaluation26.02.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintVergleich mehrerer Agentengerüste über Benchmarks; Unterschiede oft klein gegenüber Messunsicherheit.Link ↗
S-095Asawa et al.: Continual Learning Bench: Evaluating Frontier AI Systems on Sequential Real-World Tasks05.06.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintPrüft Lernen über aufeinanderfolgende Aufgaben und Grenzen naiver Memory-Systeme.Link ↗
S-096Turpin et al.: Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting07.05.2023NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedCoT kann verzerrte Antworten rationalisieren, ohne den tatsächlichen Einfluss offenzulegen.Link ↗
S-097Schaeffer, Miranda, Koyejo: Are Emergent Abilities of Large Language Models a Mirage?28.04.2023NeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedDiskontinuierliche Metriken können scheinbar sprunghafte Emergenz erzeugen.Link ↗
S-098Perez et al.: Discovering Language Model Behaviors with Model-Written Evaluations19.12.2022ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedModel-generated evaluations und Verhaltensmuster, einschließlich Sycophancy.Link ↗
S-099Sharma et al.: Towards Understanding Sycophancy in Language Models20.10.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedSystematische Untersuchung zustimmender, wahrheitswidriger Anpassung an Nutzermeinungen.Link ↗
S-100Berglund et al.: The Reversal Curse: LLMs trained on A is B fail to learn B is A21.09.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedAsymmetrische Generalisierung in untersuchten autoregressiven Trainingssettings.Link ↗
S-101Sclar et al.: Quantifying Language Models’ Sensitivity to Spurious Features in Prompt Design26.10.2023; ACL 2024ACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedHohe Leistungsvariation durch Promptformatierung und scheinbar unwichtige Merkmale.Link ↗
S-102Deng et al.: Benchmark Data Contamination of Large Language Models: A Survey06.06.2024Survey / arXiv | Wissenschaftliche Sekundärquelle | SurveyTaxonomie, Erkennung und Folgen von Benchmarkkontamination.Link ↗
S-103Mirzadeh et al. / Apple: GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models07.10.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintVariationen mathematischer Aufgaben und irrelevante Klauseln zeigen Robustheitsprobleme im untersuchten Setting.Link ↗
S-104Shojaee et al. / Apple: The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity07.06.2025Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintPuzzlebasierte Analyse von Reasoning-Modellen; Interpretation wurde fachlich kontrovers diskutiert.Link ↗
S-105Lawsen: Comment on The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity10.06.2025Kommentar / arXiv | Wissenschaftliche Originalquelle | Preprint / MethodenkritikKritisiert unlösbare Instanzen, Tokenlimits und die Reichweite der Schlussfolgerungen der Apple-Studie.Link ↗
S-106Song, Yue, Zhang: Thinking Isn’t an Illusion: Overcoming the Limitations of Reasoning Models via Tool Augmentations23.07.2025Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintGegenexperiment auf Apples Puzzleaufgaben mit Python und Scratchpads; zeigt starke Abhängigkeit vom Toolzugang.Link ↗
S-107Shumailov et al.: AI models collapse when trained on recursively generated data24.07.2024Nature 631 | Wissenschaftliche Originalquelle | Peer-reviewedRekursive Ersetzung realer Daten durch Modelloutput kann Verteilungsränder verlieren und Modellkollaps erzeugen.Link ↗
S-108Shumailov et al.: Author Correction: AI models collapse when trained on recursively generated data21.03.2025Nature-Korrektur | Wissenschaftliche Originalquelle | KorrekturOffizielle Korrektur zum Nature-Artikel; bei genauer Zahlenverwendung mitprüfen.Link ↗
S-109Alemohammad et al.: Self-Consuming Generative Models Go MAD04.07.2023ICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedIterative Trainingsschleifen können Qualität oder Vielfalt verlieren, wenn frische reale Daten fehlen.Link ↗
S-110Gerstgrasser et al.: Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data26.04.2024EMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedZeigt, dass Akkumulation realer Daten neben synthetischen Daten Kollaps in untersuchten Settings vermeiden kann.Link ↗
S-111LeCun: A Path Towards Autonomous Machine Intelligence27.06.2022Positionspapier / OpenReview | Wissenschaftliche Primärquelle | PositionspapierLeCuns Forschungsprogramm für JEPA, Weltmodelle, Planung und intrinsische Motivation; keine Konsensfeststellung.Link ↗
S-112Assran et al. / Meta AI: Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture19.01.2023CVPR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedI-JEPA prognostiziert Repräsentationen verdeckter Bildbereiche statt Pixelrekonstruktion.Link ↗
S-113Bardes et al. / Meta AI: V-JEPA: Latent Video Prediction for Visual Representation Learning15.02.2024Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintLatente Vorhersage verdeckter Videoregionen; Grundlage der späteren V-JEPA-Linie.Link ↗
S-114Assran et al. / Meta AI: V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning11.06.2025Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintVideo-Weltmodell mit kleiner Menge Robotikdaten und demonstrierten Planungsaufgaben in zwei Laborumgebungen.Link ↗
S-115Mur-Labadia et al. / Meta AI: V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning15.03.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | Preprint / schnell veraltendAktuelle Erweiterung mit dichten Bild- und Videomerkmalen sowie Robotikexperimenten; noch jung und revisionsanfällig.Link ↗
S-116Ha und Schmidhuber: World Models27.03.2018Forschungspapier / arXiv | Wissenschaftliche Originalquelle | PreprintFrühes kompaktes Weltmodell für Steuerung in simulierten Umgebungen.Link ↗
S-117Schrittwieser et al. / DeepMind: Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model23.12.2020Nature 588 | Wissenschaftliche Originalquelle | Peer-reviewedMuZero lernt planungsrelevante Dynamik ohne vollständige Rekonstruktion der Umwelt.Link ↗
S-118Hafner et al. / Google DeepMind: Mastering Diverse Domains through World Models10.01.2023; Nature 2025Nature / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedDreamerV3 lernt aus latenter Dynamik über viele Domänen; Weltmodelle sind aufgaben- und trainingsabhängig.Link ↗
S-119Bruce et al. / Google DeepMind: Genie: Generative Interactive Environments23.02.2024ICML-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewedGeneratives Modell interaktiver 2D-Umgebungen aus unlabeled Video.Link ↗
S-120Google DeepMind: Genie 2: A large-scale foundation world model04.12.2024Offizieller Forschungsbeitrag | Anbieter-Originalquelle | Vorläufig / AnbieterberichtInteraktive 3D-Umgebungen; öffentliche Evidenz ist begrenzter als bei peer-reviewten Arbeiten.Link ↗
S-121Google DeepMind: Genie 3: A new frontier for world models05.08.2025Offizieller Forschungsbeitrag | Anbieter-Originalquelle | Vorläufig / AnbieterberichtAktuelle Weltmodell-Demonstration; Aussagen sind als Anbieterbefund zu kennzeichnen.Link ↗
S-122OpenAI: Why SWE-bench Verified no longer measures frontier coding capabilities23.02.2026Offizieller Forschungsbeitrag | Anbieter-Originalquelle | Veröffentlicht / schnell veraltendAudit von 138 häufig nicht gelösten Verified-Fällen: mindestens 59,4 Prozent mit materiellen Aufgaben- oder Testproblemen; zusätzlich Kontaminationshinweise. OpenAI berichtet Verified nicht mehr für Frontier-Launches und empfiehlt SWE-bench Pro.Link ↗
S-123Chen et al.: LongBench Pro: A More Realistic and Comprehensive Bilingual Long-Context Evaluation Benchmark06.01.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | Preprint / schnell veraltend1.500 natürliche englisch- und chinesischsprachige Langkontextfälle, 11 Haupt- und 25 Unteraufgaben, 8k bis 256k Token; Evaluation von 46 Modellen zeigt regelmäßig kürzeren effektiven als nominellen Kontext.Link ↗
S-124Dettori et al.: Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs04.06.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | Preprint / schnell veraltendKontrollierte Tests bei rund 12k Token zeigen Informationsdichte als eigenständigen Belastungsfaktor; in dichteren Settings sanken zuvor nahezu perfekte Abrufwerte bei untersuchten Modellen teils unter 60 Prozent.Link ↗
S-125Yuan et al.: OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks28.06.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | Preprint / schnell veraltend108 lange Computer-Workflows mit median rund 1,6 Stunden menschlicher Bearbeitungszeit; bestes im Paper berichtetes System erreicht bei 500 Schritten 20,6 Prozent binären und 54,8 Prozent partiellen Erfolg.Link ↗
S-126Abu Ahmad et al.: Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs19.06.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | Preprint / schnell veraltendSciFactCheck mit 2.500 Prompts aus fünf Wissenschaftsdomänen und 18 Modellen; in den untersuchten Minimalpaaren verschlechterte wissenschaftliches Fine-Tuning die Faktentreue und erhöhte sprachliche Bestimmtheit.Link ↗
S-127Gu: Long Context, Less Focus: A Scaling Gap in LLMs Revealed through Privacy and Personalization16.02.2026Forschungspapier / arXiv | Wissenschaftliche Originalquelle | Preprint / schnell veraltendPAPerBench mit rund 29.000 Instanzen und 377.000 Fragen zwischen 1k und 256k Token berichtet in den untersuchten Modellen sinkende Personalisierungs- und Datenschutzleistung mit wachsendem Kontext.Link ↗
S-128Chen et al.: A Definition and Roadmap for World Models07.07.2026Perspektivpapier / arXiv | Wissenschaftliche Primärquelle | Preprint / Positions- und SynthesepapierDokumentiert den fehlenden Konsens darüber, was ein Weltmodell ist, was es vorhersagen soll und wie es zu bauen ist; schlägt Definition und Entwicklungsstufen vor.Link ↗

Schnell veraltende Informationen und Qualitätsbericht

Refresh-Liste

ThemaWarum veraltend?Nächste PrüfungBeobachtungsquellePriorität
Vectara Hallucination Leaderboard und HHEMModell-, Prompt-, Test- und Detektorversion ändern sichvor jeder ZahlenverwendungS-050, S-051hoch
FACTS GroundingModelle und Leaderboard können aktualisiert werdenvor VeröffentlichungS-048, S-049hoch
SWE-bench und Verified-Auditneue Varianten, Kontamination, Testfehler und veränderte Empfehlungvor jeder Score-NutzungS-074, S-075, S-122hoch
WebArena / OSWorld 2.0 / tau-benchUmgebung, Modelle, Scaffolds und Budgets entwickeln sich schnellvor jeder Rang- oder ProzentangabeS-072, S-077, S-079, S-125hoch
METR Time Horizonslaufende Messreihe und neue Modellevor aktueller AussageS-088hoch
Terminal-Bench und 2026-Agentenstudienjunge Preprints, mögliche Revisionenin drei bis sechs MonatenS-090 bis S-095hoch
Reasoning-Debatte 2025/26Replikationen, Toolzugang und Modellversionenvor BuchmanuskriptS-103 bis S-106hoch
V-JEPA 2.1Preprint, Modelle und Robotikbefunde jungvor jeder LeistungszahlS-115hoch
Genie 2/3 und Weltmodell-DefinitionAnbieterberichte und junge Definitionsdebattebei neuer Vollpublikation / TaxonomieS-120, S-121, S-128hoch
Langkontext-Benchmarks 2026LongBench Pro, Dichtetests und PAPerBench sind junge Preprintsin drei bis sechs MonatenS-123, S-124, S-127hoch
Proprietäre Kontextfenster und ModelleProduktparameter und Routing ändern sichbei jeder ProdukterwähnungAnbieterquelle ergänzenhoch
Model-Collapse-ForschungÜbertragung auf reale Trainingspipelines offenjährlichS-107 bis S-110mittel
Grundlagen Transformer / RAGwissenschaftliche Grundlage stabilalle zwei JahreS-001, S-014niedrig

Qualitätsbericht

PrüfpunktErgebnis
Quellenzahl128
Kernaussagen / Faktenkarten50
Ausführliche Forschungs- und Benchmarkprofile18
Unternehmensszenarien18
Mythenprüfungen20
Offene Forschungsfragen20
Glossarbegriffe71
Prüf- und Einführungsschritte36
Tragende EvidenzMehrheit Originalarbeiten; Preprints, Positions- und Anbieterquellen gekennzeichnet
Größte verbleibende UnsicherheitProprietäre Trainingsdaten, dynamische Leaderboards und schnelle Modell-/Scaffoldänderungen
RechtsprüfungNicht Gegenstand dieses Dossiers; Datenschutz, AI Act, Urheberrecht und Haftung in Dossiers 1–4
AktualisierungspflichtAlle aktuellen Modell-, Kontext- und Leaderboardzahlen vor Buchveröffentlichung neu prüfen

Abschluss-Checkliste für jede Buchbehauptung

  1. Ist der Begriff operational definiert?
  2. Ist klar, ob das Basismodell oder das Gesamtsystem gemeint ist?
  3. Sind Modellversion, Stichtag und Benchmark genannt?
  4. Trägt die Quelle genau die Aussage?
  5. Ist eine Anbieterzahl als Anbieterzahl markiert?
  6. Ist ein Preprint als vorläufig gekennzeichnet?
  7. Sind Gegenbefunde oder Methodenkritik berücksichtigt?
  8. Wird aus einer engen Aufgabe keine allgemeine Fähigkeit abgeleitet?
  9. Ist der Nenner jeder Prozentzahl sichtbar?
  10. Ist eine aktuelle Refresh-Prüfung terminiert?

> Schlussfolgerung > Die belastbare Grenze eines KI-Systems ist kein fester Strich. Sie ist eine messbare Fehlerlandschaft, die sich mit Aufgabe, Daten, Kontext, Werkzeugen, Nutzer und Version verschiebt. Professionelle Systeme machen diese Landschaft sichtbar, begrenzen ihre Folgen und prüfen sie nach jeder Änderung erneut.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.