Professionell mit KI arbeiten

Human-AI Collaboration, Aufgabenarchitektur, Vertrauen, Prüfung und Kompetenz

Fakten- und Recherchestand: 8. August 2026 Version: 1.0 Räumlicher Schwerpunkt: Deutschland, Europäische Union und internationale Forschungsbefunde Zielgruppe: Geschäftsführung, Fachverantwortliche, Wissensarbeiter, Berater, Entwickler, Trainer und Projektverantwortliche Vorgesehener Dateiname: 12_professionell-mit-ki-arbeiten-human-ai-collaboration-faktendossier_2026-08-08

Dieses Dossier ist eine neutrale Fakten- und Arbeitsgrundlage für eine deutschsprachige Sachbuchreihe. Es ist weder Produktwerbung noch individuelle Rechts-, Medizin-, Personal- oder Anlageberatung. Studienbefunde werden nur innerhalb ihres jeweiligen Settings interpretiert. Preprints und Herstellerdokumentationen sind ausdrücklich gekennzeichnet.

Leitgedanke: Professionell mit KI zu arbeiten bedeutet nicht, die längsten Prompts zu schreiben. Es bedeutet, eine Aufgabe so zu gestalten, dass Mensch und System jeweils das tun, was sie nachweislich gut können – und dass Fehler sichtbar, prüfbar und begrenzbar bleiben.

Leitfrage

Die entscheidende Frage lautet nicht: „Wie bringe ich die KI dazu, eine Antwort zu geben?“ Sie lautet: „Wie gestalte ich den gesamten Arbeitsprozess so, dass eine brauchbare Antwort entsteht, erkannt, geprüft, verantwortet und bei Bedarf korrigiert wird?“

Daraus folgen fünf Teilfragen:

• Welche Aufgaben eignen sich für Assistenz, welche für echte Delegation und welche nicht?
• Wie werden Kontext, Quellen, Beispiele und Erfolgskriterien so aufbereitet, dass das System sinnvoll arbeiten kann?
• Wie verhindert man Übervertrauen, blindes Nachvollziehen und Scheinkontrolle?
• Wie bleibt menschliche Fach-, Lern- und Reparaturkompetenz erhalten?
• Wie misst ein Unternehmen den End-to-End-Nutzen statt nur Geschwindigkeit oder Outputmenge?

Management-Zusammenfassung

Das belastbare Gesamtbild

Der Forschungsstand liefert kein simples „KI steigert Produktivität“ und ebenso wenig ein simples „KI macht Menschen abhängig“. Die Wirkung entsteht aus dem Zusammenspiel von Aufgabe, Mensch, Modell, Daten, Interface, Organisation und Prüfverfahren. Eine Meta-Analyse von 106 experimentellen Studien zeigt, dass Mensch-KI-Kombinationen den Menschen häufig verbessern, im Durchschnitt aber nicht automatisch den besseren Einzelakteur übertreffen. Inhaltserstellung fällt günstiger aus als viele Entscheidungsaufgaben. ^[S-001]

Feld- und Laborexperimente zeigen starke positive Effekte in standardisierten Schreibaufgaben, Kundenservice, Beratung und bestimmten Innovationsaufgaben. Gegenbefunde zeigen jedoch auch Verlangsamung, schlechtere Entscheidungen außerhalb der Modellgrenze sowie Lernverluste bei vollständiger Delegation. Die Prozentwerte sind nicht widersprüchlich, sondern beschreiben verschiedene Aufgaben und Arbeitsdesigns. ^{[S-033, S-034, S-035, S-045, S-057]}

Professionelle Nutzung lässt sich am besten als kontrollierte Arbeitsteilung beschreiben. KI erzeugt Varianten, strukturiert, sucht, verdichtet, kritisiert oder bearbeitet klar begrenzte Schritte. Menschen definieren Zweck, Randbedingungen, akzeptable Risiken, verbindliche Quellen, Werturteile und Freigaben. Expertenstudien deuten darauf hin, dass Fachleute vor allem Informationsforaging delegieren und Synthese sowie Interpretation behalten. ^{[S-129, S-002, S-029]}

Der zweite Kern ist angemessene Reliance. Die Organisation darf weder maximales Vertrauen noch maximales Misstrauen anstreben. Sie muss erreichen, dass richtige Vorschläge angenommen und falsche abgelehnt werden. Erklärungen, Konfidenzwerte oder ein „Mensch in der Schleife“ reichen allein nicht. Kognitive Forcing Functions, unabhängige Ersturteile, sichtbare Zwischenartefakte und qualifizierte Reviews können helfen, verursachen aber Zeit- und Komfortkosten. ^{[S-007, S-008, S-073, S-013]}

Der dritte Kern ist Kompetenzerhalt. Kurzfristige Leistung ist nicht identisch mit Lernen. Unbeschränkte Assistenz kann unterstützte Ergebnisse verbessern und gleichzeitig spätere unassistierte Leistung verschlechtern. Gute Lernarchitektur nutzt KI als Tutor, Kritiker oder Hinweisgeber, nicht dauerhaft als vollständigen Ersatz der geistigen Arbeit. ^{[S-125, S-126, S-057, S-066]}

Der vierte Kern ist lokale Evaluation. Allgemeine Modellrankings beantworten nicht, ob eine konkrete Firmenaufgabe zuverlässig bearbeitet wird. Unternehmen brauchen repräsentative Fälle, klare Qualitätsmaßstäbe, Primärquellen, Grenzfälle, Fehlermessung und Regressionstests. Der AI Act verlangt zudem seit 2. Februar 2025 angemessene KI-Kompetenz; eine einmalige Prompt-Schulung deckt dies nicht automatisch ab. ^{[S-123, S-132, S-118, S-133]}

Zehn operative Konsequenzen

1. Nicht „KI im Unternehmen“ einführen, sondern einzelne Aufgabenklassen mit konkretem Ergebnis definieren.
2. Zuerst prüfen, ob eine Aufgabe verifizierbar, reversibel und folgenarm genug für den gewählten Automatisierungsgrad ist.
3. Bei hohen Konsequenzen eine unabhängige menschliche Einschätzung bilden, bevor die KI-Antwort sichtbar wird.
4. Komplexe Arbeit in sichtbare Teilschritte mit Zwischenartefakten und klaren Übergaben zerlegen.
5. Quellen, Daten und Entscheidungskriterien vom Prompt trennen und versioniert pflegen.
6. Generierung, Kritik und Verifikation nicht in einem einzigen ungeprüften Durchlauf vermischen.
7. Kontrolltiefe am möglichen Schaden ausrichten; Routine darf stichprobenartig, Hochrisiko muss qualifiziert geprüft werden.
8. Bei Lernzielen Erklärpflicht, eigene Lösungsschritte und KI-freie Transferaufgaben vorsehen.
9. End-to-End-Metriken erfassen: akzeptiertes Ergebnis, Nacharbeit, entkommene Fehler, Entscheidungsgüte, Lernen und TCO.
10. Modell-, Prompt-, Daten- und Prozessänderungen als Systemänderungen behandeln und neu evaluieren.

Was dieses Dossier ausdrücklich nicht behauptet

• Dass jede KI-Nutzung produktiv ist.
• Dass Menschen grundsätzlich bessere oder schlechtere Entscheidungen treffen als KI.
• Dass ein einzelnes Promptmuster universell funktioniert.
• Dass jede kognitive Auslagerung zu Kompetenzverlust führt.
• Dass Assistenz in einem Experiment automatisch in jedem Unternehmen denselben Effekt erzeugt.
• Dass „Human-in-the-loop“ ohne Prüfung der tatsächlichen Rolle ein ausreichendes Kontrollkonzept ist.

Die 50 wichtigsten Kernaussagen

Methodik, Evidenz und Recherchegrenzen

Quellenstrategie

Die Recherche kombiniert vier Quellengruppen:

Warum Studien nicht direkt addiert werden dürfen

„Produktivität“ kann Zeit, Menge, externe Qualitätsbewertung, gelöste Fälle, Umsatz oder subjektive Entlastung bedeuten. Ebenso reicht das Spektrum von einem Chatfenster bis zu einem in den Prozess eingebetteten Copilot oder autonomen Agenten. Deshalb werden Prozentwerte nur mit Setting, Stichprobe und Messgröße verwendet. Ein Feldversuch im Kundenservice ist kein Schätzer für eine strategische Entscheidung; eine Schreibaufgabe ist kein Nachweis juristischer Zuverlässigkeit.

Evidenzhierarchie im Dossier

Grenzen

• Die Werkzeuglandschaft ändert sich schneller als viele peer-reviewte Veröffentlichungen.
• Ein großer Teil der Human-AI-Literatur untersucht kurze, klar bewertbare Aufgaben.
• Langzeitbefunde zu Kompetenz, Organisationswissen und Verantwortung sind noch begrenzt.
• Selbstauskünfte über Zeitersparnis, Vertrauen oder kritisches Denken sind nicht mit objektiver Wirkung gleichzusetzen.
• Viele 2026er Befunde sind Preprints und werden daher vorsichtiger gewichtet.
• Das Dossier beschreibt Prinzipien; konkrete Rechts- und Betriebsanforderungen müssen aus den Fach-Dossiers der Reihe ergänzt werden.

Begriffe und sechs Formen der Zusammenarbeit

Human-AI Collaboration ist mehr als „ein Mensch tippt in einen Chat“. Sie umfasst die Aufteilung von Informationszugang, Analyse, Entwurf, Entscheidung, Ausführung und Kontrolle. Der Automatisierungsgrad muss für jeden dieser Schritte gesondert festgelegt werden. Ein System kann beispielsweise Informationen automatisch sammeln, einen Entwurf erzeugen, aber weder entscheiden noch versenden.

Die klassischen „Levels of Automation“ unterscheiden Informationsaufnahme, Analyse, Entscheidungsauswahl und Handlungsausführung. Diese Trennung bleibt für generative KI nützlich, weil die gefährlichste Verschiebung oft unbemerkt erfolgt: Eine angebliche „Entscheidungshilfe“ wird praktisch zur Entscheidung, wenn Menschen ihre Vorschläge fast immer übernehmen. ^{[S-070, S-071, S-069]}

Relative Stärken: Was Mensch und KI sinnvoll beitragen

Komplementarität setzt Fehlerdiversität voraus. Wenn Mensch und KI dieselben blinden Flecken haben oder wenn der Mensch die KI nur nachahmt, entsteht kein Mehrwert. Professionelle Arbeitsteilung sucht daher nicht nur unterschiedliche Fähigkeiten, sondern auch möglichst unabhängige Evidenz, Perspektiven und Prüfmethoden. ^{[S-001, S-007, S-002]}

Aufgabenwahl: Die wichtigste Entscheidung vor dem Prompt

Sieben Prüfdimensionen

Einfache Entscheidungsmatrix

Der „jagged frontier“-Befund erklärt, weshalb Berufsbezeichnungen zu grob sind. Innerhalb derselben Rolle kann eine Aufgabenart stark profitieren und die nächste schlechter werden. Unternehmen müssen deshalb Aufgaben und nicht bloß Stellen klassifizieren. ^{[S-035, S-001, S-047]}

Prompting, Kontext und Spezifikation

Ein belastbarer Arbeitsauftrag

Herstellerleitfäden stimmen in einem Punkt weitgehend überein: klare Instruktionen, Kontext, Beispiele, gewünschtes Format und iterative Evaluation helfen. Sie sind jedoch Produktdokumentationen. Unabhängige Forschung zeigt, dass Nutzer ohne belastbares mentales Modell bei der Iteration und Bewertung scheitern können. Deshalb ist Prompting Teil eines Verfahrens, nicht die gesamte Kompetenz. ^{[S-120, S-121, S-122, S-093]}

Was in dauerhafte Artefakte gehört

• Definitionen, die im Unternehmen verbindlich gelten.
• Daten- und Quellenhierarchie.
• Freigaberegeln und verbotene Handlungen.
• Beispiele für richtig, falsch und grenzwertig.
• Prüfchecklisten, Testfälle und Eskalationsgrenzen.
• Versionen von Modellen, Prompts, Tools und Wissensbeständen.

Aufgabenzerlegung und sichtbare Zwischenartefakte

AI Chains und PromptChainer zeigen den Wert, eine komplexe Aufgabe in sichtbare Schritte aufzuteilen. Das verbessert Kontrollierbarkeit, Wiederverwendung und gezieltes Korrigieren. Der Preis sind mehr Schnittstellen, Pflege und mögliche Fehlerfortpflanzung. Eine gute Kette trennt daher nicht beliebig, sondern entlang fachlicher Prüfpunkte. ^[S-094]

Die Vier-Pass-Methode

1. Definieren und eigene Position bilden: Ziel, Kriterien, bekannte Fakten und erste Hypothese ohne KI festhalten, sofern Anker- oder Lernrisiko besteht.
2. Generieren: KI erzeugt Entwurf, Varianten, Extraktion oder Analyse innerhalb klarer Quellen und Grenzen.
3. Adversarial kritisieren: Ein separater Durchlauf sucht Auslassungen, Gegenbeispiele, falsche Annahmen und failure modes.
4. Extern verifizieren: Tragende Aussagen werden gegen Primärquelle, Test, Formel, Fachperson oder reale Daten geprüft.

Die vier Pässe können von demselben Modell unterstützt werden, sollten aber nicht mit einer bloßen Selbstbestätigung verwechselt werden. Bei hohem Risiko muss mindestens die letzte Prüfinstanz unabhängig sein.

Human-first, AI-first und die richtige Reihenfolge

Kognitive Forcing Functions zeigen, dass eine eigene Antwort vor der KI das Reliance-Verhalten verändern kann. Sie sind jedoch kein kostenloser Sicherheitsmechanismus: Nutzer bevorzugen oft bequemere Interfaces. Unternehmen sollten Human-first deshalb gezielt dort einsetzen, wo der mögliche Fehler größer ist als die zusätzliche Bearbeitungszeit. ^{[S-008, S-021]}

Vertrauen, Reliance und Scheinkontrolle

Vier mögliche Reliance-Ergebnisse

Eine Organisation, die nur fragt „Vertrauen die Mitarbeitenden dem Tool?“, misst nicht das eigentliche Ziel. Sie muss fallbezogen messen, ob richtige und falsche Ratschläge unterschieden werden. Neuere Reviews weisen darauf hin, dass Begriffe und Metriken in der Reliance-Forschung noch uneinheitlich sind. ^{[S-013, S-017]}

Warum Erklärungen nicht genügen

Eine sprachlich überzeugende Begründung kann die Empfehlung verständlicher machen – oder lediglich eine plausiblere Rationalisierung liefern. Erklärungen sind dann nützlich, wenn sie prüfbare Evidenz, relevante Unsicherheit oder kontrastive Information liefern. Sie sind gefährlich, wenn Nutzer „klingt nachvollziehbar“ mit „ist richtig“ verwechseln.

Verifikation, Quellenprüfung und Red Teaming

Mindestprüfung nach Risikoklasse

Quellenprüfung

1. Originalquelle öffnen; Suchsnippet oder KI-Zusammenfassung reicht nicht.
2. Autor/Herausgeber, Titel, Veröffentlichungsdatum und Rechts-/Länderkontext prüfen.
3. Konkrete Passage, Tabelle, Seite oder Randnummer finden.
4. Prüfen, ob die Quelle genau die behauptete Aussage trägt oder nur ähnlich klingt.
5. Methodik, Stichprobe und Einschränkungen erfassen.
6. Neuere Fassung, Korrektur, Rückzug oder Gegenbefund suchen.
7. Aussage und eigene Schlussfolgerung im Dokument trennen.

Adversarial Review

Ein Red-Team-Durchlauf soll nicht „sei kritisch“ heißen, sondern konkrete Angriffsflächen prüfen: falsche Prämisse, fehlende Daten, alternative Erklärung, veraltete Quelle, unzulässige Verallgemeinerung, Interessenkonflikt, Ausnahmefall, Datenschutz-/Sicherheitsfolge und falsches Entscheidungskriterium. Die wichtigsten Gegenargumente werden anschließend nicht automatisch übernommen, sondern ebenfalls belegt.

Anfänger, Experten und ungleiche Gewinne

Der Kundenservice-Feldversuch und andere Studien zeigen größere relative Gewinne bei weniger Erfahrenen. Das kann Leistung angleichen. Es kann aber auch die Übungswege verkürzen, über die Menschen normalerweise Expertise erwerben. Der neue AIC-Befund ergänzt: Formales Vorwissen allein sagt nicht, wer Nutzen realisiert; Elicitieren, Filtern und Verifizieren sind eigenständige Fähigkeiten. ^{[S-034, S-128, S-057]}

Cognitive Offloading, kritisches Denken und Deskilling

Cognitive Offloading ist ein normales menschliches Verhalten: Notizen, Taschenrechner, Kalender und Suchmaschinen lagern geistige Arbeit aus. Die relevante Frage ist daher nicht, ob ausgelagert wird, sondern was, wann und mit welcher Rückfallkompetenz. Sinnvolle Auslagerung entlastet Gedächtnis und Routine. Problematisch wird sie, wenn Menschen nicht mehr erkennen, dass eine Ausgabe falsch ist, oder bei Ausfall die Aufgabe nicht mehr kontrollieren können.

Die oft zitierte CHI-Studie zum kritischen Denken basiert auf Selbstberichten zu 936 Nutzungsfällen. Sie beschreibt wahrgenommene Verschiebungen, beweist aber keinen langfristigen Kompetenzverlust. Stärkere kausale Hinweise kommen aus Lernexperimenten, die assistierte und spätere unassistierte Leistung getrennt messen. ^{[S-023, S-126, S-057, S-125]}

Kein Alarmismus um „Brain on ChatGPT“

Der 2025er EEG-/Essay-Preprint ist interessant, aber klein, auf eine bestimmte Schreibaufgabe begrenzt und noch nicht peer-reviewed. Aussagen wie „ChatGPT schädigt das Gehirn“ gehen weit über die Evidenz hinaus. Für die Buchreihe taugt die Studie als Beispiel dafür, wie stark zugespitzte Mediennarrative aus vorläufiger Forschung entstehen – nicht als Beweis einer allgemeinen neurologischen Schädigung. ^[S-127]

Arbeitsgestaltung, die Lernen erhält

Sechs Lernmodi

Mindeststandard für Qualifizierungsaufgaben

• Lernziel und produktives Ziel getrennt benennen.
• Vor der Lösung eine Prognose, Skizze oder eigene Hypothese verlangen.
• Gestufte Hinweise statt sofortiger Komplettlösung verwenden.
• Erklärungen durch Anwendung in einem neuen Fall prüfen.
• Regelmäßig unassistierte Aufgaben und Fehlerdiagnosen durchführen.
• Nicht nur Ergebnis, sondern Begründung, Transfer und Reparatur bewerten.

Kreativität, Vielfalt und Fixierung

GenAI kann eine Einzelperson bei kreativen Aufgaben unterstützen. Gleichzeitig können viele Menschen ähnliche Vorschläge erhalten und dadurch die kollektive Vielfalt reduzieren. Professionelles Kreativdesign nutzt deshalb KI nicht nur als Generator, sondern als bewusst gesteuerten Perspektivwechsel. ^{[S-040, S-041, S-064]}

Teams, Expertiseverteilung und soziale Dynamik

Das P&G-Feldexperiment zeigt, dass KI die Grenzen zwischen Funktionsrollen verschieben kann. Mitarbeitende erzeugten häufiger Lösungen, die Wissen außerhalb ihrer angestammten Funktion enthielten. Dies kann Zusammenarbeit beschleunigen, aber auch den Anlass reduzieren, Kollegen zu fragen. Organisationen müssen deshalb nicht nur individuellen Output, sondern Wissensnetzwerke und kollegiales Lernen beobachten. ^[S-036]

Eine qualitative CHIWORK-Studie von 2026 beschreibt, dass Beschäftigte KI-Kompetenz teils informell und verdeckt entwickeln. Angst, als weniger kompetent oder unehrlich wahrgenommen zu werden, kann Offenlegung und gemeinsames Lernen hemmen. Die Studie liefert kein Häufigkeitsmaß, macht aber einen wichtigen organisatorischen Mechanismus sichtbar. ^[S-130]

Teamnormen

• KI-Nutzung bei folgenreichen Arbeitsergebnissen offenlegen.
• Fehlversuche und korrigierte Halluzinationen als Lernmaterial teilen.
• Fachliche Ownership nicht an das Tool delegieren.
• Prompt- und Eval-Artefakte als Teamwissen statt persönliches Geheimnis pflegen.
• Zeit für menschliche Rückfragen und Mentoring erhalten.
• Individuelle Überwachung vermeiden; Evaluation auf Prozess- und Aufgabenebene ausrichten.

Hochriskante Entscheidungen und domänenspezifische Kontrolle

Medizin

Medizinische Studien zeigen den Kern des Reliance-Problems besonders deutlich. AI-Unterstützung kann durchschnittlich helfen, falsche Empfehlungen können jedoch auch Experten in die falsche Richtung ziehen. Yu et al. fanden große Heterogenität zwischen 140 Radiologen und 15 Aufgaben; Erfahrung allein erklärte nicht zuverlässig, wer profitiert. ^{[S-137, S-138, S-136]}

Recht

Experimentelle juristische Arbeiten berichten Zeit- und Qualitätsgewinne, insbesondere wenn Systeme mit Retrieval oder spezialisierten Reasoning-Verfahren arbeiten. Gleichzeitig zeigen Untersuchungen zu Legal Research Tools, dass Halluzinationen und Zitierfehler nicht verschwinden. Professionelle Nutzung verlangt deshalb Originalquellen, Rechtsstand, Zuständigkeit und juristische Endprüfung. ^{[S-140, S-141, S-142]}

Personal und Finanzen

Bei Personal- und Finanzentscheidungen sind Kriterien, Daten und Folgen häufig normativ oder rechtlich relevant. KI darf dort nicht zur unsichtbaren Letztentscheidung werden. Berechnungen sollten deterministisch reproduzierbar bleiben; generative Modelle eignen sich eher zur Strukturierung, Szenarienbildung und Erklärung. Die vertiefte rechtliche Prüfung erfolgt in den Dossiers zu Datenschutz, AI Act, Haftung und Governance.

Organisation: Vom individuellen Trick zum belastbaren System

Das Human-AI Work Canvas

Rollenmodell

Der NIST AI RMF strukturiert Risikomanagement in Govern, Map, Measure und Manage. Für Human-AI Collaboration ist besonders wichtig, nicht nur das Modell, sondern die tatsächliche Konfiguration aus Mensch, Interface, Daten, Tools und organisatorischem Druck zu evaluieren. ^{[S-116, S-117, S-132, S-119]}

Interface- und Werkzeugdesign

Die 18 Guidelines for Human-AI Interaction umfassen Erwartungsmanagement, Kontextbezug, Korrektur, Feedback und Anpassung über die Zeit. Sie sind Designleitlinien, keine Garantie. Wirksamkeit muss mit echten Nutzern und lokalen Fällen überprüft werden. ^{[S-003, S-004]}

Entscheidungsmatrix: Welche Arbeitsform ist wann sinnvoll?

18 Forschungsprofile

Meta-Analyse Mensch-KI-Komplementarität (Vaccaro et al.)

Erklärungen und komplementäre Teamleistung (Bansal et al.)

Kognitive Forcing Functions (Buçinca et al.)

Produktivität bei Schreibaufgaben (Noy & Zhang)

Generative AI at Work (Brynjolfsson, Li & Raymond)

Jagged Technological Frontier

The Cybernetic Teammate

AI Interaction Competence und Produktivitätsstreuung

Expert Cognition in dokumentenzentrierter Arbeit

AI-Feedback in der Wissenschaft im großen Maßstab

Generative AI without guardrails can harm learning

Kritisches Denken in Wissensarbeit

How AI Impacts Skill Formation

Kreativität und kollektive Vielfalt

Spätere unassistierte Kreativität

Human-computer collaboration in dermatology

Realer klinischer Einsatz eines KI-Systems

KI-gestützte juristische Arbeit

18 Unternehmensszenarien

Kunden-E-Mail entwerfen

Geschäftsführer-Entscheidungsvorlage

Markt- und Wettbewerbsrecherche

Kundenservice-Copilot

Angebot und Leistungsbeschreibung

Vertragszusammenfassung

Rechtsrecherche

Medizinische Entscheidungshilfe

Bewerber-Vorsortierung

Finanzplanung und Forecast

Kreativkampagne

Interner Wissensassistent

Programmieren und Debugging

Meeting-Transkript und Aufgabenliste

Strategie-Workshop

Onboarding und Weiterbildung

Wissenschaftliche/technische Literaturkritik

Autonomer Agent mit E-Mail, CRM und Dateien

36-stufiger Umsetzungsfahrplan

1. Problem und Baseline: Konkretes Geschäftsergebnis und Nicht-Ziele in einem Satz definieren.
2. Problem und Baseline: Eine messbare Arbeitseinheit festlegen, etwa geprüfte Antwort, Entscheidungsvorlage oder gelöster Fall.
3. Problem und Baseline: Die heutige Baseline für Zeit, Qualität, Fehler, Nacharbeit und Kompetenz erfassen.
4. Problem und Baseline: Die Aufgabe nach Verifizierbarkeit, Reversibilität, Konsequenz, Datenrisiko und Feedbacklatenz klassifizieren.
5. Problem und Baseline: Klären, ob das Problem überhaupt generative KI benötigt oder besser durch Regeln, Suche, Datenbank oder Prozessänderung gelöst wird.
6. Problem und Baseline: Stop-Kriterien bestimmen, bei denen kein KI-Einsatz oder nur ein isolierter Test zulässig ist.
7. Rollen und Kontext: Die Rollen „Mensch“, „Modell“, „Datenquelle“, „Tool“ und „Freigabe“ explizit zuweisen.
8. Rollen und Kontext: Den Automatisierungsgrad festlegen: Vorschlag, Co-Creation, Entscheidungshilfe, delegierter Teilschritt oder autonome Aktion.
9. Rollen und Kontext: Für folgenschwere Aufgaben eine unabhängige menschliche Erstposition vor der KI-Ausgabe vorsehen.
10. Rollen und Kontext: Primärquellen, interne Wissensbestände und verbindliche Datenquellen bestimmen.
11. Rollen und Kontext: Zugriffsrechte, Datenschutz, Geheimnisse und erlaubte Datenklassen definieren.
12. Rollen und Kontext: Ein prüfbares Ausgabeformat mit Quellen, Annahmen, Unsicherheiten und offenen Punkten festlegen.
13. Arbeitsdesign: Komplexe Aufgaben in fachlich sinnvolle, sichtbare Teilschritte zerlegen.
14. Arbeitsdesign: Zwischenartefakte definieren: Gliederung, Faktenliste, Rechenweg, Testfälle oder Entscheidungsmatrix.
15. Arbeitsdesign: Beispiele für gute Ergebnisse, Grenzfälle und klar unzulässige Ergebnisse bereitstellen.
16. Arbeitsdesign: Prompt, Systemanweisung und Kontext getrennt versionieren.
17. Arbeitsdesign: Modell und Werkzeug nach Aufgabe auswählen, nicht nach allgemeiner Rangliste.
18. Arbeitsdesign: Eine kleine repräsentative Evaluationsmenge mit Normalfällen und schwierigen Fällen erstellen.
19. Prüfung und Kontrolle: Die KI-Ausgabe zunächst auf Vollständigkeit, Format und Quellenabdeckung prüfen.
20. Prüfung und Kontrolle: Einen adversarialen Kritikdurchgang mit Gegenargumenten, Auslassungen und möglichen Fehlerursachen durchführen.
21. Prüfung und Kontrolle: Tragende Fakten, Zahlen, Zitate und Rechtsaussagen an der Originalquelle verifizieren.
22. Prüfung und Kontrolle: Bei Berechnungen deterministische Werkzeuge oder reproduzierbare Formeln einsetzen.
23. Prüfung und Kontrolle: Für Hochrisikoergebnisse einen qualifizierten, unabhängigen Fachreview verlangen.
24. Prüfung und Kontrolle: Korrekturen, abgelehnte Vorschläge und Fehlergründe strukturiert erfassen.
25. Prüfung und Kontrolle: Übervertrauen und Untervertrauen getrennt messen: richtige Annahmen und richtige Ablehnungen.
26. Prüfung und Kontrolle: Escaped Errors und nachgelagerte Schäden über den unmittelbaren Arbeitsschritt hinaus beobachten.
27. Kompetenz und Organisation: Bei Lernzielen Hilfestufen, Erklärpflicht und KI-freie Transferaufgaben einbauen.
28. Kompetenz und Organisation: Regelmäßig Zeiten ohne Assistenz und manuelle Diagnose üben, damit Kontrollkompetenz erhalten bleibt.
29. Kompetenz und Organisation: Teamnormen für Offenlegung, Quellen, Verantwortung und das Teilen von Fehlversuchen vereinbaren.
30. Kompetenz und Organisation: Mitarbeitende rollen- und risikobezogen schulen; keine Einheitsveranstaltung für alle.
31. Messung und Betrieb: Pilot und Vergleichsgruppe so gestalten, dass Selbstselektion und reine Begeisterungswerte nicht die Messung dominieren.
32. Messung und Betrieb: End-to-End-KPIs statt Token-, Prompt- oder Textmengen messen.
33. Messung und Betrieb: Kosten für Review, Nacharbeit, Betrieb, Qualifizierung und Governance in die Nutzenrechnung aufnehmen.
34. Messung und Betrieb: Modell-, Prompt-, Daten- und Prozessänderungen mit Regressionstests absichern.
35. Messung und Betrieb: Eskalationsweg, Abschaltung, Rückfallprozess und Verantwortlichen für Vorfälle festlegen.
36. Messung und Betrieb: Nach 30, 90 und 180 Tagen Nutzen, Fehler, Lernen, Aufgabenverteilung und Nebenwirkungen neu bewerten.

Der Fahrplan ist risikobasiert. Eine interne Textvariante benötigt nicht dieselbe Tiefe wie eine Personalentscheidung oder ein autonomer Agent. Ausgelassene Schritte sollten jedoch bewusst begründet werden – nicht nur deshalb fehlen, weil das Modell sie nicht vorgeschlagen hat.

KPI- und Evaluationsrahmen

Minimaler Versuchsaufbau

• Vergleichbare Aufgaben vor und nach Einführung oder randomisiert mit/ohne KI bearbeiten.
• Modell, Version, Prompt, Kontext, Toolrechte und Nutzergruppe dokumentieren.
• Qualität unabhängig und möglichst blind bewerten.
• Zeit bis zur akzeptierten Endfassung einschließlich Prüfung und Nacharbeit messen.
• Fehler nach Schwere und Sichtbarkeit klassifizieren.
• Bei Lernzielen spätere unassistierte Leistung erfassen.
• Nach 30, 90 und 180 Tagen prüfen, ob der Effekt stabil bleibt.

Öffentliche Evaluationsleitfäden wie Green Book, Magenta Book und NIST ARIA unterstreichen Baseline, Theory of Change, realistische Messung und sozio-technische Wirkung. Für betriebliche KI-Piloten sollten diese Prinzipien pragmatisch auf eine klar definierte Arbeitseinheit übersetzt werden. ^{[S-134, S-135, S-132]}

20 Mythenprüfungen

„Mit dem richtigen Superprompt wird jede Aufgabe zuverlässig.“

„Mensch plus KI ist immer besser als Mensch oder KI allein.“

„Das genaueste Modell ergibt automatisch das beste Team.“

„Eine Erklärung macht eine KI-Antwort zuverlässig.“

„Ein Mensch in der Schleife reicht als Kontrolle.“

„Wer der KI vertraut, folgt ihr immer.“

„Mehr KI-Meinungen bedeuten unabhängige Prüfung.“

„Je länger der Prompt, desto besser das Ergebnis.“

„Schnellere Fertigstellung beweist höhere Produktivität.“

„KI hilft Anfängern immer und schadet Experten nie.“

„Wenn die KI eine Quelle nennt, ist die Aussage belegt.“

„Cognitive Offloading macht automatisch dümmer.“

„Kurzfristig gute Ergebnisse zeigen, dass jemand gelernt hat.“

„Die „Brain on ChatGPT“-Studie beweist Hirnschäden.“

„KI macht Ideen immer vielfältiger.“

„Ein KI-Copilot kann Teams vollständig ersetzen.“

„Experten brauchen keine Leitplanken.“

„Ein Promptkurs erfüllt automatisch die KI-Kompetenzpflicht.“

„Alle Aufgaben sollten AI-first bearbeitet werden.“

„Wer KI nutzt, muss jedes Ergebnis vollständig manuell neu machen.“

20 offene Forschungs- und Praxisfragen

Welche Interaktionsmuster erzeugen über Jahre sowohl Produktivität als auch belastbare Expertise?

Warum ungeklärt: Kurzzeitstudien können Lern- und Wartungsfolgen nicht zeigen. Benötigte Evidenz: Längsschnittstudien über 6, 12, 24 und 36 Monate mit Transferaufgaben.

Wie lässt sich AI Interaction Competence stabil, rollenbezogen und manipulationsresistent messen?

Warum ungeklärt: AIC ist jung und wird derzeit unterschiedlich operationalisiert. Benötigte Evidenz: Validierte Tests mit echten Arbeitsaufgaben, verschiedenen Rollen und unabhängigen Qualitätsmaßen.

Wann ist Human-first besser als AI-first, und wie kann ein System diese Reihenfolge dynamisch wählen?

Warum ungeklärt: Reihenfolge beeinflusst Anker, Kreativität und Lernanstrengung. Benötigte Evidenz: Randomisierte Vergleiche nach Aufgabe, Risiko, Expertise und Zeitdruck.

Wie unabhängig müssen Zweitmodelle, Prompts und Daten sein, damit Mehrfachprüfung echte Fehlerdiversität erzeugt?

Warum ungeklärt: Korrelierte Systeme können denselben Fehler mehrfach bestätigen. Benötigte Evidenz: Ablationsstudien mit Modellfamilien, Retrievalquellen und unabhängigen Orakeln.

Welche Arten von Erklärungen verbessern Entscheidungen, ohne nur Akzeptanz oder falsche Sicherheit zu erhöhen?

Warum ungeklärt: Erklärungen können Rationalisierungen statt Ursachen sein. Benötigte Evidenz: Studien mit Ground Truth, Prozessdaten und kontrafaktischen Erklärungen.

Wie lässt sich angemessene Reliance im realen Betrieb messen, wenn die Wahrheit erst spät bekannt wird?

Warum ungeklärt: Viele Aufgaben haben verzögerte oder mehrdeutige Wahrheit. Benötigte Evidenz: Outcome-Tracking, Expertengremien und kalibrierte Proxy-Metriken.

Wie verändern autonome Agenten Verantwortungsgefühl, Aufmerksamkeit und Kontrollfähigkeit?

Warum ungeklärt: Mehr Autonomie kann Kontrolle formal erhalten, praktisch aber schwächen. Benötigte Evidenz: Feldstudien zu Monitoring, Eingriffsraten, Verantwortungsdiffusion und Vorfällen.

Welche Fähigkeiten erodieren zuerst, wenn Routinearbeit dauerhaft delegiert wird?

Warum ungeklärt: Kompetenzverlust hängt von Übung, Beruf und Ausweichmöglichkeiten ab. Benötigte Evidenz: Skill-Mapping plus unassistierte Diagnostik- und Reparaturtests.

Welche Lernleitplanken erhalten Kompetenz, ohne die Produktivitätsgewinne zu beseitigen?

Warum ungeklärt: Leitplanken können Lernen schützen, aber Nutzung unbequemer machen. Benötigte Evidenz: Vergleich von Hint-Systemen, Socratic Tutoring, Verzögerungen und Assessments.

Wie stark homogenisiert GenAI langfristig Sprache, Ideen, Strategien und Unternehmenskultur?

Warum ungeklärt: Kreativitätsstudien sind meist kurz und auf Texte fokussiert. Benötigte Evidenz: Langzeitdaten zu visuellen, strategischen und technischen Ideenbeständen.

Wie verändern KI-Copiloten informelles Lernen, Mentoring und Wissensaustausch zwischen Kollegen?

Warum ungeklärt: Produktivität kann steigen, während kollegiales Lernen sinkt. Benötigte Evidenz: Netzwerk-, Kommunikations- und Kompetenzdaten vor und nach Einführung.

Welche sozialen Normen fördern offene Fehlerkultur statt versteckter KI-Nutzung?

Warum ungeklärt: Verdeckte Nutzung verhindert gemeinsames Lernen und Governance. Benötigte Evidenz: Interventionen zu Offenlegung, psychologischer Sicherheit und Fehleraustausch.

Wie kann die Qualität menschlicher Prüfung unter Zeitdruck und hoher KI-Ausgabemenge erhalten bleiben?

Warum ungeklärt: KI erzeugt mehr prüfbaren Output als Menschen lesen können. Benötigte Evidenz: Studien zu Review-Budgets, Sampling, Priorisierung und Aufmerksamkeit.

Welche Aufgabenmerkmale prognostizieren die gezackte Leistungsgrenze besser als Berufsbezeichnungen?

Warum ungeklärt: Berufsaggregate verbergen große Unterschiede innerhalb eines Jobs. Benötigte Evidenz: Task-Level-Datensätze mit Verifizierbarkeit, Konsequenz, Kontext und Feedbacklatenz.

Wie schnell veralten lokale Evals nach Modell-, Prompt-, Daten- oder Prozessänderungen?

Warum ungeklärt: Modelle und Anbieter ändern sich schneller als Jahresberichte. Benötigte Evidenz: Kontinuierliche Evals mit Versionsprovenienz und Change-Impact-Analyse.

Wie sollten Unternehmen Nutzen und Deskilling gemeinsam in einer TCO-/ROI-Rechnung bewerten?

Warum ungeklärt: Lernverlust ist ein zukünftiger, schwer monetarisierbarer Kostenblock. Benötigte Evidenz: TCO-Modelle mit Kompetenz, Bus Factor, Fehlerentdeckung und Wiederanlauf.

Wann sind KI-generierte Quellen, Begründungen und Konfidenzen verlässliche Metainformationen?

Warum ungeklärt: Selbstauskünfte des Modells über Sicherheit sind nicht zwingend kalibriert. Benötigte Evidenz: Benchmarking von Zitatgenauigkeit, Konfidenz und Fehlererkennung nach Domäne.

Wie unterscheiden sich die Effekte bei kleinen Unternehmen ohne spezialisierte Reviewer von Großunternehmen?

Warum ungeklärt: Kleine Unternehmen haben weniger Redundanz und Governancekapazität. Benötigte Evidenz: Vergleichende Feldstudien, Standardkontrollen und geteilte Prüfdienste.

Welche Kennzahlen erkennen stille Fehler früh, bevor sie zu Beschwerden, Haftung oder finanziellen Schäden führen?

Warum ungeklärt: Viele Fehler bleiben unsichtbar, solange niemand widerspricht. Benötigte Evidenz: Leading Indicators, Shadow Audits, Stichproben und Beschwerde-/Incidentdaten.

Wie lässt sich Human-AI Collaboration rechtlich und organisatorisch dokumentieren, ohne Arbeit unnötig zu bürokratisieren?

Warum ungeklärt: Zu viel Dokumentation kann den Nutzen vernichten, zu wenig die Verantwortung. Benötigte Evidenz: Risikobasierte Minimalstandards und empirische Bürokratie-/Nutzenmessung.

Kompakte Unternehmens-Checkliste

Stop-Signale

• Niemand im Prozess kann die Ausgabe fachlich prüfen.
• Die Entscheidung ist irreversibel oder existenziell und die Wahrheit nicht zeitnah feststellbar.
• Tragende Daten oder Quellen sind unbekannt, unzugänglich oder widersprüchlich.
• Das System darf extern handeln, aber es gibt keine harten Rechte-, Budget- oder Freigabegrenzen.
• Der Pilot misst nur Begeisterung, Zeitgefühl oder erzeugte Textmenge.
• Die Aufgabe dient der Qualifizierung, wird aber vollständig an die KI delegiert.
• Fehler werden nicht dokumentiert oder in die Evaluation zurückgeführt.

50 buchrelevante Faktenkarten

Faktenkarte F-001

Faktenkarte F-002

Faktenkarte F-003

Faktenkarte F-004

Faktenkarte F-005

Faktenkarte F-006

Faktenkarte F-007

Faktenkarte F-008

Faktenkarte F-009

Faktenkarte F-010

Faktenkarte F-011

Faktenkarte F-012

Faktenkarte F-013

Faktenkarte F-014

Faktenkarte F-015

Faktenkarte F-016

Faktenkarte F-017

Faktenkarte F-018

Faktenkarte F-019

Faktenkarte F-020

Faktenkarte F-021

Faktenkarte F-022

Faktenkarte F-023

Faktenkarte F-024

Faktenkarte F-025

Faktenkarte F-026

Faktenkarte F-027

Faktenkarte F-028

Faktenkarte F-029

Faktenkarte F-030

Faktenkarte F-031

Faktenkarte F-032

Faktenkarte F-033

Faktenkarte F-034

Faktenkarte F-035

Faktenkarte F-036

Faktenkarte F-037

Faktenkarte F-038

Faktenkarte F-039

Faktenkarte F-040

Faktenkarte F-041

Faktenkarte F-042

Faktenkarte F-043

Faktenkarte F-044

Faktenkarte F-045

Faktenkarte F-046

Faktenkarte F-047

Faktenkarte F-048

Faktenkarte F-049

Faktenkarte F-050

Glossar

AI Interaction Competence (AIC)

Praktische Fähigkeit, KI-Ausgaben gezielt hervorzurufen, zu filtern, zu prüfen, anzuwenden und bei Fehlern nachzusteuern.

AI Literacy

Kenntnisse, Fähigkeiten und Verständnis, die Menschen für einen informierten und verantwortlichen KI-Einsatz in ihrem konkreten Kontext benötigen.

AI-first

Arbeitsweise, bei der die KI früh den ersten Entwurf, die Struktur oder Analyse erzeugt.

Algorithm Appreciation

Tendenz, algorithmischen Rat in bestimmten Situationen stärker zu gewichten als menschlichen Rat.

Algorithm Aversion

Tendenz, einen Algorithmus nach beobachteten Fehlern abzulehnen, obwohl er insgesamt überlegen sein kann.

Anchoring

Verzerrung, bei der eine zuerst präsentierte Antwort spätere Einschätzungen übermäßig beeinflusst.

Angemessene Reliance

Richtige KI-Ratschläge annehmen und falsche Ratschläge ablehnen.

Automation Bias

Tendenz, automatisierten Vorschlägen zu folgen oder eigene Hinweise zu übersehen.

Baseline

Gemessener Ausgangszustand vor Einführung einer Intervention.

Benchmark

Standardisierte Testmenge; kann lokale reale Arbeit nur begrenzt abbilden.

Calibration

Übereinstimmung zwischen Vertrauen/angegebener Sicherheit und tatsächlicher Zuverlässigkeit.

Chain / Chaining

Zerlegung einer Aufgabe in mehrere aufeinanderfolgende KI- und Prüfschritte.

Co-Creation

Mensch und KI entwickeln ein Ergebnis iterativ gemeinsam.

Cognitive Forcing Function

Interface- oder Prozessschritt, der Nutzer zu eigener Prüfung oder Begründung zwingt.

Cognitive Offloading

Auslagerung geistiger Arbeit oder Erinnerung an externe Hilfsmittel.

Complementarity

Gemeinsame Leistung übertrifft eine relevante Einzelreferenz, etwa den besseren von Mensch oder KI.

Confabulation

Plausibel formulierte, aber falsche oder unbelegte Modellausgabe.

Context

Informationen, Regeln, Beispiele und Daten, die das Modell für die konkrete Aufgabe erhält.

Contextual Scaffolding

Strukturierte Hilfen, die Aufgabe, Konzepte, Prüfschritte oder Entscheidungskriterien sichtbar machen.

Decision Support

KI liefert Informationen oder Empfehlungen, während Entscheidung und Verantwortung beim Menschen bleiben.

Delegation

Übertragung eines klar definierten Arbeitsschritts an ein KI-System.

Deskilling

Abbau oder Nichtaufbau beruflich relevanter Fähigkeiten durch veränderte Aufgaben und Übung.

Disuse

Nichtnutzung eines nützlichen automatisierten Systems.

Double Check

Zweite Prüfung; nur wirksam, wenn sie ausreichend unabhängig und kompetent ist.

End-to-End-Qualität

Qualität des vollständigen Prozesses einschließlich Prüfung, Übergabe, Nutzung und späterer Folgen.

Escaped Error

Fehler, der Kontrollen passiert und Nutzer, Kunden oder Betrieb erreicht.

Evaluation / Eval

Systematische Prüfung eines Systems an repräsentativen Fällen mit definierten Qualitätsmaßstäben.

Expert Review

Prüfung durch eine Person mit der erforderlichen Fach- und Kontextkompetenz.

Feedback Latency

Zeit zwischen Handlung und beobachtbarem richtigen oder falschen Ergebnis.

Ground Truth

Belastbare Referenz, gegen die eine Antwort bewertet wird.

Grounding

Verknüpfung einer Ausgabe mit kontrollierten Daten oder Quellen.

Guardrail

Technische oder organisatorische Leitplanke, die unerwünschte Handlungen oder Antworten begrenzt.

Human-AI Collaboration

Koordinierte Arbeit von Menschen und KI-Systemen an einem gemeinsamen Ergebnis.

Human-AI Configuration

Konkrete Rollen-, Informations-, Interface- und Entscheidungsanordnung zwischen Mensch und System.

Human-first

Arbeitsweise, bei der der Mensch vor Sichtung der KI-Ausgabe eine eigene Hypothese oder Entscheidung bildet.

Human-in-the-loop

Ein Mensch ist an einem Prozessschritt beteiligt; der Begriff sagt noch nichts über Wirksamkeit der Kontrolle.

Human-on-the-loop

Ein Mensch überwacht ein weitgehend automatisiertes System und greift bei Bedarf ein.

Hybrid Intelligence

Gestaltung von Systemen, in denen menschliche und maschinelle Stärken komplementär kombiniert werden.

Information Foraging

Suchen, Filtern und Sammeln relevanter Informationen in großen Beständen.

Irony of Automation

Automatisierung nimmt Routine, lässt Menschen aber schwierige Ausnahmen bei geringer Übung.

Jagged Frontier

Unregelmäßige Leistungsgrenze, an der ähnliche Aufgaben sehr unterschiedlich von KI profitieren.

Kognitive Schuld

Informelle Bezeichnung für angesammelte Verständnis- oder Kompetenzlücken durch wiederholte Delegation.

Kommission Error

Fehlerhafte Handlung, die wegen eines falschen automatisierten Hinweises ausgeführt wird.

Konfidenz

Angegebene oder geschätzte Sicherheit; muss nicht mit realer Richtigkeit übereinstimmen.

LLM

Large Language Model; Modell zur Verarbeitung und Generierung von Sprache und anderen Tokenfolgen.

Mental Model

Vorstellung eines Nutzers darüber, wie ein System funktioniert, wann es gut ist und wann nicht.

Misuse

Übermäßige oder unangemessene Nutzung von Automatisierung.

Omission Error

Unterlassener Hinweis oder Handlung, weil ein automatisches System keine Warnung gab.

Overreliance

Falschen KI-Rat übernehmen oder notwendige eigene Prüfung unterlassen.

Performance

Aktuelle Aufgabenleistung; nicht gleichbedeutend mit dauerhaftem Lernen.

Pre-Mortem

Vorabübung: Das Projekt wird als gescheitert angenommen und mögliche Ursachen werden gesammelt.

Prompt

Eingabe oder Instruktion an ein generatives Modell.

Prompt Engineering

Systematische Gestaltung und Evaluation von Instruktionen, Kontext, Beispielen und Ausgaben.

Prompt Pattern

Wiederverwendbare Struktur für wiederkehrende Interaktionsprobleme.

Provenienz

Nachvollziehbare Herkunft von Daten, Quellen, Versionen und Bearbeitungsschritten.

RAG

Retrieval-Augmented Generation; Generierung auf Basis zuvor abgerufener Dokumente oder Daten.

Reliance

Tatsächliches Sich-Verlassen auf eine Empfehlung oder Systemhandlung.

Reversibilität

Möglichkeit, eine Handlung ohne unverhältnismäßigen Schaden rückgängig zu machen.

Rework

Nacharbeit zur Korrektur, Ergänzung oder erneuten Ausführung eines Ergebnisses.

Risk-based Sampling

Prüfstichprobe, deren Tiefe und Häufigkeit sich am möglichen Schaden orientieren.

Scaffolding

Strukturierte Hilfen, die Problemlösung oder Lernen unterstützen, ohne alles vorwegzunehmen.

Second Opinion

Zusätzliche Einschätzung durch Mensch oder System.

Shadow AI

Nicht offiziell freigegebene oder dokumentierte KI-Nutzung im Unternehmen.

Skill Formation

Aufbau dauerhafter Fähigkeiten, Verständnis und Transferkompetenz.

Skill Transfer

Fähigkeit, Gelerntes auf neue Aufgaben oder Situationen anzuwenden.

Socio-technical System

Gesamtsystem aus Technik, Menschen, Organisation, Daten, Regeln und Umwelt.

System Prompt

Übergeordnete Anweisung, die Verhalten und Grenzen eines Modells steuert.

Task Decomposition

Zerlegung einer komplexen Aufgabe in prüfbare Teilschritte.

Tool Calling

Modell veranlasst strukturierte Aufrufe externer Funktionen oder Systeme.

Trace

Protokoll von Eingaben, Ausgaben, Tools, Entscheidungen und Zwischenschritten.

Trust

Erwartung, dass ein System in einer verletzlichen Situation ein angenommenes Leistungsversprechen erfüllt.

Uncertainty

Unsicherheit über Richtigkeit, Vollständigkeit oder Folgen einer Ausgabe.

Underreliance

Richtigen KI-Rat ablehnen oder nützliche Unterstützung unnötig ignorieren.

Verification

Prüfung einer Aussage oder eines Ergebnisses gegen unabhängige Evidenz oder ausführbare Tests.

Workflow

Definierte Folge von menschlichen, technischen und organisatorischen Arbeitsschritten.

Workflow Fit

Passung eines KI-Systems zu realen Rollen, Daten, Zeitdruck, Schnittstellen und Ausnahmen.

Beleg- und Quellenmatrix

Vollständiges Quellenregister

Die Quellen sind nach Aufnahme in das Dossier nummeriert. Preprints bleiben als vorläufig gekennzeichnet. Produktdokumentationen belegen Funktionen oder empfohlene Verfahren am Prüftag, nicht die unabhängige Wirksamkeit eines Produkts. Die Quellen wurden für dieses Dossier einzeln als Originalquelle, institutioneller Rahmen oder klar gekennzeichnete Produktdokumentation aufgenommen.

S-001 – When combinations of humans and AI are useful: A systematic review and meta-analysis

S-002 – Designing Human-AI Collaboration: A Sufficient-Statistic Approach

S-003 – Guidelines for Human-AI Interaction

S-004 – People + AI Guidebook

S-005 – Investigating How Practitioners Use Human-AI Guidelines: A Case Study on the People + AI Guidebook

S-006 – HAX Toolkit

S-007 – Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance

S-008 – To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-Assisted Decision-Making

S-009 – Appropriate Reliance on AI Advice: Conceptualization and the Effect of Explanations

S-010 – Towards Effective Human-AI Decision-Making: The Role of Human Learning in Appropriate Reliance on AI Advice

S-011 – In Search of Verifiability: Explanations Rarely Enable Complementary Performance in AI-Advised Decision Making

S-012 – Explanations, Fairness, and Appropriate Reliance in Human-AI Decision-Making

S-013 – From Trust to Appropriate Reliance: Measurement Constructs in Human-AI Decision-Making

S-014 – The Principles and Limits of Algorithm-in-the-Loop Decision Making

S-015 – Manipulating and Measuring Model Interpretability

S-016 – Interpreting Interpretability: Understanding Data Scientists’ Use of Interpretability Tools for Machine Learning

S-017 – Towards a Science of Human-AI Decision Making: A Survey of Empirical Studies

S-018 – Deciding Fast and Slow: The Role of Cognitive Biases in AI-Assisted Decision-Making

S-019 – Improving Human-AI Collaboration with Descriptions of AI Behavior

S-020 – Explanations Can Reduce Overreliance on AI Systems During Decision-Making

S-021 – Reducing Overreliance on AI Systems Through Partial Explanations

S-022 – How human-AI feedback loops alter human perceptual, emotional and social judgements

S-023 – The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers

S-024 – Investigating the Effects of LLM Use on Critical Thinking Under Time Constraints: Access Timing and Time Availability

S-025 – The Metacognitive Demands and Opportunities of Generative AI

S-026 – Appropriate reliance on Generative AI: Research synthesis

S-027 – Overreliance on AI: Risk Identification and Mitigation Framework

S-028 – Fostering appropriate reliance on GenAI: Lessons learned from early research

S-029 – Goals as First-Class Abstractions in Human-AI Collaboration

S-030 – Human-AI Collaboration with a Multi-Step Transparent Decision Workflow

S-031 – Not Too Short, Not Too Long: How LLM Response Length Shapes People’s Critical Thinking in Error Detection

S-032 – LLM-based In-situ Thought Exchanges for Critical Paper Reading

S-033 – Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence

S-034 – Generative AI at Work

S-035 – Navigating the Jagged Technological Frontier

S-036 – The Cybernetic Teammate: A Field Experiment on Generative AI and Teamwork

S-037 – Shifting Work Patterns with Generative AI

S-038 – The Rapid Adoption of Generative AI

S-039 – Human-generative AI collaboration enhances task performance but gives rise to human psychological deprivation

S-040 – Generative AI enhances individual creativity but reduces the collective diversity of novel content

S-041 – Who expands the human creative frontier with generative AI

S-042 – The Uneven Impact of Generative AI on Entrepreneurial Performance

S-043 – How Good is AI at Twisting Arms? Experiments in Debt Collection

S-044 – The Effects of Generative AI on High-Skilled Work: Evidence from Three Field Experiments with Software Developers

S-045 – Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

S-046 – Firm Data on AI

S-047 – The effects of generative AI on productivity, innovation and entrepreneurship

S-048 – How people are using ChatGPT

S-049 – Introducing the Anthropic Economic Index

S-050 – Anthropic Economic Index: Economic primitives

S-051 – Anthropic Economic Index: Learning curves

S-052 – Anthropic Economic Index: Cadences

S-053 – Generative AI in Real-World Workplaces

S-054 – Microsoft New Future of Work Report 2024

S-055 – Scaffolding Human-AI Collaboration: A Field Experiment

S-056 – The state of enterprise AI

S-057 – How AI Impacts Skill Formation

S-058 – Teaching Students to Question the Machine: An AI Literacy Intervention Improves Students’ Regulation of LLM Use in a Science Task

S-059 – Learning outcomes with GenAI in the classroom: A review of empirical evidence

S-060 – AI Assistance Reduces Persistence and Hurts Independent Problem-Solving

S-061 – The Impact of AI Usage and Informativeness on Skill Development

S-062 – Scaffolding Critical Thinking in AI-Assisted Writing Through Socratic Interaction

S-063 – Effects of Varying LLM Access on Essay Writing Behavior

S-064 – How Co-Writing with AI Changes How We Engage with Ideas

S-065 – Stop Writing for Me: Generative Refusal in AI Tools for Thought

S-066 – Cognitive Offloading

S-067 – Google Effects on Memory: Cognitive Consequences of Having Information at Our Fingertips

S-068 – Searching for Explanations: How the Internet Inflates Estimates of Internal Knowledge

S-069 – Ironies of Automation

S-070 – The Out-of-the-Loop Performance Problem and Level of Control in Automation

S-071 – Humans and Automation: Use, Misuse, Disuse, Abuse

S-072 – Trust in Automation: Designing for Appropriate Reliance

S-073 – Trust in Automation: Integrating Empirical Evidence on Factors That Influence Trust

S-074 – Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err

S-075 – Overcoming Algorithm Aversion: People Will Use Imperfect Algorithms If They Can (Even Slightly) Modify Them

S-076 – Algorithm Appreciation: People Prefer Algorithmic to Human Judgment

S-077 – Co-Writing with Opinionated Language Models Affects Users’ Views

S-078 – Brain Drain: The Mere Presence of One’s Own Smartphone Reduces Available Cognitive Capacity

S-079 – Does Automation Bias Decision-Making?

S-080 – Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

S-081 – Self-Consistency Improves Chain of Thought Reasoning in Language Models

S-082 – Least-to-Most Prompting Enables Complex Reasoning in Large Language Models

S-083 – Large Language Models are Zero-Shot Reasoners

S-084 – ReAct: Synergizing Reasoning and Acting in Language Models

S-085 – Tree of Thoughts: Deliberate Problem Solving with Large Language Models

S-086 – Self-Refine: Iterative Refinement with Self-Feedback

S-087 – Reflexion: Language Agents with Verbal Reinforcement Learning

S-088 – Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

S-089 – Large Language Models Are Human-Level Prompt Engineers

S-090 – Large Language Models as Optimizers

S-091 – DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines

S-092 – A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT

S-093 – Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts

S-094 – AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts

S-095 – Large Language Models Cannot Self-Correct Reasoning Yet

S-096 – Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies

S-097 – Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting

S-098 – Reasoning Models Don’t Always Say What They Think

S-099 – Chain-of-Thought Reasoning In The Wild Is Not Always Faithful

S-100 – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

S-101 – WebGPT: Browser-assisted question-answering with human feedback

S-102 – Teaching language models to support answers with verified quotes

S-103 – RARR: Researching and Revising What Language Models Say, Using Language Models

S-104 – Enabling Large Language Models to Generate Text with Citations

S-105 – FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation

S-106 – SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models

S-107 – Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

S-108 – Lost in the Middle: How Language Models Use Long Contexts

S-109 – TruthfulQA: Measuring How Models Mimic Human Falsehoods

S-110 – Language Models (Mostly) Know What They Know

S-111 – Training Verifiers to Solve Math Word Problems

S-112 – Let’s Verify Step by Step

S-113 – RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models

S-114 – Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

S-115 – Detecting and Correcting Reference Hallucinations in LLMs and Deep Research Agents

S-116 – Artificial Intelligence Risk Management Framework (AI RMF 1.0)

S-117 – AI RMF: Generative Artificial Intelligence Profile, NIST AI 600-1

S-118 – Konsolidierte Fassung der Verordnung (EU) 2024/1689 über künstliche Intelligenz

S-119 – ISO/IEC 42001:2023 – Artificial intelligence management system

S-120 – Prompt engineering guide

S-121 – Prompt engineering overview

S-122 – Prompt design strategies

S-123 – Evaluation best practices

S-124 – Define success criteria and build evaluations

S-125 – Learning versus performance: An integrative review

S-126 – Generative AI without guardrails can harm learning: Evidence from high school mathematics

S-127 – Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task

S-128 – Generative AI and the Productivity Divide: Human-AI Complementarities in Education

S-129 – Augmenting Expert Cognition in the Age of Generative AI: Insights from Document-Centric Knowledge Work

S-130 – If You’re Very Clever, No One Knows You’ve Used It: The Social Dynamics of Developing Generative AI Literacy in the Workplace

S-131 – Human-AI Collaboration in Science at Scale: A Global Large-scale Randomized Field Experiment

S-132 – Assessing Risks and Impacts of AI (ARIA): Pilot Evaluation Report, NIST AI 700-2

S-133 – AI Literacy - Questions & Answers

S-134 – The Green Book: Appraisal and Evaluation in Central Government

S-135 – Magenta Book: Central Government guidance on evaluation

S-136 – Heterogeneity and predictors of the effects of AI assistance on radiologists

S-137 – Human-computer collaboration for skin cancer recognition

S-138 – Do as AI say: susceptibility in deployment of clinical decision-aids

S-139 – A Human-Centered Evaluation of a Deep Learning System Deployed in Clinics for the Detection of Diabetic Retinopathy

S-140 – Lawyering in the Age of Artificial Intelligence

S-141 – AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice

S-142 – Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools

Schnell veraltende Informationen

Qualitätsbericht

Stärken

• Verbindet ältere Human-Factors-Grundlagen mit GenAI-Studien bis August 2026.
• Stellt positive Effekte und Gegenbefunde nebeneinander.
• Trennt Vertrauen, Reliance, Leistung und Lernen.
• Übersetzt Forschung in Aufgabenklassifikation, Kontrollstufen und Unternehmensprozesse.
• Kennzeichnet Preprints, Herstellerquellen und Übertragungsgrenzen.

Bekannte Schwächen

• Langzeitstudien über mehrere Jahre sind noch selten.
• Viele Experimente nutzen kurze, standardisierte Aufgaben und einzelne Modellgenerationen.
• Die Quelleinstufung im Qualitätsbericht ist technisch grob und ersetzt nicht die Einzelfallbewertung im Register.
• Nicht jede Branche besitzt ausreichend öffentlich dokumentierte Feldstudien.
• Das Dossier enthält keine vollständige rechtliche Prüfung einzelner Unternehmensfälle.

Vor Buchveröffentlichung zwingend aktualisieren

• 2026er Preprints auf Peer-Review, neue Versionen oder Korrekturen prüfen.
• AI-Literacy-Auslegung und etwaige harmonisierte Standards prüfen.
• Produktdokumentationen und dynamische URLs öffnen und aktualisieren.
• Neue Meta-Analysen zu Reliance, Skill Formation und Workplace-Effekten ergänzen.
• Jede im Buch wörtlich oder zugespitzt verwendete Zahl erneut an der Originalquelle prüfen.

Ende des Fakten-Dossiers 12.