Live ChatGPT verweigert Tool-Calls für app-only MCP-Tools
Dossier

Programmieren mit KI und Vibe Coding

Produktivität, Kompetenz, Codequalität, Sicherheit und der Weg vom Prompt zum verantwortbaren Softwaresystem.

· Stand: 03.08.2026 ·105 Min Lesezeit ·

Produktivität, Kompetenz, Codequalität, Sicherheit und der Weg vom Prompt zum verantwortbaren Softwaresystem. Vollständige, faktenbasierte Fassung mit Belegen und Quellenregister.

Management-Zusammenfassung

Die zentrale Einordnung

Vibe Coding ist eine reale Veränderung der Softwareerstellung, aber kein einheitliches Verfahren. Empirische Studien zeigen ein Spektrum: Manche Nutzer beschreiben Ziele in natürlicher Sprache, testen nur oberflächlich und lassen sich bei Fehlern erneut Code generieren. Andere nutzen denselben dialogischen Zugang, lesen Diffs, verändern Code manuell, schreiben Tests und behalten Architektur sowie Betrieb vollständig in eigener Verantwortung. Wer beide Arbeitsweisen unter demselben Begriff zusammenfasst, erzeugt falsche Schlussfolgerungen über Fähigkeit und Risiko. [S-001, S-003, S-006, S-007]

Die Technik senkt die Eintrittshürde zur Codeerzeugung massiv. Sie senkt nicht automatisch die Eintrittshürde zu sicherer und dauerhaft betreibbarer Software. Ein Mensch ohne klassische Programmierausbildung kann heute Prototypen, kleine Werkzeuge, Webseiten und Automationen erstellen, die früher einen Entwickler benötigt hätten. Sobald jedoch Authentisierung, personenbezogene Daten, Zahlungsflüsse, Mandantentrennung, Datenmigration, Betrieb, Skalierung oder Kundenhaftung hinzukommen, bleibt professionelle Software-Engineering-Kompetenz erforderlich - entweder beim Ersteller selbst oder durch qualifizierte Prüfung und Betrieb. [S-004, S-007, S-065, S-067, S-103, S-105]

Produktivität ist real, aber nicht universell

Die Studienlage ist nicht widerspruchsfrei, weil sie unterschiedliche Fragen beantwortet. In einer begrenzten Programmieraufgabe waren Copilot-Nutzer im Mittel 55,8 Prozent schneller. Drei Unternehmens-RCTs mit 4.867 Entwicklern schätzten kombiniert rund 26 Prozent mehr erledigte Aufgaben. Dagegen waren 16 sehr erfahrene Open-Source-Maintainer bei 246 realen Issues mit erlaubter KI im Mittel 19 Prozent langsamer. Gerade dieser Gegenbefund ist wichtig: Die Entwickler glaubten trotzdem, beschleunigt worden zu sein. [S-015, S-016, S-017, S-018]

Die richtige Schlussfolgerung ist deshalb weder „KI macht Programmierer schneller“ noch „KI bremst Profis“. Der Effekt hängt von Aufgabe, Codebasis, Erfahrung, Modell, Agenten-Harness, Kontextqualität, Testabdeckung und Definition von Produktivität ab. Boilerplate, Dokumentation, kleine Greenfield-Funktionen und klar spezifizierte Änderungen sind häufig günstiger. Tief vertraute Legacy-Systeme, unklare Anforderungen, große Refactorings und sicherheitskritische Änderungen erhöhen dagegen Kontext-, Review- und Reworkkosten. [S-012, S-011, S-022, S-004, S-026]

Die neue Engstelle heißt Verifikation

Codegenerierung skaliert schneller als menschliches Verständnis und Review. Das verschiebt den Engpass: Nicht die Tippgeschwindigkeit, sondern Spezifikation, Kontext, Tests, Code Review, Sicherheitsprüfung und Betrieb bestimmen den realisierten Wert. Eine große Mining-Studie mit 304.362 explizit als KI-authentifiziert markierten Commits fand hunderttausende statisch erkannte Probleme; 24,2 Prozent der verfolgten KI-eingeführten Probleme bestanden am letzten Repository-Stand fort. Der Befund ist als Preprint und aufgrund seiner Attribution begrenzt, zeigt aber, warum „der Code läuft“ kein ausreichendes Qualitätsurteil ist. [S-039, S-042, S-046]

Tests sind unverzichtbar, aber ebenfalls kein Orakel. OpenAI fand 2026 bei mindestens 59,4 Prozent von 138 auditierten schwierigen SWE-bench-Verified-Fällen materielle Aufgaben- oder Testprobleme. Im Juli 2026 schätzte ein weiterer OpenAI-Audit, dass rund 30 Prozent der öffentlichen SWE-Bench-Pro-Aufgaben gebrochen sind. Zusätzliche Testgenerierung veränderte in anderen Arbeiten Rankings und deckte falsch positiv bewertete Patches auf. Wer Code und Tests vom selben Agenten erzeugen lässt, darf deshalb nicht von unabhängiger Verifikation sprechen. [S-058, S-059, S-064, S-045]

Kompetenz und Verantwortung

KI kann kurzfristig Output erhöhen, ohne Verständnis im selben Maß zu steigern. Studien zu Skill Formation und Brownfield-Aufgaben zeigen eine Lücke zwischen bestandenen Tests beziehungsweise schnellerer Umsetzung und tatsächlichem Codeverständnis. Besonders riskant ist vollständige Delegation bei Fähigkeiten, die später zur Kontrolle der KI benötigt werden: Code-Lesen, Debugging, Architektur und Sicherheitsbeurteilung. Lernförderlicher waren Interaktionsmuster, in denen Nutzer konzeptuelle Fragen stellten, eigene Vorhersagen machten und generierten Code erklärten oder manuell reparierten. [S-029, S-030, S-031, S-032]

Sicherheitsgrenze

Coding-Agenten können Dateien lesen und schreiben, Befehle ausführen, Pakete installieren, Webseiten aufrufen, Pull Requests öffnen und über MCP weitere Systeme bedienen. Damit wird aus einem Textgenerator ein handlungsfähiges Softwarewerkzeug. Offizielle Dokumentationen von OpenAI, Anthropic, GitHub und Google setzen deshalb auf Sandboxen, Freigaben, begrenzten Netzwerkzugriff und sichtbare Änderungen. Diese Kontrollen sind keine Formalität: Studien dokumentieren unsicheren Code, erfundene Paketnamen, indirekte Prompt Injection über Repositories und reale Fehlermuster agentischer Coding-Systeme. [S-090, S-094, S-098, S-102, S-047, S-049, S-051]

Schlussfolgerung für die Buchreihe

Die überzeugendste Position für ein Praxisbuch lautet: Vibe Coding ist ein leistungsfähiger Einstieg in die Softwareerstellung, aber kein Ersatz für Software Engineering. Für kleine, isolierte, reversible und nicht kritische Projekte kann der Mensch bewusst mit geringerer Codekenntnis arbeiten. Mit wachsender Reichweite, Datenkritikalität und Kundenverantwortung müssen Spezifikation, Versionskontrolle, Tests, unabhängige Prüfung, Least Privilege, Monitoring, Backup und benannter Betriebseigner verbindlich hinzukommen. Die Frage ist nicht, ob jemand „programmieren kann“, sondern ob er die Folgen seiner Software begrenzen, prüfen und verantworten kann. [S-007, S-065, S-075, S-067, S-081]

Die 50 wichtigsten Kernaussagen

F-001 - BEGRIFF / FORSCHUNGSSTAND

Der Ausdruck „Vibe Coding“ wurde 2025 populär, ist aber kein technischer Standard und wird in Forschung und Praxis unterschiedlich eng verwendet.

Einschränkung: Für belastbare Aussagen muss die konkrete Arbeitsweise beschrieben werden, nicht nur das Etikett. Quellen: S-001, S-002, S-003, S-007 · Refresh-Risiko: hoch

F-002 - BEGRIFFLICHE ABGRENZUNG

Im engen Sinn bedeutet Vibe Coding, dass der Mensch Software überwiegend per natürlicher Sprache erzeugt und den resultierenden Code nur selektiv oder gar nicht vollständig liest.

Einschränkung: Viele professionelle Nutzer arbeiten zwar dialogisch, prüfen aber Diffs, Tests und Architektur; das ist besser als KI-gestützte Softwareentwicklung zu bezeichnen. Quellen: S-003, S-001, S-006 · Refresh-Risiko: mittel

F-003 - EMPIRISCHER BEFUND

Empirisch beobachtetes Vibe Coding ist selten ein einziger Prompt: Es besteht aus wiederholten Zyklen aus Zielbeschreibung, Generierung, Ausprobieren, Fehlersuche, Korrektur und manueller Bearbeitung.

Einschränkung: Die untersuchten Sitzungen sind nicht repräsentativ für alle Werkzeuge und Nutzer. Quellen: S-001, S-008, S-013 · Refresh-Risiko: mittel

F-004 - FORSCHUNGSSYNTHESE

Programmierkompetenz verschwindet nicht, sondern verlagert sich zu Kontextaufbau, Bewertung, Fehlersuche, Architekturentscheidungen und der Wahl zwischen Delegation und manueller Arbeit.

Einschränkung: Nicht-Programmierer können Ergebnisse erzeugen, tragen aber ohne diese Kompetenzen ein höheres Prüf- und Betriebsrisiko. Quellen: S-001, S-004, S-006, S-005 · Refresh-Risiko: mittel

F-005 - EMPIRISCHER BEFUND

In einer Studie sagte Computer-Science-Leistung den Vibe-Coding-Erfolg stärker voraus als Schreibfähigkeit; gute natürliche Sprache ersetzt technisches Verständnis daher nicht.

Einschränkung: Korrelationsstudie; keine universelle Kausalitätsaussage. Quellen: S-005 · Refresh-Risiko: mittel

F-006 - EMPIRISCHER BEFUND

Nicht-Programmierer, Anfänger und Profis unterscheiden sich deutlich darin, welche Fehler sie erkennen, wann sie vertrauen und welche Qualitätssicherungsmaßnahmen sie tatsächlich anwenden.

Einschränkung: Selbsteinschätzung und tatsächliches Prüfverhalten können auseinanderfallen. Quellen: S-006, S-003, S-014 · Refresh-Risiko: mittel

F-007 - FORSCHUNGSSYNTHESE

Die bisher stärkste Evidenz für Vibe Coding liegt bei Prototypen, Benutzeroberflächen, kleinen Automationen und klar abgegrenzten Greenfield-Aufgaben.

Einschränkung: Die Evidenz ist schwächer für produktive, datenintensive, regulierte und sicherheitskritische Systeme. Quellen: S-007, S-004, S-009 · Refresh-Risiko: hoch

F-008 - ENGINEERING-GRUNDSATZ

Ein funktionierender Prototyp ist kein Nachweis für Produktionsreife: Betrieb, Sicherheit, Datenmigration, Wartung, Monitoring, Backup und Haftung werden im Demo-Erfolg kaum sichtbar.

Einschränkung: Produktionsreife ist risikobasiert und hängt vom Einsatzkontext ab. Quellen: S-004, S-065, S-081, S-103 · Refresh-Risiko: mittel

F-009 - METHODISCHE GRUNDLAGE

Erzeugte Codezeilen, angenommene Vorschläge oder kurze Bearbeitungszeit sind keine vollständigen Produktivitätsmaße; entscheidend ist der akzeptierte, integrierte und betriebene Nutzen.

Einschränkung: Messung muss Qualität, Review, Rework, Stabilität und Teamwirkung einschließen. Quellen: S-023, S-024, S-022, S-046 · Refresh-Risiko: mittel

F-010 - EMPIRISCHER BEFUND

In einem kontrollierten Versuch mit einer eng begrenzten Aufgabe waren Teilnehmende mit GitHub Copilot im Mittel 55,8 Prozent schneller.

Einschränkung: Ein einzelnes Task-Setting ist kein universeller Effekt für reale Repositories. Quellen: S-015 · Refresh-Risiko: niedrig

F-011 - EMPIRISCHER BEFUND

Drei randomisierte Feldexperimente mit 4.867 Softwareentwicklern schätzten kombiniert rund 26 Prozent mehr erledigte Aufgaben unter KI-Unterstützung.

Einschränkung: Unternehmens-, Aufgaben- und Messkontext begrenzen die Übertragbarkeit. Quellen: S-016 · Refresh-Risiko: mittel

F-012 - EMPIRISCHER GEGENBEFUND

METR fand bei sehr erfahrenen Open-Source-Maintainern in vertrauten Repositories eine durchschnittliche Verlangsamung von 19 Prozent, obwohl die Beteiligten einen positiven Effekt erwarteten.

Einschränkung: Kleine, spezialisierte Stichprobe und frühe 2025er Werkzeuge; nicht als allgemeiner Durchschnitt missverstehen. Quellen: S-017, S-018 · Refresh-Risiko: mittel

F-013 - FORSCHUNGSSYNTHESE

Selbstberichteter Nutzen und objektiv gemessener Effekt können bei KI-Programmierung deutlich auseinanderfallen.

Einschränkung: Wahrgenommener Komfort bleibt relevant, ersetzt aber keine Zeit- und Qualitätsmessung. Quellen: S-017, S-020, S-014 · Refresh-Risiko: mittel

F-014 - METHODISCHE WARNUNG

Spätere METR-Daten konnten wegen Selbstselektion keinen unverzerrten durchschnittlichen Produktivitätseffekt liefern.

Einschränkung: Nutzer, die KI als hilfreich erleben, wählen eher KI-Aufgaben; Nichtnutzer verschwinden aus der Vergleichsgruppe. Quellen: S-019 · Refresh-Risiko: hoch

F-015 - FORSCHUNGSSYNTHESE

Die empirischen Befunde sind heterogen, weil Aufgabe, Erfahrung, Codebasis, Modell, Agenten-Harness, Akzeptanzkriterium und Organisation variieren.

Einschränkung: Ein globaler Prozentwert ohne Kontext ist methodisch schwach. Quellen: S-012, S-011, S-022, S-025, S-026 · Refresh-Risiko: hoch

F-016 - FORSCHUNGSSYNTHESE

Greenfield-Projekte sind für KI meist leichter als Brownfield-Arbeit, weil Legacy-Konventionen, versteckte Abhängigkeiten, historische Entscheidungen und implizite Verträge fehlen.

Einschränkung: Auch Greenfield-Code kann schnell Architektur- und Sicherheitsprobleme ansammeln. Quellen: S-004, S-031, S-030, S-026 · Refresh-Risiko: mittel

F-017 - ENGINEERING-SYNTHESE

Guter Kontext ist nicht bloß ein langer Prompt: Relevante Dateien, Architekturregeln, Definition of Done, Tests, Schnittstellen und Ausschlusskriterien müssen auffindbar und widerspruchsfrei sein.

Einschränkung: Lange Kontexte können relevante Informationen trotzdem übersehen oder ungünstig gewichten. Quellen: S-004, S-008, S-123, S-124 · Refresh-Risiko: hoch

F-018 - SICHERHEITS- UND ENGINEERING-GRUNDSATZ

Je autonomer ein Coding-Agent arbeitet, desto wichtiger werden klare Aufgabenzerlegung, begrenzte Berechtigungen, sichtbare Arbeitsprotokolle und reversible Änderungen.

Einschränkung: Autonomie ohne Observability vergrößert den möglichen Schadensradius. Quellen: S-090, S-094, S-098, S-087 · Refresh-Risiko: hoch

F-019 - ENGINEERING-SYNTHESE

Anforderungen und Akzeptanzkriterien werden durch KI-Codegenerierung wichtiger, nicht unwichtiger, weil plausible Implementierungen unklare Ziele besonders schnell verfestigen.

Einschränkung: Akzeptanzkriterien müssen fachliche und nicht nur technische Eigenschaften abdecken. Quellen: S-004, S-080, S-045, S-059 · Refresh-Risiko: mittel

F-020 - PRAXISREGEL / ANBIETERÜBERGREIFEN

Kleine, überprüfbare Änderungen mit engem Scope sind robuster als breite Aufforderungen wie „baue mir die ganze Anwendung“.

Einschränkung: Bei kleinen Experimenten kann eine breite Delegation vertretbar sein, wenn Ergebnis und Umgebung wegwerfbar sind. Quellen: S-097, S-089, S-093, S-001 · Refresh-Risiko: hoch

F-021 - SOFTWARE-ENGINEERING-GRUNDSATZ

Tests sind ausführbare Spezifikationen und Regression-Schutz, aber kein Beweis vollständiger Korrektheit.

Einschränkung: Fehlende oder zu enge Tests können falsche Lösungen akzeptieren und korrekte ablehnen. Quellen: S-065, S-067, S-064, S-058, S-059 · Refresh-Risiko: mittel

F-022 - FORSCHUNGS- UND PRAXISBEFUND

Von demselben Agenten erzeugte Implementierung und Tests können dieselben Missverständnisse teilen.

Einschränkung: Unabhängige Testquellen, negative Fälle und menschliche Prüfungen reduzieren korrelierte Blindstellen. Quellen: S-045, S-064, S-059 · Refresh-Risiko: hoch

F-023 - SICHERHEITSSTANDARD

Produktionsprüfungen benötigen neben Happy Paths auch Randfälle, Fehlermodi, Berechtigungen, Datenintegrität, Last, Wiederanlauf und Sicherheitsmissbrauch.

Einschränkung: Tiefe und Umfang hängen vom Risikoprofil ab. Quellen: S-065, S-067, S-068, S-081 · Refresh-Risiko: mittel

F-024 - ENGINEERING-GRUNDSATZ

Versionskontrolle mit kleinen Commits, Branches und nachvollziehbaren Diffs ist bei KI-generierten Änderungen zentrale Sicherheits- und Lerninfrastruktur.

Einschränkung: Git verhindert keine Fehler, macht Änderungen aber prüfbar und rücksetzbar. Quellen: S-075, S-097, S-076 · Refresh-Risiko: niedrig

F-025 - ENGINEERING-GRUNDSATZ

CI/CD-Gates automatisieren wiederholbare Prüfungen, ersetzen aber nicht fachliche Abnahme, Architekturreview und Risikobewertung.

Einschränkung: Automatisierte Checks sind nur so gut wie ihre Regeln und Testdaten. Quellen: S-076, S-065, S-024 · Refresh-Risiko: mittel

F-026 - SICHERHEITSBEFUND

Sandboxen und Entwicklungscontainer reduzieren den Schadensradius, beseitigen aber keine Risiken durch freigegebene Netzwerke, Secrets, Host-Mounts oder überprivilegierte Tools.

Einschränkung: Konfiguration und tatsächliche Boundary müssen geprüft werden. Quellen: S-077, S-090, S-094, S-098 · Refresh-Risiko: hoch

F-027 - SICHERHEITSGRUNDSATZ

Agenten sollten standardmäßig mit minimalen Rechten arbeiten; schreibende, ausführende, veröffentlichende und externe Aktionen benötigen risikobasierte Freigaben.

Einschränkung: Pauschale Dauerfreigaben erhöhen Komfort und Schadensradius zugleich. Quellen: S-094, S-090, S-099, S-087 · Refresh-Risiko: hoch

F-028 - OFFIZIELLE PRODUKT- UND SICHERHEITSAUSSAGE

Netzwerkzugriff erweitert die Leistungsfähigkeit eines Coding-Agenten, zugleich aber die Angriffsfläche für Prompt Injection, Datenabfluss, Malware und problematische Abhängigkeiten.

Einschränkung: Allowlisting und Review reduzieren, aber eliminieren das Risiko nicht. Quellen: S-091, S-050, S-051, S-070 · Refresh-Risiko: hoch

F-029 - SICHERHEITSSTANDARD

Secrets gehören weder in Prompts noch in Repositories; sie müssen über geeignete Secret-Stores, kurzlebige Identitäten und minimale Scopes bereitgestellt werden.

Einschränkung: Auch Log- und Telemetriepfade sind einzubeziehen. Quellen: S-065, S-068, S-076, S-096 · Refresh-Risiko: hoch

F-030 - EMPIRISCHER SICHERHEITSBEFUND

KI-generierte Paketnamen und Abhängigkeiten müssen gegen vertrauenswürdige Register und Projektquellen geprüft werden, weil Package Hallucinations empirisch dokumentiert sind.

Einschränkung: Raten variieren stark nach Modell, Sprache, Prompt und Studiendesign. Quellen: S-049, S-054 · Refresh-Risiko: hoch

F-031 - EMPIRISCHER SICHERHEITSBEFUND

Kontrollierte Studien zeigen, dass KI-Hilfe unsicheren Code erzeugen und zugleich das Vertrauen der Nutzer erhöhen kann.

Einschränkung: Die Studien messen begrenzte Aufgaben; heutige Modelle und Kontrollen können abweichen. Quellen: S-047, S-048, S-102 · Refresh-Risiko: hoch

F-032 - SICHERHEITSFORSCHUNG

Indirekte Prompt Injection kann über README-Dateien, Issues, Webseiten, Tool-Metadaten oder MCP-Ressourcen in den Arbeitskontext eines Coding-Agenten gelangen.

Einschränkung: Die konkrete Ausnutzbarkeit hängt von Toolrechten und Sicherheitsarchitektur ab. Quellen: S-050, S-051, S-086, S-087 · Refresh-Risiko: hoch

F-033 - PROTOKOLL- UND SICHERHEITSAUSSAGE

MCP standardisiert Verbindungen zu Werkzeugen und Daten, schafft aber keine automatische Vertrauenswürdigkeit des Servers oder der angebotenen Tools.

Einschränkung: Authentisierung, Autorisierung, Herkunft, Toolbeschreibung und Laufzeitisolation bleiben Implementierungsaufgaben. Quellen: S-085, S-086, S-087 · Refresh-Risiko: hoch

F-034 - AKTUELLER PREPRINT-BEFUND

Große Repository-Mining-Studien deuten darauf hin, dass KI-authentifizierte Commits Code Smells, Fehler und Sicherheitsprobleme einführen können, von denen ein Teil langfristig bestehen bleibt.

Einschränkung: Attribution über explizite Git-Metadaten deckt nur einen Teil aller KI-Nutzung ab; statische Analyse ist kein vollständiges Qualitätsurteil. Quellen: S-039 · Refresh-Risiko: hoch

F-035 - FORSCHUNGSSYNTHESE

Technische Schuld durch KI entsteht nicht nur im Code, sondern auch durch unklare Anforderungen, fehlende Tests, unverständliche Abhängigkeiten und verlorenes Systemwissen.

Einschränkung: Schuld ist kontextabhängig und muss über Zeit beobachtet werden. Quellen: S-040, S-032, S-041, S-043 · Refresh-Risiko: mittel

F-036 - AKTUELLER PREPRINT-BEFUND / INFERENZ

KI kann Code schneller erzeugen, als Teams ihn verantwortungsvoll prüfen können; dadurch kann die Review-Warteschlange zum neuen Engpass werden.

Einschränkung: Der Effekt muss lokal über PR-Größe, Reviewzeit, Rework und Defektdaten gemessen werden. Quellen: S-046, S-042, S-022 · Refresh-Risiko: hoch

F-037 - METHODISCHE GRUNDLAGE

Wartbarkeit kann nicht zuverlässig aus einer Demo oder einem einmaligen statischen Score abgeleitet werden; Folgeänderungen und Incident-Daten sind entscheidend.

Einschränkung: Langzeitdaten zu KI-generiertem Code sind noch jung und überwiegend vorläufig. Quellen: S-039, S-044, S-041 · Refresh-Risiko: hoch

F-038 - EMPIRISCHER BEFUND

AI-Unterstützung kann kurzfristige Leistung erhöhen, ohne dass das Verständnis der Codebasis im gleichen Maß wächst.

Einschränkung: Das Ausmaß hängt von Aufgabe, Vorerfahrung und Interaktionsmuster ab. Quellen: S-030, S-031, S-029 · Refresh-Risiko: mittel

F-039 - EMPIRISCHER BEFUND / PRAXISSYNTHESE

Vollständige Delegation kann Skill Formation und Debuggingfähigkeit schwächen; konzeptuelle Fragen, Vorhersagen und eigenes Erklären erhalten Lernen eher.

Einschränkung: Die Evidenz ist noch jung und überwiegend aus Lern- oder Experimentalsituationen. Quellen: S-029, S-035, S-032 · Refresh-Risiko: hoch

F-040 - PÄDAGOGISCHE SYNTHESE

Für Lernende sollte KI nicht nur Lösungen liefern, sondern Erklärungen einfordern, Fehlerdiagnosen ermöglichen und produktives Scheitern erhalten.

Einschränkung: Nicht jede Arbeitssituation ist eine Lernsituation; bei kritischen Kompetenzen bleibt Verständnis dennoch nötig. Quellen: S-037, S-036, S-033, S-010 · Refresh-Risiko: mittel

F-041 - METHODISCHE GRUNDLAGE

Ein Benchmarkwert misst ein festgelegtes Modell-Agent-Harness in einer bestimmten Umgebung und ist kein direkter Zuverlässigkeitswert für die eigene Codebasis.

Einschränkung: Lokale Eval-Sets und wiederholte Läufe sind erforderlich. Quellen: S-056, S-061, S-062, S-022 · Refresh-Risiko: hoch

F-042 - OFFIZIELLER BENCHMARK-AUDIT

SWE-bench Verified verlor 2026 als Frontier-Maßstab an Aussagekraft, nachdem ein Audit fehlerhafte Tests und Kontaminationshinweise fand.

Einschränkung: Der Audit untersuchte gezielt schwierige Fälle; das Dataset bleibt für bestimmte Analysen nutzbar, wenn Grenzen offengelegt werden. Quellen: S-058, S-057 · Refresh-Risiko: hoch

F-043 - OFFIZIELLER BENCHMARK-AUDIT

Auch SWE-Bench Pro wurde 2026 auditiert; OpenAI schätzte rund 30 Prozent gebrochene Aufgaben.

Einschränkung: Die Schätzung und Dataset-Version müssen bei jeder Nutzung genannt werden. Quellen: S-059 · Refresh-Risiko: hoch

F-044 - BENCHMARK-AUDIT

Zusätzliche Tests können Rankings von Coding-Agenten erheblich verändern, weil ursprüngliche Test-Suiten fehlerhafte Patches akzeptieren können.

Einschränkung: Der Befund gilt für untersuchte Aufgaben und Agenten, zeigt aber eine allgemeine Verifikationsgefahr. Quellen: S-064, S-045 · Refresh-Risiko: hoch

F-045 - METHODISCHE KLARSTELLUNG

METRs „Task-Completion Time Horizon“ ist die menschliche Dauer von Aufgaben, bei denen ein Agent eine bestimmte Erfolgswahrscheinlichkeit erreicht; sie ist nicht die Zeit, die der Agent autonom läuft.

Einschränkung: Die Aufgabe, der Scaffold und die menschliche Zeitschätzung prägen den Wert. Quellen: S-062, S-063 · Refresh-Risiko: hoch

F-046 - AKTUELLER PRODUKTSTAND

Aktuelle Coding-Werkzeuge unterscheiden sich in IDE-, Terminal-, Cloud-, Sandbox-, Netzwerk-, Freigabe- und Teamfunktionen; Produktnamen und Details ändern sich schnell.

Einschränkung: Vor Veröffentlichung oder Beschaffung müssen Funktionen und Vertragsbedingungen erneut geprüft werden. Quellen: S-088, S-093, S-097, S-100 · Refresh-Risiko: hoch

F-047 - ENGINEERING-SYNTHESE

Ein robuster Entwicklungsprozess sollte werkzeug- und modellagnostisch bleiben: Anforderungen, Repository, Tests, Build, CI, Security und Betrieb dürfen nicht von einem einzelnen Anbieter abhängen.

Einschränkung: Anbieterfunktionen können trotzdem gezielt genutzt werden. Quellen: S-065, S-075, S-076, S-077 · Refresh-Risiko: mittel

F-048 - GOVERNANCE- UND ENGINEERING-GRUNDSATZ

Produktiver KI-Code benötigt einen benannten menschlichen oder organisatorischen Owner, der Architektur, Freigabe, Betrieb, Incident Response und Stilllegung verantwortet.

Einschränkung: Die Rollenverteilung hängt von Teamgröße und Risiko ab. Quellen: S-022, S-065, S-080, S-081 · Refresh-Risiko: mittel

F-049 - RISIKOBASIERTE SCHLUSSFOLGERUNG

Für hochriskante, personenbezogene, finanzielle, medizinische oder sicherheitskritische Funktionen reicht „funktioniert bei mir“ grundsätzlich nicht als Freigabekriterium.

Einschränkung: Konkrete Rechts- und Branchenpflichten sind in den Dossiers 1 bis 5 und 10 zu prüfen. Quellen: S-103, S-104, S-105, S-067 · Refresh-Risiko: mittel

F-050 - EIGENE SYNTHESE AUS DEN GENANNTEN QUELLEN

Die stärkste praktische Mindestregel lautet: Kein produktiver Merge von Code, dessen Zweck, relevante Risiken und Prüfnachweise niemand erklären und verantworten kann.

Einschränkung: Bei wegwerfbaren, isolierten Experimenten kann der Prüfmaßstab bewusst niedriger sein. Quellen: S-065, S-006, S-029, S-058, S-090 · Refresh-Risiko: mittel

Methodik, Evidenzhierarchie und Recherchegrenzen

Recherchefrage

Untersucht wurde nicht nur, ob Modelle Code erzeugen können. Die zentrale Frage lautete: Unter welchen Bedingungen entsteht aus KI-generiertem Code ein fachlich korrektes, verständliches, sicheres, wartbares und betreibbares Softwaresystem? Dafür wurden Forschung zu Mensch-KI-Interaktion, Produktivität, Lernen, Softwarequalität, Sicherheit, Benchmarks und aktuelle offizielle Werkzeugdokumentation zusammengeführt.

Evidenzhierarchie

StufeQuellentypVerwendungGrenze
ARandomisierte oder kontrollierte Feld-/LaborexperimenteKausale Aussagen in klar benannten SettingsÜbertragbarkeit auf andere Aufgaben bleibt offen
BPeer-reviewte Beobachtungs-, HCI- und Mining-StudienReale Nutzungsmuster und ZusammenhängeSelbstselektion, Attribution und Confounding
CPreprints mit offener Methodik/DatenAktueller Forschungsstand 2025/26Noch nicht abschließend begutachtet; Versionen können sich ändern
DOffizielle Standards und Behörden-/SicherheitsleitlinienEngineering- und SicherheitsgrundlagenNicht jede Leitlinie ist rechtlich bindend
EOffizielle Anbieter-DokumentationAktueller Funktions-, Berechtigungs- und SicherheitsstandKeine unabhängige Wirksamkeits- oder Produktivitätsmessung
FQualitative Praxis- und Experience ReportsHypothesen, Abläufe und FriktionenKeine repräsentativen Durchschnittswerte

Zentrale Grenzen

Das Forschungsfeld ist sehr jung. Viele 2026er Arbeiten sind Preprints. Werkzeuge und Modelle verändern sich schneller als klassische Begutachtungszyklen. Produktivitätsstudien messen unterschiedliche Einheiten - Zeit, erledigte Tasks, akzeptierte Vorschläge, Tests oder Selbstauskünfte. Repository-Mining kann KI-Nutzung nur erkennen, wenn sie in Metadaten, Text oder Toolspuren sichtbar ist. Benchmarks messen stets Modell plus Agenten-Harness und Testorakel. Aktuelle Produktdokumentation beschreibt Funktionen, beweist aber nicht deren Qualität im eigenen Projekt. [S-007, S-012, S-022, S-058, S-059]

Abgrenzung zu den Dossiers 1 bis 10

Dieses Dossier behandelt technische und arbeitspraktische Fragen. Datenschutz, AI Act, Urheberrecht, Haftung, Governance, allgemeiner ROI, Grundlagen, Automatisierung, Arbeitsmarkt und Missbrauch werden nur an den notwendigen Schnittstellen angesprochen. Vor realer Produktnutzung sind die jeweiligen Spezialdossiers zusätzlich anzuwenden.

Begriffe und drei Arbeitsmodi

Arbeitsmodus A: Enges Vibe Coding

Der Mensch beschreibt Absichten in natürlicher Sprache, probiert das Ergebnis aus und delegiert Fehlerkorrekturen erneut an das Modell. Code wird nur grob oder gar nicht gelesen. Dieses Vorgehen kann für wegwerfbare Prototypen erstaunlich leistungsfähig sein. Es ist jedoch riskant, sobald Fehler nicht sichtbar sind, Daten dauerhaft gespeichert werden oder Dritte von der Funktion abhängen. [S-001, S-003, S-002]

Arbeitsmodus B: Professionell KI-gestützte Softwareentwicklung

Die KI erzeugt oder verändert Code, aber der Mensch besitzt Architektur, Anforderungen, Teststrategie und Betriebsverantwortung. Änderungen laufen über Repository, Branch, Diff, Review und CI. Der Assistent beschleunigt Routinearbeit, Suche, Erklärungen, Testentwürfe und Refactoring, ohne selbst die Freigabeinstanz zu sein. [S-013, S-008, S-004, S-065]

Arbeitsmodus C: Agentische Entwicklung

Ein Coding-Agent analysiert Repositories, plant, bearbeitet mehrere Dateien, führt Befehle und Tests aus und kann Pull Requests oder andere Artefakte erzeugen. Der Leistungsgewinn kommt aus Werkzeugzugriff und längeren Schleifen; das Risiko wächst mit Rechten, Netzwerk und externer Aktionsfähigkeit. Daher sind Sandbox, Least Privilege, Approval Gates und nachvollziehbare Traces Teil des Systems, nicht optionale Zusätze. [S-088, S-093, S-097, S-100, S-090]

MerkmalEnges Vibe CodingKI-gestützte EntwicklungAgentische Entwicklung
Primäre SchnittstelleNatürliche Sprache und visuelles ErgebnisIDE/Terminal plus Code, Diff und TestsAufgabe/Issue plus autonome Toolschleife
Codeverständnisteilweise geringgezielt erforderlichmindestens beim verantwortlichen Reviewer
Typischer Nutzenschneller Prototyp, Lernen, kleine Toolsproduktive Entwicklerunterstützungmehrstufige Repository-Aufgaben
Hauptrisikounbemerkte Fehler und VerständnislückeÜbernahme plausibler, aber falscher Vorschlägegroßer Aktions- und Schadensradius
Mindestkontrolleisolieren, testen, nichts KritischesVersionierung, Review, CI, Betriebzusätzlich Sandbox, Rechte, Netzwerk, Audit

Was Coding-Modelle und Coding-Agenten tatsächlich tun

Ein Sprachmodell erzeugt zunächst wahrscheinlich passende Token. Coding-Fähigkeit entsteht aus Trainingsmustern, In-Context-Informationen, Post-Training und Werkzeugnutzung. Ein Agent erweitert dieses Modell um Dateioperationen, Shell, Tests, Suche, Browser, Git und externe Tools. Deshalb ist ein Agentenergebnis immer das Resultat eines Gesamtsystems: Modell, Systemprompt, Kontextauswahl, Tooldefinitionen, Berechtigungen, Umgebung, Schleifenlogik und Abbruchbedingungen. [S-115, S-116, S-089, S-093, S-085]

AufgabeTypische StärkeTypische GrenzeGeeignete Kontrolle
Boilerplate und Scaffoldingschnelle Standardstrukturenfalsche Annahmen über Framework/VersionVersionspinning, Build und Smoke-Test
Erklärung fremden Codesschnelle Orientierungkann nicht sichtbare Laufzeitverträge erfindenQuellcode, Tests und Logs gegenprüfen
BugfixHypothesen und PatchentwürfeSymptom statt Ursache; RegressionReproduktion, Charakterisierungstest, Diff-Review
Refactoringmechanische Änderungen über viele DateienArchitekturintention und versteckte KopplungADR, kleine Schritte, Regressionstests
Testgenerierungbreite Fallideen und Gerüstekorrelierte Blindstellen und schwache Orakelunabhängige Anforderungen, Mutation/negative Tests
DokumentationZusammenfassung und Beispieleveraltete oder erfundene DetailsBuild-/API-Quelle verlinken, Beispiel ausführen
Security Reviewzusätzliche Suche und PatchvorschlägeFalse Positives/Negatives, fehlendes Threat ModelSAST/DAST, qualifizierter Review, Priorisierung
DeploymentAutomatisierung von Skripten und Pipelinesirreversible Aktionen und Credential-RisikoStaging, Least Privilege, Approval, Rollback

Das Modell besitzt kein verlässliches internes Signal dafür, dass eine konkrete Bibliotheksversion, API oder lokale Geschäftsregel stimmt. RAG, Repository-Suche und Tools können die Evidenz verbessern, erzeugen aber neue Fehlerquellen: falsches Retrieval, veraltete Dokumentation, übersehene Dateien oder unzuverlässige Toolausgaben. Lange Kontextfenster garantieren zudem nicht, dass relevante Informationen an jeder Position gleich gut genutzt werden. [S-123, S-124, S-049, S-008]

Der reale Arbeitsablauf: Absicht, Kontext, Code, Prüfung und Betrieb

Der vollständige Wertstrom

PhaseMenschliche KernaufgabeGeeignete KI-UnterstützungNachweis
ProblemNutzerproblem und Erfolg definierenInterviews strukturieren, Alternativen sammelnProblemstatement und Nicht-Ziele
AnforderungenRegeln, Beispiele, Grenzfälle, Datenschutz bestimmenAkzeptanzkriterien entwerfenversionierte Spezifikation
ArchitekturSystemgrenzen, Daten, Rechte, Betrieb entscheidenOptionen und Risiken vergleichenDiagramm, ADR, Threat Model
ImplementierungÄnderungsumfang und Stil verantwortenCode, Tests, Migrationen vorschlagenkleine Commits und Diffs
Verifikationfachliche und technische Richtigkeit prüfenTestfälle, statische Analyse, Review-HinweiseCI-Bericht, Review, Abnahme
AuslieferungRisiko, Rollout und Rückweg kontrollierenPipeline und Release Notes erzeugenFreigabe, Staging, Rollback
BetriebSLO, Monitoring, Incident und Wartung tragenLoganalyse und Diagnose unterstützenMetriken, Alerts, Runbooks

Der häufigste Denkfehler ist, die Implementierungsphase mit dem Gesamtprojekt gleichzusetzen. KI drückt die Kosten der Codeerzeugung. Dadurch werden vorher versteckte Kosten sichtbarer: klare Anforderungen, Testdaten, Integrationen, Security, Deployment, Support und Wartung. Je schneller Code entsteht, desto wichtiger wird ein System, das schlechte Änderungen billig verwirft. [S-022, S-023, S-004, S-046]

Prompt ist nicht Spezifikation

Ein Prompt kann eine Aufgabe initiieren, ist aber häufig flüchtig, unvollständig und schwer versionierbar. Für produktive Systeme sollten dauerhafte Anforderungen in Repository-Artefakten liegen: README, Architekturregeln, Schnittstellenverträge, Akzeptanzbeispiele, Tests, ADRs und Sicherheitsvorgaben. Produktdokumentationen mehrerer Anbieter unterstützen Projektanweisungen und konfigurierbare Policies; ihre Wirksamkeit hängt jedoch davon ab, ob die Informationen aktuell, kurz, auffindbar und widerspruchsfrei sind. [S-095, S-097, S-089, S-004]

Produktivität: Gewinne, Gegenbefunde und Messfehler

Warum die Prozentwerte nicht addierbar sind

StudieSettingMessgrößeBefundÜbertragungsgrenze
Peng et al.begrenzte Greenfield-AufgabeZeit bis Abschluss55,8 % schnellerkein langfristiger Betrieb
Cui et al.drei Unternehmen, 4.867 Entwicklererledigte Aufgabenca. 26 % mehrinterne Taskdefinitionen
METR 2025erfahrene Maintainer, reale IssuesZeit je Aufgabe19 % langsamerkleine Spezialstichprobe
DORA 2025internationale Befragungmehrdimensionale OutcomesKI als Verstärkerüberwiegend Survey/Korrelation
Meta-Analyse 2026heterogene Studienaggregierte Programmierleistunggemischte positive EffektePublikations- und Settingheterogenität

Die Studien untersuchen nicht dasselbe Produkt. Autocomplete, Chat, IDE-Agent und Cloud-Agent unterscheiden sich. Ebenso unterscheiden sich Aufgaben, Testbarkeit, Codebasiskenntnis und Erfolgsmaß. Ein Unternehmen sollte deshalb keinen externen Durchschnittswert als Business Case verwenden, sondern eigene Aufgabenklassen randomisiert oder gestaffelt messen. [S-015, S-016, S-017, S-012, S-022]

Lokale Produktivitätsformel

Nettonutzen je Änderung = eingesparte aktive Entwicklungszeit - zusätzliche Prompt-/Wartezeit - Review - Rework - Incident-/Wartungserwartung + Qualitäts- oder Durchsatzwert.

Die Formel ist bewusst breiter als „Zeit im Editor“. Wird eine Änderung schneller erstellt, aber später häufiger zurückgewiesen, entsteht kein gleichermaßen positiver Produktivitätsgewinn. Das gleiche gilt, wenn Senior-Review zur knappen Ressource wird oder Junioren weniger Systemwissen aufbauen.

Messdesign

MessbereichBeispielmetrikenWarnung
DurchsatzCycle Time, Lead Time, abgeschlossene TasksTaskgröße und Nachfrage kontrollieren
Qualitätescaped defects, Rollbacks, Testabdeckung, Security FindingsAbdeckung nicht mit Wirksamkeit verwechseln
ReviewZeit, Runden, PR-Größe, Ablehnungsquotemehr Kommentare können auch bessere Prüfung bedeuten
WartungZeit bis Folgeänderung, Churn, Hotspots, Incident-Anteillange Beobachtungszeiträume nötig
LernenCodeverständnis, Debugging, Bus Factor, OnboardingOutputleistung reicht nicht
ErfahrungSatisfaction, Flow, UnterbrechungenSelbstbericht nicht als Kausalnachweis nutzen

Nicht-Programmierer, Anfänger und Profis

Nicht-Programmierer besitzen häufig starkes Domänenwissen und können deshalb sinnvolle Werkzeuge spezifizieren. Ihr Risiko liegt weniger in der Idee als in unsichtbaren technischen Eigenschaften: Authentisierung, Datenzugriff, Race Conditions, Migration, Browser-/Geräteunterschiede und Betrieb. Anfänger erkennen Syntax und offensichtliche Fehler, aber oft noch nicht Architektur- oder Sicherheitsfolgen. Profis können schneller prüfen, sind jedoch nicht immun gegen Übervertrauen, Kontextfehler oder Reviewüberlastung. [S-006, S-005, S-047, S-004]

NutzergruppeStärketypische blinde Stellesinnvoller Einsatznotwendige Ergänzung
Domänenexperte ohne CodepraxisProblem- und Prozesswissenunsichtbare technische RisikenPrototyp, internes HilfswerkzeugVorlagen, Sandbox, technischer Reviewer
Programmieranfängererste Debugging- und StrukturkenntnisArchitektur, Security, Legacy-Verträgekleine klar getestete AnwendungenLernmodus, Erklärpflicht, manuelle Reparatur
Erfahrener Entwicklerschnelle Qualitäts- und KontextbewertungÜbernahme plausibler Vorschläge, Reviewstauproduktive Assistenz und Agentendelegationlokale Evals, kleine PRs, SLO/Ownership
Technisches Teamgeteilte Expertise und Reviewsunklare Policies, Wissensfragmentierungskalierte agentische EntwicklungPlattform, Governance, Metriken

Die wichtigste Grenze für Nicht-Programmierer ist nicht eine bestimmte Programmiersprache. Sie ist der Punkt, an dem ein Fehler für Dritte, Daten, Geld oder Sicherheit relevant wird und niemand im Projekt die Ursache zuverlässig diagnostizieren kann.

Kompetenzaufbau, Verständnis und kognitive Schuld

AI-Unterstützung kann Lernen erleichtern, wenn sie Feedback, Beispiele und Erklärungen liefert. Sie kann Lernen umgehen, wenn sie den gesamten Lösungsweg übernimmt. Die Skill-Formation-Studie von Shen und Tamkin fand im Mittel schlechteres Konzeptverständnis, Code-Lesen und Debugging unter KI-Unterstützung. Entscheidend waren die Interaktionsmuster: Konzeptfragen und aktives Untersuchen waren günstiger als vollständige Delegation. [S-029, S-037, S-035]

Praktiken gegen Verständnisverlust

PraxisZweckBeispiel
Vorhersagen vor Ausführungeigenes mentales Modell sichtbar machen„Welche Dateien ändert der Agent und warum?“
Explain-backVerständnis statt Zustimmung prüfenNutzer erklärt Datenfluss ohne KI
Manuelle ReparaturDebuggingfähigkeit erhaltenmindestens einen Fehler selbst lokalisieren
Konzeptfragen vor CodePrinzipien zuerst klärenTransaktion, Authentisierung, Idempotenz
Kleine Diffskognitive Last begrenzeneine fachliche Änderung pro Commit
Fehlerhafte BeispieleKalibrierung trainierenabsichtlich buggy Vorschlag prüfen
Spaced RetrievalWissen später erneut abrufenArchitekturentscheidung nach Tagen erklären

Die entstehende Schuld ist nicht nur „technisch“. Epistemische oder Comprehension Debt entsteht, wenn Software existiert, aber Gründe, Annahmen und Wirkzusammenhänge im Team fehlen. Diese Schuld wird erst bei Incident, Audit, Anbieterwechsel oder ungewöhnlicher Änderung sichtbar. [S-032, S-030, S-033]

Anforderungen und Context Engineering

Modelle können unklare Anforderungen nicht zuverlässig in die richtige Geschäftsentscheidung verwandeln. Sie wählen eine plausible Interpretation. Je größer die Delegation, desto stärker wirkt eine falsche Annahme. Professionelles Context Engineering bedeutet deshalb nicht, das gesamte Repository in ein Kontextfenster zu kopieren, sondern relevante Regeln maschinen- und menschenlesbar zu strukturieren. [S-004, S-008, S-123, S-124]

KontextbausteinInhaltPflege
ProduktzielNutzer, Problem, Erfolg, Nicht-Zielebei Scopeänderung
ArchitekturKomponenten, Datenflüsse, erlaubte Abhängigkeitenbei ADR/Version
Coding RulesStil, Sprache, Framework, Verzeichnisregelnversioniert im Repo
SchnittstellenSchemas, Fehlercodes, Auth, Beispielevertraglich/versioniert
TeststrategieTestebenen, kritische Fälle, Mocks, Datenmit Risikoänderung
Security PolicySecrets, Netzwerk, erlaubte Befehle, Dependency-Regelnregelmäßig und nach Incident
Definition of DoneBuild, Tests, Review, Doku, Rollbackteamweit stabil

Ein guter Auftrag enthält: Ziel, Kontext, betroffene Grenze, vorhandene Beweise, Akzeptanzkriterien, Nicht-Ziele, erlaubte Tools und gewünschte Prüfnachweise. Ein langer Prompt ohne diese Struktur ist keine belastbare Spezifikation.

Architektur: Greenfield, Brownfield und Systemgrenzen

Greenfield-Arbeit bietet wenige Altlasten und schnelle sichtbare Fortschritte. Gerade deshalb kann unkontrollierter Code früh falsche Grundentscheidungen festschreiben: Datenmodell, Authentisierung, Mandantentrennung, Fehlersemantik und Deployment. Brownfield-Arbeit ist langsamer, weil vorhandene Verträge respektiert werden müssen. Coding-Agenten benötigen dort nicht nur Quellcode, sondern Tests, Logs, Konfiguration, Historie und Domänenwissen. [S-004, S-031, S-030, S-026]

EntscheidungKI kann unterstützenMensch muss verantworten
Monolith vs. ServicesOptionen, Trade-offs, MigrationsplanOrganisations- und Betriebsfähigkeit
DatenmodellSchemas, Migrationen, Beispieldatenfachliche Wahrheit, Aufbewahrung, Integrität
Auth/RollenBibliotheksmuster, Tests, MiddlewareThreat Model, Rechte und Missbrauch
Build/DeploymentPipelines, Container, KonfigurationZielumgebung, Secrets, Freigabe, Rückweg
AbhängigkeitenVergleich und IntegrationscodeVertrauen, Lizenz, Lebenszyklus, Exit
FehlerbehandlungRetry-/Timeout-Musterfachliche Folgen und Nutzerkommunikation

Eine Architekturentscheidung ist dann agententauglich, wenn sie explizit genug ist, dass eine Änderung automatisch geprüft werden kann. „Sauber“, „modern“ oder „skalierbar“ sind keine Akzeptanzkriterien.

Tests, Verifikation und Code Review

Die Auditkrise bei SWE-bench ist für die Praxis lehrreich: Selbst professionell kuratierte Test-Suiten können korrekte Lösungen ablehnen, falsche akzeptieren oder eine unterbestimmte Aufgabe nur über die historische Goldimplementierung bewerten. Tests bleiben zentral, müssen aber als unvollständige Messinstrumente behandelt werden. [S-058, S-059, S-064]

Unabhängigkeit der Prüfung

KontrollstufeBeispielWelche Blindstelle sie reduziert
Spezifikation vor Codefachliche Beispiele und InvariantenAgent passt Tests nicht an eigene Lösung an
Bestehende Regressionstestsunverändertes Verhaltenunbeabsichtigte Nebenwirkungen
Agent erzeugt zusätzliche TestsRandfälle und Gerüstemenschlich übersehene Fälle
Mensch/zweites System prüft TestsOrakel und Abdeckungkorrelierte Fehlannahmen
Statische/Typanalysestrukturelle Defektenicht ausgeführte Pfade
Security TestingMissbrauch und Angriffswegefunktional korrekter, aber unsicherer Code
Staging/Canaryreale Integration und LastUmgebungs- und Betriebsfehler

Code Review sollte nicht nur fragen, ob der Patch kompiliert. Zu prüfen sind Zweck, Annahmen, Datenfluss, Rechte, Fehlerfälle, Dependencies, Migration, Observability und Rückweg. Große KI-generierte PRs sind besonders problematisch, weil der menschliche Reviewer den Kontext erst rekonstruieren muss. Kleine, reversible Änderungen verbessern sowohl Reviewqualität als auch Lernwert. [S-042, S-046, S-075, S-076]

Codequalität, Wartbarkeit und technische Schuld

Die aktuelle Forschung deutet nicht darauf hin, dass jede KI-Zeile schlechte Qualität hat. Sie zeigt vielmehr ein Risiko systematischer Schuld: plausible Duplikation, unnötige Komplexität, fehlende Tests, architekturfremde Abhängigkeiten und Entscheidungen, die niemand bewusst getroffen hat. Die große 2026er Mining-Studie ist wichtig, bleibt aber ein Preprint und erfasst nur explizit markierte AI-Commits. Ihre Aussage ist daher ein Warnsignal, kein universeller Fehlerprozentsatz. [S-039, S-040, S-043]

SchuldartEntstehung bei KI-CodeFrühsignalGegenmaßnahme
Code DebtDuplikation, Smells, überbreite FunktionenLinter, Churn, HotspotsRefactoringbudget, Qualitätsgates
Test DebtHappy-Path-Tests, schwache Orakelescaped defects, niedrige Mutationunabhängige Teststrategie
Architecture Debtlokale Lösung verletzt Systemgrenzenzyklische Abhängigkeiten, SonderpfadeADR und Architekturtests
Dependency Debtunnötige oder erfundene Paketeviele neue Transitives, CVEsAllowlist, SBOM, Lockfile
Knowledge Debtniemand versteht ÄnderungReviewstau, Bus FactorExplain-back, Dokumentation, Ownership
Operations Debtfehlende Logs/Runbooks/Rollbacklange MTTR, manuelle EingriffeSLO, Monitoring, Runbooks

Wartbarkeit muss über Folgeänderungen gemessen werden: Wie schnell kann ein anderer Mensch den Code verstehen? Wie oft wird dieselbe Stelle nachbearbeitet? Wie viele Defekte entkommen? Wie häufig muss die KI den eigenen Code erneut umschreiben? Ein einmaliger Qualitätscheck reicht nicht.

Security, Supply Chain und Geheimnisse

AI-Code kann klassische Schwachstellen enthalten: fehlende Eingabevalidierung, unsichere Deserialisierung, fehlerhafte Zugriffskontrolle, Injection, Race Conditions oder Kryptografiefehler. Das besondere Risiko liegt in Geschwindigkeit und Vertrauen. Eine kontrollierte Studie fand weniger sichere Lösungen in vier von fünf Aufgaben und gleichzeitig höhere Zuversicht der KI-Nutzer. [S-047, S-048, S-067]

Supply Chain

Generierte Paketnamen müssen verifiziert werden. Package Hallucinations sind dokumentiert und können von Angreifern für Dependency Confusion oder Typosquatting ausgenutzt werden. Der Mindestprozess umfasst Registry-Prüfung, Projekt-/Maintainerprüfung, Lockfile, SBOM, Vulnerability Scan und idealerweise Build-Provenienz. [S-049, S-054, S-071, S-073, S-072]

Secrets und Daten

Agenten benötigen für realistische Aufgaben oft Zugang zu Repositories, Paketregistern, Cloud-Umgebungen oder Testdiensten. Diese Zugänge dürfen nicht als dauerhafte Vollzugriffsschlüssel im Prompt oder Projekttext liegen. Kurzlebige Identitäten, minimale Scopes, getrennte Testkonten und Auditlogs begrenzen Schäden. Auch automatisch hochgeladene Logs, Crash-Dumps und Chatverläufe können Secrets oder personenbezogene Daten enthalten.

Secure by Design

NIST SSDF, OWASP ASVS, CISA Secure by Design und der EU Cyber Resilience Act machen deutlich, dass Sicherheit in Anforderungen, Entwicklung, Auslieferung und Wartung eingebaut werden muss. KI kann diese Kontrollen beschleunigen, darf aber nicht selbst entscheiden, dass sie erfüllt sind. [S-065, S-067, S-083, S-103]

Agentenrechte, Sandbox, Netzwerk und MCP

Ein Chat ohne Tools kann falschen Text liefern. Ein Agent mit Shell, Dateisystem, Browser, Git und Cloud-Zugang kann falsche Handlungen ausführen. Die Sicherheitsarchitektur muss daher die Aktion begrenzen, nicht nur die Antwort filtern. Offizielle Coding-Agenten verwenden unterschiedliche Kombinationen aus Read-only-Default, expliziten Freigaben, Sandboxen, isolierten Cloud-Umgebungen und Netzwerkregeln. [S-090, S-094, S-098, S-100]

Ressourcesicherer StartFreigabe erforderlichAuditnachweis
DateisystemProjektordner read-onlySchreiben außerhalb definierter PfadeDateidiff und Toollog
ShellAllowlist ungefährlicher Befehleinstallieren, löschen, verändernBefehls-/Exitcode-Log
Netzwerkaus oder Domain-Allowlistneue Domains, Upload, POSTZiel, Methode, Datenmenge
GitBranch ohne Merge-RechtPush, PR, Tag, ReleaseCommit/PR-Historie
Cloudseparates Testkonto, read-onlyRessource anlegen/ändern/löschenCloud Audit Log
MCPbekannter Server, minimale Scopesneues Tool oder schreibende AktionToolname, Parameter, Ergebnis

MCP löst ein Integrationsproblem, kein Vertrauensproblem. Ein Client kann Tools entdecken und aufrufen; er muss dennoch prüfen, welchem Server er vertraut, welche Ressourcen sichtbar sind, wie Tokens gebunden werden und ob Toolbeschreibungen manipuliert sind. Offizielle MCP-Sicherheitsguidance und die gemeinsame NSA-Leitlinie betonen Autorisierung, Token-Schutz und begrenzte Ressourcen. [S-085, S-086, S-087]

Indirekte Prompt Injection ist besonders gefährlich, weil der Angriff nicht in der Nutzeranweisung stehen muss. Eine präparierte README, ein Issue, eine Webseite oder Toolantwort kann den Agenten zu einer fremden Aktion bewegen. Netzwerkzugriff und schreibende Tools sollten deshalb getrennt freigegeben werden; sensible Aktionen benötigen eine Bestätigung, die nicht aus demselben potenziell kompromittierten Kontext stammt. [S-050, S-051, S-052, S-091]

Benchmarks und ihre Verfallsdaten

Coding-Benchmarks sind nützlich, aber leicht überinterpretiert. SWE-bench brachte reale GitHub-Issues in die Evaluation. SWE-Lancer ergänzte reale Freelance-Aufgaben. Terminal-Bench misst CLI-Aufgaben. METR modelliert den Zusammenhang zwischen Erfolgswahrscheinlichkeit und menschlicher Aufgabendauer. Keines dieser Verfahren misst direkt, ob ein Agent in Ihrem Unternehmen sichere, wartbare Software liefert. [S-056, S-060, S-061, S-062]

Frage an einen BenchmarkWarum sie wichtig ist
Welche Dataset-Version?Aufgaben werden korrigiert, ergänzt oder kontaminiert.
Welches Modell und welcher Snapshot?Fähigkeiten und Training ändern sich.
Welcher Harness/Prompt/Toolzugriff?Scaffold kann mehr bewirken als Modellwechsel.
Wie viele Läufe und Seeds?Agenten sind stochastisch; einmaliger Erfolg täuscht.
Welche Kosten und Schrittbudgets?mehr Test-Time Compute kann Score erhöhen.
Werden korrekte Alternativlösungen akzeptiert?zu enge Testorakel benachteiligen gültige Patches.
Ist die Aufgabe im Training sichtbar?Kontamination kann Fähigkeit vortäuschen.
Wie wird Sicherheit bewertet?funktionaler Erfolg kann riskante Zwischenschritte enthalten.

Die Audits von Verified und Pro zeigen eine Messkrise, aber nicht die Nutzlosigkeit aller Benchmarks. Die richtige Reaktion ist, Leaderboards durch lokale Eval-Sets zu ergänzen: eigene Repositories, echte Fehlerklassen, Wiederholung, unabhängige Review, Kosten und Sicherheitskontrollen. [S-058, S-059, S-064, S-022]

Werkzeuglandschaft am 8. August 2026

Die nachfolgende Einordnung beschreibt Funktionsklassen, keine Rangliste. Preise, Modellnamen, Quoten und Preview-Status ändern sich schnell und gehören in die Refresh-Liste.

WerkzeugfamilieOffiziell dokumentierte FähigkeitenKontrollflächenQuellen
OpenAI CodexEditor, Terminal, Cloud, parallele Agenten, Skills und AutomationenSandbox, Netzwerkregeln, Freigaben, TelemetrieS-088, S-089, S-090, S-091
Anthropic Claude CodeCodebasis lesen, Dateien ändern, Befehle, IDE/Terminal/WebRead-only-Default, Berechtigungen, Sandbox, ProjektsettingsS-093, S-094, S-095, S-096
GitHub Copilot AgentsRepository recherchieren, planen, Branch ändern, PR erzeugenCloud-/lokale Sandbox, Branch/PR-Review, PoliciesS-097, S-098, S-099
Google Gemini Code Assist/CLIAgent Mode, mehrere Dateiänderungen, Tools und MCPHuman-in-the-loop, IDE-/CLI-Kontext, Responsible-AI-HinweiseS-100, S-101, S-102
MCP-Ökosystemstandardisierte Tools, Ressourcen und PromptsAuthorization und implementierte Security ControlsS-085, S-086, S-087

Produktwahl sollte nicht mit Modellwerbung beginnen. Zuerst sind Repositoryzugriff, Datenklasse, Betriebsmodell, Identity, Netzwerk, Audit, Teamworkflow und Exit zu definieren. Danach lässt sich prüfen, welches Werkzeug die Anforderungen erfüllt.

Entscheidungsrahmen: Wann Vibe Coding vertretbar ist

DimensionNiedriges RisikoMittleres RisikoHohes Risiko
Nutzerkreisnur Erstellerkleines internes TeamKunden/Öffentlichkeit
Datenkeine/synthetischeinterne nicht sensiblepersonenbezogene, vertrauliche, regulierte
Wirkunginformativ/reversibeloperative UnterstützungEntscheidung, Geld, Gesundheit, Sicherheit
Schreibrechtelokale Testdateieninterne Systeme mit ApprovalProduktivdaten oder externe Aktionen
AusfallunbequemBetriebsunterbrechungerheblicher Schaden
KompetenzErsteller kann verwerfenReviewer verfügbarqualifiziertes Team und formale Freigabe
geeigneter Modusenges Vibe Coding möglichKI-gestützt mit Kontrollenprofessionelles Engineering; kein ungeprüftes Vibe Coding

Fünf Stoppsignale

  • Niemand kann erklären, welche Daten wohin fließen und wer darauf zugreifen kann.
  • Der Agent benötigt produktive Vollrechte, damit die Demo überhaupt funktioniert.
  • Die Anwendung hat keine reproduzierbaren Tests, kein Backup oder keinen Rückweg.
  • Eine Fehlentscheidung kann Menschen, Geld, Rechte oder Geschäftsgeheimnisse erheblich betreffen.
  • Es gibt keinen benannten Menschen oder Dienstleister, der Fehler nach dem Launch behebt.

Vier gute Startfälle

  • wegwerfbarer UI-Prototyp mit synthetischen Daten
  • lokales Konvertierungs- oder Analyseskript auf Kopien
  • regelbasierter interner Rechner mit klaren Tests
  • kleine Erweiterung in einem gut getesteten Repository über Branch und Review

18 Forschungs- und Evidenzprofile

Vibe Coding als beobachtete Arbeitsweise

FeldEinordnung
LeitfrageWie arbeiten Menschen tatsächlich, wenn sie Software überwiegend im Dialog mit einem Code-generierenden Modell erstellen?
DesignAnalyse von mehr als acht Stunden kuratiertem Videomaterial mit Think-aloud-Reflexionen.
Zentrale BefundeDie Arbeit verlief in iterativen Zielerfüllungszyklen. Nutzer wechselten zwischen Prompting, schnellem Scannen, Ausführen, visueller Prüfung, Debugging und manueller Bearbeitung. Vertrauen war dynamisch und abhängig vom jüngsten Erfolg.
GrenzenKleine, kuratierte Stichprobe; frühe Werkzeuggeneration; kein kausaler Produktivitätsvergleich.
Bedeutung für die BuchreiheBelegt, dass Vibe Coding kein One-shot-Verfahren ist und technische Urteilskraft an andere Stellen verlagert wird.
QuellenS-001

„Rolling the Dice“: Spektrum statt einheitlicher Methode

FeldEinordnung
LeitfrageWelche Mentalmodelle und Praktiken verbergen sich hinter dem Begriff Vibe Coding?
DesignGrounded-Theory-Analyse von 20 Videos, darunter sieben Livestreams mit rund 16 Stunden und 254 Prompts.
Zentrale BefundeDie Praktiken reichten von weitgehend ungeprüfter Delegation bis zu selektiver Kontrolle und manueller Anpassung. Stochastische Generierung führte zu wiederholtem Probieren und unterschiedlichen Vertrauensstrategien.
GrenzenÖffentlich ausgewählte Videos können besonders erfolgreiche oder medienwirksame Fälle überrepräsentieren.
Bedeutung für die BuchreiheGrundlage für die Trennung zwischen engem Vibe Coding und professionell kontrollierter KI-Entwicklung.
QuellenS-003, S-002

Großskalige IDE-Chat-Nutzung

FeldEinordnung
LeitfrageWofür und in welchen Sequenzen nutzen Entwickler Chatfunktionen in realen IDE-Sitzungen?
Design74.998 Entwicklernachrichten aus 11.579 Sitzungen, 1.300 Repositories und 899 Nutzern von Cursor und GitHub Copilot.
Zentrale BefundeDie Dialoge waren mehrstufig, kontextabhängig und umfassten Verständnis, Implementierung, Debugging, Refactoring und Navigation. Reale Nutzung war deutlich heterogener als isolierte Code-Completion-Tests.
GrenzenBeobachtungsdaten ohne vollständige Qualitäts- oder Produktivitätsmessung; spezifische Plattformen und Nutzerpopulation.
Bedeutung für die BuchreiheBelegt, dass Chatprogrammierung als Interaktionsprozess und nicht nur als Output-Generator bewertet werden muss.
QuellenS-008

Kontrolliertes Copilot-Experiment

FeldEinordnung
LeitfrageBeschleunigt ein KI-Codeassistent eine begrenzte Programmieraufgabe?
DesignKontrolliertes Experiment mit einer definierten HTTP-Server-Aufgabe und zufälliger Zuweisung.
Zentrale BefundeTeilnehmende mit Copilot schlossen die Aufgabe im Mittel 55,8 Prozent schneller ab.
GrenzenKleine, klar begrenzte Aufgabe; kein Legacy-System, kein langer Betrieb, keine Langzeitwartung.
Bedeutung für die BuchreiheStarker Nachweis, dass KI bei passenden Aufgaben erheblich beschleunigen kann, aber kein universeller Branchenwert.
QuellenS-015

Drei Unternehmens-Feldexperimente

FeldEinordnung
LeitfrageErhöht KI-Unterstützung die Zahl erledigter Entwicklungsaufgaben in realen Organisationen?
DesignDrei randomisierte Feldexperimente mit zusammen 4.867 Softwareentwicklern bei Microsoft, Accenture und einem weiteren Unternehmen.
Zentrale BefundeKombiniert wurden rund 26 Prozent mehr erledigte Aufgaben geschätzt; weniger erfahrene Entwickler zeigten tendenziell stärkere Gewinne.
GrenzenUnternehmensinterne Aufgaben- und Messdefinitionen; keine pauschale Aussage zu Qualität, Wartung oder EBIT.
Bedeutung für die BuchreiheWichtiger positiver Feldbefund und Gegenpol zu negativen Effekten in hochspezialisierten Repositories.
QuellenS-016

METR-RCT mit erfahrenen Open-Source-Maintainern

FeldEinordnung
LeitfrageWie wirkt frühe 2025er KI auf sehr erfahrene Entwickler in vertrauten realen Codebasen?
DesignRandomisierte Zuweisung von 246 realen Issues an 16 erfahrene Maintainer mit oder ohne erlaubte KI-Nutzung.
Zentrale BefundeMit KI waren die Entwickler im Mittel 19 Prozent langsamer, obwohl sie vorher und nachher einen positiven Effekt einschätzten.
GrenzenKleine, ungewöhnlich erfahrene Stichprobe; spezifische Repositories; frühe Modelle und Werkzeuge.
Bedeutung für die BuchreiheZeigt, dass lokale Expertise, Kontextkosten und Prüfung positive Effekte umkehren können.
QuellenS-017, S-018

METR-Update und Selektionsproblem

FeldEinordnung
LeitfrageKann aus späteren Nutzerdaten ein aktueller durchschnittlicher Produktivitätseffekt abgeleitet werden?
DesignFortsetzung der Messung mit späteren Werkzeugen und freiwilliger Aufgaben-/Nutzungswahl.
Zentrale BefundeDie beobachtete Stichprobe wurde durch Selbstselektion verzerrt; METR verzichtete auf eine einfache Durchschnittsschätzung.
GrenzenKein neuer kausaler Haupteffekt; Ergebnis ist vor allem eine methodische Warnung.
Bedeutung für die BuchreiheBelegt, warum „aktive Nutzer sind schnell“ nicht automatisch bedeutet, dass das Werkzeug jeden Nutzer beschleunigt.
QuellenS-019, S-020

DORA 2025: KI als Organisationsverstärker

FeldEinordnung
LeitfrageUnter welchen organisatorischen Bedingungen verbessert KI-gestützte Softwareentwicklung Ergebnisse?
DesignMehr als 100 Stunden qualitative Daten und Befragung von nahezu 5.000 Technologieprofessionals.
Zentrale BefundeKI korrelierte mit individueller Effektivität und Durchsatz, verstärkte aber zugleich bestehende Stärken und Dysfunktionen. Plattformqualität, Nutzerzentrierung, kleine Batches und klare Policies waren wichtige Bedingungen.
GrenzenAnbietergetragene Befragung und Modellierung; Korrelationen sind keine vollständigen Kausalnachweise.
Bedeutung für die BuchreiheVerschiebt die Debatte vom Toolkauf auf den Entwicklungs- und Organisationskontext.
QuellenS-022, S-023, S-024

Skill Formation bei neuer Bibliothek

FeldEinordnung
LeitfrageWie beeinflusst KI-Unterstützung das Erlernen neuer Programmierkonzepte?
DesignRandomisierte Experimente mit Aufgaben zu einer unbekannten asynchronen Programmbibliothek und anschließenden Verständnis-/Debuggingtests.
Zentrale BefundeIm Mittel verschlechterten sich Konzeptverständnis, Code-Lesen und Debugging. Vollständige Delegation war schnell, aber lernschwach; konzeptuell aktive Interaktionsmuster erhielten Lernen besser.
GrenzenExperimentelle Lernsituation; nicht jede Produktionsaufgabe zielt auf Kompetenzaufbau.
Bedeutung für die BuchreiheZentral für das Risiko, dass kurzfristige Outputsteigerung die spätere Kontrollfähigkeit schwächt.
QuellenS-029

Comprehension-Performance Gap

FeldEinordnung
LeitfrageSteigt mit besserer Aufgabenerfüllung auch das Verständnis einer fremden Codebasis?
DesignWithin-subjects-Experiment mit Studierenden in Brownfield-Featureaufgaben mit und ohne Copilot.
Zentrale BefundeCopilot verringerte Zeit und erhöhte bestandene Tests, ohne einen entsprechenden Anstieg der Verständnisscores.
GrenzenKleine akademische Stichprobe und begrenzte Aufgaben.
Bedeutung für die BuchreiheBelegt, dass sichtbarer Erfolg und mentale Besitznahme der Lösung getrennt gemessen werden müssen.
QuellenS-030, S-031

Technische Schuld in 304.362 AI-Commits

FeldEinordnung
LeitfrageWelche statisch erkennbaren Probleme führen explizit als AI-authentifiziert markierte Commits ein, und wie lange bleiben sie?
DesignMining von 304.362 verifizierten AI-Commits aus 6.275 GitHub-Repositories; Differenzanalyse vor/nach Commit und Verfolgung bis HEAD.
Zentrale Befunde484.606 Probleme wurden identifiziert; Code Smells dominierten. Bei jedem untersuchten Assistenten führte mehr als ein Teil der Commits mindestens ein Problem ein; 24,2 Prozent der verfolgten Probleme bestanden am letzten Stand fort.
GrenzenNur explizit markierte KI-Commits; statische Analyse erfasst nicht alle Fehler und kann Fehlalarme enthalten; Preprint.
Bedeutung für die BuchreiheDer bislang stärkste großskalige Hinweis auf langfristige Wartungskosten, aber kein abschließendes Qualitätsurteil über alle KI-Nutzung.
QuellenS-039

Review als neuer Engpass

FeldEinordnung
LeitfrageWie verändert schnell erzeugter KI-Code die menschliche Reviewlast?
DesignAnalyse von Pull Requests, Reviewrunden und agentisch erzeugten Änderungen.
Zentrale BefundeStudien berichten zusätzliche Reviewrunden, höhere Ablehnungsraten in bestimmten agentischen Verläufen und ein mögliches Missverhältnis zwischen Generierungstempo und menschlicher Prüfkapazität.
GrenzenJunge Preprints, unterschiedliche Repositories und Attribution; lokale Prozesse können stark abweichen.
Bedeutung für die BuchreiheBegründet Metriken wie Reviewzeit, PR-Größe, Rework und Defektdurchschlupf statt reiner Outputmenge.
QuellenS-042, S-046, S-044

Sichere Codeerzeugung und Übervertrauen

FeldEinordnung
LeitfrageSchreiben Nutzer mit KI-Assistenten sichereren Code und schätzen sie ihre Sicherheit korrekt ein?
DesignKontrollierte Nutzerstudie mit 47 Teilnehmenden über fünf sicherheitsbezogene Programmieraufgaben.
Zentrale BefundeDie KI-Gruppe schrieb in vier von fünf Aufgaben weniger sicheren Code und war zugleich zuversichtlicher.
GrenzenFrühe Modelle, kleine Aufgaben, keine heutigen produktseitigen Schutzmechanismen.
Bedeutung für die BuchreiheZeigt die Kombination aus tatsächlicher Schwäche und Fehlkalibrierung als besonderes Risiko.
QuellenS-047, S-048

Package Hallucinations

FeldEinordnung
LeitfrageErfinden Code-Modelle nicht existierende Paketnamen, die Angreifer registrieren könnten?
Design16 Modelle, 576.000 Generierungen und systematische Prüfung genannter Abhängigkeiten.
Zentrale BefundeDie Studie dokumentierte zahlreiche erfundene Pakete und wiederholbare Namen; Raten unterschieden sich stark zwischen kommerziellen und offenen Modellen.
GrenzenModell- und Promptstand 2024; Raten sind schnell veraltend und nicht auf jedes Ökosystem übertragbar.
Bedeutung für die BuchreiheBegründet Registry-Prüfung, Lockfiles, SBOM und Dependency-Scanning für generierte Änderungen.
QuellenS-049, S-054

Prompt Injection gegen Coding-Agenten

FeldEinordnung
LeitfrageWelche Angriffsflächen entstehen, wenn Agenten Repositories, Webseiten, Tools und Skills lesen und Befehle ausführen?
DesignSystematische Analyse von 78 Studien sowie konkrete Exploitketten; ergänzend realistische GitHub-Reproduktionen.
Zentrale BefundeIndirekte Instruktionen können Toolnutzung, Datenabfluss und Supply-Chain-Aktionen beeinflussen. Viele vorgeschlagene Abwehren waren gegen adaptive Angriffe begrenzt.
GrenzenSchnell bewegtes Forschungsfeld; Preprints; konkrete Erfolgsraten hängen stark von Agent und Rechten ab.
Bedeutung für die BuchreiheBegründet Least Privilege, Netzwerkbegrenzung, unabhängige Freigaben und Misstrauen gegenüber gelesenen Artefakten.
QuellenS-050, S-051, S-052

SWE-bench Verified Audit

FeldEinordnung
LeitfrageMisst ein populärer Coding-Benchmark an der Frontier noch reale Fähigkeit?
DesignOpenAI auditierte 138 häufig nicht konsistent gelöste Fälle mit mindestens sechs erfahrenen Entwicklern je Fall und prüfte Kontamination.
Zentrale BefundeMindestens 59,4 Prozent der auditierten Fälle hatten materielle Test-/Aufgabenprobleme; zusätzlich gab es Hinweise, dass Modelle Teile der Goldlösungen aus Training reproduzieren konnten.
GrenzenAnbieter-Audit und gezielte schwierige Teilmenge; dennoch direkt relevant für heutige Frontier-Aussagen.
Bedeutung für die BuchreiheZeigt, dass selbst kuratierte Benchmarks altern, kontaminiert werden und falsche Testorakel enthalten können.
QuellenS-058, S-056, S-057

SWE-Bench Pro Audit

FeldEinordnung
LeitfrageLöst ein realistischeres Nachfolgebenchmark die Messprobleme?
DesignAutomatisierter Agenten-Audit plus menschliche Annotation des öffentlichen Splits.
Zentrale BefundeOpenAI schätzte im Juli 2026, dass rund 30 Prozent der Aufgaben gebrochen sind, unter anderem durch zu enge Tests, Unterbestimmtheit oder geringe Abdeckung.
GrenzenAnbieter-Audit; Dataset und Schätzung können aktualisiert werden.
Bedeutung für die BuchreiheUnterstreicht, dass Beschaffungs- und Strategieentscheidungen nicht auf einem einzelnen Leaderboard beruhen dürfen.
QuellenS-059, S-064

METR Task-Completion Time Horizons

FeldEinordnung
LeitfrageWie kann die Länge zuverlässig abschließbarer Aufgaben über Modellgenerationen verglichen werden?
DesignMehr als hundert Software- und verwandte Aufgaben; logistische Modellierung von Erfolg gegen menschliche Aufgabendauer.
Zentrale BefundeDie Metrik zeigt schnellen Fähigkeitsfortschritt, ist aber eine Erfolgswahrscheinlichkeit auf Aufgaben bestimmter Schwierigkeit, keine gemessene autonome Laufdauer.
GrenzenHumanzeit-Schätzungen, Taskmix, Scaffold und Modellzugang prägen die Zahl; über 16 Stunden sind Schätzungen laut METR unsicher.
Bedeutung für die BuchreiheHilft Fortschritt einzuordnen, ohne daraus „Agent arbeitet X Stunden selbständig“ abzuleiten.
QuellenS-062, S-063, S-061

18 Unternehmens- und Projektszenarien

Einseitige Marketing-Landingpage

PrüffeldBewertung
AusgangslageEin Nicht-Programmierer erstellt eine statische Landingpage ohne Formular und ohne personenbezogene Daten.
Typische Einordnunggut geeignet als Lern- und Prototypingfall
Mindestkontrollenstatische Ausgabe; Versionskontrolle; Lighthouse-/Accessibility-Check; Browser-Test; keine Secrets
Stop-/EskalationskriteriumDeployment in isolierte Testumgebung; Domain erst nach Abnahme
QuellenS-001, S-004, S-075

Kontaktformular für ein eigenes Unternehmen

PrüffeldBewertung
AusgangslageWebsite mit Formular, E-Mail-Versand und Speicherung von Anfragen.
Typische Einordnungnur mit technischer und rechtlicher Prüfung
MindestkontrollenServervalidierung; Spam-/Rate-Limit; TLS; Logging ohne unnötige Inhalte; Datenschutzprüfung; Backup
Stop-/Eskalationskriteriumkeine echten Kundendaten vor Security-/DSGVO-Abnahme
QuellenS-067, S-065, S-103

Interner Angebotsrechner

PrüffeldBewertung
AusgangslageRegelbasierter Rechner ohne KI, der Preise aus klaren Eingaben berechnet.
Typische Einordnungsehr gut geeignet, KI oft unnötig
MindestkontrollenFachregeln als Tests; Grenzwerte; Rundung; Versionierung; Freigabe durch Fachverantwortlichen
Stop-/EskalationskriteriumStop, wenn Regeln nicht eindeutig oder gesetzlich/vertraglich kritisch sind
QuellenS-075, S-076, S-080

Kleines persönliches Dashboard

PrüffeldBewertung
AusgangslageLokale Auswertung eigener Daten mit read-only APIs.
Typische Einordnunggeeignet mit begrenztem Risiko
MindestkontrollenAPI-Scopes minimal; Secrets außerhalb des Codes; Caching; Fehlerfälle; kein öffentliches Deployment
Stop-/EskalationskriteriumStop bei schreibenden Rechten oder sensiblen Fremddaten
QuellenS-065, S-068, S-077

WordPress-Plugin für einen Kunden

PrüffeldBewertung
AusgangslagePlugin greift in ein bestehendes CMS mit Updates, Rollen und Daten ein.
Typische Einordnungnur mit professioneller Review und Wartungsvertrag
MindestkontrollenCoding Standards; Berechtigungskonzept; Update-/Kompatibilitätstests; Security-Scan; Rollback
Stop-/Eskalationskriteriumkeine Produktion ohne Staging und qualifizierte Abnahme
QuellenS-067, S-065, S-105

CRM-Prototyp für fünf interne Nutzer

PrüffeldBewertung
AusgangslageLogin, Rollen, Kundendaten und Suchfunktion.
Typische Einordnunghohes Risiko für reines Vibe Coding
MindestkontrollenDatenmodell; Authentisierung; Mandantentrennung; Audit-Logs; Backup; Datenschutz; Pen-Test je Risiko
Stop-/EskalationskriteriumStop, wenn niemand Auth- und Datenzugriffe erklären kann
QuellenS-067, S-065, S-104

Öffentliche SaaS-Anwendung

PrüffeldBewertung
AusgangslageMehrmandanten-System mit Abrechnung und Kundendaten.
Typische Einordnungnicht als ungeprüftes Vibe-Coding-Projekt geeignet
MindestkontrollenThreat Model; Tenant Isolation; CI/CD; Monitoring; SLO; Incident Response; Legal/Privacy; Dependency Governance
Stop-/EskalationskriteriumLaunch erst nach unabhängiger Security-/Architekturprüfung
QuellenS-081, S-071, S-103, S-105

Bewerber-Vorsortierung

PrüffeldBewertung
AusgangslageKI bewertet oder priorisiert Bewerbungen.
Typische Einordnungfachlich, rechtlich und ethisch hochkritisch
MindestkontrollenDossiers 1, 2, 5 und 9 anwenden; Human Oversight; Bias-/Qualitätsmessung; Transparenz; DSFA
Stop-/Eskalationskriteriumnicht als Hobby- oder unkontrolliertes Agentenprojekt
QuellenS-104, S-065, S-022

Medizinische Dokumentation

PrüffeldBewertung
AusgangslageApp verarbeitet Gesundheitsdaten und erzeugt Empfehlungen.
Typische Einordnungsicherheitskritisch; Vibe Coding allein ungeeignet
Mindestkontrollenregulatorische Klassifikation; klinische Validierung; Datenschutz; Qualitätsmanagement; Cybersecurity
Stop-/Eskalationskriteriumkeine reale Nutzung ohne qualifiziertes interdisziplinäres Team
QuellenS-103, S-105, S-065

Automatisches Löschen von Dateien

PrüffeldBewertung
AusgangslageAgent bereinigt Verzeichnisse nach natürlichsprachlicher Regel.
Typische Einordnungnur in Sandbox und mit Vorschau
MindestkontrollenDry Run; Allowlist; Papierkorb/Versionierung; Grenzwerte; Bestätigung; Backups
Stop-/Eskalationskriteriumnie unbestätigt auf produktiven Shares
QuellenS-094, S-090, S-098

Agent mit E-Mail- und Kalenderzugriff

PrüffeldBewertung
AusgangslageAgent liest Nachrichten und plant Termine.
Typische Einordnungnur mit minimalen Scopes und expliziten Freigaben
Mindestkontrollenseparate Identität; read-only zunächst; Domain-Allowlist; Protokoll; Bestätigung vor Versand
Stop-/EskalationskriteriumStop bei unbekannten externen Instruktionen oder Credential-Leaks
QuellenS-086, S-087, S-091

Automatischer Pull Request für Bugfix

PrüffeldBewertung
AusgangslageAgent analysiert Issue, ändert Branch und eröffnet PR.
Typische Einordnunggeeignet bei guter Repository-Hygiene
Mindestkontrollenklarer Issue-Scope; Tests; Branchschutz; kein Direkt-Merge; Review durch Owner; CI
Stop-/EskalationskriteriumStop bei unklarer Spezifikation oder Sicherheitsänderung
QuellenS-097, S-076, S-058

Großes Refactoring in Legacy-System

PrüffeldBewertung
AusgangslageAgent soll Architektur über viele Module ändern.
Typische Einordnungnur phasenweise und unter enger technischer Führung
MindestkontrollenArchitecture Decision Record; Charakterisierungstests; kleine Migrationen; Metriken; Rollback
Stop-/Eskalationskriteriumkeine Big-Bang-Änderung ohne Systemexperten
QuellenS-004, S-030, S-022

Abhängigkeiten aktualisieren

PrüffeldBewertung
AusgangslageAgent aktualisiert Libraries und behebt Konflikte.
Typische Einordnunggeeignet mit Supply-Chain-Kontrollen
MindestkontrollenRegistry-/Signaturprüfung; Lockfile; SBOM; SCA; Changelog; Testmatrix
Stop-/Eskalationskriteriumkeine erfundenen oder ungeprüften Pakete akzeptieren
QuellenS-049, S-071, S-073, S-072

Datenbankmigration

PrüffeldBewertung
AusgangslageSchema und Produktionsdaten werden verändert.
Typische Einordnunghohes Risiko, nur mit erfahrenem Owner
Mindestkontrollenidempotente Migration; Backup; Testkopie; Roll-forward/-back; Lock-/Lasttest
Stop-/Eskalationskriteriumnie zuerst auf Produktion ausführen
QuellenS-081, S-065, S-076

Einmaliges internes Skript

PrüffeldBewertung
AusgangslageSkript konvertiert nicht sensible Dateien und wird nach Gebrauch verworfen.
Typische Einordnungguter Vibe-Coding-Fall
MindestkontrollenTestkopien; Checksummen; Ausgabe in neuen Ordner; begrenzte Rechte; Code archivieren
Stop-/EskalationskriteriumStop bei Originalüberschreibung oder sensiblen Daten
QuellenS-007, S-075, S-077

Open-Source-Beitrag

PrüffeldBewertung
AusgangslageAgent erstellt Patch für fremdes Projekt.
Typische Einordnunggeeignet, wenn Projektregeln und menschlicher Review respektiert werden
MindestkontrollenCONTRIBUTING lesen; kleine PRs; Attribution/Policy; Tests; keine Massen-PRs
Stop-/Eskalationskriteriumkeine ungeprüften Agenten-PRs in großer Zahl
QuellenS-099, S-042, S-039

Kundenprojekt als Agenturleistung

PrüffeldBewertung
AusgangslageNicht-Programmierer verkauft individuell gebaute Webanwendung.
Typische Einordnungnur mit klarer Kompetenz-, Haftungs- und Betriebsstruktur
MindestkontrollenAnforderungs-/Abnahmedokument; Security/Privacy; Wartung; Backup; Incident-Kontakt; Subunternehmerreview
Stop-/Eskalationskriteriumnicht verkaufen, wenn Betrieb und Fehlerbehebung nicht gewährleistet sind
QuellenS-105, S-103, S-065, S-080

36-stufiger Umsetzungsfahrplan

  1. Problem und Risiko: Geschäftsproblem und erwarteten Nutzerwert in einem Satz definieren.
  2. Problem und Risiko: Entscheiden, ob klassische Software, Konfiguration oder Regelwerk ohne KI genügt.
  3. Problem und Risiko: Risikoklasse nach Daten, Geld, Gesundheit, Sicherheit, Öffentlichkeit und Reichweite bestimmen.
  4. Problem und Risiko: Owner für Produkt, Technik, Daten, Sicherheit und Betrieb benennen.
  5. Problem und Risiko: Minimalen Scope und explizite Nicht-Ziele formulieren.
  6. Problem und Risiko: Akzeptanzkriterien als beobachtbare Beispiele und Grenzfälle festhalten.
  7. Architektur und Umgebung: Architektur und Datenflüsse skizzieren, bevor produktiver Code erzeugt wird.
  8. Architektur und Umgebung: Repository anlegen und Branch-/Merge-Regeln definieren.
  9. Architektur und Umgebung: Reproduzierbare Entwicklungsumgebung oder Container einrichten.
  10. Architektur und Umgebung: Secrets, Zugangsdaten und produktive Daten aus der Entwicklungsumgebung fernhalten.
  11. Architektur und Umgebung: Coding-Agent zunächst read-only oder in einer Wegwerf-Sandbox einsetzen.
  12. Architektur und Umgebung: Projektkontext in kurze, versionierte Anweisungen und Referenzdokumente aufteilen.
  13. Implementierung: Eine kleine vertikale Funktionsscheibe statt der Gesamtanwendung beauftragen.
  14. Implementierung: Agent zuerst Plan, Annahmen, betroffene Dateien und Teststrategie ausgeben lassen.
  15. Implementierung: Unklare fachliche Annahmen vor der Implementierung entscheiden.
  16. Implementierung: Änderungen in kleinen, thematisch geschlossenen Commits erzeugen.
  17. Implementierung: Diff vollständig prüfen oder durch qualifizierte Person prüfen lassen.
  18. Implementierung: Unit-, Integrations-, End-to-End- und Sicherheitsprüfungen risikobasiert ergänzen.
  19. Implementierung: Negative Tests, Randwerte, Berechtigungsfehler und Wiederholungen abdecken.
  20. Implementierung: Generierte Abhängigkeiten gegen Register, Herkunft, Lizenz und Wartungsstatus prüfen.
  21. Qualität und Sicherheit: SBOM/Lockfile und Dependency-Scanning in den Build integrieren.
  22. Qualität und Sicherheit: Statische Analyse, Linter, Typprüfung und Secret-Scanning automatisieren.
  23. Qualität und Sicherheit: CI als verpflichtendes Merge-Gate konfigurieren.
  24. Qualität und Sicherheit: Unabhängige fachliche Abnahme gegen Akzeptanzkriterien durchführen.
  25. Qualität und Sicherheit: Bedrohungsmodell und Missbrauchsfälle vor externem Zugriff prüfen.
  26. Qualität und Sicherheit: Berechtigungen des Agenten, von MCP-Servern und Deploy-Identitäten minimieren.
  27. Qualität und Sicherheit: Staging mit realistischen, aber anonymisierten oder synthetischen Daten testen.
  28. Betrieb und Skalierung: Last, Fehlerbehandlung, Timeouts, Retries und idempotentes Verhalten prüfen.
  29. Betrieb und Skalierung: Backup, Restore, Migration und Rollback praktisch testen.
  30. Betrieb und Skalierung: Logging, Monitoring, Alarmierung und SLOs definieren.
  31. Betrieb und Skalierung: Datenschutz-, Urheber-, Haftungs- und Branchenprüfung mit den anderen Dossiers durchführen.
  32. Betrieb und Skalierung: Verantwortliche Freigabe dokumentieren; keine Selbstfreigabe des Agenten.
  33. Betrieb und Skalierung: Klein ausrollen, Telemetrie und Nutzerfeedback beobachten.
  34. Betrieb und Skalierung: Rework, Defekte, Reviewzeit, Durchsatz und Incident-Zahlen als lokale Evidenz messen.
  35. Betrieb und Skalierung: Agentenregeln, Modelle, Abhängigkeiten und Sicherheitsannahmen regelmäßig aktualisieren.
  36. Betrieb und Skalierung: Stilllegung, Datenexport und Anbieterwechsel bereits vor Skalierung planen.

Der Fahrplan ist bewusst technologieagnostisch. Ein kleines internes Skript benötigt nicht jede Maßnahme in gleicher Tiefe. Wer einzelne Schritte auslässt, sollte dies jedoch als bewusste, risikobasierte Entscheidung dokumentieren - nicht als Folge davon, dass die KI das Thema nicht erwähnt hat.

KPI- und Evaluationsrahmen

Eine Einführung ist nur dann wirtschaftlich und fachlich bewertbar, wenn vorab eine Baseline und eine eindeutige Arbeitseinheit festgelegt werden. Die Metriken müssen Geschwindigkeit, Qualität, Verständnis, Betrieb und Kosten gemeinsam abbilden. Einzelwerte wie erzeugte Codezeilen oder angenommene Vorschläge sind leicht zu optimieren und können den tatsächlichen Wert verschlechtern.

DimensionBeispiel-KPIMessmethodeTypische Fehlinterpretation
DurchlaufLead Time for Changes; Cycle Time je IssueTicket-, Git- und CI-Zeitstempelkürzere Coding-Zeit wird mit kürzerer Gesamtzeit verwechselt
Liefermengeabgenommene, produktiv eingesetzte Änderungenakzeptierte Issues/Features je ZeitraumCommits oder Pull Requests als Wertmenge zählen
ReviewReviewzeit, Zahl substanzieller Kommentare, RundenPR-Analytics plus Stichprobenweniger Kommentare als höhere Qualität deuten
ReworkÄnderungen innerhalb 7/30/90 Tagen; Revert-QuoteGit-Historie und Ticketsnotwendige Produktiteration mit vermeidbarem Rework vermischen
Qualitätescaped defects, Regressionen, SupportticketsIncident- und Fehlersystemnur Testabdeckung messen
StabilitätChange Failure Rate, MTTR, RollbacksDeployment- und Incident-Datenkleine und große Änderungen ungewichtet vergleichen
Sicherheitkritische Findings, Secret-Leaks, AbhängigkeitsrisikenSAST/SCA/Secret Scan plus ReviewTool-Fundzahl mit realem Risiko gleichsetzen
VerständnisErklärung, Änderungsaufgabe ohne Assistent, Bus FactorBlind Review, Wissenscheck, VertretungstestSelbsteinschätzung als Kompetenznachweis verwenden
NutzerwertAufgabenerfolg, Fehlerquote, Zeit beim EndnutzerProdukttest und TelemetrieFeatureauslieferung mit Nutzen verwechseln
KostenModell-, Infrastruktur-, Review-, Rework- und BetriebskostenTCO je akzeptierter Änderungnur Tokenkosten betrachten
TeamwirkungUnterbrechungen, Zufriedenheit, Onboarding, WissensverteilungBefragung plus VerhaltensdatenKomfort allein als Produktivität interpretieren

DORA und SPACE liefern geeignete Ausgangspunkte, weil sie Produktivität als Systemmerkmal verstehen. Für KI-Programmierung sollte zusätzlich erfasst werden, welche Änderungen wesentlich von einem Assistenten erzeugt wurden, welches Werkzeug und welcher Modus verwendet wurde und wie viel menschliche Prüfzeit anfiel. Diese Kennzeichnung dient der Evaluation, nicht der individuellen Leistungskontrolle. [S-023, S-024, S-022, S-046]

Minimaler Evaluationsaufbau

  • Vier bis acht Wochen Baseline mit derselben Arbeitseinheit erheben.
  • Geeignete Aufgaben zufällig oder nach transparenten Regeln mit und ohne KI vergleichen.
  • Modell, Tool, Version, Policies, Rechte und Kontextartefakte dokumentieren.
  • Zeit nicht nur am Editor, sondern bis zur Abnahme und nachgelagertem Rework messen.
  • Qualität durch unabhängige Reviewer und produktive Ergebnisdaten prüfen.
  • Lern-, Verständnis- und Bus-Factor-Risiken separat erfassen.
  • Nach 30, 90 und 180 Tagen prüfen, ob Wartungskosten den Anfangsgewinn verändern.

20 Mythenprüfungen

„„Mit KI kann jeder programmieren.““

FeldEinordnung
BewertungZU PAUSCHAL
Korrekte EinordnungJeder kann schneller Code erzeugen. Verantwortliche Softwareentwicklung benötigt weiterhin Fach-, Prüf-, Sicherheits- und Betriebskompetenz.
QuellenS-001, S-005, S-006

„„Wer gut promptet, braucht kein Informatikwissen.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungSchreibfähigkeit hilft, doch technische Leistung sagte in einer Studie den Erfolg stärker voraus.
QuellenS-005

„„Wenn die App läuft, ist sie fertig.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungAusführung beweist weder Sicherheit noch Wartbarkeit, Datenintegrität, Backup oder Produktionsreife.
QuellenS-004, S-065, S-081

„„KI macht Entwickler immer schneller.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungKontrollierte Studien zeigen positive, negative und heterogene Effekte.
QuellenS-015, S-016, S-017

„„Erfahrene Entwickler profitieren am meisten.““

FeldEinordnung
BewertungNICHT BELEGT
Korrekte EinordnungEinige Feldstudien finden größere Gewinne bei weniger Erfahrenen; erfahrene Maintainer wurden in einer RCT langsamer.
QuellenS-016, S-017

„„Selbstberichtete Zeitersparnis ist ein Produktivitätsnachweis.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungWahrnehmung und gemessener Effekt können auseinanderfallen.
QuellenS-020, S-017

„„Mehr generierter Code bedeutet mehr Output.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungReview, Rework, Qualität, Integration und Betrieb bestimmen den realen Wert.
QuellenS-023, S-046, S-022

„„Tests beweisen, dass der Code korrekt ist.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungTests decken nur modellierte Fälle ab und können selbst fehlerhaft oder zu eng sein.
QuellenS-058, S-059, S-064

„„Der Agent hat Tests geschrieben, also hat er sich unabhängig geprüft.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungImplementierung und Tests können dieselbe falsche Annahme teilen.
QuellenS-045, S-064

„„Eine Sandbox macht einen Agenten sicher.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungMounts, Netzwerk, Secrets, Freigaben und Konfiguration bestimmen den tatsächlichen Schutz.
QuellenS-090, S-094, S-098

„„Internet an verbessert nur die Recherche.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungEs erweitert auch Angriffs-, Exfiltrations- und Supply-Chain-Risiken.
QuellenS-091, S-051

„„Open-Source-Pakete aus einem KI-Vorschlag kann man einfach installieren.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungPaketnamen können erfunden oder absichtlich gekapert sein.
QuellenS-049, S-054

„„MCP ist eine sichere Standardverbindung.““

FeldEinordnung
BewertungZU PAUSCHAL
Korrekte EinordnungMCP standardisiert Kommunikation, nicht Vertrauen, Least Privilege oder sichere Implementierung.
QuellenS-085, S-086, S-087

„„KI-Code ist objektiv schlechter als menschlicher Code.““

FeldEinordnung
BewertungNICHT PAUSCHAL BELEGT
Korrekte EinordnungQualität variiert nach Aufgabe, Modell, Nutzer, Prozess und Prüfung; beide Seiten können Fehler erzeugen.
QuellenS-012, S-039, S-047

„„KI-Code ist objektiv besser, weil das Modell mehr Beispiele kennt.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungPlausibilität, Trainingsbreite und Benchmarkleistung ersetzen keine lokale Spezifikation und Verifikation.
QuellenS-039, S-048, S-058

„„Ein hoher SWE-bench-Wert beweist Produktionsreife.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungBenchmark, Harness, Kontamination und fehlerhafte Tests begrenzen die Übertragbarkeit.
QuellenS-058, S-059, S-056

„„Der METR-Zeithorizont sagt, wie lange ein Agent selbstständig arbeitet.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungEr bezeichnet die menschliche Dauer von Aufgaben bei einer bestimmten Erfolgswahrscheinlichkeit.
QuellenS-062

„„Vibe Coding ist nur für Nicht-Programmierer.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungAuch Profis nutzen dialogische und agentische Verfahren, allerdings häufig mit stärkerer Kontrolle.
QuellenS-001, S-008, S-006

„„Verständnis ist unwichtig, solange der Agent Fehler reparieren kann.““

FeldEinordnung
BewertungFALSCH
Korrekte EinordnungOhne Verständnis sinken Diagnose-, Review- und Eskalationsfähigkeit gerade bei neuartigen Fehlern.
QuellenS-029, S-030, S-032

„„Man kann eine Kundenanwendung bauen und Wartung später klären.““

FeldEinordnung
BewertungRISKANT UND UNPROFESSIONELL
Korrekte EinordnungBetrieb, Updates, Sicherheit, Backup, Haftung und Incident Response gehören vor dem Launch in die Leistung.
QuellenS-065, S-081, S-103, S-105

20 offene Forschungs- und Praxisfragen

Die folgenden Punkte sind nicht bloß Wissenslücken einzelner Unternehmen. Mehrere betreffen ein Forschungsfeld, dessen Werkzeuge, Nutzergruppen und Messmethoden sich schneller ändern als Langzeitstudien abgeschlossen werden können.

Wie verändern sich Produktivitätseffekte, wenn 2026er Agenten in denselben RCT-Designs wie frühe Copilots getestet werden?

Warum wichtig: Neue Werkzeuggenerationen können frühere Ergebnisse umkehren. Beobachtungsbedarf: Replikation mit identischen Aufgaben, offenen Traces und aktuellen Modellen.

Welche Effekte bleiben nach sechs, zwölf und 24 Monaten bestehen, wenn Lern-, Wartungs- und Reviewkosten einbezogen werden?

Warum wichtig: Kurzfristige Zeitgewinne können durch Lern- und Wartungskosten verschwinden. Beobachtungsbedarf: Längsschnittdaten über 6, 12 und 24 Monate.

Wie lässt sich der Anteil KI-generierter Änderungen verlässlich messen, wenn Commit-Metadaten fehlen?

Warum wichtig: Ohne Attribution sind Repository-Mining und interne Evaluation verzerrt. Beobachtungsbedarf: Standardisierte, datenschutzgerechte Provenance- und Commit-Metadaten.

Welche lokalen Repository-Eigenschaften sagen voraus, ob ein Coding-Agent beschleunigt oder verlangsamt?

Warum wichtig: Lokaler Kontext entscheidet über Nutzen und lässt sich nicht aus Modellrankings ableiten. Beobachtungsbedarf: Repository-Metriken, Aufgabeigenschaften und kontrollierte Feldversuche.

Wie groß ist die Verständnislücke zwischen funktionierendem Output und tatsächlicher mentaler Modellbildung in der Praxis?

Warum wichtig: Funktionierende Software kann mit geringer mentaler Modellbildung entstehen. Beobachtungsbedarf: Verständnistests, Diagnoseaufgaben und reale Folgeänderungen.

Welche Interaktionsmuster erhalten Debugging- und Architekturkompetenz über längere Zeit?

Warum wichtig: Kompetenzverlust wäre ein langfristiger Preis kurzfristiger Beschleunigung. Beobachtungsbedarf: Lern- und Arbeitsstudien mit stabilen Interaktionsmustern.

Wie müssen Prüf- und Lernsysteme aussehen, damit Nicht-Programmierer Risiken realistisch erkennen?

Warum wichtig: Selbstüberschätzung erhöht Risiko bei öffentlichen oder kundenbezogenen Anwendungen. Beobachtungsbedarf: Kalibrierungsstudien und realistische Sicherheits-/Debugging-Aufgaben.

Wann werden Agentenreviews zu einem belastbaren zweiten Prüfer statt zu einer korrelierten Wiederholung?

Warum wichtig: Korrelierte Prüfer können dieselbe falsche Annahme bestätigen. Beobachtungsbedarf: Unabhängigkeit von Modellen, Prompts, Testorakeln und Daten messen.

Welche Kombination aus unabhängigen Modellen, statischer Analyse und Tests reduziert gemeinsame Blindstellen am stärksten?

Warum wichtig: Mehr Prüfschichten sind nur sinnvoll, wenn ihre Fehler nicht identisch sind. Beobachtungsbedarf: Ablationsstudien mit Modell-, Tool- und Methodenvielfalt.

Wie misst man technische Schuld KI-generierter Änderungen über Jahre und nicht nur beim Commit?

Warum wichtig: Technische Schuld zeigt sich oft erst bei späteren Änderungen und Incidents. Beobachtungsbedarf: Mehrjährige Repository- und Betriebsdaten.

Welche Risikoklassen rechtfertigen vollständig autonome Merge- oder Deploymentrechte?

Warum wichtig: Autonomie verändert den Schadensradius stärker als reine Codegenerierung. Beobachtungsbedarf: Risikoklassen, Incident-Daten und formale Freigabekriterien.

Wie wirksam sind aktuelle Prompt-Injection-Abwehren unter adaptiven Angriffen und realen Toolrechten?

Warum wichtig: Indirekte Prompt Injection bleibt ein Grundproblem agentischer Systeme. Beobachtungsbedarf: Adaptive Red-Team-Tests mit realistischen Tools und Rechten.

Welche MCP-Implementierungsfehler treten in produktiven Entwicklungsumgebungen am häufigsten auf?

Warum wichtig: MCP erweitert die Angriffsfläche durch neue Server, Tokens und Toolbeschreibungen. Beobachtungsbedarf: Incident-Daten, Audits und standardisierte Conformance-Tests.

Wie wirken sich AI-generierte Abhängigkeiten langfristig auf Supply-Chain-Risiken und Lizenzcompliance aus?

Warum wichtig: Erfundene oder ungeprüfte Pakete erzeugen Sicherheits- und Lizenzrisiken. Beobachtungsbedarf: SBOM-/SCA-Daten und Langzeitbeobachtung von Abhängigkeitsentscheidungen.

Wie stabil sind Benchmark-Rankings über Harnesses, Seeds, Budgets und Infrastrukturvarianten?

Warum wichtig: Scores können durch Scaffold, Seed, Budget und Infrastruktur verschoben werden. Beobachtungsbedarf: Mehrfachläufe und standardisierte Harness-Reporting-Pflichten.

Wie können Benchmarks korrekt bewerten, wenn mehrere funktional richtige Implementierungen existieren?

Warum wichtig: Enge Testorakel können korrekte Lösungen ablehnen oder falsche akzeptieren. Beobachtungsbedarf: Mehrere Orakel, menschliche Audits und metamorphe Tests.

Welche Metriken erfassen Teamproduktivität, Reviewengpässe und Wissensverteilung besser als Einzeloutput?

Warum wichtig: Einzeloutput kann Reviewlast und Wissensverlust im Team verdecken. Beobachtungsbedarf: Teammetriken nach SPACE/DORA plus Wissens- und Reviewindikatoren.

Wie verändert KI die Rollen von Junior-, Senior- und Staff-Engineers in kleinen und großen Unternehmen?

Warum wichtig: Rollenprofile könnten sich schneller ändern als Ausbildungswege. Beobachtungsbedarf: Berufs-, Aufgaben- und Kompetenzdaten über mehrere Jahre.

Welche Vertrags-, Haftungs- und Versicherungsmodelle entstehen für mit Coding-Agenten entwickelte Kundenprodukte?

Warum wichtig: Unklare Verantwortung kann Markteinführung und Schadensregulierung erschweren. Beobachtungsbedarf: Vertrags-, Versicherungs- und Rechtsprechungsentwicklung beobachten.

Wie können kleine Unternehmen professionellen Betrieb sicherstellen, wenn die Erstellung extrem billig, Wartung aber dauerhaft bleibt?

Warum wichtig: Niedrige Erstellungskosten können eine Welle schlecht gewarteter Software auslösen. Beobachtungsbedarf: TCO-, Ausfall-, Support- und Stilllegungsdaten kleiner Unternehmen.

50 buchrelevante Faktenkarten

Faktenkarte F-001

FeldInhalt
AussageDer Ausdruck „Vibe Coding“ wurde 2025 populär, ist aber kein technischer Standard und wird in Forschung und Praxis unterschiedlich eng verwendet.
FaktenstatusBEGRIFF / FORSCHUNGSSTAND
EinschränkungFür belastbare Aussagen muss die konkrete Arbeitsweise beschrieben werden, nicht nur das Etikett.
HauptquellenS-001, S-002, S-003, S-007
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-002

FeldInhalt
AussageIm engen Sinn bedeutet Vibe Coding, dass der Mensch Software überwiegend per natürlicher Sprache erzeugt und den resultierenden Code nur selektiv oder gar nicht vollständig liest.
FaktenstatusBEGRIFFLICHE ABGRENZUNG
EinschränkungViele professionelle Nutzer arbeiten zwar dialogisch, prüfen aber Diffs, Tests und Architektur; das ist besser als KI-gestützte Softwareentwicklung zu bezeichnen.
HauptquellenS-003, S-001, S-006
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-003

FeldInhalt
AussageEmpirisch beobachtetes Vibe Coding ist selten ein einziger Prompt: Es besteht aus wiederholten Zyklen aus Zielbeschreibung, Generierung, Ausprobieren, Fehlersuche, Korrektur und manueller Bearbeitung.
FaktenstatusEMPIRISCHER BEFUND
EinschränkungDie untersuchten Sitzungen sind nicht repräsentativ für alle Werkzeuge und Nutzer.
HauptquellenS-001, S-008, S-013
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-004

FeldInhalt
AussageProgrammierkompetenz verschwindet nicht, sondern verlagert sich zu Kontextaufbau, Bewertung, Fehlersuche, Architekturentscheidungen und der Wahl zwischen Delegation und manueller Arbeit.
FaktenstatusFORSCHUNGSSYNTHESE
EinschränkungNicht-Programmierer können Ergebnisse erzeugen, tragen aber ohne diese Kompetenzen ein höheres Prüf- und Betriebsrisiko.
HauptquellenS-001, S-004, S-006, S-005
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-005

FeldInhalt
AussageIn einer Studie sagte Computer-Science-Leistung den Vibe-Coding-Erfolg stärker voraus als Schreibfähigkeit; gute natürliche Sprache ersetzt technisches Verständnis daher nicht.
FaktenstatusEMPIRISCHER BEFUND
EinschränkungKorrelationsstudie; keine universelle Kausalitätsaussage.
HauptquellenS-005
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-006

FeldInhalt
AussageNicht-Programmierer, Anfänger und Profis unterscheiden sich deutlich darin, welche Fehler sie erkennen, wann sie vertrauen und welche Qualitätssicherungsmaßnahmen sie tatsächlich anwenden.
FaktenstatusEMPIRISCHER BEFUND
EinschränkungSelbsteinschätzung und tatsächliches Prüfverhalten können auseinanderfallen.
HauptquellenS-006, S-003, S-014
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-007

FeldInhalt
AussageDie bisher stärkste Evidenz für Vibe Coding liegt bei Prototypen, Benutzeroberflächen, kleinen Automationen und klar abgegrenzten Greenfield-Aufgaben.
FaktenstatusFORSCHUNGSSYNTHESE
EinschränkungDie Evidenz ist schwächer für produktive, datenintensive, regulierte und sicherheitskritische Systeme.
HauptquellenS-007, S-004, S-009
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-008

FeldInhalt
AussageEin funktionierender Prototyp ist kein Nachweis für Produktionsreife: Betrieb, Sicherheit, Datenmigration, Wartung, Monitoring, Backup und Haftung werden im Demo-Erfolg kaum sichtbar.
FaktenstatusENGINEERING-GRUNDSATZ
EinschränkungProduktionsreife ist risikobasiert und hängt vom Einsatzkontext ab.
HauptquellenS-004, S-065, S-081, S-103
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-009

FeldInhalt
AussageErzeugte Codezeilen, angenommene Vorschläge oder kurze Bearbeitungszeit sind keine vollständigen Produktivitätsmaße; entscheidend ist der akzeptierte, integrierte und betriebene Nutzen.
FaktenstatusMETHODISCHE GRUNDLAGE
EinschränkungMessung muss Qualität, Review, Rework, Stabilität und Teamwirkung einschließen.
HauptquellenS-023, S-024, S-022, S-046
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-010

FeldInhalt
AussageIn einem kontrollierten Versuch mit einer eng begrenzten Aufgabe waren Teilnehmende mit GitHub Copilot im Mittel 55,8 Prozent schneller.
FaktenstatusEMPIRISCHER BEFUND
EinschränkungEin einzelnes Task-Setting ist kein universeller Effekt für reale Repositories.
HauptquellenS-015
Zuletzt geprüft8. August 2026
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-011

FeldInhalt
AussageDrei randomisierte Feldexperimente mit 4.867 Softwareentwicklern schätzten kombiniert rund 26 Prozent mehr erledigte Aufgaben unter KI-Unterstützung.
FaktenstatusEMPIRISCHER BEFUND
EinschränkungUnternehmens-, Aufgaben- und Messkontext begrenzen die Übertragbarkeit.
HauptquellenS-016
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-012

FeldInhalt
AussageMETR fand bei sehr erfahrenen Open-Source-Maintainern in vertrauten Repositories eine durchschnittliche Verlangsamung von 19 Prozent, obwohl die Beteiligten einen positiven Effekt erwarteten.
FaktenstatusEMPIRISCHER GEGENBEFUND
EinschränkungKleine, spezialisierte Stichprobe und frühe 2025er Werkzeuge; nicht als allgemeiner Durchschnitt missverstehen.
HauptquellenS-017, S-018
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-013

FeldInhalt
AussageSelbstberichteter Nutzen und objektiv gemessener Effekt können bei KI-Programmierung deutlich auseinanderfallen.
FaktenstatusFORSCHUNGSSYNTHESE
EinschränkungWahrgenommener Komfort bleibt relevant, ersetzt aber keine Zeit- und Qualitätsmessung.
HauptquellenS-017, S-020, S-014
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-014

FeldInhalt
AussageSpätere METR-Daten konnten wegen Selbstselektion keinen unverzerrten durchschnittlichen Produktivitätseffekt liefern.
FaktenstatusMETHODISCHE WARNUNG
EinschränkungNutzer, die KI als hilfreich erleben, wählen eher KI-Aufgaben; Nichtnutzer verschwinden aus der Vergleichsgruppe.
HauptquellenS-019
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-015

FeldInhalt
AussageDie empirischen Befunde sind heterogen, weil Aufgabe, Erfahrung, Codebasis, Modell, Agenten-Harness, Akzeptanzkriterium und Organisation variieren.
FaktenstatusFORSCHUNGSSYNTHESE
EinschränkungEin globaler Prozentwert ohne Kontext ist methodisch schwach.
HauptquellenS-012, S-011, S-022, S-025, S-026
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-016

FeldInhalt
AussageGreenfield-Projekte sind für KI meist leichter als Brownfield-Arbeit, weil Legacy-Konventionen, versteckte Abhängigkeiten, historische Entscheidungen und implizite Verträge fehlen.
FaktenstatusFORSCHUNGSSYNTHESE
EinschränkungAuch Greenfield-Code kann schnell Architektur- und Sicherheitsprobleme ansammeln.
HauptquellenS-004, S-031, S-030, S-026
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-017

FeldInhalt
AussageGuter Kontext ist nicht bloß ein langer Prompt: Relevante Dateien, Architekturregeln, Definition of Done, Tests, Schnittstellen und Ausschlusskriterien müssen auffindbar und widerspruchsfrei sein.
FaktenstatusENGINEERING-SYNTHESE
EinschränkungLange Kontexte können relevante Informationen trotzdem übersehen oder ungünstig gewichten.
HauptquellenS-004, S-008, S-123, S-124
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-018

FeldInhalt
AussageJe autonomer ein Coding-Agent arbeitet, desto wichtiger werden klare Aufgabenzerlegung, begrenzte Berechtigungen, sichtbare Arbeitsprotokolle und reversible Änderungen.
FaktenstatusSICHERHEITS- UND ENGINEERING-GRUNDSATZ
EinschränkungAutonomie ohne Observability vergrößert den möglichen Schadensradius.
HauptquellenS-090, S-094, S-098, S-087
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-019

FeldInhalt
AussageAnforderungen und Akzeptanzkriterien werden durch KI-Codegenerierung wichtiger, nicht unwichtiger, weil plausible Implementierungen unklare Ziele besonders schnell verfestigen.
FaktenstatusENGINEERING-SYNTHESE
EinschränkungAkzeptanzkriterien müssen fachliche und nicht nur technische Eigenschaften abdecken.
HauptquellenS-004, S-080, S-045, S-059
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-020

FeldInhalt
AussageKleine, überprüfbare Änderungen mit engem Scope sind robuster als breite Aufforderungen wie „baue mir die ganze Anwendung“.
FaktenstatusPRAXISREGEL / ANBIETERÜBERGREIFEN
EinschränkungBei kleinen Experimenten kann eine breite Delegation vertretbar sein, wenn Ergebnis und Umgebung wegwerfbar sind.
HauptquellenS-097, S-089, S-093, S-001
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-021

FeldInhalt
AussageTests sind ausführbare Spezifikationen und Regression-Schutz, aber kein Beweis vollständiger Korrektheit.
FaktenstatusSOFTWARE-ENGINEERING-GRUNDSATZ
EinschränkungFehlende oder zu enge Tests können falsche Lösungen akzeptieren und korrekte ablehnen.
HauptquellenS-065, S-067, S-064, S-058, S-059
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-022

FeldInhalt
AussageVon demselben Agenten erzeugte Implementierung und Tests können dieselben Missverständnisse teilen.
FaktenstatusFORSCHUNGS- UND PRAXISBEFUND
EinschränkungUnabhängige Testquellen, negative Fälle und menschliche Prüfungen reduzieren korrelierte Blindstellen.
HauptquellenS-045, S-064, S-059
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-023

FeldInhalt
AussageProduktionsprüfungen benötigen neben Happy Paths auch Randfälle, Fehlermodi, Berechtigungen, Datenintegrität, Last, Wiederanlauf und Sicherheitsmissbrauch.
FaktenstatusSICHERHEITSSTANDARD
EinschränkungTiefe und Umfang hängen vom Risikoprofil ab.
HauptquellenS-065, S-067, S-068, S-081
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-024

FeldInhalt
AussageVersionskontrolle mit kleinen Commits, Branches und nachvollziehbaren Diffs ist bei KI-generierten Änderungen zentrale Sicherheits- und Lerninfrastruktur.
FaktenstatusENGINEERING-GRUNDSATZ
EinschränkungGit verhindert keine Fehler, macht Änderungen aber prüfbar und rücksetzbar.
HauptquellenS-075, S-097, S-076
Zuletzt geprüft8. August 2026
Aktualisierungsrisikoniedrig
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-025

FeldInhalt
AussageCI/CD-Gates automatisieren wiederholbare Prüfungen, ersetzen aber nicht fachliche Abnahme, Architekturreview und Risikobewertung.
FaktenstatusENGINEERING-GRUNDSATZ
EinschränkungAutomatisierte Checks sind nur so gut wie ihre Regeln und Testdaten.
HauptquellenS-076, S-065, S-024
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-026

FeldInhalt
AussageSandboxen und Entwicklungscontainer reduzieren den Schadensradius, beseitigen aber keine Risiken durch freigegebene Netzwerke, Secrets, Host-Mounts oder überprivilegierte Tools.
FaktenstatusSICHERHEITSBEFUND
EinschränkungKonfiguration und tatsächliche Boundary müssen geprüft werden.
HauptquellenS-077, S-090, S-094, S-098
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-027

FeldInhalt
AussageAgenten sollten standardmäßig mit minimalen Rechten arbeiten; schreibende, ausführende, veröffentlichende und externe Aktionen benötigen risikobasierte Freigaben.
FaktenstatusSICHERHEITSGRUNDSATZ
EinschränkungPauschale Dauerfreigaben erhöhen Komfort und Schadensradius zugleich.
HauptquellenS-094, S-090, S-099, S-087
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-028

FeldInhalt
AussageNetzwerkzugriff erweitert die Leistungsfähigkeit eines Coding-Agenten, zugleich aber die Angriffsfläche für Prompt Injection, Datenabfluss, Malware und problematische Abhängigkeiten.
FaktenstatusOFFIZIELLE PRODUKT- UND SICHERHEITSAUSSAGE
EinschränkungAllowlisting und Review reduzieren, aber eliminieren das Risiko nicht.
HauptquellenS-091, S-050, S-051, S-070
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-029

FeldInhalt
AussageSecrets gehören weder in Prompts noch in Repositories; sie müssen über geeignete Secret-Stores, kurzlebige Identitäten und minimale Scopes bereitgestellt werden.
FaktenstatusSICHERHEITSSTANDARD
EinschränkungAuch Log- und Telemetriepfade sind einzubeziehen.
HauptquellenS-065, S-068, S-076, S-096
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-030

FeldInhalt
AussageKI-generierte Paketnamen und Abhängigkeiten müssen gegen vertrauenswürdige Register und Projektquellen geprüft werden, weil Package Hallucinations empirisch dokumentiert sind.
FaktenstatusEMPIRISCHER SICHERHEITSBEFUND
EinschränkungRaten variieren stark nach Modell, Sprache, Prompt und Studiendesign.
HauptquellenS-049, S-054
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-031

FeldInhalt
AussageKontrollierte Studien zeigen, dass KI-Hilfe unsicheren Code erzeugen und zugleich das Vertrauen der Nutzer erhöhen kann.
FaktenstatusEMPIRISCHER SICHERHEITSBEFUND
EinschränkungDie Studien messen begrenzte Aufgaben; heutige Modelle und Kontrollen können abweichen.
HauptquellenS-047, S-048, S-102
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-032

FeldInhalt
AussageIndirekte Prompt Injection kann über README-Dateien, Issues, Webseiten, Tool-Metadaten oder MCP-Ressourcen in den Arbeitskontext eines Coding-Agenten gelangen.
FaktenstatusSICHERHEITSFORSCHUNG
EinschränkungDie konkrete Ausnutzbarkeit hängt von Toolrechten und Sicherheitsarchitektur ab.
HauptquellenS-050, S-051, S-086, S-087
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-033

FeldInhalt
AussageMCP standardisiert Verbindungen zu Werkzeugen und Daten, schafft aber keine automatische Vertrauenswürdigkeit des Servers oder der angebotenen Tools.
FaktenstatusPROTOKOLL- UND SICHERHEITSAUSSAGE
EinschränkungAuthentisierung, Autorisierung, Herkunft, Toolbeschreibung und Laufzeitisolation bleiben Implementierungsaufgaben.
HauptquellenS-085, S-086, S-087
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-034

FeldInhalt
AussageGroße Repository-Mining-Studien deuten darauf hin, dass KI-authentifizierte Commits Code Smells, Fehler und Sicherheitsprobleme einführen können, von denen ein Teil langfristig bestehen bleibt.
FaktenstatusAKTUELLER PREPRINT-BEFUND
EinschränkungAttribution über explizite Git-Metadaten deckt nur einen Teil aller KI-Nutzung ab; statische Analyse ist kein vollständiges Qualitätsurteil.
HauptquellenS-039
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-035

FeldInhalt
AussageTechnische Schuld durch KI entsteht nicht nur im Code, sondern auch durch unklare Anforderungen, fehlende Tests, unverständliche Abhängigkeiten und verlorenes Systemwissen.
FaktenstatusFORSCHUNGSSYNTHESE
EinschränkungSchuld ist kontextabhängig und muss über Zeit beobachtet werden.
HauptquellenS-040, S-032, S-041, S-043
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-036

FeldInhalt
AussageKI kann Code schneller erzeugen, als Teams ihn verantwortungsvoll prüfen können; dadurch kann die Review-Warteschlange zum neuen Engpass werden.
FaktenstatusAKTUELLER PREPRINT-BEFUND / INFERENZ
EinschränkungDer Effekt muss lokal über PR-Größe, Reviewzeit, Rework und Defektdaten gemessen werden.
HauptquellenS-046, S-042, S-022
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-037

FeldInhalt
AussageWartbarkeit kann nicht zuverlässig aus einer Demo oder einem einmaligen statischen Score abgeleitet werden; Folgeänderungen und Incident-Daten sind entscheidend.
FaktenstatusMETHODISCHE GRUNDLAGE
EinschränkungLangzeitdaten zu KI-generiertem Code sind noch jung und überwiegend vorläufig.
HauptquellenS-039, S-044, S-041
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-038

FeldInhalt
AussageAI-Unterstützung kann kurzfristige Leistung erhöhen, ohne dass das Verständnis der Codebasis im gleichen Maß wächst.
FaktenstatusEMPIRISCHER BEFUND
EinschränkungDas Ausmaß hängt von Aufgabe, Vorerfahrung und Interaktionsmuster ab.
HauptquellenS-030, S-031, S-029
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-039

FeldInhalt
AussageVollständige Delegation kann Skill Formation und Debuggingfähigkeit schwächen; konzeptuelle Fragen, Vorhersagen und eigenes Erklären erhalten Lernen eher.
FaktenstatusEMPIRISCHER BEFUND / PRAXISSYNTHESE
EinschränkungDie Evidenz ist noch jung und überwiegend aus Lern- oder Experimentalsituationen.
HauptquellenS-029, S-035, S-032
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-040

FeldInhalt
AussageFür Lernende sollte KI nicht nur Lösungen liefern, sondern Erklärungen einfordern, Fehlerdiagnosen ermöglichen und produktives Scheitern erhalten.
FaktenstatusPÄDAGOGISCHE SYNTHESE
EinschränkungNicht jede Arbeitssituation ist eine Lernsituation; bei kritischen Kompetenzen bleibt Verständnis dennoch nötig.
HauptquellenS-037, S-036, S-033, S-010
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-041

FeldInhalt
AussageEin Benchmarkwert misst ein festgelegtes Modell-Agent-Harness in einer bestimmten Umgebung und ist kein direkter Zuverlässigkeitswert für die eigene Codebasis.
FaktenstatusMETHODISCHE GRUNDLAGE
EinschränkungLokale Eval-Sets und wiederholte Läufe sind erforderlich.
HauptquellenS-056, S-061, S-062, S-022
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-042

FeldInhalt
AussageSWE-bench Verified verlor 2026 als Frontier-Maßstab an Aussagekraft, nachdem ein Audit fehlerhafte Tests und Kontaminationshinweise fand.
FaktenstatusOFFIZIELLER BENCHMARK-AUDIT
EinschränkungDer Audit untersuchte gezielt schwierige Fälle; das Dataset bleibt für bestimmte Analysen nutzbar, wenn Grenzen offengelegt werden.
HauptquellenS-058, S-057
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-043

FeldInhalt
AussageAuch SWE-Bench Pro wurde 2026 auditiert; OpenAI schätzte rund 30 Prozent gebrochene Aufgaben.
FaktenstatusOFFIZIELLER BENCHMARK-AUDIT
EinschränkungDie Schätzung und Dataset-Version müssen bei jeder Nutzung genannt werden.
HauptquellenS-059
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-044

FeldInhalt
AussageZusätzliche Tests können Rankings von Coding-Agenten erheblich verändern, weil ursprüngliche Test-Suiten fehlerhafte Patches akzeptieren können.
FaktenstatusBENCHMARK-AUDIT
EinschränkungDer Befund gilt für untersuchte Aufgaben und Agenten, zeigt aber eine allgemeine Verifikationsgefahr.
HauptquellenS-064, S-045
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-045

FeldInhalt
AussageMETRs „Task-Completion Time Horizon“ ist die menschliche Dauer von Aufgaben, bei denen ein Agent eine bestimmte Erfolgswahrscheinlichkeit erreicht; sie ist nicht die Zeit, die der Agent autonom läuft.
FaktenstatusMETHODISCHE KLARSTELLUNG
EinschränkungDie Aufgabe, der Scaffold und die menschliche Zeitschätzung prägen den Wert.
HauptquellenS-062, S-063
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-046

FeldInhalt
AussageAktuelle Coding-Werkzeuge unterscheiden sich in IDE-, Terminal-, Cloud-, Sandbox-, Netzwerk-, Freigabe- und Teamfunktionen; Produktnamen und Details ändern sich schnell.
FaktenstatusAKTUELLER PRODUKTSTAND
EinschränkungVor Veröffentlichung oder Beschaffung müssen Funktionen und Vertragsbedingungen erneut geprüft werden.
HauptquellenS-088, S-093, S-097, S-100
Zuletzt geprüft8. August 2026
Aktualisierungsrisikohoch
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-047

FeldInhalt
AussageEin robuster Entwicklungsprozess sollte werkzeug- und modellagnostisch bleiben: Anforderungen, Repository, Tests, Build, CI, Security und Betrieb dürfen nicht von einem einzelnen Anbieter abhängen.
FaktenstatusENGINEERING-SYNTHESE
EinschränkungAnbieterfunktionen können trotzdem gezielt genutzt werden.
HauptquellenS-065, S-075, S-076, S-077
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-048

FeldInhalt
AussageProduktiver KI-Code benötigt einen benannten menschlichen oder organisatorischen Owner, der Architektur, Freigabe, Betrieb, Incident Response und Stilllegung verantwortet.
FaktenstatusGOVERNANCE- UND ENGINEERING-GRUNDSATZ
EinschränkungDie Rollenverteilung hängt von Teamgröße und Risiko ab.
HauptquellenS-022, S-065, S-080, S-081
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-049

FeldInhalt
AussageFür hochriskante, personenbezogene, finanzielle, medizinische oder sicherheitskritische Funktionen reicht „funktioniert bei mir“ grundsätzlich nicht als Freigabekriterium.
FaktenstatusRISIKOBASIERTE SCHLUSSFOLGERUNG
EinschränkungKonkrete Rechts- und Branchenpflichten sind in den Dossiers 1 bis 5 und 10 zu prüfen.
HauptquellenS-103, S-104, S-105, S-067
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Faktenkarte F-050

FeldInhalt
AussageDie stärkste praktische Mindestregel lautet: Kein produktiver Merge von Code, dessen Zweck, relevante Risiken und Prüfnachweise niemand erklären und verantworten kann.
FaktenstatusEIGENE SYNTHESE AUS DEN GENANNTEN QUELLEN
EinschränkungBei wegwerfbaren, isolierten Experimenten kann der Prüfmaßstab bewusst niedriger sein.
HauptquellenS-065, S-006, S-029, S-058, S-090
Zuletzt geprüft8. August 2026
Aktualisierungsrisikomittel
Mögliche BuchverwendungGrundlage für Erklärung, Praxisbeispiel, Gegenposition oder Checkliste; vor wörtlicher Zuspitzung die Originalquelle erneut öffnen.

Glossar

Acceptance Criteria
Beobachtbare Bedingungen, die erfüllt sein müssen, damit eine Änderung fachlich angenommen wird.
Agent
System, das ein Modell in einer Schleife mit Werkzeugen, Zuständen und Regeln handeln lässt.
Agent Harness
Gesamtheit aus Systemprompt, Tools, Speicher, Schleifenlogik, Budgets, Umgebung und Evaluator um ein Modell.
AI-assisted Software Engineering
Softwareentwicklung, bei der KI unterstützt, während Menschen Spezifikation, Architektur, Prüfung und Verantwortung behalten.
Architecture Decision Record (ADR)
Kurzes versioniertes Dokument, das eine Architekturentscheidung, Gründe und Folgen festhält.
Artifact
Erzeugtes Entwicklungsobjekt wie Quellcode, Build, Paket, Testbericht oder SBOM.
Autonomie
Grad, in dem ein Agent ohne einzelne menschliche Freigaben plant und handelt.
Backlog
Priorisierte Sammlung noch nicht umgesetzter Anforderungen, Fehler und technischer Aufgaben.
Benchmark
Standardisierte Aufgabensammlung und Auswertungslogik zum Vergleich von Systemen.
Branch
Abzweigung im Versionskontrollsystem, auf der Änderungen isoliert entwickelt werden.
Brownfield
Entwicklung in einer bestehenden Codebasis mit Historie, Abhängigkeiten und impliziten Regeln.
Build
Reproduzierbarer Prozess, der Quellcode in ausführbare oder auslieferbare Artefakte überführt.
CD
Continuous Delivery/Deployment; automatisierte Bereitstellung bis hin zum Produktivsystem.
CI
Continuous Integration; automatische Integration und Prüfung von Änderungen.
Code Review
Systematische Prüfung einer Änderung durch Menschen und/oder Werkzeuge vor Integration.
Code Smell
Muster, das auf potenzielle Wartbarkeits- oder Designprobleme hinweist, ohne zwingend ein Fehler zu sein.
Commit
Versionierter Satz zusammengehöriger Änderungen mit Identität, Zeitpunkt und Beschreibung.
Comprehension Debt
Verständnislücke zwischen vorhandener Software und dem Wissen der verantwortlichen Personen.
Context Engineering
Gezielte Gestaltung der Informationen, Regeln, Beispiele und Werkzeuge, die ein Modell für eine Aufgabe erhält.
Context Window
Maximale Menge an Eingabe- und Ausgabetokens, die ein Modell in einer Interaktion verarbeiten kann.
Definition of Done
Teamweite Kriterien, die jede abgeschlossene Änderung erfüllen muss.
Dependency
Externe Bibliothek, Laufzeit, Dienst oder Komponente, von der eine Anwendung abhängt.
Deterministisch
Bei gleicher Eingabe und gleichem Zustand reproduzierbar gleiches Ergebnis liefernd.
Dev Container
Versionierte Containerbeschreibung für eine reproduzierbare Entwicklungsumgebung.
Diff
Darstellung der Unterschiede zwischen zwei Versionen einer Datei oder Codebasis.
Dry Run
Probeausführung, die geplante Aktionen zeigt, ohne die eigentliche Veränderung vorzunehmen.
End-to-End-Test
Test eines vollständigen Nutzer- oder Systemablaufs über mehrere Komponenten.
Ephemeral Environment
Kurzlebige, nach einer Aufgabe verworfene Ausführungsumgebung.
Epistemic Debt
Schuld aus nicht aufgebautem Wissen, fehlenden Begründungen und unverständlichen Entscheidungen.
Feature Flag
Schalter, mit dem Funktionen kontrolliert aktiviert, deaktiviert oder stufenweise ausgerollt werden.
Greenfield
Neuentwicklung ohne bestehende Codebasis und historische Kompatibilitätszwänge.
Halluzination
Plausibel wirkende, aber nicht verlässlich aus Daten oder Werkzeugen gestützte Ausgabe.
Human-in-the-loop
Menschliche Entscheidung oder Prüfung innerhalb eines automatisierten Ablaufs.
Idempotenz
Eigenschaft, dass wiederholte Ausführung denselben Endzustand erzeugt und keine unerwünschten Dopplungen verursacht.
Incident
Ereignis, das Verfügbarkeit, Sicherheit, Integrität oder Vertraulichkeit beeinträchtigt.
Integrationstest
Prüfung des Zusammenspiels mehrerer Komponenten oder Dienste.
Issue
Dokumentierte Aufgabe, Fehlerbeschreibung oder Änderungsanforderung in einem Repository.
Least Privilege
Prinzip, nur die minimal notwendigen Rechte, Ressourcen und Zeiträume zu gewähren.
Legacy-System
Bestehendes, oft geschäftskritisches System mit historisch gewachsenen Strukturen und Abhängigkeiten.
Linter
Werkzeug, das Quellcode auf Stil-, Qualitäts- und bestimmte Fehlermuster prüft.
Lockfile
Datei, die konkrete Versionen und Auflösungen von Abhängigkeiten festschreibt.
MCP
Model Context Protocol; Protokoll zur Verbindung von KI-Anwendungen mit Ressourcen und Tools.
Merge
Zusammenführen eines Branches oder Änderungssatzes in eine Zielversion.
Migration
Kontrollierte Veränderung von Daten, Schema, Schnittstellen oder Infrastruktur zwischen Versionen.
Mock
Kontrollierter Ersatz einer realen Abhängigkeit für Tests.
Monitoring
Fortlaufende Beobachtung von Zustand, Leistung, Fehlern und Sicherheitsereignissen.
Observability
Fähigkeit, internen Systemzustand aus Logs, Metriken und Traces zu verstehen.
On-Premises
Betrieb in eigener oder kontrollierter Infrastruktur statt als externer Cloud-Dienst.
Package Hallucination
Nennung einer nicht existierenden Softwareabhängigkeit durch ein Modell.
Patch
Kompakter Satz von Quellcodeänderungen zur Behebung oder Erweiterung.
Penetrationstest
Autorisierte Sicherheitsprüfung durch aktive Angriffssimulation.
Pipeline
Automatisierte Folge von Build-, Test-, Prüf- und Deployment-Schritten.
Prompt Injection
Angriff, bei dem fremde Inhalte das Verhalten eines Modells oder Agenten entgegen der eigentlichen Absicht steuern.
Pull Request
Formalisierter Vorschlag, Änderungen in einen Zielbranch zu übernehmen und zu prüfen.
Refactoring
Veränderung interner Codegestaltung ohne beabsichtigte Änderung des externen Verhaltens.
Regression
Unbeabsichtigte Verschlechterung oder Wiederkehr eines Fehlers nach einer Änderung.
Repository
Versionierter Speicherort für Code, Konfiguration, Dokumentation und Entwicklungsartefakte.
Rollback
Rückkehr zu einem vorherigen stabilen Software- oder Datenstand.
Sandbox
Abgegrenzte Umgebung mit beschränktem Zugriff auf Dateien, Netzwerk und Systemfunktionen.
SBOM
Software Bill of Materials; maschinenlesbares Verzeichnis von Komponenten und Abhängigkeiten.
Scaffold
Technische und prozessuale Einbettung eines Modells, etwa Tools, Prompts, Speicher und Steuerlogik.
Secret
Vertraulicher Zugangswert wie API-Key, Token, Passwort oder privater Schlüssel.
Semantic Versioning
Versionierungsschema MAJOR.MINOR.PATCH zur Kommunikation von Kompatibilitätsänderungen.
Shift Left
Frühzeitiges Verlegen von Qualität und Sicherheit in Anforderungen, Entwicklung und CI.
SLO
Service Level Objective; messbares Ziel für Zuverlässigkeit oder Leistung eines Dienstes.
Staging
Produktionsnahe Umgebung für Integration, Abnahme und Deploymenttests.
Statische Analyse
Prüfung von Quellcode oder Artefakten ohne deren vollständige Ausführung.
Technical Debt
Kurz- oder langfristige Mehrkosten aus Entscheidungen, die spätere Änderung, Betrieb oder Qualität erschweren.
Test Oracle
Regel oder erwartetes Ergebnis, anhand dessen ein Test Erfolg und Fehler unterscheidet.
Threat Model
Strukturierte Beschreibung von Schutzgütern, Angreifern, Angriffswegen und Gegenmaßnahmen.
Tool Calling
Strukturierter Aufruf externer Funktionen durch ein Modell oder einen Agenten.
Trace
Verknüpfte Aufzeichnung der Schritte und Abhängigkeiten einer Anfrage oder Ausführung.
Unit-Test
Test einer kleinen, isolierten Funktion oder Einheit.
Validation
Prüfung, ob das System im realen Kontext den beabsichtigten Nutzer- und Geschäftszweck erfüllt.
Vendor Lock-in
Erschwerte Wechselmöglichkeit durch proprietäre Schnittstellen, Datenformate oder Prozesse.
Verification
Prüfung, ob ein System spezifizierte Anforderungen und technische Regeln erfüllt.
Versionskontrolle
System zur nachvollziehbaren Speicherung, Vergleichbarkeit und Wiederherstellung von Änderungen.
Vibe Coding
Softwareerstellung primär per natürlicher Sprache, häufig mit reduzierter direkter Codebearbeitung und selektiver Prüfung.
Worktree
Separate Arbeitskopie eines Git-Repositories für parallele Branches oder Agentenaufgaben.

Beleg- und Quellenmatrix

Fakten-IDStatus / AktualisierungZugeordnete Quellen
F-001BEGRIFF / FORSCHUNGSSTAND; Refresh: hochS-001, S-002, S-003, S-007
F-002BEGRIFFLICHE ABGRENZUNG; Refresh: mittelS-003, S-001, S-006
F-003EMPIRISCHER BEFUND; Refresh: mittelS-001, S-008, S-013
F-004FORSCHUNGSSYNTHESE; Refresh: mittelS-001, S-004, S-006, S-005
F-005EMPIRISCHER BEFUND; Refresh: mittelS-005
F-006EMPIRISCHER BEFUND; Refresh: mittelS-006, S-003, S-014
F-007FORSCHUNGSSYNTHESE; Refresh: hochS-007, S-004, S-009
F-008ENGINEERING-GRUNDSATZ; Refresh: mittelS-004, S-065, S-081, S-103
F-009METHODISCHE GRUNDLAGE; Refresh: mittelS-023, S-024, S-022, S-046
F-010EMPIRISCHER BEFUND; Refresh: niedrigS-015
F-011EMPIRISCHER BEFUND; Refresh: mittelS-016
F-012EMPIRISCHER GEGENBEFUND; Refresh: mittelS-017, S-018
F-013FORSCHUNGSSYNTHESE; Refresh: mittelS-017, S-020, S-014
F-014METHODISCHE WARNUNG; Refresh: hochS-019
F-015FORSCHUNGSSYNTHESE; Refresh: hochS-012, S-011, S-022, S-025, S-026
F-016FORSCHUNGSSYNTHESE; Refresh: mittelS-004, S-031, S-030, S-026
F-017ENGINEERING-SYNTHESE; Refresh: hochS-004, S-008, S-123, S-124
F-018SICHERHEITS- UND ENGINEERING-GRUNDSATZ; Refresh: hochS-090, S-094, S-098, S-087
F-019ENGINEERING-SYNTHESE; Refresh: mittelS-004, S-080, S-045, S-059
F-020PRAXISREGEL / ANBIETERÜBERGREIFEN; Refresh: hochS-097, S-089, S-093, S-001
F-021SOFTWARE-ENGINEERING-GRUNDSATZ; Refresh: mittelS-065, S-067, S-064, S-058, S-059
F-022FORSCHUNGS- UND PRAXISBEFUND; Refresh: hochS-045, S-064, S-059
F-023SICHERHEITSSTANDARD; Refresh: mittelS-065, S-067, S-068, S-081
F-024ENGINEERING-GRUNDSATZ; Refresh: niedrigS-075, S-097, S-076
F-025ENGINEERING-GRUNDSATZ; Refresh: mittelS-076, S-065, S-024
F-026SICHERHEITSBEFUND; Refresh: hochS-077, S-090, S-094, S-098
F-027SICHERHEITSGRUNDSATZ; Refresh: hochS-094, S-090, S-099, S-087
F-028OFFIZIELLE PRODUKT- UND SICHERHEITSAUSSAGE; Refresh: hochS-091, S-050, S-051, S-070
F-029SICHERHEITSSTANDARD; Refresh: hochS-065, S-068, S-076, S-096
F-030EMPIRISCHER SICHERHEITSBEFUND; Refresh: hochS-049, S-054
F-031EMPIRISCHER SICHERHEITSBEFUND; Refresh: hochS-047, S-048, S-102
F-032SICHERHEITSFORSCHUNG; Refresh: hochS-050, S-051, S-086, S-087
F-033PROTOKOLL- UND SICHERHEITSAUSSAGE; Refresh: hochS-085, S-086, S-087
F-034AKTUELLER PREPRINT-BEFUND; Refresh: hochS-039
F-035FORSCHUNGSSYNTHESE; Refresh: mittelS-040, S-032, S-041, S-043
F-036AKTUELLER PREPRINT-BEFUND / INFERENZ; Refresh: hochS-046, S-042, S-022
F-037METHODISCHE GRUNDLAGE; Refresh: hochS-039, S-044, S-041
F-038EMPIRISCHER BEFUND; Refresh: mittelS-030, S-031, S-029
F-039EMPIRISCHER BEFUND / PRAXISSYNTHESE; Refresh: hochS-029, S-035, S-032
F-040PÄDAGOGISCHE SYNTHESE; Refresh: mittelS-037, S-036, S-033, S-010
F-041METHODISCHE GRUNDLAGE; Refresh: hochS-056, S-061, S-062, S-022
F-042OFFIZIELLER BENCHMARK-AUDIT; Refresh: hochS-058, S-057
F-043OFFIZIELLER BENCHMARK-AUDIT; Refresh: hochS-059
F-044BENCHMARK-AUDIT; Refresh: hochS-064, S-045
F-045METHODISCHE KLARSTELLUNG; Refresh: hochS-062, S-063
F-046AKTUELLER PRODUKTSTAND; Refresh: hochS-088, S-093, S-097, S-100
F-047ENGINEERING-SYNTHESE; Refresh: mittelS-065, S-075, S-076, S-077
F-048GOVERNANCE- UND ENGINEERING-GRUNDSATZ; Refresh: mittelS-022, S-065, S-080, S-081
F-049RISIKOBASIERTE SCHLUSSFOLGERUNG; Refresh: mittelS-103, S-104, S-105, S-067
F-050EIGENE SYNTHESE AUS DEN GENANNTEN QUELLEN; Refresh: mittelS-065, S-006, S-029, S-058, S-090

Vollständiges Quellenregister

Die Quellen sind nach Aufnahme in das Dossier nummeriert. Peer-Review-Status und Dokumentart werden nur behauptet, soweit dies aus der Quelle oder dem Publikationskontext nachvollziehbar ist. Preprints bleiben als vorläufig gekennzeichnet. Produktdokumentationen belegen Funktionen und Policies am Prüftag, nicht die unabhängige Wirksamkeit des Produkts.

S-001 - Vibe coding: programming through conversation with artificial intelligence

FeldAngabe
Autor/HerausgeberSarkar und Drosos
TitelVibe coding: programming through conversation with artificial intelligence
Datum/Stand29.06.2025
Dokumentart/StatusEmpirische HCI-/Software-Engineering-Studie; Preprint
RelevanzErste empirische Untersuchung längerer Vibe-Coding-Sitzungen; iterative Ziel-, Prüf- und Editierschleifen.
Direkte URL[https://arxiv.org/abs/2506.23253](https://arxiv.org/abs/2506.23253)
Abruf/Prüfung8. August 2026

S-002 - Good Vibrations? A Qualitative Study of Vibe Coding

FeldAngabe
Autor/HerausgeberAutorenteam
TitelGood Vibrations? A Qualitative Study of Vibe Coding
Datum/Stand12.09.2025
Dokumentart/StatusQualitative Studie; Preprint
RelevanzPosts, Kommentare und Interviews zu Flow, Vertrauen, Friktion und praktischen Grenzen.
Direkte URL[https://arxiv.org/abs/2509.12491](https://arxiv.org/abs/2509.12491)
Abruf/Prüfung8. August 2026

S-003 - Building Software by Rolling the Dice: A Qualitative Study of Vibe Coding

FeldAngabe
Autor/HerausgeberChou et al.
TitelBuilding Software by Rolling the Dice: A Qualitative Study of Vibe Coding
Datum/Stand27.12.2025
Dokumentart/StatusGrounded-Theory-Studie; Preprint
Relevanz20 Videos, 16 Stunden Livestreams und 254 Prompts; Spektrum von ungeprüfter Delegation bis aktiver Kontrolle.
Direkte URL[https://arxiv.org/abs/2512.22418](https://arxiv.org/abs/2512.22418)
Abruf/Prüfung8. August 2026

S-004 - Context Before Code: An Experience Report on Building Deployable Systems with Vibe Coding

FeldAngabe
Autor/HerausgeberAutorenteam
TitelContext Before Code: An Experience Report on Building Deployable Systems with Vibe Coding
Datum/Stand11.03.2026
Dokumentart/StatusExperience Report; Preprint
RelevanzZwei deploybare Systeme; Beschleunigung bei Scaffolding und Routinecode, keine Ablösung von Architekturarbeit.
Direkte URL[https://arxiv.org/abs/2603.11073](https://arxiv.org/abs/2603.11073)
Abruf/Prüfung8. August 2026

S-005 - Computer Science Achievement and Writing Skill as Predictors of Vibe Coding Performance

FeldAngabe
Autor/HerausgeberAutorenteam
TitelComputer Science Achievement and Writing Skill as Predictors of Vibe Coding Performance
Datum/Stand13.03.2026
Dokumentart/StatusEmpirische Studie; Preprint
RelevanzProgrammierwissen und schriftliche Ausdrucksfähigkeit als getrennte Erfolgsfaktoren.
Direkte URL[https://arxiv.org/abs/2603.14133](https://arxiv.org/abs/2603.14133)
Abruf/Prüfung8. August 2026

S-006 - From Prompting to Verification: How Experience Shapes Vibe Coding Practices

FeldAngabe
Autor/HerausgeberFawzy, Tahir und Blincoe
TitelFrom Prompting to Verification: How Experience Shapes Vibe Coding Practices
Datum/Stand23.05.2026
Dokumentart/StatusEmpirische Studie; Preprint
RelevanzUnterschiede zwischen Nicht-Programmierern, Anfängern und Profis bei Qualitätskontrolle und Vertrauen.
Direkte URL[https://arxiv.org/abs/2605.24521](https://arxiv.org/abs/2605.24521)
Abruf/Prüfung8. August 2026

S-007 - Vibe Coding in Software Development: A Multivocal Literature Review

FeldAngabe
Autor/HerausgeberSiddeeq et al.
TitelVibe Coding in Software Development: A Multivocal Literature Review
Datum/Stand22.07.2026
Dokumentart/StatusMultivokales Review; Preprint
Relevanz47 wissenschaftliche und graue Quellen; stärkste Evidenz für Prototyping/UI, schwächere für Produktion und sicherheitskritische Systeme.
Direkte URL[https://arxiv.org/abs/2607.21652](https://arxiv.org/abs/2607.21652)
Abruf/Prüfung8. August 2026

S-008 - Programming by Chat: A Large-Scale Behavioral Analysis of 11,579 Real-World AI-Assisted IDE Sessions

FeldAngabe
Autor/HerausgeberTang et al.
TitelProgramming by Chat: A Large-Scale Behavioral Analysis of 11,579 Real-World AI-Assisted IDE Sessions
Datum/Stand01.04.2026
Dokumentart/StatusGroße Beobachtungsstudie; Preprint
Relevanz74.998 Nachrichten aus 11.579 Sitzungen, 1.300 Repositories und 899 Entwicklern.
Direkte URL[https://arxiv.org/abs/2604.00436](https://arxiv.org/abs/2604.00436)
Abruf/Prüfung8. August 2026

S-009 - Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety

FeldAngabe
Autor/HerausgeberUddin
TitelIs Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety
Datum/Stand26.04.2026
Dokumentart/StatusDomänenspezifische empirische Studie; Preprint
RelevanzBewertung von 450 Python-Skripten in einem sicherheitsrelevanten Anwendungskontext.
Direkte URL[https://arxiv.org/abs/2604.12311](https://arxiv.org/abs/2604.12311)
Abruf/Prüfung8. August 2026

S-010 - A vibe coding learning design to enhance EFL students' talking to, through, and about AI

FeldAngabe
Autor/HerausgeberWoo, Guo und Yu
TitelA vibe coding learning design to enhance EFL students' talking to, through, and about AI
Datum/Stand09.09.2025
Dokumentart/StatusFallstudie / Bildungsdesign; Preprint
RelevanzZeigt Bedeutung von Mentalmodellen, Promptstruktur und kritischer Autorschaft.
Direkte URL[https://arxiv.org/abs/2509.08854](https://arxiv.org/abs/2509.08854)
Abruf/Prüfung8. August 2026

S-011 - The State of Generative AI in Software Development

FeldAngabe
Autor/HerausgeberAutorenteam
TitelThe State of Generative AI in Software Development
Datum/Stand17.03.2026
Dokumentart/StatusSystematisches Review plus Befragung; Preprint
RelevanzSoftwareentwicklungslebenszyklus, berichtete Zeitgewinne und Grenzen über mehrere Aufgabenarten.
Direkte URL[https://arxiv.org/abs/2603.16975](https://arxiv.org/abs/2603.16975)
Abruf/Prüfung8. August 2026

S-012 - A meta-analysis of the effect of generative AI on programming performance

FeldAngabe
Autor/HerausgeberMaier et al.
TitelA meta-analysis of the effect of generative AI on programming performance
Datum/Stand06.05.2026
Dokumentart/StatusMeta-Analyse; Preprint
RelevanzAggregiert heterogene Leistungsbefunde und diskutiert Sicherheits- und Verständnisfolgen.
Direkte URL[https://arxiv.org/abs/2605.04779](https://arxiv.org/abs/2605.04779)
Abruf/Prüfung8. August 2026

S-013 - Grounded Copilot: How Programmers Interact with Code-Generating Models

FeldAngabe
Autor/HerausgeberBarke, James und Polikarpova
TitelGrounded Copilot: How Programmers Interact with Code-Generating Models
Datum/Stand2023
Dokumentart/StatusPeer-reviewed OOPSLA-Studie
RelevanzBeobachtungsstudie mit 20 Programmierenden; Interaktion zwischen Beschleunigung, Exploration und Kontrolle.
Direkte URL[https://cseweb.ucsd.edu/~npolikarpova/publications/oopsla23-copilot.pdf](https://cseweb.ucsd.edu/~npolikarpova/publications/oopsla23-copilot.pdf)
Abruf/Prüfung8. August 2026

S-014 - Expectation vs. Experience: Evaluating the Usability of Code Generation Tools Powered by Large Language Models

FeldAngabe
Autor/HerausgeberVaithilingam, Zhang und Glassman
TitelExpectation vs. Experience: Evaluating the Usability of Code Generation Tools Powered by Large Language Models
Datum/Stand2022
Dokumentart/StatusCHI-Studie
RelevanzWithin-subjects-Studie mit 24 Teilnehmenden zu Nutzbarkeit, Verständnis und Workflow-Passung.
Direkte URL[https://tianyi-zhang.github.io/files/chi2022-lbw-copilot.pdf](https://tianyi-zhang.github.io/files/chi2022-lbw-copilot.pdf)
Abruf/Prüfung8. August 2026

S-015 - The Impact of AI on Developer Productivity: Evidence from GitHub Copilot

FeldAngabe
Autor/HerausgeberPeng et al.
TitelThe Impact of AI on Developer Productivity: Evidence from GitHub Copilot
Datum/Stand13.02.2023
Dokumentart/StatusKontrolliertes Experiment; Preprint
RelevanzEng begrenzte Programmieraufgabe; 55,8 Prozent schnellere Fertigstellung in diesem Setting.
Direkte URL[https://arxiv.org/abs/2302.06590](https://arxiv.org/abs/2302.06590)
Abruf/Prüfung8. August 2026

S-016 - The Effects of Generative AI on High-Skilled Work: Evidence from Three Field Experiments with Software Developers

FeldAngabe
Autor/HerausgeberCui et al.
TitelThe Effects of Generative AI on High-Skilled Work: Evidence from Three Field Experiments with Software Developers
Datum/Stand01.06.2025
Dokumentart/StatusDrei randomisierte Unternehmens-Feldexperimente; Working Paper
Relevanz4.867 Entwickler; kombinierter Effekt von rund 26 Prozent mehr erledigten Aufgaben.
Direkte URL[https://www.microsoft.com/en-us/research/publication/the-effects-of-generative-ai-on-high-skilled-work-evidence-from-three-field-experiments-with-software-developers/](https://www.microsoft.com/en-us/research/publication/the-effects-of-generative-ai-on-high-skilled-work-evidence-from-three-field-experiments-with-software-developers/)
Abruf/Prüfung8. August 2026

S-017 - Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

FeldAngabe
Autor/HerausgeberMETR
TitelMeasuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
Datum/Stand10.07.2025
Dokumentart/StatusRandomisierte Feldstudie
Relevanz16 erfahrene Maintainer, 246 reale Issues; durchschnittlich 19 Prozent langsamer bei erlaubter KI-Nutzung.
Direkte URL[https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)
Abruf/Prüfung8. August 2026

S-018 - Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity - Paper

FeldAngabe
Autor/HerausgeberBecker et al. / METR
TitelMeasuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity - Paper
Datum/Stand07.2025
Dokumentart/StatusForschungspapier
RelevanzVollständige Methodik, Unsicherheiten und Faktorenanalyse der METR-RCT.
Direkte URL[https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study-paper.pdf](https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study-paper.pdf)
Abruf/Prüfung8. August 2026

S-019 - Uplift Update: Late-2025 AI and Experienced Open-Source Developer Productivity

FeldAngabe
Autor/HerausgeberMETR
TitelUplift Update: Late-2025 AI and Experienced Open-Source Developer Productivity
Datum/Stand24.02.2026
Dokumentart/StatusForschungsupdate
RelevanzSpätere Stichprobe mit Selektionsproblem; kein unverzerrter Durchschnittseffekt ableitbar.
Direkte URL[https://metr.org/blog/2026-02-24-uplift-update/](https://metr.org/blog/2026-02-24-uplift-update/)
Abruf/Prüfung8. August 2026

S-020 - AI Usage Survey: Self-Reported Value and Reasons for Skepticism

FeldAngabe
Autor/HerausgeberMETR
TitelAI Usage Survey: Self-Reported Value and Reasons for Skepticism
Datum/Stand11.05.2026
Dokumentart/StatusBefragung; nicht kausal
Relevanz349 technische Beschäftigte; wahrgenommener Wert und Grenzen von Selbstauskünften.
Direkte URL[https://metr.org/blog/2026-05-11-ai-usage-survey/](https://metr.org/blog/2026-05-11-ai-usage-survey/)
Abruf/Prüfung8. August 2026

S-021 - Who is using AI to code? Global diffusion and impact of generative AI

FeldAngabe
Autor/HerausgeberDaniotti et al.
TitelWho is using AI to code? Global diffusion and impact of generative AI
Datum/Stand2026
Dokumentart/StatusPeer-reviewed Science-Studie
RelevanzDigitale Spuren zur weltweiten Verbreitung KI-gestützter Softwareentwicklung und zu Produktivitätseffekten.
Direkte URL[https://www.science.org/doi/10.1126/science.adz9311](https://www.science.org/doi/10.1126/science.adz9311)
Abruf/Prüfung8. August 2026

S-022 - State of AI-assisted Software Development 2025

FeldAngabe
Autor/HerausgeberGoogle DORA
TitelState of AI-assisted Software Development 2025
Datum/Stand2025
Dokumentart/StatusAnbietergetragene internationale Erhebung
RelevanzNahezu 5.000 Technologieprofessionals; KI als Verstärker bestehender organisatorischer Stärken und Schwächen.
Direkte URL[https://dora.dev/dora-report-2025/](https://dora.dev/dora-report-2025/)
Abruf/Prüfung8. August 2026

S-023 - The SPACE of Developer Productivity

FeldAngabe
Autor/HerausgeberForsgren et al.
TitelThe SPACE of Developer Productivity
Datum/Stand2021
Dokumentart/StatusPeer-reviewed / Framework
RelevanzEntwicklerproduktivität ist mehrdimensional und nicht mit einer Einzelmetrik erfassbar.
Direkte URL[https://queue.acm.org/detail.cfm?id=3454124](https://queue.acm.org/detail.cfm?id=3454124)
Abruf/Prüfung8. August 2026

S-024 - DORA metrics

FeldAngabe
Autor/HerausgeberGoogle DORA
TitelDORA metrics
Datum/Stand05.01.2026
Dokumentart/StatusOffizielle Methodikseite
RelevanzSoftware Delivery Performance über Durchsatz, Instabilität und Wiederherstellung statt Lines of Code.
Direkte URL[https://dora.dev/guides/dora-metrics-four-keys/](https://dora.dev/guides/dora-metrics-four-keys/)
Abruf/Prüfung8. August 2026

S-025 - How Much Does AI Impact Development Speed? An Enterprise-Based Randomized Controlled Trial

FeldAngabe
Autor/HerausgeberAutorenteam
TitelHow Much Does AI Impact Development Speed? An Enterprise-Based Randomized Controlled Trial
Datum/Stand18.10.2024
Dokumentart/StatusUnternehmens-RCT; Preprint
RelevanzErgänzender kontrollierter Befund zu Entwicklungszeit und organisationsspezifischen Bedingungen.
Direkte URL[https://arxiv.org/abs/2410.12944](https://arxiv.org/abs/2410.12944)
Abruf/Prüfung8. August 2026

S-026 - A Field Study of Developer-AI Interaction in a Software Organization

FeldAngabe
Autor/HerausgeberAutorenteam
TitelA Field Study of Developer-AI Interaction in a Software Organization
Datum/Stand09.12.2024
Dokumentart/StatusFeldstudie; Preprint
RelevanzReale Nutzungsmuster, Friktionen, Aufgabenverteilung und Kontextabhängigkeit.
Direkte URL[https://arxiv.org/abs/2412.06603](https://arxiv.org/abs/2412.06603)
Abruf/Prüfung8. August 2026

S-027 - The Programmer's Assistant: Conversational Interaction with a Large Language Model for Software Development

FeldAngabe
Autor/HerausgeberAutorenteam
TitelThe Programmer's Assistant: Conversational Interaction with a Large Language Model for Software Development
Datum/Stand02.11.2023
Dokumentart/StatusEmpirische Studie; Preprint
RelevanzProblemlösungs- und Interaktionsmuster in KI-gestützter Paarprogrammierung.
Direkte URL[https://arxiv.org/abs/2311.01020](https://arxiv.org/abs/2311.01020)
Abruf/Prüfung8. August 2026

S-028 - 2025 Developer Survey - AI

FeldAngabe
Autor/HerausgeberStack Overflow
Titel2025 Developer Survey - AI
Datum/Stand2025
Dokumentart/StatusInternationale Entwicklerbefragung
RelevanzNutzung, Vertrauen und kritische Haltung; Selbstbericht, keine kausale Produktivitätsmessung.
Direkte URL[https://survey.stackoverflow.co/2025/ai](https://survey.stackoverflow.co/2025/ai)
Abruf/Prüfung8. August 2026

S-029 - How AI Impacts Skill Formation

FeldAngabe
Autor/HerausgeberShen und Tamkin
TitelHow AI Impacts Skill Formation
Datum/Stand28.01.2026
Dokumentart/StatusRandomisierte Experimente; Preprint
RelevanzAI-Nutzung beeinträchtigte im Mittel Konzeptverständnis, Code-Lesen und Debugging; Interaktionsmuster machten einen Unterschied.
Direkte URL[https://arxiv.org/abs/2601.20245](https://arxiv.org/abs/2601.20245)
Abruf/Prüfung8. August 2026

S-030 - Code Comprehension with GitHub Copilot

FeldAngabe
Autor/HerausgeberQiao et al.
TitelCode Comprehension with GitHub Copilot
Datum/Stand04.11.2025
Dokumentart/StatusWithin-subjects-Studie; Preprint
RelevanzSchnellere Fertigstellung und mehr bestandene Tests ohne entsprechend höheres Codeverständnis.
Direkte URL[https://arxiv.org/abs/2511.02922](https://arxiv.org/abs/2511.02922)
Abruf/Prüfung8. August 2026

S-031 - The Effects of GitHub Copilot on Computing Students' Programming Performance, Behaviors, and Understanding

FeldAngabe
Autor/HerausgeberAutorenteam
TitelThe Effects of GitHub Copilot on Computing Students' Programming Performance, Behaviors, and Understanding
Datum/Stand11.06.2025
Dokumentart/StatusKontrolliertes Experiment; Preprint
RelevanzBrownfield-Aufgaben in einer unbekannten Legacy-Webanwendung.
Direkte URL[https://arxiv.org/abs/2506.10051](https://arxiv.org/abs/2506.10051)
Abruf/Prüfung8. August 2026

S-032 - Mitigating Epistemic Debt in Generative-AI-Scaffolded Programming

FeldAngabe
Autor/HerausgeberAutorenteam
TitelMitigating Epistemic Debt in Generative-AI-Scaffolded Programming
Datum/Stand22.02.2026
Dokumentart/StatusKonzept- und Designarbeit; Preprint
RelevanzBegriff für Verständnis- und Begründungslücken hinter funktionierendem Code.
Direkte URL[https://arxiv.org/abs/2602.20206](https://arxiv.org/abs/2602.20206)
Abruf/Prüfung8. August 2026

S-033 - Three Years with Classroom AI in Introductory Programming

FeldAngabe
Autor/HerausgeberMa et al.
TitelThree Years with Classroom AI in Introductory Programming
Datum/Stand24.03.2026
Dokumentart/StatusLongitudinale Unterrichtsstudie; Preprint
RelevanzDrei KI-gestützte Kohorten 2023-2025 plus Ausgangsbasis; Interaktions- und Leistungsentwicklung.
Direkte URL[https://arxiv.org/abs/2603.22672](https://arxiv.org/abs/2603.22672)
Abruf/Prüfung8. August 2026

S-034 - Incidental Learning Lost? Skill Formation under Agentic Delegation

FeldAngabe
Autor/HerausgeberAutorenteam
TitelIncidental Learning Lost? Skill Formation under Agentic Delegation
Datum/Stand06.07.2026
Dokumentart/StatusEmpirische Studie; Preprint
RelevanzUntersucht Lernverluste, wenn Agenten Zwischenschritte vollständig übernehmen.
Direkte URL[https://arxiv.org/abs/2607.06101](https://arxiv.org/abs/2607.06101)
Abruf/Prüfung8. August 2026

S-035 - AI-Assisted Help-Seeking Trajectories in Programming

FeldAngabe
Autor/HerausgeberAutorenteam
TitelAI-Assisted Help-Seeking Trajectories in Programming
Datum/Stand22.06.2026
Dokumentart/StatusEmpirische Bildungsstudie; Preprint
RelevanzUntersucht, ob KI-Hilfe selbstreguliertes Problemlösen unterstützt oder umgeht.
Direkte URL[https://arxiv.org/abs/2606.22809](https://arxiv.org/abs/2606.22809)
Abruf/Prüfung8. August 2026

S-036 - How Students Respond to Buggy GenAI Code

FeldAngabe
Autor/HerausgeberAutorenteam
TitelHow Students Respond to Buggy GenAI Code
Datum/Stand06.07.2026
Dokumentart/StatusEmpirische Bildungsstudie; Preprint
RelevanzReaktionen von Lernenden auf plausiblen, aber fehlerhaften KI-Code.
Direkte URL[https://arxiv.org/abs/2607.05068](https://arxiv.org/abs/2607.05068)
Abruf/Prüfung8. August 2026

S-037 - Scratch Copilot: Supporting Youth Creative Coding with AI

FeldAngabe
Autor/HerausgeberDruga und Ko
TitelScratch Copilot: Supporting Youth Creative Coding with AI
Datum/Stand06.05.2025
Dokumentart/StatusExplorative qualitative Studie; Preprint
Relevanz18 Kinder; Unterstützung und Spannungsfeld zwischen Scaffolding und eigenständigem Problemlösen.
Direkte URL[https://arxiv.org/abs/2505.03867](https://arxiv.org/abs/2505.03867)
Abruf/Prüfung8. August 2026

S-038 - AI-Mediated Metacognitive Decoupling and the Limits of Self-Assessment

FeldAngabe
Autor/HerausgeberAutorenteam
TitelAI-Mediated Metacognitive Decoupling and the Limits of Self-Assessment
Datum/Stand31.03.2026
Dokumentart/StatusLiteratursynthese; Preprint
RelevanzKalibrierung, Vertrauen und Metakognition bei KI-Unterstützung.
Direkte URL[https://arxiv.org/abs/2603.29681](https://arxiv.org/abs/2603.29681)
Abruf/Prüfung8. August 2026

S-039 - Debt Behind the AI Boom: A Large-Scale Empirical Study of AI-Generated Code in the Wild

FeldAngabe
Autor/HerausgeberLiu et al.
TitelDebt Behind the AI Boom: A Large-Scale Empirical Study of AI-Generated Code in the Wild
Datum/Stand26.04.2026
Dokumentart/StatusGroße Mining-Studie; Preprint
Relevanz304.362 verifizierte AI-Commits, 6.275 Repositories; Issue-Einführung und Persistenz.
Direkte URL[https://arxiv.org/abs/2603.28592](https://arxiv.org/abs/2603.28592)
Abruf/Prüfung8. August 2026

S-040 - GenAI-Induced Self-Admitted Technical Debt

FeldAngabe
Autor/HerausgeberAutorenteam
TitelGenAI-Induced Self-Admitted Technical Debt
Datum/Stand12.01.2026
Dokumentart/StatusMining-Studie; Preprint
RelevanzUntersucht Anforderungs-, Test- und Wartungsschulden in KI-unterstützten Änderungen.
Direkte URL[https://arxiv.org/abs/2601.07786](https://arxiv.org/abs/2601.07786)
Abruf/Prüfung8. August 2026

S-041 - Maintaining Agent-Generated Code: A Longitudinal Study of Files and Changes

FeldAngabe
Autor/HerausgeberAutorenteam
TitelMaintaining Agent-Generated Code: A Longitudinal Study of Files and Changes
Datum/Stand07.05.2026
Dokumentart/StatusRepository-Mining; Preprint
RelevanzMehr als 1.000 Dateien und 3.200 Änderungen in 100 Repositories.
Direkte URL[https://arxiv.org/abs/2605.06464](https://arxiv.org/abs/2605.06464)
Abruf/Prüfung8. August 2026

S-042 - Human Review of AI-Generated Pull Requests

FeldAngabe
Autor/HerausgeberAutorenteam
TitelHuman Review of AI-Generated Pull Requests
Datum/Stand16.03.2026
Dokumentart/StatusEmpirische Code-Review-Studie; Preprint
RelevanzZusätzliche Review-Runden und höhere Ablehnungsraten bei agentisch abgeschlossenen Interaktionen.
Direkte URL[https://arxiv.org/abs/2603.15911](https://arxiv.org/abs/2603.15911)
Abruf/Prüfung8. August 2026

S-043 - Architectural and Code Smells in AI-Generated Software

FeldAngabe
Autor/HerausgeberAutorenteam
TitelArchitectural and Code Smells in AI-Generated Software
Datum/Stand04.05.2026
Dokumentart/StatusEmpirische Studie; Preprint
RelevanzArchitektur- und Wartbarkeitsprobleme in generierten Lösungen.
Direkte URL[https://arxiv.org/abs/2605.02741](https://arxiv.org/abs/2605.02741)
Abruf/Prüfung8. August 2026

S-044 - Downstream Maintainability of AI-Generated Code

FeldAngabe
Autor/HerausgeberAutorenteam
TitelDownstream Maintainability of AI-Generated Code
Datum/Stand01.07.2025
Dokumentart/StatusEmpirische Studie; Preprint
RelevanzFolgeänderungen, Lesbarkeit und Wartungsaufwand nach KI-generierten Beiträgen.
Direkte URL[https://arxiv.org/abs/2507.00788](https://arxiv.org/abs/2507.00788)
Abruf/Prüfung8. August 2026

S-045 - Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents

FeldAngabe
Autor/HerausgeberChen et al.
TitelRethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents
Datum/Stand08.02.2026
Dokumentart/StatusBenchmark-/Trajektorienstudie; Preprint
RelevanzMehr Agententests bedeuteten in der Untersuchung nicht automatisch bessere Endergebnisse.
Direkte URL[https://arxiv.org/abs/2602.07900](https://arxiv.org/abs/2602.07900)
Abruf/Prüfung8. August 2026

S-046 - AI Writes Faster Than Humans Can Review

FeldAngabe
Autor/HerausgeberHe et al.
TitelAI Writes Faster Than Humans Can Review
Datum/Stand02.07.2026
Dokumentart/StatusEmpirische Analyse; Preprint
RelevanzUntersucht das Missverhältnis zwischen Generierungstempo, Reviewkapazität und Qualitätsrisiko.
Direkte URL[https://arxiv.org/abs/2607.01904](https://arxiv.org/abs/2607.01904)
Abruf/Prüfung8. August 2026

S-047 - Do Users Write More Insecure Code with AI Assistants?

FeldAngabe
Autor/HerausgeberPerry et al.
TitelDo Users Write More Insecure Code with AI Assistants?
Datum/Stand09.11.2022
Dokumentart/StatusKontrollierte Nutzerstudie; Preprint
Relevanz47 Teilnehmende; weniger sichere Lösungen in vier von fünf Aufgaben und höheres Vertrauen.
Direkte URL[https://arxiv.org/abs/2211.03622](https://arxiv.org/abs/2211.03622)
Abruf/Prüfung8. August 2026

S-048 - Security Weaknesses of Copilot Generated Code in GitHub Projects

FeldAngabe
Autor/HerausgeberFu et al.
TitelSecurity Weaknesses of Copilot Generated Code in GitHub Projects
Datum/Stand03.10.2023
Dokumentart/StatusEmpirische Studie; Preprint
Relevanz452 generierte Snippets; kontextspezifische Schwachstellenraten.
Direkte URL[https://arxiv.org/abs/2310.02059](https://arxiv.org/abs/2310.02059)
Abruf/Prüfung8. August 2026

S-049 - We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs

FeldAngabe
Autor/HerausgeberLanyado et al.
TitelWe Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs
Datum/Stand14.06.2024
Dokumentart/StatusGroße empirische Studie; Preprint
Relevanz16 Modelle, 576.000 Stichproben; erfundene Abhängigkeiten als Supply-Chain-Risiko.
Direkte URL[https://arxiv.org/abs/2406.10279](https://arxiv.org/abs/2406.10279)
Abruf/Prüfung8. August 2026

S-050 - Prompt Injection Attacks on Agentic Coding Assistants

FeldAngabe
Autor/HerausgeberAutorenteam
TitelPrompt Injection Attacks on Agentic Coding Assistants
Datum/Stand24.01.2026
Dokumentart/StatusSystematization of Knowledge; Preprint
RelevanzTaxonomie von Angriffen und Verteidigung für Coding-Agenten.
Direkte URL[https://arxiv.org/abs/2601.17548](https://arxiv.org/abs/2601.17548)
Abruf/Prüfung8. August 2026

S-051 - GitInject: Indirect Prompt Injection Through Software Repositories

FeldAngabe
Autor/HerausgeberAutorenteam
TitelGitInject: Indirect Prompt Injection Through Software Repositories
Datum/Stand10.06.2026
Dokumentart/StatusEmpirische Sicherheitsstudie; Preprint
RelevanzReproduzierte Angriffe in realistischen GitHub-Workflows.
Direkte URL[https://arxiv.org/abs/2606.09935](https://arxiv.org/abs/2606.09935)
Abruf/Prüfung8. August 2026

S-052 - AI Agents May Always Fall for Prompt Injections

FeldAngabe
Autor/HerausgeberAutorenteam
TitelAI Agents May Always Fall for Prompt Injections
Datum/Stand18.05.2026
Dokumentart/StatusSicherheitsforschung; Preprint
RelevanzGrenzen allgemeiner Prompt-Injection-Abwehr bei handlungsfähigen Agenten.
Direkte URL[https://arxiv.org/abs/2605.17634](https://arxiv.org/abs/2605.17634)
Abruf/Prüfung8. August 2026

S-053 - What Breaks When LLMs Code? Characterizing Coding-Agent Failures in the Wild

FeldAngabe
Autor/HerausgeberAutorenteam
TitelWhat Breaks When LLMs Code? Characterizing Coding-Agent Failures in the Wild
Datum/Stand29.05.2026
Dokumentart/StatusIncident-Taxonomie; Preprint
Relevanz547 Vorfälle, 33 Risikotypen; 326 als hoch oder kritisch eingestuft.
Direkte URL[https://arxiv.org/abs/2605.30777](https://arxiv.org/abs/2605.30777)
Abruf/Prüfung8. August 2026

S-054 - Skills That Don't Exist: A Large-Scale Study of Hallucinated Agent Skills

FeldAngabe
Autor/HerausgeberAutorenteam
TitelSkills That Don't Exist: A Large-Scale Study of Hallucinated Agent Skills
Datum/Stand14.07.2026
Dokumentart/StatusGroße Sicherheitsstudie; Preprint
RelevanzErfundene Skill-Namen als wiederholbare Angriffs- und Typosquatting-Ziele.
Direkte URL[https://arxiv.org/abs/2607.12340](https://arxiv.org/abs/2607.12340)
Abruf/Prüfung8. August 2026

S-055 - Uncovering Security and Privacy Issues in LLM-native IDEs

FeldAngabe
Autor/HerausgeberAutorenteam
TitelUncovering Security and Privacy Issues in LLM-native IDEs
Datum/Stand31.07.2026
Dokumentart/StatusSecurity Audit; Preprint
RelevanzDatenschutz-, Berechtigungs- und Ausführungsrisiken moderner KI-Entwicklungsumgebungen.
Direkte URL[https://arxiv.org/abs/2607.26390](https://arxiv.org/abs/2607.26390)
Abruf/Prüfung8. August 2026

S-056 - SWE-bench: Can Language Models Resolve Real-World GitHub Issues?

FeldAngabe
Autor/HerausgeberJimenez et al.
TitelSWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Datum/Stand10.10.2023
Dokumentart/StatusICLR-Paper
Relevanz2.294 reale GitHub-Issues aus zwölf Python-Repositories.
Direkte URL[https://arxiv.org/abs/2310.06770](https://arxiv.org/abs/2310.06770)
Abruf/Prüfung8. August 2026

S-057 - SWE-bench official benchmark and leaderboards

FeldAngabe
Autor/HerausgeberSWE-bench Team
TitelSWE-bench official benchmark and leaderboards
Datum/Standfortlaufend
Dokumentart/StatusOffizielle Benchmarkseite
RelevanzVersionen, Harness und dynamische Leaderboards.
Direkte URL[https://www.swebench.com/](https://www.swebench.com/)
Abruf/Prüfung8. August 2026

S-058 - Why SWE-bench Verified no longer measures frontier coding capabilities

FeldAngabe
Autor/HerausgeberOpenAI
TitelWhy SWE-bench Verified no longer measures frontier coding capabilities
Datum/Stand23.02.2026
Dokumentart/StatusOffizieller Benchmark-Audit
RelevanzMindestens 59,4 Prozent der 138 auditierten schwierigen Fälle mit materiellen Problemen; Kontaminationshinweise.
Direkte URL[https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/](https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/)
Abruf/Prüfung8. August 2026

S-059 - Separating signal from noise in coding evaluations

FeldAngabe
Autor/HerausgeberOpenAI
TitelSeparating signal from noise in coding evaluations
Datum/Stand08.07.2026
Dokumentart/StatusOffizieller Benchmark-Audit
RelevanzSchätzung, dass rund 30 Prozent der SWE-Bench-Pro-Aufgaben gebrochen sind.
Direkte URL[https://openai.com/index/separating-signal-from-noise-coding-evaluations/](https://openai.com/index/separating-signal-from-noise-coding-evaluations/)
Abruf/Prüfung8. August 2026

S-060 - SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

FeldAngabe
Autor/HerausgeberMiserendino et al.
TitelSWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?
Datum/Stand17.02.2025
Dokumentart/StatusBenchmark-Paper; Preprint
RelevanzMehr als 1.400 reale Freelance-Aufgaben mit einer Million US-Dollar ursprünglicher Vergütung.
Direkte URL[https://arxiv.org/abs/2502.12115](https://arxiv.org/abs/2502.12115)
Abruf/Prüfung8. August 2026

S-061 - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces

FeldAngabe
Autor/HerausgeberTerminal-Bench Team
TitelTerminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces
Datum/Stand17.01.2026
Dokumentart/StatusBenchmark-Paper; Preprint
RelevanzRealistische CLI-Aufgaben mit erheblichem Harness- und Infrastrukturanteil.
Direkte URL[https://arxiv.org/abs/2601.11868](https://arxiv.org/abs/2601.11868)
Abruf/Prüfung8. August 2026

S-062 - Task-Completion Time Horizons of Frontier AI Models

FeldAngabe
Autor/HerausgeberMETR
TitelTask-Completion Time Horizons of Frontier AI Models
Datum/Stand08.05.2026
Dokumentart/StatusDynamische Forschungsmetrik
Relevanz50- und 80-Prozent-Zeithorizonte; menschliche Taskdauer, nicht Agentenlaufzeit.
Direkte URL[https://metr.org/time-horizons/](https://metr.org/time-horizons/)
Abruf/Prüfung8. August 2026

S-063 - Measuring AI Ability to Complete Long Software Tasks

FeldAngabe
Autor/HerausgeberMETR
TitelMeasuring AI Ability to Complete Long Software Tasks
Datum/Stand19.03.2025
Dokumentart/StatusForschungsbericht
RelevanzEinführung der Zeit-Horizont-Metrik und ihrer Grenzen.
Direkte URL[https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/](https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/)
Abruf/Prüfung8. August 2026

S-064 - UTBoost: Rigorous Evaluation of Coding Agents on SWE-Bench

FeldAngabe
Autor/HerausgeberYu et al.
TitelUTBoost: Rigorous Evaluation of Coding Agents on SWE-Bench
Datum/Stand10.06.2025
Dokumentart/StatusBenchmark-Audit; Preprint
RelevanzZusätzliche Tests deckten falsch positiv bewertete Patches und Rangverschiebungen auf.
Direkte URL[https://arxiv.org/abs/2506.09289](https://arxiv.org/abs/2506.09289)
Abruf/Prüfung8. August 2026

S-065 - Secure Software Development Framework (SSDF) Version 1.1 - SP 800-218

FeldAngabe
Autor/HerausgeberNIST
TitelSecure Software Development Framework (SSDF) Version 1.1 - SP 800-218
Datum/Stand03.02.2022
Dokumentart/StatusOffizieller Sicherheitsstandard
RelevanzGrundpraktiken für Vorbereitung, Schutz, sichere Produktion und Reaktion.
Direkte URL[https://nvlpubs.nist.gov/nistpubs/specialpublications/nist.sp.800-218.pdf](https://nvlpubs.nist.gov/nistpubs/specialpublications/nist.sp.800-218.pdf)
Abruf/Prüfung8. August 2026

S-066 - Secure Software Development Framework (SSDF) Version 1.2 - Initial Public Draft

FeldAngabe
Autor/HerausgeberNIST
TitelSecure Software Development Framework (SSDF) Version 1.2 - Initial Public Draft
Datum/Stand17.12.2025
Dokumentart/StatusOffizieller Entwurf
RelevanzAktualisierte Praktiken; am Stichtag Entwurf, nicht finale Fassung.
Direkte URL[https://csrc.nist.gov/pubs/sp/800/218/r1/ipd](https://csrc.nist.gov/pubs/sp/800/218/r1/ipd)
Abruf/Prüfung8. August 2026

S-067 - Application Security Verification Standard

FeldAngabe
Autor/HerausgeberOWASP
TitelApplication Security Verification Standard
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffener Sicherheitsstandard
RelevanzMessbare Sicherheitsanforderungen für Webanwendungen und Beschaffung.
Direkte URL[https://owasp.org/www-project-application-security-verification-standard/](https://owasp.org/www-project-application-security-verification-standard/)
Abruf/Prüfung8. August 2026

S-068 - Secure Coding Practices Checklist

FeldAngabe
Autor/HerausgeberOWASP
TitelSecure Coding Practices Checklist
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusFachcommunity-Leitfaden
RelevanzEingabevalidierung, Authentisierung, Fehlerbehandlung, Kryptografie und weitere Kontrollen.
Direkte URL[https://owasp.org/www-project-secure-coding-practices-quick-reference-guide/stable-en/02-checklist/05-checklist](https://owasp.org/www-project-secure-coding-practices-quick-reference-guide/stable-en/02-checklist/05-checklist)
Abruf/Prüfung8. August 2026

S-069 - Secure Code Review Cheat Sheet

FeldAngabe
Autor/HerausgeberOWASP
TitelSecure Code Review Cheat Sheet
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusFachcommunity-Leitfaden
RelevanzSystematische manuelle und automatisierte Codeprüfung.
Direkte URL[https://cheatsheetseries.owasp.org/cheatsheets/Secure_Code_Review_Cheat_Sheet.html](https://cheatsheetseries.owasp.org/cheatsheets/Secure_Code_Review_Cheat_Sheet.html)
Abruf/Prüfung8. August 2026

S-070 - OWASP Top 10 for LLM Applications 2025

FeldAngabe
Autor/HerausgeberOWASP GenAI Security Project
TitelOWASP Top 10 for LLM Applications 2025
Datum/Stand2025
Dokumentart/StatusFachcommunity-Leitfaden
RelevanzPrompt Injection, Supply Chain, Datenoffenlegung und Excessive Agency.
Direkte URL[https://genai.owasp.org/llm-top-10/](https://genai.owasp.org/llm-top-10/)
Abruf/Prüfung8. August 2026

S-071 - Supply-chain Levels for Software Artifacts (SLSA)

FeldAngabe
Autor/HerausgeberOpenSSF
TitelSupply-chain Levels for Software Artifacts (SLSA)
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffenes Supply-Chain-Framework
RelevanzBuild-Integrität, Provenienz und Schutz vor Manipulation.
Direkte URL[https://slsa.dev/](https://slsa.dev/)
Abruf/Prüfung8. August 2026

S-072 - OpenSSF Scorecard

FeldAngabe
Autor/HerausgeberOpenSSF
TitelOpenSSF Scorecard
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOpen-Source-Sicherheitsprojekt
RelevanzAutomatisierte Risikosignale für Open-Source-Projekte und Abhängigkeiten.
Direkte URL[https://securityscorecards.dev/](https://securityscorecards.dev/)
Abruf/Prüfung8. August 2026

S-073 - SPDX Specification

FeldAngabe
Autor/HerausgeberLinux Foundation / SPDX
TitelSPDX Specification
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffener Standard
RelevanzSoftware Bill of Materials und Lizenz-/Komponentenmetadaten.
Direkte URL[https://spdx.dev/specifications/](https://spdx.dev/specifications/)
Abruf/Prüfung8. August 2026

S-074 - CycloneDX Specification

FeldAngabe
Autor/HerausgeberOWASP
TitelCycloneDX Specification
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffener Standard
RelevanzSBOM, SaaSBOM und weitere Komponenten-/Risikoformate.
Direkte URL[https://cyclonedx.org/specification/overview/](https://cyclonedx.org/specification/overview/)
Abruf/Prüfung8. August 2026

S-075 - Git Documentation

FeldAngabe
Autor/HerausgeberGit Project
TitelGit Documentation
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Dokumentation
RelevanzVersionskontrolle, Branches, Commits und Reversibilität.
Direkte URL[https://git-scm.com/doc](https://git-scm.com/doc)
Abruf/Prüfung8. August 2026

S-076 - GitHub Actions Documentation

FeldAngabe
Autor/HerausgeberGitHub
TitelGitHub Actions Documentation
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Dokumentation
RelevanzCI/CD, automatisierte Tests, Builds und Deployments.
Direkte URL[https://docs.github.com/en/actions](https://docs.github.com/en/actions)
Abruf/Prüfung8. August 2026

S-077 - Development Containers Specification

FeldAngabe
Autor/HerausgeberDev Container Specification
TitelDevelopment Containers Specification
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffene Spezifikation
RelevanzReproduzierbare isolierte Entwicklungsumgebungen.
Direkte URL[https://containers.dev/](https://containers.dev/)
Abruf/Prüfung8. August 2026

S-078 - Semantic Versioning 2.0.0

FeldAngabe
Autor/HerausgeberSemantic Versioning
TitelSemantic Versioning 2.0.0
Datum/Stand09.06.2013
Dokumentart/StatusOffene Spezifikation
RelevanzVersionierung und Kompatibilitätsaussagen.
Direkte URL[https://semver.org/](https://semver.org/)
Abruf/Prüfung8. August 2026

S-079 - ISO/IEC 25010 - Systems and software Quality Requirements and Evaluation

FeldAngabe
Autor/HerausgeberISO
TitelISO/IEC 25010 - Systems and software Quality Requirements and Evaluation
Datum/Stand2011; Nachfolgestand prüfen
Dokumentart/StatusInternationaler Standard
RelevanzQualitätsmodell für Funktionalität, Zuverlässigkeit, Wartbarkeit, Sicherheit und weitere Merkmale.
Direkte URL[https://iso25000.com/index.php/en/iso-25000-standards/iso-25010](https://iso25000.com/index.php/en/iso-25000-standards/iso-25010)
Abruf/Prüfung8. August 2026

S-080 - Guide to the Software Engineering Body of Knowledge - SWEBOK

FeldAngabe
Autor/HerausgeberIEEE Computer Society
TitelGuide to the Software Engineering Body of Knowledge - SWEBOK
Datum/StandVersion 4.0
Dokumentart/StatusBerufsständischer Referenzrahmen
RelevanzAnforderungen, Design, Konstruktion, Test, Wartung, Konfiguration und Management.
Direkte URL[https://www.computer.org/education/bodies-of-knowledge/software-engineering](https://www.computer.org/education/bodies-of-knowledge/software-engineering)
Abruf/Prüfung8. August 2026

S-081 - Site Reliability Engineering - online book

FeldAngabe
Autor/HerausgeberGoogle
TitelSite Reliability Engineering - online book
Datum/Stand2016
Dokumentart/StatusAnbieter-/Fachbuch, frei zugänglich
RelevanzBetrieb, SLOs, Monitoring, Incident Response und Fehlerbudgets.
Direkte URL[https://sre.google/sre-book/table-of-contents/](https://sre.google/sre-book/table-of-contents/)
Abruf/Prüfung8. August 2026

S-082 - The Twelve-Factor App

FeldAngabe
Autor/HerausgeberHeroku
TitelThe Twelve-Factor App
Datum/Stand2011; fortlaufend
Dokumentart/StatusEngineering-Leitfaden
RelevanzKonfiguration, Abhängigkeiten, Prozesse, Logs und Portabilität.
Direkte URL[https://12factor.net/](https://12factor.net/)
Abruf/Prüfung8. August 2026

S-083 - Secure by Design

FeldAngabe
Autor/HerausgeberCISA
TitelSecure by Design
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Sicherheitsinitiative
RelevanzSicherheit als Herstellerverantwortung statt nachträgliche Zusatzfunktion.
Direkte URL[https://www.cisa.gov/securebydesign](https://www.cisa.gov/securebydesign)
Abruf/Prüfung8. August 2026

S-084 - Developing and maintaining secure code

FeldAngabe
Autor/HerausgeberUK NCSC
TitelDeveloping and maintaining secure code
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Sicherheitsleitlinie
RelevanzLesbarer, wartbarer Code, Peer Review, Tests und sichere Entwicklung.
Direkte URL[https://www.ncsc.gov.uk/collection/developers-collection](https://www.ncsc.gov.uk/collection/developers-collection)
Abruf/Prüfung8. August 2026

S-085 - Specification

FeldAngabe
Autor/HerausgeberModel Context Protocol
TitelSpecification
Datum/Stand18.06.2025; dynamisch
Dokumentart/StatusOffene Protokollspezifikation
RelevanzStandardisierte Verbindung von Modellen mit Daten, Ressourcen und Werkzeugen.
Direkte URL[https://modelcontextprotocol.io/specification/2025-06-18](https://modelcontextprotocol.io/specification/2025-06-18)
Abruf/Prüfung8. August 2026

S-086 - Security Best Practices

FeldAngabe
Autor/HerausgeberModel Context Protocol
TitelSecurity Best Practices
Datum/StandEntwurf; geprüft 08.08.2026
Dokumentart/StatusOffizielle Protokoll-Guidance
RelevanzAuthorization, Token-Schutz, Confused Deputy, SSRF und Tool-Risiken.
Direkte URL[https://modelcontextprotocol.io/specification/draft/basic/security_best_practices](https://modelcontextprotocol.io/specification/draft/basic/security_best_practices)
Abruf/Prüfung8. August 2026

S-087 - Model Context Protocol: Security Design Considerations for AI-Driven Automation

FeldAngabe
Autor/HerausgeberNSA et al.
TitelModel Context Protocol: Security Design Considerations for AI-Driven Automation
Datum/Stand02.06.2026
Dokumentart/StatusOffizielle gemeinsame Cybersecurity-Information
RelevanzSicherheitsarchitektur und Kontrollen für MCP-gestützte Agenten.
Direkte URL[https://media.defense.gov/2026/Jun/02/2003943289/-1/-1/0/CSI_MCP_SECURITY.PDF](https://media.defense.gov/2026/Jun/02/2003943289/-1/-1/0/CSI_MCP_SECURITY.PDF)
Abruf/Prüfung8. August 2026

S-088 - Codex in ChatGPT - AI Coding Agents

FeldAngabe
Autor/HerausgeberOpenAI
TitelCodex in ChatGPT - AI Coding Agents
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzEditor-, Terminal- und Cloud-Agenten; dynamischer Funktionsstand.
Direkte URL[https://openai.com/codex/](https://openai.com/codex/)
Abruf/Prüfung8. August 2026

S-089 - Codex developer documentation

FeldAngabe
Autor/HerausgeberOpenAI
TitelCodex developer documentation
Datum/Stand31.07.2026; dynamisch
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzCLI, IDE, Cloud, Skills, Automationen und Sicherheit.
Direkte URL[https://developers.openai.com/codex](https://developers.openai.com/codex)
Abruf/Prüfung8. August 2026

S-090 - Running Codex safely at OpenAI

FeldAngabe
Autor/HerausgeberOpenAI
TitelRunning Codex safely at OpenAI
Datum/Stand08.05.2026
Dokumentart/StatusOffizieller Engineering-Bericht
RelevanzSandboxing, Berechtigungen, Netzwerk, Identität und Telemetrie.
Direkte URL[https://openai.com/index/running-codex-safely/](https://openai.com/index/running-codex-safely/)
Abruf/Prüfung8. August 2026

S-091 - Agent internet access - Codex web

FeldAngabe
Autor/HerausgeberOpenAI
TitelAgent internet access - Codex web
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzNetzwerkzugriff erhöht Prompt-Injection-, Exfiltrations- und Dependency-Risiken.
Direkte URL[https://developers.openai.com/codex/cloud/internet-access](https://developers.openai.com/codex/cloud/internet-access)
Abruf/Prüfung8. August 2026

S-092 - Introducing Codex

FeldAngabe
Autor/HerausgeberOpenAI
TitelIntroducing Codex
Datum/Stand16.05.2025
Dokumentart/StatusOffizielle Produktankündigung
RelevanzCloud-Agent in isoliertem Container; Internetzugriff während Ausführung zunächst deaktiviert.
Direkte URL[https://openai.com/index/introducing-codex/](https://openai.com/index/introducing-codex/)
Abruf/Prüfung8. August 2026

S-093 - Claude Code overview

FeldAngabe
Autor/HerausgeberAnthropic
TitelClaude Code overview
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzLiest Codebasis, ändert Dateien, führt Befehle aus und integriert Entwicklungswerkzeuge.
Direkte URL[https://docs.anthropic.com/en/docs/claude-code/overview](https://docs.anthropic.com/en/docs/claude-code/overview)
Abruf/Prüfung8. August 2026

S-094 - Claude Code security

FeldAngabe
Autor/HerausgeberAnthropic
TitelClaude Code security
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzRead-only-Standard, Freigaben und Sandbox mit Datei-/Netzwerkisolation.
Direkte URL[https://docs.anthropic.com/en/docs/claude-code/security](https://docs.anthropic.com/en/docs/claude-code/security)
Abruf/Prüfung8. August 2026

S-095 - Claude Code settings

FeldAngabe
Autor/HerausgeberAnthropic
TitelClaude Code settings
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzHierarchische Benutzer-, Projekt- und lokale Einstellungen.
Direkte URL[https://docs.anthropic.com/en/docs/claude-code/settings](https://docs.anthropic.com/en/docs/claude-code/settings)
Abruf/Prüfung8. August 2026

S-096 - Claude Code data usage

FeldAngabe
Autor/HerausgeberAnthropic
TitelClaude Code data usage
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzCode-, Session-, Credential- und Netzwerkbehandlung je Betriebsart.
Direkte URL[https://docs.anthropic.com/en/docs/claude-code/data-usage](https://docs.anthropic.com/en/docs/claude-code/data-usage)
Abruf/Prüfung8. August 2026

S-097 - About GitHub Copilot cloud agent

FeldAngabe
Autor/HerausgeberGitHub
TitelAbout GitHub Copilot cloud agent
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzRepository-Recherche, Plan, Branch-Änderungen und Pull-Request-Review.
Direkte URL[https://docs.github.com/en/copilot/concepts/agents/cloud-agent/about-cloud-agent](https://docs.github.com/en/copilot/concepts/agents/cloud-agent/about-cloud-agent)
Abruf/Prüfung8. August 2026

S-098 - About cloud and local sandboxes for GitHub Copilot

FeldAngabe
Autor/HerausgeberGitHub
TitelAbout cloud and local sandboxes for GitHub Copilot
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzIsolierte Umgebungen für Dateisystem-, Netzwerk- und Toolzugriff.
Direkte URL[https://docs.github.com/copilot/concepts/about-cloud-and-local-sandboxes](https://docs.github.com/copilot/concepts/about-cloud-and-local-sandboxes)
Abruf/Prüfung8. August 2026

S-099 - Responsible use of GitHub Copilot features

FeldAngabe
Autor/HerausgeberGitHub
TitelResponsible use of GitHub Copilot features
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzZweck, Grenzen und verantwortliche Nutzung der Copilot-Funktionen.
Direkte URL[https://docs.github.com/en/copilot/responsible-use](https://docs.github.com/en/copilot/responsible-use)
Abruf/Prüfung8. August 2026

S-100 - Gemini Code Assist agent mode overview

FeldAngabe
Autor/HerausgeberGoogle
TitelGemini Code Assist agent mode overview
Datum/Stand27.05.2026
Dokumentart/StatusOffizielle Produktdokumentation; Preview
RelevanzMehrschrittige Änderungen in VS Code/IntelliJ und Tool-/MCP-Nutzung.
Direkte URL[https://developers.google.com/gemini-code-assist/docs/agent-mode](https://developers.google.com/gemini-code-assist/docs/agent-mode)
Abruf/Prüfung8. August 2026

S-101 - Gemini CLI

FeldAngabe
Autor/HerausgeberGoogle
TitelGemini CLI
Datum/Standfortlaufend; geprüft 08.08.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzTerminal-Agent, Toolaufrufe und MCP-Integration.
Direkte URL[https://developers.google.com/gemini-code-assist/docs/gemini-cli](https://developers.google.com/gemini-code-assist/docs/gemini-cli)
Abruf/Prüfung8. August 2026

S-102 - Gemini Code Assist and responsible AI

FeldAngabe
Autor/HerausgeberGoogle
TitelGemini Code Assist and responsible AI
Datum/Stand27.05.2026
Dokumentart/StatusOffizielle Produktdokumentation
RelevanzGrenzen wie Edge Cases, Halluzinationen und Abhängigkeit von Datenqualität.
Direkte URL[https://developers.google.com/gemini-code-assist/docs/responsible-ai](https://developers.google.com/gemini-code-assist/docs/responsible-ai)
Abruf/Prüfung8. August 2026

S-103 - Verordnung (EU) 2024/2847 - Cyber Resilience Act

FeldAngabe
Autor/HerausgeberEuropäische Union
TitelVerordnung (EU) 2024/2847 - Cyber Resilience Act
Datum/Stand23.10.2024
Dokumentart/StatusEU-Verordnung
RelevanzSicherheitsanforderungen und Herstellerpflichten für Produkte mit digitalen Elementen.
Direkte URL[https://eur-lex.europa.eu/eli/reg/2024/2847/oj?locale=de](https://eur-lex.europa.eu/eli/reg/2024/2847/oj?locale=de)
Abruf/Prüfung8. August 2026

S-104 - Konsolidierte Fassung der Verordnung (EU) 2024/1689 über künstliche Intelligenz

FeldAngabe
Autor/HerausgeberEuropäische Union
TitelKonsolidierte Fassung der Verordnung (EU) 2024/1689 über künstliche Intelligenz
Datum/Stand27.07.2026
Dokumentart/StatusGeltendes EU-Recht
RelevanzKI-Kompetenz und weitere Pflichten; Schnittstelle zu Coding-Werkzeugen und entwickelten KI-Systemen.
Direkte URL[https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:02024R1689-20260727](https://eur-lex.europa.eu/legal-content/EN/TXT/HTML/?uri=CELEX:02024R1689-20260727)
Abruf/Prüfung8. August 2026

S-105 - Richtlinie (EU) 2024/2853 über die Haftung für fehlerhafte Produkte

FeldAngabe
Autor/HerausgeberEuropäische Union
TitelRichtlinie (EU) 2024/2853 über die Haftung für fehlerhafte Produkte
Datum/Stand23.10.2024
Dokumentart/StatusEU-Richtlinie
RelevanzSoftware und KI im neuen Produkthaftungsrahmen; Umsetzung bis 09.12.2026.
Direkte URL[https://eur-lex.europa.eu/eli/dir/2024/2853/oj/eng](https://eur-lex.europa.eu/eli/dir/2024/2853/oj/eng)
Abruf/Prüfung8. August 2026

S-106 - Karpukhin et al. / Facebook AI Research: Dense Passage Retrieval for Open-Domain Question Answering

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelKarpukhin et al. / Facebook AI Research: Dense Passage Retrieval for Open-Domain Question Answering
Datum/Stand30.04.2020
Dokumentart/StatusEMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzDichte Retriever für offene Fragebeantwortung; Retrievalqualität als eigener Systemfaktor.
Direkte URL[https://arxiv.org/abs/2004.04906](https://arxiv.org/abs/2004.04906)
Abruf/Prüfung8. August 2026

S-107 - Izacard und Grave: Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelIzacard und Grave: Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
Datum/Stand02.07.2020
Dokumentart/StatusEACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzFusion-in-Decoder zur Verarbeitung mehrerer abgerufener Passagen.
Direkte URL[https://arxiv.org/abs/2007.01282](https://arxiv.org/abs/2007.01282)
Abruf/Prüfung8. August 2026

S-108 - Schick et al. / Meta AI: Toolformer: Language Models Can Teach Themselves to Use Tools

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelSchick et al. / Meta AI: Toolformer: Language Models Can Teach Themselves to Use Tools
Datum/Stand09.02.2023
Dokumentart/StatusNeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzSelbstüberwachtes Lernen von API-Aufrufen für Rechnen, Suche, Kalender und weitere Werkzeuge.
Direkte URL[https://arxiv.org/abs/2302.04761](https://arxiv.org/abs/2302.04761)
Abruf/Prüfung8. August 2026

S-109 - Yao et al.: ReAct: Synergizing Reasoning and Acting in Language Models

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelYao et al.: ReAct: Synergizing Reasoning and Acting in Language Models
Datum/Stand06.10.2022
Dokumentart/StatusICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzVerzahnung von Textschritten und Aktionen in Umgebungen; frühes Agentenmuster.
Direkte URL[https://arxiv.org/abs/2210.03629](https://arxiv.org/abs/2210.03629)
Abruf/Prüfung8. August 2026

S-110 - Wei et al. / Google Research: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelWei et al. / Google Research: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Datum/Stand28.01.2022
Dokumentart/StatusNeurIPS-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzZwischenschritte können die Benchmarkleistung bei bestimmten Aufgaben verbessern.
Direkte URL[https://arxiv.org/abs/2201.11903](https://arxiv.org/abs/2201.11903)
Abruf/Prüfung8. August 2026

S-111 - Lightman et al. / OpenAI: Let’s Verify Step by Step

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelLightman et al. / OpenAI: Let’s Verify Step by Step
Datum/Stand31.05.2023
Dokumentart/StatusICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzProzess- statt ausschließlich Ergebnisbewertung bei mathematischen Lösungswegen.
Direkte URL[https://arxiv.org/abs/2305.20050](https://arxiv.org/abs/2305.20050)
Abruf/Prüfung8. August 2026

S-112 - Hendrycks et al.: Measuring Massive Multitask Language Understanding

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelHendrycks et al.: Measuring Massive Multitask Language Understanding
Datum/Stand07.09.2020
Dokumentart/StatusICLR-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzMMLU mit Fachgebieten; Beispiel eines statischen Wissens- und Verständnisbenchmarks.
Direkte URL[https://arxiv.org/abs/2009.03300](https://arxiv.org/abs/2009.03300)
Abruf/Prüfung8. August 2026

S-113 - Srivastava et al.: Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelSrivastava et al.: Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models
Datum/Stand09.06.2022
Dokumentart/StatusTransactions on Machine Learning Research / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzBIG-bench als kollaborative Benchmarksammlung und Grundlage für Diskussion emergenter Fähigkeiten.
Direkte URL[https://arxiv.org/abs/2206.04615](https://arxiv.org/abs/2206.04615)
Abruf/Prüfung8. August 2026

S-114 - Lin, Hilton, Evans: TruthfulQA: Measuring How Models Mimic Human Falsehoods

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelLin, Hilton, Evans: TruthfulQA: Measuring How Models Mimic Human Falsehoods
Datum/Stand17.09.2021
Dokumentart/StatusACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzBenchmark für wahrheitsgemäße Antworten auf Fragen, bei denen verbreitete Fehlvorstellungen naheliegen.
Direkte URL[https://arxiv.org/abs/2109.07958](https://arxiv.org/abs/2109.07958)
Abruf/Prüfung8. August 2026

S-115 - Li et al.: HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelLi et al.: HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models
Datum/Stand19.05.2023
Dokumentart/StatusEMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzGenerierte und menschlich annotierte Halluzinationsbeispiele; Ergebnisraten sind settingspezifisch.
Direkte URL[https://arxiv.org/abs/2305.11747](https://arxiv.org/abs/2305.11747)
Abruf/Prüfung8. August 2026

S-116 - Gao et al. / Google DeepMind: FACTS Grounding: A Benchmark for Evaluating Groundedness of Language Models

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelGao et al. / Google DeepMind: FACTS Grounding: A Benchmark for Evaluating Groundedness of Language Models
Datum/Stand17.12.2024
Dokumentart/StatusOffizieller Forschungsbeitrag / Benchmark | Anbieter-Originalquelle | Veröffentlicht
RelevanzBenchmark für lange Antworten, die vollständig aus bereitgestellten Dokumenten gestützt sein sollen.
Direkte URL[https://deepmind.google/discover/blog/facts-grounding-a-new-benchmark-for-evaluating-the-factuality-of-large-language-models/](https://deepmind.google/discover/blog/facts-grounding-a-new-benchmark-for-evaluating-the-factuality-of-large-language-models/)
Abruf/Prüfung8. August 2026

S-117 - Google DeepMind: FACTS Grounding public benchmark data

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelGoogle DeepMind: FACTS Grounding public benchmark data
Datum/Stand17.12.2024
Dokumentart/StatusOffizieller Datensatz / GitHub | Offizielle Benchmarkquelle | Dynamisch
RelevanzÖffentliche Benchmarkbeispiele und Evaluationsmaterial; nicht identisch mit jeder privaten Leaderboard-Auswertung.
Direkte URL[https://github.com/google-deepmind/facts_grounding](https://github.com/google-deepmind/facts_grounding)
Abruf/Prüfung8. August 2026

S-118 - Vectara: Hallucination Leaderboard / HHEM-2.3

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelVectara: Hallucination Leaderboard / HHEM-2.3
Datum/Standlaufend; geprüft 07.08.2026
Dokumentart/StatusAnbieter-Benchmark / GitHub | Anbieterquelle | Dynamisch
RelevanzDynamisches Leaderboard zur faktischen Konsistenz dokumentgestützter Zusammenfassungen; verwendet HHEM-2.3 und misst keine universelle Halluzinationswahrscheinlichkeit.
Direkte URL[https://github.com/vectara/hallucination-leaderboard](https://github.com/vectara/hallucination-leaderboard)
Abruf/Prüfung8. August 2026

S-119 - Rajpurkar et al.: SQuAD: 100,000+ Questions for Machine Comprehension of Text

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelRajpurkar et al.: SQuAD: 100,000+ Questions for Machine Comprehension of Text
Datum/Stand16.06.2016
Dokumentart/StatusEMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzFrüher extraktiver QA-Benchmark; nützlich zur Abgrenzung von Extraktion und freier Generation.
Direkte URL[https://arxiv.org/abs/1606.05250](https://arxiv.org/abs/1606.05250)
Abruf/Prüfung8. August 2026

S-120 - Rajpurkar, Jia, Liang: Know What You Don’t Know: Unanswerable Questions for SQuAD

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelRajpurkar, Jia, Liang: Know What You Don’t Know: Unanswerable Questions for SQuAD
Datum/Stand11.06.2018
Dokumentart/StatusACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzSQuAD 2.0 verlangt auch Erkennen unlösbarer Fragen; Abstention als Qualitätsdimension.
Direkte URL[https://arxiv.org/abs/1806.03822](https://arxiv.org/abs/1806.03822)
Abruf/Prüfung8. August 2026

S-121 - Cole et al.: Selectively Answering Ambiguous Questions

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelCole et al.: Selectively Answering Ambiguous Questions
Datum/Stand24.05.2023
Dokumentart/StatusEMNLP-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzSelektive Beantwortung und Ambiguität; relevant für Rückfragen und Verweigerung.
Direkte URL[https://arxiv.org/abs/2305.14613](https://arxiv.org/abs/2305.14613)
Abruf/Prüfung8. August 2026

S-122 - Ribeiro et al.: Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelRibeiro et al.: Beyond Accuracy: Behavioral Testing of NLP Models with CheckList
Datum/Stand06.05.2020
Dokumentart/StatusACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzBehaviorale Testmethodik mit Fähigkeits- und Störungstests statt nur aggregierter Genauigkeit.
Direkte URL[https://arxiv.org/abs/2005.04118](https://arxiv.org/abs/2005.04118)
Abruf/Prüfung8. August 2026

S-123 - Liu et al.: Lost in the Middle: How Language Models Use Long Contexts

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelLiu et al.: Lost in the Middle: How Language Models Use Long Contexts
Datum/Stand06.07.2023; TACL 2024
Dokumentart/StatusTACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
RelevanzPositionsabhängige Nutzung langer Kontexte; häufig bessere Leistung am Anfang und Ende.
Direkte URL[https://arxiv.org/abs/2307.03172](https://arxiv.org/abs/2307.03172)
Abruf/Prüfung8. August 2026

S-124 - Bai et al.: LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding

FeldAngabe
Autor/HerausgeberSiehe Originalquelle
TitelBai et al.: LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding
Datum/Stand09.08.2023; ACL 2024
Dokumentart/StatusACL-Paper / arXiv | Wissenschaftliche Originalquelle | Peer-reviewed
Relevanz21 Datensätze in sechs Aufgabenkategorien für lange Kontexte, Englisch und Chinesisch.
Direkte URL[https://arxiv.org/abs/2308.14508](https://arxiv.org/abs/2308.14508)
Abruf/Prüfung8. August 2026

Schnell veraltende Informationen und Qualitätsbericht

Refresh-Liste

ThemaStand im DossierWarum schnell veraltend?Nächste PrüfungPrimärquellen/Beobachtung
Coding-Modelle und Agentenfunktionen08.08.2026Modelle, Sandboxes, Rechte, Previews und Limits ändern sich fortlaufendvor jeder Veröffentlichung und BeschaffungS-088, S-093, S-097, S-100
Benchmark-Ranglisten08.08.2026Datasets, Scaffolds, Modelle und Audits ändern ScoresquartalsweiseS-057, S-058, S-059, S-061, S-062
ProduktivitätseffekteStudien bis 08.08.2026neuere Modelle und Selbstselektion verändern beobachtete EffektehalbjährlichS-015, S-016, S-017, S-019, S-020
Vibe-Coding-ForschungStudien bis 08.08.2026junges Feld; viele Preprints und kleine StichprobenhalbjährlichS-001, S-003, S-006, S-007
Security und Prompt Injection08.08.2026neue Angriffe, Agentenrechte und Abwehrverfahrenquartalsweise oder nach IncidentS-070, S-050, S-051, S-052
MCP-Spezifikation und Security08.08.2026Protokoll und Autorisierungsprofile entwickeln sichquartalsweiseS-085, S-086, S-087
Rechtliche Schnittstellen08.08.2026AI Act, CRA und Produkthaftungsumsetzung besitzen gestaffelte Anwendungvor BuchfreigabeS-104, S-103, S-105
Lern- und KompetenzfolgenStudien bis 08.08.2026Langzeitdaten fehlen; Interaktionsdesign ändert sichjährlichS-029, S-030, S-032, S-033
Technische Schuld und WartungStudien bis 08.08.2026erste großskalige Studien sind überwiegend vorläufigjährlichS-039, S-040, S-041, S-044

Qualitätsbericht

PrüfpunktErgebnis
Dokumentierte Quellen124
Zentrale Kernaussagen50
Forschungs- und Evidenzprofile18
Unternehmens- und Projektszenarien18
Umsetzungsschritte36
Mythenprüfungen20
Offene Forschungs-/Praxisfragen20
Glossarbegriffe79
QuellenklassenPreprints: 46; Peer-reviewte/Wissenschaftliche Publikationen: 19; Weitere belastbare Fachquellen: 20; Anbieter-/Produktdokumentation: 3; Offizielle Quellen/Standards/Recht: 36
Besonders starke BereicheProduktivitäts-Gegenüberstellung; Arbeitspraktiken; Skill Formation; Benchmarks; Sicherheits- und Betriebsgrundlagen
Wesentliche GrenzenJunges Feld, viele Preprints, schnelle Produktänderungen, wenig mehrjährige Wartungs- und Incident-Daten, eingeschränkte Vergleichbarkeit von Studien
Vor Buchveröffentlichung erneut prüfenProduktfunktionen, Benchmark-Audits, neue RCTs/Feldstudien, Sicherheitswarnungen, EU-Rechtsstand und alle stark zugespitzten Zahlen

Schlussfolgerung für die Buchreihe

Programmieren mit KI ist weder nur eine neue Form der Codevervollständigung noch die Abschaffung des Software-Engineerings. Die Codeerzeugung wird billiger, schneller und für mehr Menschen zugänglich. Dadurch verschiebt sich die knappe Ressource zu klaren Anforderungen, belastbarem Kontext, technischer Urteilskraft, Tests, Review, Sicherheit, Betrieb und Verantwortung. Für kleine, isolierte und reversible Vorhaben kann enges Vibe Coding ein sinnvoller Weg sein. Je größer Datenwert, Nutzerkreis, Schadenswirkung und Lebensdauer werden, desto stärker muss der Arbeitsmodus in professionell kontrollierte Softwareentwicklung übergehen.

Die entscheidende Kompetenz lautet deshalb nicht: „Ich kann mir Code generieren lassen.“ Sie lautet: „Ich kann ein Problem so in ein System übersetzen, dass Anforderungen, Datenflüsse, Grenzen, Prüfnachweise und Betrieb verständlich bleiben - auch dann, wenn ein Modell einen großen Teil des Codes erzeugt.“

Ende des Fakten-Dossiers 11 - Fakten- und Recherchestand: 8. August 2026.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.