KI-Sicherheit und Missbrauch — Wissen

Management-Zusammenfassung

Prompt Injection ist keine Randerscheinung

OWASP führt Prompt Injection in der 2025er Liste der Risiken für LLM-Anwendungen an erster Stelle. Dabei verändert eine Eingabe das Verhalten oder die Ausgabe eines Modells entgegen der beabsichtigten Steuerung. Besonders kritisch ist indirekte Prompt Injection: Die schädliche Instruktion stammt nicht vom Benutzer, sondern steckt in einer Webseite, E-Mail, Datei, Datenbank, einem Tool-Ergebnis oder einer RAG-Quelle, die das Modell verarbeitet. Das BSI beschreibt genau dieses Risiko für LLMs, die externe Quellen und Anwendungen einbeziehen. ^{[S-001, S-011]}

Der entscheidende Unterschied zu klassischer SQL-Injection: Ein heutiges LLM besitzt innerhalb seines Kontextes keine zuverlässig durchsetzbare technische Trennung zwischen „Daten“ und „Instruktionen“. Das britische NCSC warnt deshalb ausdrücklich davor, Prompt Injection wie eine klassische Injection-Schwachstelle zu behandeln. Input-Sanitizing allein löst das Grundproblem nicht. ^[S-010]

Für reine Chatbots kann der Schaden auf falsche Antworten oder Datenoffenlegung begrenzt bleiben. Sobald ein Modell jedoch E-Mails lesen, Dateien verändern, APIs aufrufen, Überweisungen vorbereiten, Tickets schließen oder andere Systeme steuern darf, wird aus einer Manipulation der Antwort eine Manipulation von Handlungen. Genau deshalb führt OWASP „Excessive Agency“ als eigenes Risiko und veröffentlichte Ende 2025 zusätzlich eine Top-10-Liste für agentische Anwendungen. ^{[S-002, S-003]}

Jailbreak und Prompt Injection sind verwandt, aber nicht identisch

Ein Jailbreak zielt typischerweise darauf, Sicherheits- oder Nutzungsbeschränkungen eines Modells zu umgehen. Prompt Injection zielt auf die Instruktionssteuerung einer konkreten Anwendung. In der Praxis überlappen die Techniken. Forschung wie JailbreakBench und HarmBench entstand gerade deshalb, weil Erfolgsraten verschiedener Angriffe ohne standardisierte Testbedingungen kaum vergleichbar waren. ^{[S-047, S-048]}

Abwehr ist möglich, aber keine einzelne Schutzschicht sollte als absolut gelten. Anthropic berichtete 2025 bei einem experimentellen Constitutional-Classifier-System über eine starke Reduktion erfolgreicher Jailbreaks, wies aber selbst auf Overrefusal und zusätzlichen Rechenaufwand hin. 2026 betonte Anthropic erneut, dass derzeit keine am Markt befindlichen AI-Systeme perfekt robuste Jailbreak-Abwehr besitzen. OpenAI verfolgt mit Instruction-Hierarchy-Training denselben Grundgedanken: Instruktionen unterschiedlicher Vertrauensstufen müssen explizit priorisiert werden. ^{[S-050, S-051, S-052]}

Agenten verschieben die Sicherheitsfrage von „Was sagt die KI?“ zu „Was darf sie tun?“

AgentDojo untersucht Agenten, die mit E-Mail, Banking und Reisebuchungen interagieren, und enthält 97 realistische Aufgaben sowie 629 Sicherheitstestfälle. Die zentrale Erkenntnis ist nicht, dass jeder Agent unsicher ist, sondern dass Zuverlässigkeit und Sicherheit getrennt gemessen werden müssen: Ein Agent kann eine Aufgabe korrekt lösen und trotzdem auf manipulierte externe Daten reagieren. ^[S-046]

Für Unternehmen folgt daraus ein robustes Architekturprinzip: Das Sprachmodell darf nicht die letzte Sicherheitsinstanz sein. Berechtigungen, Freigaben, Transaktionsgrenzen, Tool-Allowlisting, Datenklassifizierung, Netzwerkgrenzen und Human Approval müssen außerhalb des Modells durchgesetzt werden. NCSC/CISA und der britische AI Cyber Security Code empfehlen Secure-by-Design, Least Privilege, sichere APIs, getrennte Umgebungen, Logging, Monitoring und Incident-Management. ^{[S-008, S-009]}

KI macht Betrug skalierbarer und glaubwürdiger

Das FBI warnt, dass generative KI Zeit und Aufwand für Betrüger reduziert und die Glaubwürdigkeit von Betrug erhöht. Genannt werden massenhaft erzeugte Profile, besser formulierte Phishing-Nachrichten, Übersetzungen ohne typische Sprachfehler, gefälschte Ausweise, Bilder, Audio und Videos. ^[S-020]

INTERPOL bewertet KI 2026 als „Force Multiplier“ für Finanzbetrug. Der Bericht beschreibt AI-gestützte Personalisierung, synthetische Identitäten, Voice-/Face-Cloning und agentische Systeme. Die dort genannte Schätzung, AI-enhanced fraud sei 4,5-mal profitabler, ist keine universelle Naturkonstante; sie ist als von INTERPOL übernommene, quellenabhängige Schätzung zu behandeln. ^[S-019]

Europol berichtet im IOCTA 2026, dass generative KI zunehmend zur Anpassung von Social Engineering eingesetzt wird und Online-Betrug beschleunigt und verschleiert. Gleichzeitig bleiben klassische Enabler relevant: Caller-ID-Spoofing, kompromittierte Konten, gestohlene Daten und SIM-Infrastrukturen. ^{[S-017, S-018]}

CEO-Fraud ist älter als generative KI - Deepfakes erhöhen aber die Beweiskraft des Angreifers

Die deutsche Polizeiliche Kriminalprävention beschreibt CEO-Fraud als etabliertes Muster: Täter recherchieren Unternehmen, Führungskräfte und Abläufe und erzeugen Zeitdruck, Geheimhaltung und angebliche Autorität. Zu den Informationsquellen gehören ausdrücklich Unternehmenswebseiten, Wirtschaftsberichte und Handelsregister. ^[S-026]

Generative KI kann diese Vorbereitung beschleunigen und um Stimme oder Video erweitern. Das BSI nennt ausdrücklich den Fall, dass ein Angreifer mit einer imitierten Stimme des Geschäftsführers eine Geldtransaktion auslösen will. Daraus folgt: Stimme, Video, angezeigte Telefonnummer und Schreibstil sind keine hinreichenden Authentifizierungsmerkmale mehr. ^{[S-012, S-028]}

Fake-Rechnungen nach Registereinträgen sind real - KI ist dafür nicht erforderlich

Nach Handelsregistereintragungen oder Änderungen erhalten Unternehmen seit Jahren irreführende Zahlungsaufforderungen. Die IHK Reutlingen verweist auf Warnungen der Justizbehörden vor Schreiben, die amtliche Rechnungen nachahmen oder Leistungen nichtamtlicher Register anbieten. ^[S-027]

Diese Masche ist kein KI-Phänomen. KI kann aber Layout, Sprache, Personalisierung, Skalierung und Recherche verbessern. Wer jeden modernen Betrug als „KI-Betrug“ bezeichnet, überschätzt die Technologie und unterschätzt organisatorische Schwachstellen.

Deepfake-Detektion ist hilfreich, aber kein Wahrheitsautomat

Das BSI beschreibt sicht- und hörbare Artefakte sowie automatisierte Detektoren, weist aber auf Generalisierungsprobleme und adversariale Umgehung hin. Deshalb darf eine Organisation kritische Freigaben nicht von einem einzelnen Deepfake-Detektor abhängig machen. ^[S-012]

NIST betrachtet Provenance, Watermarking und Detection als komplementäre technische Ansätze. C2PA ermöglicht kryptografisch gebundene Herkunfts- und Bearbeitungsinformationen. C2PA stellt jedoch ausdrücklich klar: Gültige Provenance beweist nicht, dass der Inhalt sachlich wahr ist; fehlende Content Credentials beweisen umgekehrt nicht, dass ein Inhalt falsch ist. ^{[S-007, S-045]}

Seit 2. August 2026 greifen zentrale Transparenzpflichten des AI Act

Art. 50 AI Act verpflichtet bestimmte Anbieter generativer Systeme zu maschinenlesbarer Kennzeichnung synthetischer Inhalte und Betreiber unter anderem zur Offenlegung von Deepfakes. Die Europäische Kommission veröffentlichte 2026 ergänzende Leitlinien und einen Code of Practice. Der Code wurde von Kommission und AI Board als geeignetes freiwilliges Instrument bewertet; seine Einhaltung ist jedoch kein unwiderlegbarer Beweis vollständiger Rechtskonformität. ^{[S-030, S-031, S-032, S-033]}

Für Hochrisiko-KI verlangt Art. 15 angemessene Robustheit und Cybersecurity. Die technischen Lösungen sollen gegebenenfalls Data Poisoning, Model Poisoning, adversariale Eingaben, Vertraulichkeitsangriffe und Modellschwachstellen adressieren. Für GPAI-Modelle mit systemischem Risiko verlangt Art. 55 unter anderem adversariales Testing, Risikominderung, Incident-Dokumentation und ein angemessenes Cybersecurity-Niveau. ^[S-030]

KI-Sicherheit ersetzt bestehende IT-Sicherheit nicht

NIS2 verlangt für betroffene wesentliche und wichtige Einrichtungen angemessene technische, operative und organisatorische Maßnahmen, einschließlich Incident Handling, Supply-Chain-Sicherheit, sichere Beschaffung/Entwicklung, Schwachstellenmanagement, Cyberhygiene, Training, Kryptografie und Zugriffskontrolle. Die DSGVO verlangt bei personenbezogenen Daten ein risikoadäquates Schutzniveau. Der Cyber Resilience Act ergänzt horizontale Anforderungen für Produkte mit digitalen Elementen. ^{[S-036, S-037, S-038]}

KI-Sicherheit ist deshalb eine zusätzliche Schicht auf klassischer Security. Ein unsicheres IAM, fehlende MFA, zu breite API-Rechte, unkontrollierte Secrets oder mangelhafte Backups werden nicht dadurch sicher, dass ein modernes Modell davor sitzt.

Management-Fazit

Die stärkste Sicherheitsstrategie ist keine „magische Prompt-Injection-Erkennung“. Sie ist Defense in Depth: Daten und Instruktionen nach Vertrauensstufe behandeln, Agentenrechte minimieren, irreversible Aktionen freigabepflichtig machen, Identitäten außerhalb von Stimme/Video verifizieren, Zahlungsprozesse vom Kommunikationskanal trennen, Modelle und Datenlieferketten prüfen, Logs führen, Red-Teaming betreiben und Vorfälle üben.

Für Geschäftsführer ist die wichtigste Veränderung organisatorisch: Eine Nachricht des Chefs, ein Video-Call, eine perfekte Rechnung oder eine scheinbar interne E-Mail darf bei kritischen Aktionen nicht mehr als Beweis genügen. Der sichere Prozess muss stärker sein als die perfekte Fälschung.

Die 50 wichtigsten Kernaussagen

ID	Kernaussage	Status	Einschränkung	Quellen	Refresh
K-001	Prompt Injection ist OWASP LLM01:2025.	Sicherheitsstandard	OWASP ist kein Gesetz.	S-001, S-002	mittel
K-002	Indirekte Prompt Injection kann in Webseiten, Dateien, E-Mails, Tool-Outputs oder RAG-Quellen stecken.	Forschungs-/Behördenstand	Wirkung hängt von Architektur und Rechten ab.	S-011, S-049	hoch
K-003	LLMs erzwingen im Prompt keine harte technische Trennung zwischen Instruktion und Daten.	Behördenposition	Training kann Robustheit erhöhen, aber keine absolute Grenze garantieren.	S-010, S-052	hoch
K-004	Prompt Injection und SQL-Injection benötigen unterschiedliche Abwehrmodelle.	Behördenposition	Klassische AppSec bleibt zusätzlich notwendig.	S-010	mittel
K-005	Agentische Tool-Nutzung erhöht den möglichen Schaden erfolgreicher Prompt Injection.	Sicherheitsstandard/Forschung	Risiko hängt von Berechtigungen ab.	S-003, S-046	hoch
K-006	Least Privilege ist bei Agenten zentral.	Best Practice	Umsetzung ist kontextabhängig.	S-008, S-009	mittel
K-007	Kritische Aktionen sollten außerhalb des LLM durch Policies und Freigaben begrenzt werden.	Best Practice	Keine Architektur ist universell.	S-008, S-009	mittel
K-008	Jailbreaks umgehen Safety-Guardrails; Prompt Injection manipuliert die Instruktionssteuerung einer Anwendung.	Forschungsstand	Techniken überlappen.	S-047, S-050	mittel
K-009	Jailbreak-Erfolgsraten sind ohne einheitliche Benchmarks schlecht vergleichbar.	Forschungsstand	Benchmarks altern schnell.	S-047, S-048	hoch
K-010	Perfekte Jailbreak-Robustheit darf 2026 nicht unterstellt werden.	Forschungs-/Anbieterstand	Neue Modelle können Lage ändern.	S-050, S-051	sehr hoch
K-011	Input-/Output-Classifier können Risiken reduzieren, erzeugen aber Kosten und Fehlklassifikationen.	Forschungsstand	Anbieterbefunde sind nicht universell.	S-050	hoch
K-012	Instruction-Hierarchy-Training kann Robustheit gegen niedrig priorisierte schädliche Instruktionen verbessern.	Forschungsstand	Kein Ersatz für Systemkontrollen.	S-052	hoch
K-013	RAG-Systeme schaffen Angriffsflächen über manipulierte Wissensquellen.	Sicherheitsstandard	Risiko hängt von Ingestion/Retrieval ab.	S-002, S-004	hoch
K-014	Trainings-, Fine-Tuning- und Embedding-Daten können Ziel von Poisoning sein.	Sicherheitsstandard	Angriffsmodelle unterscheiden sich.	S-002, S-005, S-014	hoch
K-015	Modell- und Datensupply-Chain müssen inventarisiert und geprüft werden.	Behörden-/Best-Practice	Pflichten hängen vom Rechtsrahmen ab.	S-008, S-009, S-036	mittel
K-016	System-Prompts sind keine geeignete Ablage für Geheimnisse, die niemals offengelegt werden dürfen.	Sicherheitsstandard	Vertraulichkeit kann trotzdem betrieblich sinnvoll sein.	S-002	mittel
K-017	LLM-Ausgaben sind als untrusted data zu behandeln, wenn sie an Interpreter oder APIs gehen.	Sicherheitsstandard	Sanitization ist kontextabhängig.	S-002	mittel
K-018	Sensible Daten können über Modell- oder Anwendungsausgaben offengelegt werden.	Sicherheitsstandard	Nicht jede Offenlegung stammt aus Training.	S-002, S-038	mittel
K-019	Generative KI senkt laut FBI Zeit und Aufwand für glaubwürdigen Betrug.	Behördenbefund	Keine universelle quantitative Rate.	S-020	mittel
K-020	KI kann Phishing sprachlich verbessern, übersetzen und massenhaft personalisieren.	Behördenbefund	Phishing funktioniert auch ohne KI.	S-020, S-017	hoch
K-021	Deepfakes können Stimme, Gesicht und Video zur Identitätsvortäuschung nutzen.	Behördenbefund	Qualität und Aufwand variieren.	S-012, S-019	hoch
K-022	Stimme allein ist für kritische Freigaben kein robustes Authentifizierungsmerkmal.	Eigene Synthese	Abgeleitet aus Voice-Cloning- und Fraud-Evidenz.	S-012, S-020, S-021	hoch
K-023	Angezeigte Telefonnummern können manipuliert werden.	Behördenbefund	Nicht jeder unbekannte Anruf ist Spoofing.	S-028, S-018	mittel
K-024	CEO-Fraud basiert auf Autorität, Zeitdruck, Geheimhaltung und Vorrecherche.	Behördenbefund	KI ist dafür nicht erforderlich.	S-026	mittel
K-025	Handelsregister- und Unternehmensdaten können Betrügern Kontext für personalisierte Ansprache liefern.	Behörden-/Praxisbefund	Öffentliche Daten sind nicht ursächlich für Betrug.	S-026, S-027	mittel
K-026	Fake-Rechnungen nach Registereinträgen sind ein dokumentiertes Betrugsmuster.	Praxis-/Behördenwarnung	Kein spezifisches KI-Phänomen.	S-027	mittel
K-027	BEC verursachte laut FBI/IC3 2024 gemeldete Verluste von rund 2,77 Mrd. USD.	Amtliche Statistik USA	Nicht vollständig KI-attributierbar.	S-022	jährlich
K-028	INTERPOL bewertet BEC 2026 als weltweit besonders häufig gemeldete Fraud-Typologie.	Strafverfolgungsanalyse	INTERPOL-Daten sind kein vollständiges Weltregister.	S-019	jährlich
K-029	INTERPOL beobachtet eine Zunahme synthetischer Identitätsbetrugsfälle mit KI-Unterstützung.	Strafverfolgungsanalyse	Keine vollständige Prävalenzmessung.	S-019	hoch
K-030	FinCEN beobachtete mehr Verdachtsmeldungen zu Deepfake-Medien, besonders gefälschten Identitätsdokumenten.	Behördenbefund USA	US-Finanzsektor.	S-023	hoch
K-031	Deepfake-Erkennung ist anfällig für Generalisierungsprobleme.	Behörden-/Forschungsstand	Leistungswerte hängen vom Datensatz ab.	S-012, S-007	hoch
K-032	Ein einzelner Deepfake-Detektor sollte keine kritische Freigabe entscheiden.	Eigene Synthese	Defense-in-depth-Empfehlung.	S-012, S-007	mittel
K-033	C2PA kann Herkunfts- und Bearbeitungsinformationen kryptografisch binden.	Technischer Standard	Adoption ist nicht universell.	S-045	hoch
K-034	C2PA-Provenance beweist nicht die sachliche Wahrheit eines Inhalts.	Technischer Standard	Provenance und Faktizität sind verschieden.	S-045	mittel
K-035	Fehlende Content Credentials beweisen nicht, dass ein Inhalt falsch ist.	Technischer Standard	Legitimer Content kann ohne C2PA existieren.	S-045	mittel
K-036	Art. 50 AI Act enthält Transparenzpflichten für bestimmte synthetische Inhalte und Deepfakes.	Geltendes EU-Recht	Ausnahmen und Übergangsregeln beachten.	S-030, S-031	hoch
K-037	Die Art.-50-Pflichten sind seit 2. August 2026 anwendbar.	Geltendes EU-Recht	Übergang für bestimmte Alt-Systeme beachten.	S-031, S-032	hoch
K-038	Der Transparenz-Code 2026 ist ein freiwilliges Instrument zur Compliance-Unterstützung.	Offizielle EU-Position	Keine unwiderlegbare Konformitätsvermutung.	S-032, S-033	hoch
K-039	Art. 15 AI Act verlangt bei Hochrisiko-KI angemessene Robustheit und Cybersecurity.	Geltendes EU-Recht	Hochrisiko-Anwendungsbereich gesondert prüfen.	S-030	mittel
K-040	Art. 15 nennt Data/Model Poisoning, adversariale Eingaben und Vertraulichkeitsangriffe ausdrücklich.	Geltendes EU-Recht	„where appropriate“ und risikobasiert.	S-030	mittel
K-041	Art. 55 verlangt für GPAI mit systemischem Risiko adversariales Testing und Cybersecurity.	Geltendes EU-Recht	Nur betroffene GPAI-Provider.	S-030, S-034	hoch
K-042	NIS2 verlangt bei betroffenen Einrichtungen Supply-Chain-Sicherheit, Incident Handling, Training und Access Control.	Geltendes EU-Recht	Anwendungsbereich prüfen.	S-036	mittel
K-043	DSGVO Art. 32 bleibt für personenbezogene Daten in KI-Systemen relevant.	Geltendes EU-Recht	Risikobasierte Einzelfallprüfung.	S-038	mittel
K-044	Der Cyber Resilience Act ergänzt Security-Pflichten für Produkte mit digitalen Elementen.	Geltendes EU-Recht	Gestaffelte Anwendung beachten.	S-037	hoch
K-045	Betrug mit KI kann unter bestehende Straftatbestände fallen; ein eigener „KI-Betrug“-Tatbestand ist nicht Voraussetzung.	Rechtsanalyse	Einzelfall entscheidet.	S-039, S-040, S-041	mittel
K-046	Unbefugtes Ausspähen oder Verändern von Daten kann unabhängig vom KI-Einsatz strafbar sein.	Geltendes deutsches Recht	Tatbestandsvoraussetzungen prüfen.	S-042, S-043	mittel
K-047	Geschäftsgeheimnisse benötigen angemessene Geheimhaltungsmaßnahmen; unbefugte Erlangung/Nutzung ist gesetzlich adressiert.	Geltendes deutsches Recht	Geheimnisqualität und Maßnahmen sind einzelfallabhängig.	S-044	mittel
K-048	AI Security braucht Logging, Monitoring, Incident- und Recovery-Pläne.	Behörden-/Best-Practice	Umfang risikobasiert.	S-009	mittel
K-049	Red Teaming muss Modelle, Prompts, Datenquellen, Tools und Berechtigungen einbeziehen.	Forschungs-/Best-Practice	Kein einmaliger Test.	S-004, S-046, S-048	hoch
K-050	Der sichere Geschäftsprozess muss stärker sein als eine glaubwürdige synthetische Identität.	Eigene Synthese	Organisatorische Schlussfolgerung.	S-012, S-019, S-026	mittel

Methodik und Evidenzhierarchie

Recherchiert wurde mit Stichtag 7. August 2026. Primär berücksichtigt wurden EU-Rechtsakte, Bundesrecht, Behörden, Strafverfolgungsbehörden, Sicherheitsbehörden und Originalforschung. Anbieterforschung wird nur dort genutzt, wo sie eigene Schutzverfahren oder beobachtete Missbrauchsmuster dokumentiert; solche Aussagen werden nicht als neutrale Marktstatistik behandelt.

Die Evidenz wird in fünf Klassen getrennt: (1) geltendes Recht, (2) Behörden- und Strafverfolgungsbefunde, (3) offene Sicherheitsstandards und Best Practices, (4) wissenschaftliche Originalforschung/Benchmarks, (5) Anbieterbefunde. Quantitative Fraud-Zahlen werden nie automatisch KI zugerechnet, wenn die Quelle nur die Gesamtbetrugsart misst.

Wichtige Recherchegrenze: Cybercrime-Dunkelfelder sind groß. Polizeiliche Meldungen, IC3-Daten und Fraud-Assessments bilden nur gemeldete oder beobachtete Fälle ab. Ebenso ändern sich Frontier-Modelle, Guardrails und Angriffstechniken schnell. Deshalb enthält dieses Dossier eine explizite Refresh-Liste.

Bedrohungsmodell: Was ist bei KI tatsächlich neu?

KI-Sicherheit lässt sich in drei Ebenen zerlegen:

Angriffe auf das KI-System: Prompt Injection, Jailbreak, Poisoning, Model Extraction, Datenoffenlegung, RAG-Manipulation.
Angriffe durch ein kompromittiertes KI-System: Tool-Missbrauch, falsche Transaktionen, Datenexfiltration, unerwünschte Änderungen.
Missbrauch von KI als Werkzeug: Phishing, BEC, Deepfakes, synthetische Identitäten, Scam-Automatisierung.

Viele klassische Sicherheitsziele bleiben identisch: Vertraulichkeit, Integrität, Verfügbarkeit, Authentizität, Zugriffskontrolle und Nachvollziehbarkeit. Neu ist, dass natürlichsprachliche Inhalte gleichzeitig Nutzdaten und Steuerimpulse sein können. ^{[S-005, S-010]}

Die wichtigste Architekturfrage lautet deshalb nicht „Welches Modell ist am sichersten?“, sondern: Welche untrusted inputs sieht das Modell, auf welche Geheimnisse kann es zugreifen und welche Aktionen darf es auslösen?

Prompt Injection und indirekte Prompt Injection

Direkte Prompt Injection kommt vom interagierenden Nutzer. Indirekte Prompt Injection wird über Daten eingeschleust, die das System im Auftrag des Nutzers verarbeitet. Greshake et al. demonstrierten 2023, dass manipulierte externe Inhalte LLM-integrierte Anwendungen zu Datenabfluss oder unerwünschten API-Aktionen bringen können. ^[S-049]

Das BSI beschreibt als Risikokonstellation insbesondere LLMs, die externe Quellen und Anwendungen einbeziehen. OWASP empfiehlt unter anderem Privilegienminimierung, klare Vertrauensgrenzen, Output-Validierung und Human Approval für risikoreiche Aktionen. ^{[S-001, S-011]}

Praktische Konsequenz: Ein E-Mail-Agent darf den Text einer eingehenden E-Mail nicht als vertrauenswürdige Instruktion behandeln. Ein Web-Agent darf Webseiteninhalt nicht automatisch in Handlungsbefehle übersetzen. Ein RAG-System muss Dokumente als Daten behandeln, nicht als Autorität über Systemregeln.

Jailbreaks und Safety-Bypass

Jailbreaks zielen auf die Schutzregeln des Modells. Many-shot jailbreaking zeigte, dass lange Kontexte selbst neue Angriffsflächen schaffen können. JailbreakBench und HarmBench standardisieren Tests, weil Modell-, Prompt- und Scoring-Unterschiede sonst zu irreführenden Vergleichen führen. ^{[S-047, S-048, S-053]}

Anbieter entwickeln mehrschichtige Abwehr. Anthropic dokumentierte Constitutional Classifiers; OpenAI Instruction Hierarchy. Diese Ansätze sind relevant, aber nicht als Garantie zu lesen. ^{[S-050, S-051, S-052]}

Für Unternehmensanwendungen ist entscheidend: Ein Jailbreak darf nicht automatisch zu Datenzugriff oder realen Aktionen führen. Safety-Guardrails des Modells und Security Controls des Systems sind getrennte Schichten.

Agentische Systeme und Excessive Agency

Agenten kombinieren Modellentscheidungen mit Werkzeugen. Damit entsteht eine klassische Least-Privilege-Frage in neuer Form. OWASP bezeichnet zu weitreichende Funktionalität, Berechtigungen oder Autonomie als „Excessive Agency“. ^{[S-002, S-003]}

Sicherheitsarchitektur sollte mindestens enthalten:

separate Read-/Write-Berechtigungen,
minimale OAuth-/API-Scopes,
Allowlisting von Tools und Zielen,
Betrags- und Transaktionslimits,
Human Approval vor irreversiblen Aktionen,
keine Secrets im Modellkontext, wenn vermeidbar,
sandboxed execution,
vollständige Audit-Logs,
Rate Limits und Kill Switches.

AgentDojo zeigt, warum Security-Tests reale Tool-Ketten abbilden müssen. Ein Agent, der ohne Angriff schon unzuverlässig arbeitet, ist kein geeigneter Kandidat für hochkritische Autonomie. ^[S-046]

RAG, Embeddings, Memory und Knowledge-Base-Poisoning

RAG reduziert nicht automatisch Halluzinationen und schafft eine neue Vertrauensschicht: die Wissensbasis. Manipulierte Dokumente können Retrieval und Modellverhalten beeinflussen. OWASP führt Vector- und Embedding-Schwächen als eigenes Risiko. ^[S-002]

Kontrollen: Provenance der Dokumente, getrennte Schreibrechte, Ingestion-Freigaben, Malware-Scanning, Versionshistorie, Mandantentrennung, Retrieval-Filter, Berechtigungsprüfung vor Retrieval, Kennzeichnung untrusted Quellen und Tests mit absichtlich manipulierten Dokumenten.

Memory-Systeme erhöhen Persistenzrisiken. Eine einmal eingeschleuste falsche Information oder Instruktion kann wiederholt wirksam werden. Deshalb braucht persistentes Agenten-Memory eigene Schreib-, Review- und Löschregeln.

Trainingsdaten, Fine-Tuning und Model Poisoning

NIST und OWASP unterscheiden Poisoning von klassischen Laufzeitangriffen. Manipulierte Trainings- oder Fine-Tuning-Daten können Verhalten, Backdoors oder Verzerrungen verankern. ^{[S-002, S-005]}

Die gemeinsame AI-Data-Security-Guidance unter Führung des NSA AISC betont die Schutzbedürftigkeit von Daten über Entwicklung, Test und Betrieb hinweg. ^[S-014]

Unternehmen sollten Datensätze versionieren, Herkunft dokumentieren, Schreibrechte minimieren, Integritätsprüfungen einsetzen und Training/Fine-Tuning reproduzierbar machen. Externe Datensätze und Modelle gehören in die Supply-Chain-Prüfung.

Sensitive Information Disclosure und System-Prompt-Leaks

OWASP weist darauf hin, dass LLM-Anwendungen personenbezogene Daten, Finanzdaten, Gesundheitsinformationen, Credentials, Geschäftsgeheimnisse oder proprietäre Informationen offenlegen können. ^[S-002]

Ein System-Prompt kann operative Regeln enthalten, sollte aber nicht als Tresor verwendet werden. API-Schlüssel, Passwörter und langfristige Secrets gehören in Secret Stores und deterministische Zugriffskontrollen. Datenminimierung reduziert zugleich die Schadenshöhe erfolgreicher Angriffe.

Unsichere Output-Verarbeitung und Tool-Ketten

Ein LLM-Output kann Code, HTML, SQL, Shell-Befehle oder API-Parameter enthalten. Wird er ungeprüft ausgeführt, entsteht „Improper Output Handling“. ^[S-002]

Deshalb: strukturierte Schemas, Parser statt String-Konkatenation, Allowlisting, Parametergrenzen, Prepared Statements, Escaping, Sandbox, Egress-Control und separate Autorisierung. Die Tatsache, dass ein Modell eine Aktion vorgeschlagen hat, ist keine Autorisierung.

Supply Chain, Modelle, Plugins, MCP/API und Abhängigkeiten

AI-Systeme bestehen aus Modell, Runtime, Frameworks, Plugins, APIs, Vektordatenbank, Datenquellen, Observability und Identitätsdiensten. NIS2 verlangt für betroffene Einrichtungen ausdrücklich Supply-Chain-Sicherheit; der UK Code fordert Asset-Inventar und Schutz der Lieferkette. ^{[S-009, S-036]}

Bei MCP- oder Tool-Integrationen gilt dieselbe Regel: Tool-Beschreibung und Tool-Output sind keine vertrauenswürdige Sicherheitsgrenze. Berechtigungen müssen im Zielsystem selbst begrenzt werden.

Deepfakes, Voice Cloning und synthetische Identitäten

Das BSI unterscheidet manipulierte Gesichter, Stimmen und Texte. Deepfakes können biometrische Verfahren, Social Engineering, CEO-Fraud, Desinformation und Rufschädigung unterstützen. ^[S-012]

FinCEN beobachtete 2024 eine Zunahme von Verdachtsmeldungen mit Deepfake-Medien, besonders gefälschten Identitätsdokumenten. INTERPOL berichtet 2026 über Voice-/Face-Cloning aus kurzen Ausgangssequenzen und wachsende synthetische Identitätskriminalität. ^{[S-019, S-023]}

Authentifizierung muss deshalb stärker auf kryptografische, gerätegebundene oder out-of-band Verfahren setzen als auf die bloße Wahrnehmung einer Stimme oder eines Gesichts.

CEO-Fraud, BEC, Fake-Rechnungen und Registerdaten

CEO-Fraud nutzt Autorität und Dringlichkeit. Die Polizei empfiehlt organisatorische Gegenmaßnahmen und sensibilisiert insbesondere Finanzabteilungen. ^[S-026]

BEC verursachte laut FBI/IC3 2024 gemeldete Verluste von rund 2,77 Milliarden US-Dollar. Diese Zahl beschreibt BEC insgesamt und darf nicht als „KI-Schaden“ bezeichnet werden. ^[S-022]

Fake-Rechnungen nach Handelsregistervorgängen sind dokumentiert. KI kann solche Schreiben verbessern, aber die Basismasche funktioniert ohne KI. ^[S-027]

Robuste Zahlungsregel: Änderung von Bankverbindungen, außergewöhnliche Überweisungen und vertrauliche Sonderzahlungen immer über einen zweiten, vorher bekannten Kanal verifizieren; Vier-Augen-Prinzip und Limits technisch erzwingen.

KI als Beschleuniger klassischer Betrugsmaschen

Das FBI nennt fünf Beschleuniger: schnellere Texterstellung, Skalierung, Übersetzung, synthetische Profile und Medien sowie glaubwürdigere Websites/Chatbots. ^[S-020]

Europol und INTERPOL sehen dieselbe Entwicklung: AI ersetzt nicht die gesamte Betrugsinfrastruktur, sondern verbessert Social Engineering, Profiling und Automatisierung. ^{[S-017, S-019]}

Die sachlich richtige Buchaussage lautet deshalb: KI industrialisiert Teile des Betrugsprozesses, nicht den gesamten Betrug. Geldwäsche, Konten, Identitäten, Zahlungswege, kompromittierte Systeme und menschliche Manipulation bleiben relevant.

Deepfake-Erkennung, Provenance, C2PA und Grenzen

Automatisierte Detektoren sind nützlich, aber anfällig für Domain Shift und adaptive Angreifer. Das BSI verweist auf begrenzte Generalisierung; NIST betrachtet Detection nur als eine Säule neben Provenance und Watermarking. ^{[S-007, S-012]}

C2PA Content Credentials dokumentieren Herkunft und Bearbeitung kryptografisch. Sie beantworten aber nicht die Frage, ob eine Behauptung wahr ist. ^[S-045]

Für kritische Unternehmensprozesse ist deshalb Authentifizierung vor Forensik besser: Nicht erst versuchen herauszufinden, ob die Stimme gefälscht ist, sondern die Transaktion über einen unabhängigen, authentisierten Workflow bestätigen.

AI Act, DSGVO, NIS2 und Cyber Resilience Act

AI Act: Art. 15 verlangt bei Hochrisiko-Systemen angemessene Accuracy, Robustness und Cybersecurity und nennt AI-spezifische Angriffe. Art. 50 regelt Transparenz für bestimmte synthetische Inhalte und Deepfakes. Art. 55 verpflichtet GPAI-Provider mit systemischem Risiko zu adversarial testing, Risikominderung, Incident Reporting und Cybersecurity. ^[S-030]

DSGVO: Art. 32 verlangt bei personenbezogenen Daten geeignete technische und organisatorische Maßnahmen. Ein KI-System hebt diese Pflicht nicht auf. ^[S-038]

NIS2: Art. 20/21 adressiert Managementverantwortung, Risikomanagement, Incident Handling, Business Continuity, Supply Chain, sichere Entwicklung, Training, Kryptografie und Access Control. ^[S-036]

Cyber Resilience Act: Er schafft horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen. Für konkrete Produkte sind Anwendungsbereich und Übergangsfristen separat zu prüfen. ^[S-037]

Security Governance, Red Teaming und Incident Response

Ein belastbares AI-Security-Programm verbindet klassische Security mit AI-spezifischen Tests. Der UK Code nennt 13 Prinzipien von Awareness über Secure Design, Asset- und Supply-Chain-Schutz bis Testing, Monitoring und Incident/Recovery. ^[S-009]

Red Teaming sollte mindestens testen:

direkte und indirekte Prompt Injection,
Jailbreaks,
RAG-/Memory-Poisoning,
Datenexfiltration,
Tool-Missbrauch,
Privilege Escalation,
unsichere Output-Verarbeitung,
Denial-of-Wallet/Unbounded Consumption,
Secrets und PII,
Logging/Forensik,
Fail-safe-Verhalten.

Incident Response muss AI-spezifische Aktionen vorsehen: Agent stoppen, Tokens/Keys rotieren, Tool-Zugriffe entziehen, kompromittierte Wissensquellen isolieren, Memory bereinigen, Logs sichern, Modell-/Prompt-Version feststellen und abhängige Systeme prüfen.

18 Unternehmensszenarien

#	Szenario	Hauptrisiko	Bewertung	Mindestkontrollen	Quellen
1	Öffentlicher Chatbot für Websitebesucher	Prompt Injection, Datenabfluss	mittel	keine internen Secrets; Output-Filter; Rate Limits	S-001, S-002
2	RAG-Chatbot mit internen Dokumenten	Berechtigungsfehler, RAG-Poisoning	hoch	ACL vor Retrieval; Ingestion-Freigabe; Mandantentrennung	S-002, S-011
3	KI liest eingehende E-Mails	indirekte Prompt Injection	hoch	E-Mail als untrusted; read-only; keine automatischen externen Aktionen	S-011, S-049
4	KI beantwortet E-Mails automatisch	Impersonation, falsche Zusagen	hoch	Freigabegrenzen; Empfänger-/Inhaltsregeln; Logging	S-008, S-009
5	Agent darf CRM-Daten ändern	Integritätsverlust	hoch	feldbezogene Rechte; Approval; Rollback	S-003, S-046
6	Agent darf Rechnungen erzeugen	Fraud, falsche Bankdaten	sehr hoch	Lieferantenstamm geschützt; Vier-Augen; keine Bankdatenänderung per Agent	S-026, S-027
7	Agent darf Zahlungen vorbereiten	CEO-/BEC-Fraud	sehr hoch	keine autonome Freigabe; Limits; out-of-band Verification	S-019, S-022, S-026
8	KI fasst vertrauliche Verträge zusammen	Disclosure	hoch	freigegebene Enterprise-/On-Prem-Umgebung; DLP; Logs	S-002, S-038
9	Entwickleragent mit Shell-Zugriff	Code-/Systemmanipulation	sehr hoch	Sandbox; Branch; keine Prod-Secrets; Review	S-003, S-009
10	Agent mit Browser + Passwortmanager	Credential-/Session-Missbrauch	sehr hoch	scoped credentials; domain allowlist; confirmation	S-003, S-046
11	Kundenservice mit Bestelldaten	PII-Abfluss	hoch	Datenminimierung; Authentifizierung; Art. 32	S-002, S-038
12	Meeting-Agent mit Audio/Video	Deepfake/Impersonation	mittel-hoch	Teilnehmerauthentisierung; sensible Beschlüsse separat bestätigen	S-012
13	CFO erhält Videoanruf des CEO	Deepfake CEO-Fraud	sehr hoch	kein Zahlungsauftrag allein aus Call; Rückruf/Workflow	S-012, S-026
14	Neue Handelsregistereintragung	Fake-Rechnung	hoch	Rechnungsprüfung; amtliche Absender/IBAN verifizieren	S-027
15	Lieferant meldet neue Bankverbindung per Mail	BEC	sehr hoch	Rückruf an bekannte Nummer; Vier-Augen; Sperrfrist	S-019, S-022
16	KI-generierte Marketingvideos	Art.-50-Transparenz	mittel	Kennzeichnungsprüfung; Provenance; Rechtsreview	S-030, S-031, S-032
17	Fine-Tuning mit externem Datensatz	Poisoning/Supply Chain	hoch	Provenance; Hashes; Review; reproduzierbares Training	S-005, S-014
18	MCP-/API-Agent über mehrere SaaS-Systeme	Rechtekaskade	sehr hoch	minimale Scopes; Tool-Allowlist; zentraler Audit-Trail; Kill Switch	S-003, S-009

Fallanalyse A: E-Mail-Agent mit indirekter Prompt Injection

Ein Agent soll das Postfach priorisieren. Eine externe E-Mail enthält versteckte oder offen formulierte Instruktionen, die den Agenten zum Weiterleiten interner Informationen bewegen sollen. Der Angriff nutzt nicht primär eine klassische Softwarelücke, sondern die Tatsache, dass das Modell externen Text semantisch interpretiert. ^{[S-010, S-049]}

Sicherheitsdesign: Postfachzugriff read-only; keine Weiterleitung oder Dateifreigabe ohne separate Policy Engine; externe Inhalte als untrusted markieren; sensible Inhalte vor Modellkontext filtern; Zieladressen allowlisten; ungewöhnliche Aktionen blockieren; vollständiges Logging.

Fallanalyse B: Deepfake-CEO fordert Zahlung

Die visuelle oder akustische Ähnlichkeit ist kein ausreichender Beweis. Das BSI nennt CEO-Fraud ausdrücklich als Deepfake-Szenario. ^[S-012]

Sicherheitsdesign: Zahlung nur über ERP-/Bankworkflow; zweite berechtigte Person; Rückbestätigung über bekannten Kanal; Bankverbindungsänderungen separat; Limits und Wartezeiten; keine Ausnahme wegen „Vertraulichkeit“ oder „Eile“.

Fallanalyse C: Fake-Rechnung nach Handelsregistereintrag

Die Masche existiert unabhängig von KI. Nach Registervorgängen treffen amtlich wirkende Rechnungen oder Angebote ein. ^[S-027]

Sicherheitsdesign: neue Rechnungssteller und IBANs separat prüfen; keine Zahlung nur aufgrund amtlicher Optik; interne Liste erwarteter Gebühren; Buchhaltung für typische Registermaschen sensibilisieren.

Fallanalyse D: RAG-Chatbot mit manipuliertem Dokument

Ein Dokument mit schädlichen Instruktionen gelangt in die Wissensbasis. Beim Retrieval interpretiert das Modell den Text als Handlungsanweisung. ^{[S-011, S-049]}

Sicherheitsdesign: Ingestion nur aus kontrollierten Quellen; Schreibrechte begrenzen; Dokument-Provenance; ACL vor Retrieval; keine Tool-Aktion aufgrund von RAG-Text ohne Policy-Prüfung.

Sicherheits-Entscheidungsmatrix

Systemtyp	Untrusted Input	Schreib-/Toolrechte	Schadenspotenzial	Mindestfreigabe
interner Textassistent ohne Tools	niedrig-mittel	keine	niedrig-mittel	normale Fachprüfung
öffentlicher Chatbot	hoch	keine	mittel	Input-/Output-Kontrollen
RAG-Assistent	mittel-hoch	keine	mittel-hoch	ACL + Ingestion Governance
E-Mail-Agent read-only	sehr hoch	lesen	hoch	untrusted-content controls
Agent mit CRM-Schreibrechten	sehr hoch	schreiben	hoch	Approval + Rollback
Agent mit Shell/Code-Ausführung	sehr hoch	Systemaktionen	sehr hoch	Sandbox + Review
Agent mit Zahlungs-/Bankzugriff	sehr hoch	Finanzaktion	extrem	keine autonome Freigabe

36-stufiger Sicherheitsfahrplan

Use Case beschreiben.
Datenquellen inventarisieren.
Externe/untrusted Quellen markieren.
Modell und Provider dokumentieren.
RAG-/Memory-Komponenten dokumentieren.
Tools/APIs inventarisieren.
Alle OAuth-/API-Scopes erfassen.
Read- und Write-Rechte trennen.
Least Privilege anwenden.
Secrets aus Prompts entfernen.
Secret Store einsetzen.
Datenklassifizierung festlegen.
PII-/Geschäftsgeheimnisregeln definieren.
RAG-Ingestion freigabepflichtig machen.
Mandanten-/Berechtigungsprüfung vor Retrieval.
Strukturierte Tool-Schemas nutzen.
Output als untrusted behandeln.
Allowlisting für kritische Ziele.
Rate Limits setzen.
Transaktionslimits setzen.
Irreversible Aktionen mit Human Approval.
Zahlungs- und Bankdatenänderungen aus Agentenpfad entfernen.
Out-of-band-Verifikation definieren.
Logging aller Tool-Aktionen.
Modell-/Prompt-/Policy-Version loggen.
Direkte Prompt-Injection-Tests.
Indirekte Prompt-Injection-Tests.
Jailbreak-/Policy-Bypass-Tests.
RAG-/Memory-Poisoning testen.
Datenexfiltration testen.
Failure-/Rollback-Test.
Kill Switch einrichten.
Incident-Runbook erstellen.
Mitarbeiter zu CEO-Fraud/Deepfakes schulen.
Lieferanten-/Registerrechnungsprozess härten.
Nach Modell-, Tool- oder Rechteänderungen erneut testen.

20 Mythenprüfungen

Mythos	Bewertung	Korrekte Einordnung	Quellen
„Ein guter System-Prompt verhindert Prompt Injection.“	falsch	System-Prompts helfen bei Steuerung, sind aber keine harte Sicherheitsgrenze.	S-010, S-052
„Prompt Injection ist einfach SQL-Injection für KI.“	falsch	Die Trennung von Daten und Instruktionen ist bei LLMs fundamental anders.	S-010
„Wenn der Agent nur vertrauenswürdige Tools nutzt, ist er sicher.“	falsch	Untrusted Tool-Outputs können die Steuerung beeinflussen.	S-046, S-049
„RAG macht ein LLM automatisch sicherer.“	falsch	RAG schafft zusätzliche Daten- und Poisoning-Angriffsflächen.	S-002, S-011
„Ein Jailbreak ist dasselbe wie Prompt Injection.“	zu pauschal	Ziele und Threat Models unterscheiden sich, auch wenn Techniken überlappen.	S-047, S-001
„Moderne Frontier-Modelle sind nicht mehr jailbreakbar.“	unbelegt	Robustheit steigt, perfekte Abwehr ist nicht belegt.	S-051
„Deepfake-Detektoren erkennen Fälschungen zuverlässig.“	falsch	Generalisierung und adversariale Umgehung begrenzen Zuverlässigkeit.	S-012, S-007
„Content Credentials beweisen, dass ein Video wahr ist.“	falsch	Sie dokumentieren Provenance, nicht Faktizität.	S-045
„Ohne Content Credentials ist ein Video verdächtig.“	falsch	Legitimer Content kann ohne C2PA existieren.	S-045
„CEO-Fraud ist eine neue KI-Masche.“	falsch	Die Masche ist älter; KI kann sie glaubwürdiger machen.	S-026, S-012
„Eine bekannte Telefonnummer beweist die Identität.“	falsch	Caller-ID kann manipuliert werden.	S-028
„Die Stimme meines Chefs kann ich erkennen.“	riskant	Voice Cloning reduziert den Beweiswert der Stimme.	S-012, S-020
„Fake-Rechnungen nach Handelsregistereintrag entstehen erst durch KI.“	falsch	Das Muster ist unabhängig von KI dokumentiert.	S-027
„BEC-Schäden sind heute überwiegend KI-Schäden.“	unbelegt	BEC-Gesamtzahlen erlauben keine solche Attribution.	S-022
„Ein AV-/Cloud-Vertrag löst AI-Security.“	falsch	Rechte, Architektur, Daten und Betrieb bleiben entscheidend.	S-009, S-038
„On-Prem bedeutet automatisch sicher.“	falsch	Fehlkonfiguration, Rechte und Prompt Injection bleiben möglich.	S-009, S-013
„Wenn das Modell nichts Gefährliches sagt, kann der Agent nichts Gefährliches tun.“	falsch	Tool- und Rechtearchitektur bestimmt reale Aktionen.	S-003, S-046
„Mehr Autonomie bedeutet automatisch mehr Produktivität.“	unbelegt	Mehr Autonomie erhöht auch Schadensradius und Prüfbedarf.	S-003
„KI-Sicherheit ersetzt klassische Cybersecurity.“	falsch	IAM, MFA, Supply Chain, Backups und Incident Response bleiben grundlegend.	S-036, S-009
„Transparenzkennzeichnung verhindert Deepfake-Betrug.“	falsch	Kennzeichnung hilft, ersetzt aber Authentifizierung und Fraud Controls nicht.	S-030, S-045

20 offene Forschungsfragen

Wie zuverlässig lassen sich indirekte Prompt Injections modellunabhängig erkennen?
Kann eine harte Instruktions-/Datengrenze architektonisch statt probabilistisch umgesetzt werden?
Welche Agentenarchitekturen minimieren Tool-Missbrauch bei hoher Nutzbarkeit?
Wie misst man Prompt-Injection-Robustheit über Modellupdates hinweg?
Welche Benchmarks bilden reale Unternehmensagenten am besten ab?
Wie verhindert man persistentes Memory-Poisoning?
Welche RAG-Provenance-Mechanismen sind praxistauglich?
Wie zuverlässig sind LLM-Firewalls gegen adaptive Angreifer?
Wie verändert längerer Kontext Jailbreak-Risiken?
Welche Schutzwirkung haben Instruction Hierarchies langfristig?
Wie hoch ist der reale Anteil KI-unterstützter BEC-Fälle?
Wie stark senkt Voice Cloning die Wirksamkeit telefonischer Rückbestätigung?
Welche Authentifizierungsverfahren sind für KMU kosteneffizient gegen Deepfake-Impersonation?
Wie verbreitet sind synthetische Identitäten im deutschen Zahlungsverkehr?
Welche Deepfake-Detektoren generalisieren auf unbekannte Generatoren?
Wie robust bleiben Watermarks nach Transcoding, Cropping und Re-Recording?
Wie breit wird C2PA tatsächlich in Unternehmensprozessen adoptiert?
Wie wirken Art.-50-Kennzeichnungen praktisch auf Betrug und Desinformation?
Welche Incident-Kategorien benötigen AI-spezifische Meldeprozesse?
Wie verändert agentische KI die Ökonomie von Fraud-as-a-Service?

50 buchrelevante Faktenkarten

Die Karten sind bewusst kompakt und einzeln wiederverwendbar.

Faktenkarte F-001

Aussage: Prompt Injection ist OWASP LLM01:2025.
Status: Sicherheitsstandard
Einschränkung: OWASP ist kein Gesetz.
Hauptquellen: S-001, S-002
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-002

Aussage: Indirekte Prompt Injection kann in Webseiten, Dateien, E-Mails, Tool-Outputs oder RAG-Quellen stecken.
Status: Forschungs-/Behördenstand
Einschränkung: Wirkung hängt von Architektur und Rechten ab.
Hauptquellen: S-011, S-049
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-003

Aussage: LLMs erzwingen im Prompt keine harte technische Trennung zwischen Instruktion und Daten.
Status: Behördenposition
Einschränkung: Training kann Robustheit erhöhen, aber keine absolute Grenze garantieren.
Hauptquellen: S-010, S-052
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-004

Aussage: Prompt Injection und SQL-Injection benötigen unterschiedliche Abwehrmodelle.
Status: Behördenposition
Einschränkung: Klassische AppSec bleibt zusätzlich notwendig.
Hauptquellen: S-010
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-005

Aussage: Agentische Tool-Nutzung erhöht den möglichen Schaden erfolgreicher Prompt Injection.
Status: Sicherheitsstandard/Forschung
Einschränkung: Risiko hängt von Berechtigungen ab.
Hauptquellen: S-003, S-046
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-006

Aussage: Least Privilege ist bei Agenten zentral.
Status: Best Practice
Einschränkung: Umsetzung ist kontextabhängig.
Hauptquellen: S-008, S-009
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-007

Aussage: Kritische Aktionen sollten außerhalb des LLM durch Policies und Freigaben begrenzt werden.
Status: Best Practice
Einschränkung: Keine Architektur ist universell.
Hauptquellen: S-008, S-009
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-008

Aussage: Jailbreaks umgehen Safety-Guardrails; Prompt Injection manipuliert die Instruktionssteuerung einer Anwendung.
Status: Forschungsstand
Einschränkung: Techniken überlappen.
Hauptquellen: S-047, S-050
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-009

Aussage: Jailbreak-Erfolgsraten sind ohne einheitliche Benchmarks schlecht vergleichbar.
Status: Forschungsstand
Einschränkung: Benchmarks altern schnell.
Hauptquellen: S-047, S-048
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-010

Aussage: Perfekte Jailbreak-Robustheit darf 2026 nicht unterstellt werden.
Status: Forschungs-/Anbieterstand
Einschränkung: Neue Modelle können Lage ändern.
Hauptquellen: S-050, S-051
Aktualisierungsrisiko: sehr hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-011

Aussage: Input-/Output-Classifier können Risiken reduzieren, erzeugen aber Kosten und Fehlklassifikationen.
Status: Forschungsstand
Einschränkung: Anbieterbefunde sind nicht universell.
Hauptquellen: S-050
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-012

Aussage: Instruction-Hierarchy-Training kann Robustheit gegen niedrig priorisierte schädliche Instruktionen verbessern.
Status: Forschungsstand
Einschränkung: Kein Ersatz für Systemkontrollen.
Hauptquellen: S-052
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-013

Aussage: RAG-Systeme schaffen Angriffsflächen über manipulierte Wissensquellen.
Status: Sicherheitsstandard
Einschränkung: Risiko hängt von Ingestion/Retrieval ab.
Hauptquellen: S-002, S-004
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-014

Aussage: Trainings-, Fine-Tuning- und Embedding-Daten können Ziel von Poisoning sein.
Status: Sicherheitsstandard
Einschränkung: Angriffsmodelle unterscheiden sich.
Hauptquellen: S-002, S-005, S-014
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-015

Aussage: Modell- und Datensupply-Chain müssen inventarisiert und geprüft werden.
Status: Behörden-/Best-Practice
Einschränkung: Pflichten hängen vom Rechtsrahmen ab.
Hauptquellen: S-008, S-009, S-036
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-016

Aussage: System-Prompts sind keine geeignete Ablage für Geheimnisse, die niemals offengelegt werden dürfen.
Status: Sicherheitsstandard
Einschränkung: Vertraulichkeit kann trotzdem betrieblich sinnvoll sein.
Hauptquellen: S-002
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-017

Aussage: LLM-Ausgaben sind als untrusted data zu behandeln, wenn sie an Interpreter oder APIs gehen.
Status: Sicherheitsstandard
Einschränkung: Sanitization ist kontextabhängig.
Hauptquellen: S-002
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-018

Aussage: Sensible Daten können über Modell- oder Anwendungsausgaben offengelegt werden.
Status: Sicherheitsstandard
Einschränkung: Nicht jede Offenlegung stammt aus Training.
Hauptquellen: S-002, S-038
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-019

Aussage: Generative KI senkt laut FBI Zeit und Aufwand für glaubwürdigen Betrug.
Status: Behördenbefund
Einschränkung: Keine universelle quantitative Rate.
Hauptquellen: S-020
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-020

Aussage: KI kann Phishing sprachlich verbessern, übersetzen und massenhaft personalisieren.
Status: Behördenbefund
Einschränkung: Phishing funktioniert auch ohne KI.
Hauptquellen: S-020, S-017
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-021

Aussage: Deepfakes können Stimme, Gesicht und Video zur Identitätsvortäuschung nutzen.
Status: Behördenbefund
Einschränkung: Qualität und Aufwand variieren.
Hauptquellen: S-012, S-019
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-022

Aussage: Stimme allein ist für kritische Freigaben kein robustes Authentifizierungsmerkmal.
Status: Eigene Synthese
Einschränkung: Abgeleitet aus Voice-Cloning- und Fraud-Evidenz.
Hauptquellen: S-012, S-020, S-021
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-023

Aussage: Angezeigte Telefonnummern können manipuliert werden.
Status: Behördenbefund
Einschränkung: Nicht jeder unbekannte Anruf ist Spoofing.
Hauptquellen: S-028, S-018
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-024

Aussage: CEO-Fraud basiert auf Autorität, Zeitdruck, Geheimhaltung und Vorrecherche.
Status: Behördenbefund
Einschränkung: KI ist dafür nicht erforderlich.
Hauptquellen: S-026
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-025

Aussage: Handelsregister- und Unternehmensdaten können Betrügern Kontext für personalisierte Ansprache liefern.
Status: Behörden-/Praxisbefund
Einschränkung: Öffentliche Daten sind nicht ursächlich für Betrug.
Hauptquellen: S-026, S-027
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-026

Aussage: Fake-Rechnungen nach Registereinträgen sind ein dokumentiertes Betrugsmuster.
Status: Praxis-/Behördenwarnung
Einschränkung: Kein spezifisches KI-Phänomen.
Hauptquellen: S-027
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-027

Aussage: BEC verursachte laut FBI/IC3 2024 gemeldete Verluste von rund 2,77 Mrd. USD.
Status: Amtliche Statistik USA
Einschränkung: Nicht vollständig KI-attributierbar.
Hauptquellen: S-022
Aktualisierungsrisiko: jährlich
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-028

Aussage: INTERPOL bewertet BEC 2026 als weltweit besonders häufig gemeldete Fraud-Typologie.
Status: Strafverfolgungsanalyse
Einschränkung: INTERPOL-Daten sind kein vollständiges Weltregister.
Hauptquellen: S-019
Aktualisierungsrisiko: jährlich
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-029

Aussage: INTERPOL beobachtet eine Zunahme synthetischer Identitätsbetrugsfälle mit KI-Unterstützung.
Status: Strafverfolgungsanalyse
Einschränkung: Keine vollständige Prävalenzmessung.
Hauptquellen: S-019
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-030

Aussage: FinCEN beobachtete mehr Verdachtsmeldungen zu Deepfake-Medien, besonders gefälschten Identitätsdokumenten.
Status: Behördenbefund USA
Einschränkung: US-Finanzsektor.
Hauptquellen: S-023
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-031

Aussage: Deepfake-Erkennung ist anfällig für Generalisierungsprobleme.
Status: Behörden-/Forschungsstand
Einschränkung: Leistungswerte hängen vom Datensatz ab.
Hauptquellen: S-012, S-007
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-032

Aussage: Ein einzelner Deepfake-Detektor sollte keine kritische Freigabe entscheiden.
Status: Eigene Synthese
Einschränkung: Defense-in-depth-Empfehlung.
Hauptquellen: S-012, S-007
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-033

Aussage: C2PA kann Herkunfts- und Bearbeitungsinformationen kryptografisch binden.
Status: Technischer Standard
Einschränkung: Adoption ist nicht universell.
Hauptquellen: S-045
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-034

Aussage: C2PA-Provenance beweist nicht die sachliche Wahrheit eines Inhalts.
Status: Technischer Standard
Einschränkung: Provenance und Faktizität sind verschieden.
Hauptquellen: S-045
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-035

Aussage: Fehlende Content Credentials beweisen nicht, dass ein Inhalt falsch ist.
Status: Technischer Standard
Einschränkung: Legitimer Content kann ohne C2PA existieren.
Hauptquellen: S-045
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-036

Aussage: Art. 50 AI Act enthält Transparenzpflichten für bestimmte synthetische Inhalte und Deepfakes.
Status: Geltendes EU-Recht
Einschränkung: Ausnahmen und Übergangsregeln beachten.
Hauptquellen: S-030, S-031
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-037

Aussage: Die Art.-50-Pflichten sind seit 2. August 2026 anwendbar.
Status: Geltendes EU-Recht
Einschränkung: Übergang für bestimmte Alt-Systeme beachten.
Hauptquellen: S-031, S-032
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-038

Aussage: Der Transparenz-Code 2026 ist ein freiwilliges Instrument zur Compliance-Unterstützung.
Status: Offizielle EU-Position
Einschränkung: Keine unwiderlegbare Konformitätsvermutung.
Hauptquellen: S-032, S-033
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-039

Aussage: Art. 15 AI Act verlangt bei Hochrisiko-KI angemessene Robustheit und Cybersecurity.
Status: Geltendes EU-Recht
Einschränkung: Hochrisiko-Anwendungsbereich gesondert prüfen.
Hauptquellen: S-030
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-040

Aussage: Art. 15 nennt Data/Model Poisoning, adversariale Eingaben und Vertraulichkeitsangriffe ausdrücklich.
Status: Geltendes EU-Recht
Einschränkung: „where appropriate“ und risikobasiert.
Hauptquellen: S-030
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-041

Aussage: Art. 55 verlangt für GPAI mit systemischem Risiko adversariales Testing und Cybersecurity.
Status: Geltendes EU-Recht
Einschränkung: Nur betroffene GPAI-Provider.
Hauptquellen: S-030, S-034
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-042

Aussage: NIS2 verlangt bei betroffenen Einrichtungen Supply-Chain-Sicherheit, Incident Handling, Training und Access Control.
Status: Geltendes EU-Recht
Einschränkung: Anwendungsbereich prüfen.
Hauptquellen: S-036
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-043

Aussage: DSGVO Art. 32 bleibt für personenbezogene Daten in KI-Systemen relevant.
Status: Geltendes EU-Recht
Einschränkung: Risikobasierte Einzelfallprüfung.
Hauptquellen: S-038
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-044

Aussage: Der Cyber Resilience Act ergänzt Security-Pflichten für Produkte mit digitalen Elementen.
Status: Geltendes EU-Recht
Einschränkung: Gestaffelte Anwendung beachten.
Hauptquellen: S-037
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-045

Aussage: Betrug mit KI kann unter bestehende Straftatbestände fallen; ein eigener „KI-Betrug“-Tatbestand ist nicht Voraussetzung.
Status: Rechtsanalyse
Einschränkung: Einzelfall entscheidet.
Hauptquellen: S-039, S-040, S-041
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-046

Aussage: Unbefugtes Ausspähen oder Verändern von Daten kann unabhängig vom KI-Einsatz strafbar sein.
Status: Geltendes deutsches Recht
Einschränkung: Tatbestandsvoraussetzungen prüfen.
Hauptquellen: S-042, S-043
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-047

Aussage: Geschäftsgeheimnisse benötigen angemessene Geheimhaltungsmaßnahmen; unbefugte Erlangung/Nutzung ist gesetzlich adressiert.
Status: Geltendes deutsches Recht
Einschränkung: Geheimnisqualität und Maßnahmen sind einzelfallabhängig.
Hauptquellen: S-044
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-048

Aussage: AI Security braucht Logging, Monitoring, Incident- und Recovery-Pläne.
Status: Behörden-/Best-Practice
Einschränkung: Umfang risikobasiert.
Hauptquellen: S-009
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-049

Aussage: Red Teaming muss Modelle, Prompts, Datenquellen, Tools und Berechtigungen einbeziehen.
Status: Forschungs-/Best-Practice
Einschränkung: Kein einmaliger Test.
Hauptquellen: S-004, S-046, S-048
Aktualisierungsrisiko: hoch
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Faktenkarte F-050

Aussage: Der sichere Geschäftsprozess muss stärker sein als eine glaubwürdige synthetische Identität.
Status: Eigene Synthese
Einschränkung: Organisatorische Schlussfolgerung.
Hauptquellen: S-012, S-019, S-026
Aktualisierungsrisiko: mittel
Mögliche Buchverwendung: Sicherheitsgrundlage, Praxisbeispiel oder Mythosprüfung.

Glossar

Adversarial Example: Eingabe, die gezielt ein Fehlverhalten eines Modells auslösen soll.
Agent: KI-System, das Ziele verfolgt und Werkzeuge/Aktionen nutzen kann.
Allowlist: Positivliste erlaubter Tools, Ziele, Domains oder Aktionen.
Attack Surface: Gesamtheit technisch erreichbarer Angriffsflächen.
Authentication: Prüfung einer behaupteten Identität.
Authorization: Prüfung, ob eine identifizierte Instanz eine Aktion ausführen darf.
BEC: Business Email Compromise; Betrug über kompromittierte oder imitierte Geschäftskommunikation.
CEO-Fraud: Impersonation einer Führungskraft zur Manipulation von Mitarbeitenden.
C2PA: Standard für kryptografisch gebundene Content-Provenance.
Content Credentials: C2PA-basierte Herkunfts-/Bearbeitungsinformationen.
Data Poisoning: Manipulation von Trainings- oder Lerndaten.
Deepfake: KI-generierter/manipulierter Bild-, Audio- oder Videoinhalt mit täuschender Authentizität.
Defense in Depth: Mehrere voneinander unabhängige Schutzschichten.
DLP: Data Loss Prevention.
Egress Control: Begrenzung ausgehender Netzwerkverbindungen/Datenflüsse.
Embedding: Vektorrepräsentation von Daten für Ähnlichkeitssuche.
Excessive Agency: Zu große Funktionalität, Rechte oder Autonomie eines Agenten.
Fine-Tuning: Nachtraining eines Modells auf zusätzlichen Daten.
Guardrail: Schutzmechanismus für Modell- oder Anwendungsausgaben.
Human Approval: Menschliche Freigabe vor einer Aktion.
Indirect Prompt Injection: Schädliche Instruktion aus einer externen Datenquelle.
Instruction Hierarchy: Priorisierung von Instruktionen nach Vertrauensstufe.
Jailbreak: Umgehung von Safety- oder Nutzungsbeschränkungen eines Modells.
Kill Switch: Mechanismus zum sofortigen Stoppen eines Systems/Agenten.
Least Privilege: Nur minimal notwendige Berechtigungen vergeben.
LLM: Large Language Model.
MCP: Model Context Protocol; Protokoll zur Anbindung von Tools/Kontext.
Model Poisoning: Manipulation eines Modells oder vorgelagerter Modellkomponenten.
Model Extraction: Versuch, Modellverhalten oder Parameter systematisch zu rekonstruieren.
OAuth Scope: Begrenzter Berechtigungsumfang eines Zugriffstokens.
Output Handling: Verarbeitung von Modellantworten durch nachgelagerte Systeme.
Prompt Injection: Manipulation der Instruktionssteuerung eines LLM-Systems.
Prompt Leak: Offenlegung von System-/Developer-Prompts.
Provenance: Herkunfts- und Bearbeitungshistorie digitaler Inhalte.
RAG: Retrieval-Augmented Generation.
RAG Poisoning: Manipulation von Quellen, die später per Retrieval in den Modellkontext gelangen.
Rate Limit: Begrenzung der Zahl/Frequenz von Anfragen oder Aktionen.
Red Teaming: Gezieltes adversariales Testen eines Systems.
Rollback: Rückkehr zu einem früheren, bekannten Zustand.
Sandbox: Isolierte Ausführungsumgebung.
Secret Store: System zur sicheren Verwaltung von Zugangsdaten/Schlüsseln.
Social Engineering: Manipulation von Menschen zur Preisgabe von Daten oder Durchführung von Aktionen.
Spoofing: Fälschung von Absender-, Identitäts- oder technischen Merkmalen.
Synthetic Identity: Identität aus realen und künstlich erzeugten Datenbestandteilen.
Tool Call: Vom Modell ausgelöster Aufruf eines externen Werkzeugs/API.
Unbounded Consumption: Missbrauch oder Fehlverhalten, das unkontrollierte Ressourcen-/Kosten verursacht.
Untrusted Data: Daten, deren Inhalt nicht als vertrauenswürdige Steuerinstruktion gelten darf.
Vishing: Voice-Phishing.
Voice Cloning: Synthetische Nachbildung einer Stimme.
Watermarking: Einbettung eines Erkennungs-/Herkunftsmerkmals in Inhalte.

Beleg- und Quellenmatrix

Themenblock	Kernaussagen	Hauptquellen	Belegstärke
Prompt Injection	K-001 bis K-007	S-001, S-010, S-011, S-049, S-052	hoch
Jailbreaks	K-008 bis K-012	S-047, S-048, S-050, S-051, S-052, S-053	mittel-hoch
RAG/Poisoning/Supply Chain	K-013 bis K-018	S-002, S-004, S-005, S-008, S-014	hoch
AI-enabled Fraud	K-019 bis K-030	S-017, S-019, S-020, S-022, S-023, S-026, S-027	hoch für Existenz; mittel für Prävalenz
Deepfake Detection/Provenance	K-031 bis K-035	S-007, S-012, S-045	hoch
EU-Regulierung	K-036 bis K-044	S-030 bis S-038	sehr hoch
deutsches Straf-/Geheimnisschutzrecht	K-045 bis K-047	S-039 bis S-044	sehr hoch für Normtext; Einzelfallanwendung offen
Governance/Red Teaming	K-048 bis K-050	S-004, S-008, S-009, S-046, S-048	hoch

Vollständiges Quellenregister

ID	Herausgeber	Quelle	Datum	Relevanz	URL
S-001	OWASP GenAI Security Project	LLM01:2025 Prompt Injection	2025	Prompt Injection	Link ↗
S-002	OWASP GenAI Security Project	OWASP Top 10 for LLM Applications v2025	2025	LLM-Risiken	Link ↗
S-003	OWASP GenAI Security Project	Top 10 Risks and Mitigations for Agentic AI Security	09.12.2025	Agentische Risiken	Link ↗
S-004	MITRE	MITRE ATLAS	07.08.2026	AI-Threat-Knowledge-Base	Link ↗
S-005	NIST	Adversarial Machine Learning, AI 100-2 E2025	03.2025	Attack/Defense-Taxonomie	Link ↗
S-006	NIST	AI RMF: Generative AI Profile, AI 600-1	26.07.2024; Update 08.04.2026	GenAI-Risikomanagement	Link ↗
S-007	NIST	Reducing Risks Posed by Synthetic Content, AI 100-4	20.11.2024; Update 08.04.2026	Provenance/Detection	Link ↗
S-008	NCSC/CISA et al.	Guidelines for Secure AI System Development	27.11.2023	Secure-by-Design	Link ↗
S-009	UK DSIT/NCSC	Code of Practice for the Cyber Security of AI	31.01.2025	13 Security-Prinzipien	Link ↗
S-010	NCSC	Prompt injection is not SQL injection (it may be worse)	2025	Daten-/Instruktionsgrenze	Link ↗
S-011	BSI	Generative KI-Modelle - Chancen und Risiken für Industrie und Behörden	2026 V7	Prompt Injection	Link ↗
S-012	BSI	Deep Fakes - Threats and Countermeasures	07.08.2026	Deepfake/Voice Cloning	Link ↗
S-013	ANSSI	Security recommendations for a generative AI system	29.04.2024	sichere GenAI-Architektur	Link ↗
S-014	NSA AISC et al.	AI Data Security: Best Practices	22.05.2025	Datenintegrität/Supply Chain	Link ↗
S-015	ENISA	ENISA Threat Landscape 2025	01.10.2025; Rev. 09.01.2026	EU-Cyberlage	Link ↗
S-016	Europol	EU SOCTA 2025	18.03.2025	AI-powered Social Engineering	Link ↗
S-017	Europol	Internet Organised Crime Threat Assessment 2026	2026	GenAI und Online-Crime	Link ↗
S-018	Europol	Position Paper on Caller ID Spoofing	27.10.2025	Spoofing	Link ↗
S-019	INTERPOL	Global Financial Fraud Threat Assessment 2026	03.2026	AI, BEC, Impersonation	Link ↗
S-020	FBI/IC3	Criminals Use Generative AI to Facilitate Financial Fraud	03.12.2024	AI-enabled Fraud	Link ↗
S-021	FBI	Senior U.S. Officials Impersonated in Malicious Messaging Campaign	2025	Impersonation/Voice	Link ↗
S-022	FBI/IC3	2024 IC3 Annual Report	2025	BEC-Schäden	Link ↗
S-023	FinCEN	Alert on Fraud Schemes Involving Deepfake Media	13.11.2024	Deepfake-Identitäten	Link ↗
S-024	FTC	FTC Voice Cloning Challenge	2023-2024	Voice-Cloning-Risiken	Link ↗
S-025	FCC	FCC Makes AI-Generated Voices in Robocalls Illegal	08.02.2024	Voice-Cloning/Robocalls	Link ↗
S-026	Polizeiliche Kriminalprävention	CEO-Fraud	07.08.2026	CEO-Fraud	Link ↗
S-027	IHK Reutlingen/Justizwarnungen	Dubiose Rechnungen - Handelsregister	02.04.2024	Fake-Rechnungen	Link ↗
S-028	Bundesnetzagentur	Manipulation von Rufnummern	07.08.2026	Caller-ID-Spoofing	Link ↗
S-029	Bundesnetzagentur	Maßnahmenliste Ärger mit Rufnummern	03.06.2026	Vollzug Rufnummernmissbrauch	Link ↗
S-030	Europäische Union	Verordnung (EU) 2024/1689 - AI Act	13.06.2024	Art. 15, 50, 55	Link ↗
S-031	Europäische Kommission	Guidelines on transparency obligations for AI systems	20.07.2026	Art. 50/Deepfakes	Link ↗
S-032	Europäische Kommission/AI Office	Code of Practice on Transparency of AI-Generated Content	10.06.2026	Markierung/Kennzeichnung	Link ↗
S-033	Europäische Kommission/AI Board	Assessment of Transparency Code	08-09.07.2026	Angemessenheit Code	Link ↗
S-034	Europäische Kommission/AI Office	General-Purpose AI Code of Practice	10.07.2025	GPAI Safety/Security	Link ↗
S-035	Europäische Kommission	Guidelines for GPAI providers	18.07.2025	GPAI-Pflichten	Link ↗
S-036	Europäische Union	Richtlinie (EU) 2022/2555 - NIS2	14.12.2022	Security Governance	Link ↗
S-037	Europäische Union	Verordnung (EU) 2024/2847 - Cyber Resilience Act	23.10.2024	Produktsicherheit	Link ↗
S-038	Europäische Union	DSGVO Art. 32	27.04.2016	Sicherheit personenbezogener Daten	Link ↗
S-039	Deutschland	§ 263 StGB - Betrug	07.08.2026	Betrug	Link ↗
S-040	Deutschland	§ 263a StGB - Computerbetrug	07.08.2026	Computerbetrug	Link ↗
S-041	Deutschland	§ 269 StGB - Fälschung beweiserheblicher Daten	07.08.2026	Datenfälschung	Link ↗
S-042	Deutschland	§ 202a StGB - Ausspähen von Daten	07.08.2026	Datenzugang	Link ↗
S-043	Deutschland	§ 303a StGB - Datenveränderung	07.08.2026	Datenmanipulation	Link ↗
S-044	Deutschland	GeschGehG § 4	07.08.2026	Geschäftsgeheimnisse	Link ↗
S-045	C2PA	C2PA and Content Credentials Explainer 2.2	2025	Provenance/Grenzen	Link ↗
S-046	Debenedetti et al.	AgentDojo	19.06.2024	Agent Security Benchmark	Link ↗
S-047	Chao et al.	JailbreakBench	28.03.2024	Jailbreak Benchmark	Link ↗
S-048	Mazeika et al.	HarmBench	06.02.2024	Red Team Benchmark	Link ↗
S-049	Greshake et al.	Not what you've signed up for	23.02.2023	indirekte Prompt Injection	Link ↗
S-050	Anthropic	Constitutional Classifiers	03.02.2025	Jailbreak-Abwehr	Link ↗
S-051	Anthropic	Next-generation Constitutional Classifiers	09.01.2026	aktuelle Jailbreak-Abwehr	Link ↗
S-052	OpenAI	Improving instruction hierarchy in frontier LLMs	10.03.2026	Prompt-Injection-Robustheit	Link ↗
S-053	Anthropic	Many-shot jailbreaking	02.04.2024	Long-context Jailbreak	Link ↗

Schnell veraltende Informationen und Qualitätsbericht

Thema	Stand 07.08.2026	Warum schnell veraltend	Prüfintervall	Quellen	Priorität
Prompt-Injection-Robustheit	keine absolute Lösung	Modelle/Agenten ändern sich schnell	quartalsweise	S-001, S-010, S-052	sehr hoch
Jailbreak-Abwehr	starke Fortschritte, keine perfekte Robustheit	Angriff/Abwehr ko-evolvieren	quartalsweise	S-047, S-050, S-051	sehr hoch
Agentic Security	eigene OWASP-Agentic-Risiken seit Ende 2025	neue Tool-/Memory-Architekturen	quartalsweise	S-003, S-046	sehr hoch
AI-enabled Fraud	Europol/INTERPOL 2026	Täterökonomie und Tools ändern sich	halbjährlich	S-017, S-019	sehr hoch
Deepfake-Detektion	begrenzte Generalisierung	Generatoren entwickeln sich schnell	halbjährlich	S-007, S-012	hoch
Art. 50 AI Act	seit 02.08.2026 anwendbar	erste Vollzugspraxis entsteht	quartalsweise	S-030 bis S-033	sehr hoch
GPAI Safety/Security	Code/Guidelines 2025	Enforcement und Modelle ändern sich	halbjährlich	S-034, S-035	hoch
Caller-ID-Spoofing	aktuelle Maßnahmen 2026	Täter wechseln Infrastruktur	halbjährlich	S-018, S-028, S-029	hoch
BEC-Schäden	IC3-Daten 2024	Jahresdaten und Dunkelfeld	jährlich	S-022	mittel
C2PA-Adoption	Standard 2.2	Tool-/Plattformadoption dynamisch	halbjährlich	S-045	hoch

Qualitätsbericht

Dokumentierte Quellen: 53 Kernquellen.
Primär-/offizielle Quellen: EU-Recht, deutsches Bundesrecht, NIST, BSI, NCSC, NSA, Europol, INTERPOL, FBI/IC3, FinCEN, Bundesnetzagentur und Polizeiliche Kriminalprävention.
Originalforschung: AgentDojo, JailbreakBench, HarmBench und die grundlegende Arbeit zu indirekter Prompt Injection.
Anbieterforschung: Anthropic und OpenAI nur zur Dokumentation eigener Abwehrforschung; nicht als neutrale Marktstatistik.
Zentrale methodische Regel: Gesamtverluste aus BEC, Investment Fraud oder Cybercrime werden nicht ohne Beleg als KI-verursacht ausgewiesen.
Zentrale Unsicherheit: Prävalenz und Erfolgsraten AI-gestützter Angriffe sind wegen Dunkelfeld, Modellwechseln und uneinheitlicher Klassifikation schwer stabil zu messen.
Größte Refresh-Risiken: Prompt Injection, Agenten, Deepfake-Erkennung, Art.-50-Vollzug und AI-enabled Fraud.

Schlussfolgerung für die Buchreihe

Die belastbare Storyline lautet nicht „KI macht Cybercrime möglich“. Viele Betrugs- und Angriffsmuster existieren seit Jahren. Neu sind Geschwindigkeit, Skalierung, Personalisierung, synthetische Glaubwürdigkeit und autonome Handlungsmöglichkeiten. Gleichzeitig schafft die LLM-Architektur mit Prompt Injection eine neue Klasse von Vertrauensproblemen.

Für Unternehmen ist die Konsequenz klar: Nicht versuchen, jede perfekte Fälschung am Aussehen zu erkennen. Prozesse so bauen, dass selbst eine perfekte Fälschung nicht genügt, um Geld, Daten oder Systemrechte zu bewegen.