Studie prüft DeepSeek Harness auf indirekte Prompt-Injection

Studie prüft DeepSeek Harness auf indirekte Prompt-Injection

Ein Abstract beschreibt ein Security Assessment, das die Widerstandsfähigkeit von DeepSeek Harness gegen indirekte Prompt-Injection evaluiert. Bei dieser Angriffstechnik werden schädliche Anweisungen in scheinbar harmlose Inhalte wie Texte oder Dateien eingebettet, die ein KI-System verarbeitet, ohne dass der Nutzer sie direkt als Prompt eingibt. Dadurch kann ein Angreifer das Verhalten des Modells manipulieren und möglicherweise sensible Aktionen auslösen – ein erhebliches Risiko für Anwendungen, die externe Daten verarbeiten. Für die Untersuchung kommt das Framework AI-Infra-Guard (A.I.G) zum Einsatz. Es wird genutzt, um Tests zu konstruieren, kontrollierten Taint zu liefern, DeepSeek Harness auszuführen, Traces zu sammeln und die Ergebnisse zu beurteilen. Zwei Richter-Instanzen bewerten die Ausgänge der Ausführungen, um eine objektive Einschätzung der Angriffserfolge zu gewährleisten. Das Abstract beschreibt damit einen systematischen Ansatz, der sowohl die Testgenerierung als auch die Auswertung automatisiert und so eine breite Abdeckung möglicher Angriffsvektoren ermöglicht. Die Forscher simulieren dabei realistische Angriffsszenarien, indem sie kontrollierten Taint in die Eingabekanäle einschleusen. Dieser Taint repräsentiert die schädlichen Anweisungen, die ein Angreifer in Text- oder Dateiinhalten verstecken könnte. Nach der Ausführung von DeepSeek Harness werden die erzeugten Traces gesammelt, um den Einfluss der injizierten Anweisungen auf das Systemverhalten nachzuvollziehen. Die Verwendung von zwei unabhängigen Richter-Instanzen bei der Beurteilung der Ergebnisse reduziert das Risiko subjektiver Fehleinschätzungen und erhöht die Verlässlichkeit der Schlussfolgerungen. Durch die automatisierte Testgenerierung und die systematische Auswertung kann die Studie eine große Anzahl von Ausführungen abdecken und statistisch belastbare Aussagen über die Anfälligkeit des Systems treffen. Die Ergebnisse liefern wichtige Erkenntnisse für die Sicherheit von KI-Anwendungen, die mit nicht vertrauenswürdigen Inhalten umgehen müssen.

560 Ausführungen: Erfolge über Text- und Dateikanäle, Kontrollen empfohlen

Die Studie umfasst nach Angaben des Abstracts 14.560 kontrollierte Ausführungen. Dabei berichten die Forscher von nennenswerten Erfolgsraten über Text- und Dateikanäle. Der Beleg spricht von „notable success rates“, ohne diese näher zu beziffern. Die große Zahl der Ausführungen liefert jedoch den Kontext für die Einstufung als nennenswert: Selbst wenn nur ein kleiner Prozentsatz der Angriffe erfolgreich war, entspricht dies bei 14.560 Tests einer beträchtlichen absoluten Anzahl kompromittierter Durchläufe. Die Erfolge über beide Kanäle hinweg deuten darauf hin, dass DeepSeek Harness anfällig für indirekte Prompt-Injection ist, unabhängig davon, ob die schädlichen Anweisungen über Text oder über Dateien eingeschleust werden. Aus den Ergebnissen leiten die Autoren eine klare Empfehlung ab: Es sollten Kontrollen zwischen nicht vertrauenswürdigen Inhalten und sensiblen Aktionen eingerichtet werden. Solche Kontrollen könnten verhindern, dass ein durch Injection manipuliertes Modell unerwünschte Operationen ausführt. Die Untersuchung wurde mit AI-Infra-Guard durchgeführt, und die Beurteilung erfolgte mit zwei Richter-Instanzen, was die Verlässlichkeit der Ergebnisse unterstreicht. Für Entwickler und Betreiber von KI-Systemen liefert die Studie damit einen wichtigen Hinweis auf eine bislang unterschätzte Sicherheitslücke. Die Empfehlung zielt darauf ab, die Auswirkungen einer erfolgreichen Injection zu begrenzen, indem der Zugriff auf sensible Aktionen eingeschränkt wird. Da sowohl Text- als auch Dateikanäle betroffen sind, sollten Sicherheitsmaßnahmen alle Eingabewege berücksichtigen, über die nicht vertrauenswürdige Inhalte in das System gelangen können. Die Verwendung von zwei Richter-Instanzen bei der Beurteilung erhöht die Objektivität der Ergebnisse und stärkt das Vertrauen in die Schlussfolgerungen der Studie.