Anbieterstudie: hCaptcha und Turnstile erkennen KI-Browser-Agenten kaum

hCaptcha und Turnstile übersehen KI-Agenten fast vollständig

hCaptcha und Cloudflare Turnstile erkennen KI-Browser-Agenten laut einer Untersuchung des Unternehmens Proof of Human kaum. Eine unabhängige Prüfung gibt es nicht. Proof of Human verglich fünf Bot-Erkennungssysteme: das eigene Produkt, reCAPTCHA v3, hCaptcha, Cloudflare Turnstile und Cloudflare Bot Management. Als Prüflinge dienten drei KI-Agenten: Claude Opus über Browser Use, Perplexity Comet und xAI Grok. Hinzu kamen zwei skriptbasierte Bots, ein Chromium ohne Tarnung und ein getarnter CloakBrowser.

Die Aufgabe bestand darin, einen Fragebogen mit fünf Fragen auszufüllen. Pro Kombination gab es 20 Versuche. Die Detektionsrate bezieht sich auf die auswertbaren Versuche.

hCaptcha erkannte Browser Use zu 16 Prozent, Comet zu 0 Prozent und Grok zu 6 Prozent. Turnstile lag bei allen drei Agenten bei 0 Prozent. Skriptbasierte Bots erkannten beide Systeme dagegen zu 95 bis 100 Prozent. Die Studie erklärt das so: Bei hCaptcha scheiterten die Skriptbots häufig an der Bildaufgabe. Die Agenten erkannten die Bilder, lösten die Aufgabe und bestanden in vielen Versuchen. Bei Turnstile kamen die Agenten durch, ohne dass ihnen überhaupt eine Aufgabe gestellt wurde.

reCAPTCHA v3 erkennt die Agenten, scheitert aber am getarnten Browser

reCAPTCHA v3 kommt ohne Bildaufgabe aus. Es bewertet Besucher stattdessen per Punktwert. Laut Studie erkannte es Browser Use zu 95 Prozent, Comet zu 100 Prozent und Grok zu 72 Prozent. Beim getarnten CloakBrowser lag die Erkennungsrate bei 0 Prozent. Auch diese Werte stammen allein von Proof of Human.

Der Absender hat ein eigenes Produkt zu verkaufen

Proof of Human wurde 2023 gegründet. Y Combinator und Brickyard Ventures unterstützen das Unternehmen. Es vertreibt Bot-Erkennung, Betrugsprävention und kontinuierliche Authentifizierung. Schwache Ergebnisse der Konkurrenz liegen damit im wirtschaftlichen Interesse des Anbieters. Für das eigene Produkt nennt das Unternehmen 99 % erkannte automatisierte Sitzungen. Zum Vergleich: reCAPTCHA v3 kommt auf 69,4 %, hCaptcha auf 44,3 %, Turnstile auf 42,1 % und Cloudflare Bot Management auf 9,1 %. Unabhängig bestätigt ist davon nichts. Auch Methodik sowie Konfiguration von hCaptcha und Turnstile sind nicht belegt.

Die Grundaussage ist nicht neu. Die arXiv-Studie „Broken Gates“ zeigt, dass kommerzielle Lösedienste Captchas nahezu perfekt und günstig umgehen. LLM-Agenten schaffen dies mit einem Solver-Modul ebenfalls. Laut Abstract ist die Widerstandsfähigkeit von reCAPTCHA v3 keine grundlegende Sicherheitseigenschaft. Neu sind die konkreten Zahlen je Agent und System.