KI SpotlightNewsPatreon blockiert KI-Trainingscrawler auf Netzwerkebene
Nachdem die robots.txt nicht mehr ausreichte, setzt die Creator-Plattform auf Cloudflare – Suchcrawler bleiben erlaubt.
Mit KI erstelltNetzwerkblockade statt robots.txt
Patreon blockiert ab sofort KI-Trainingscrawler auf Netzwerkebene. Die Creator-Plattform arbeitet dafür mit dem Internet-Infrastrukturanbieter Cloudflare zusammen. Bereits 2023 hatte Patreon erste Maßnahmen ergriffen, um unerwünschte Crawler fernzuhalten. Damals setzte das Unternehmen auf die robots.txt-Datei, um Crawler auszuschließen. Diese Methode reichte jedoch nicht mehr aus, um das unerlaubte Auslesen von Inhalten für KI-Trainingszwecke zu unterbinden. Deshalb wechselt Patreon nun zu einer aktiven technischen Blockade auf Netzwerkebene. Die Zugriffe werden direkt auf der Infrastrukturebene unterbunden, bevor sie die Server erreichen. Ziel ist es, zu verhindern, dass KI-Modelle ohne Erlaubnis mit den Werken der Creator trainiert werden.
Raffiniertere Scraper, drastischer Rückgang
Die Verschärfung der Maßnahmen war nötig, weil KI-Scraping seit den ersten Schutzvorkehrungen 2023 raffinierter geworden ist. Die Crawler umgingen zunehmend die einfache robots.txt-Sperre. Patreon setzt deshalb jetzt auf eine aktive Blockade auf Netzwerkebene. Erste Tests zeigen laut Patreon einen drastischen Rückgang: Die wöchentlichen Zugriffsversuche einzelner Trainingscrawler fielen von mehreren Tausend auf null. Damit wird das unerlaubte Auslesen von Creator-Inhalten für KI-Training effektiv unterbunden.
Suchcrawler bleiben erlaubt, Paywall als Schutz
Die Blockade betrifft ausschließlich KI-Trainingscrawler. Suchcrawler, die Inhalte indexieren und Nutzer zu den Originalseiten weiterleiten, bleiben weiterhin zugelassen. Patreon verweist zudem darauf, dass die Paywall der Plattform bereits zuvor viele Creator-Inhalte vor Crawlern geschützt hat. Zahlreiche Beiträge sind nur für zahlende Mitglieder zugänglich und damit für automatisierte Zugriffe nicht erreichbar. Die neue Netzwerkblockade ergänzt diesen Schutz und verhindert, dass öffentlich zugängliche Werke ohne Erlaubnis für KI-Training ausgelesen werden.
Ein Schutzschild mit Schlupflöchern
Patreons Schritt, KI-Crawler auf Netzwerkebene zu blockieren, stößt bei vielen auf Zustimmung: AbbyTheOneAndOnly in r/aiwars sieht darin den richtigen Weg für Plattformen, die von Kreativen finanziert werden. Doch Chaghatai in r/aiwars merkt an, dass große KI-Firmen einfach andere Crawler einsetzen könnten – ein Katz-und-Maus-Spiel, das IntelArtiGen in r/technology als strukturelles Problem beschreibt, weil legitime Suchmaschinen und KI-Bots kaum zu unterscheiden sind und neue Wettbewerber so benachteiligt werden.
