OpenAI, Google, Microsoft und Anthropic vereinen sich für neuen Standard zum Opt-out von KI-Scraping

Image: The biggest names in AI are backing a new way to opt out of scraping · Source

Große KI-Unternehmen übernehmen einen gemeinsamen Standard, der Publishern ermöglicht, über ein einheitliches "Policy-Token" in robots.txt-Dateien das Scraping ihrer Daten für KI abzulehnen, um die Präferenzen von Website-Besitzern beim KI-Training zu vereinfachen und zu respektieren.

Die führenden Unternehmen im Bereich künstliche Intelligenz OpenAI, Google, Microsoft und Anthropic haben ihre Unterstützung für einen neuen Standard bekannt gegeben, der Publishern eine einheitliche Möglichkeit bieten soll, das Scrapen ihrer Inhalte für KI-Trainingszwecke abzulehnen. Recherchen von The Verge zeigen, dass dieser Standard ein "Policy-Token" einführt, das in die bestehende robots.txt-Datei einer Website eingebettet wird – ein bewährtes Verfahren zur Kommunikation von Crawling-Erlaubnissen an Web-Roboter.

Traditionell mussten Website-Betreiber ihre Präferenzen hinsichtlich der Nutzung von Inhalten durch KI separat bei jedem Unternehmen spezifizieren, das KI-Crawler einsetzt, was die Durchsetzung und Einhaltung erschwerte. Der neue Ansatz, vorgeschlagen von Kevin Kelley, technische Leiter für Standards bei Anthropic und entwickelt im Internet Engineering Task Force (IETF), zielt darauf ab, diesen Prozess zu vereinfachen, indem ein gemeinsames Signal bereitgestellt wird. Wenn KI-Crawler der teilnehmenden Unternehmen dieses Token erkennen, sind sie so programmiert, die Wahl des Publishers zu respektieren und auf das Scrapen der Inhalte zu verzichten.

Diese Initiative kommt angesichts wachsender Bedenken von Publishern über unautorisierte Scraping-Aktivitäten zahlreicher KI-Modelle, die große Mengen an Webinhalten aufnehmen. Zu den bestehenden Maßnahmen gehören der Really Simple Licensing (RSL)-Standard, der das Erheben von Gebühren für Web-Crawler ermöglichte, sowie Schutzmaßnahmen wie Cloudflares standardmäßige Blockierung von KI-Crawlern.

Microsoft hat sich verpflichtet, detaillierte Kontrolloptionen anzubieten, die es Publishern ermöglichen, das Verwenden ihrer Inhalte sowohl für KI-Training als auch als verifizierte Informationsquellen zur Vermeidung von KI-Halluzinationen, einem als Grounding bekannten Prozess, abzulehnen. Das Unternehmen stellte klar, dass selbst ausgeklammerte Seiten weiterhin über Bing-Suchergebnisse auffindbar bleiben. Google hat ähnliche Funktionen implementiert, die die Nutzung von Webseiteninhalten für KI-Training und KI-unterstützte Suchfunktionen trennen, ohne die allgemeine Sichtbarkeit in der Suche zu beeinträchtigen.

Anthropic hat das Policy-Token-System bereits integriert, während Google und Microsoft die Einführung für 2027 planen. OpenAI erwartet eine Umsetzung in den kommenden Monaten. Andy Stone, Kommunikationschef von Meta, äußerte Unterstützung für das Konzept eines gemeinsamen Signals, ohne jedoch Details zu nennen, ob Meta es sofort durchsetzen wird.

Dieser gemeinsame Vorstoß markiert einen bedeutenden Schritt zur Standardisierung, wie Websites ihre Präferenzen bezüglich der Nutzung von Daten für das KI-Training kommunizieren können. Er spiegelt die Bewegung der Branche hin zu transparenteren und Publisher-respektierenden KI-Entwicklungspraktiken wider.