Robots.txt-Politik: Keiner möchte, dass Apple ihre Websites zum Training von KI durchsucht

Einblick in die digitale Politik der KI anhand von blockierten Webcrawlern

Ein Bericht von Wired besagt, dass eine Vielzahl großer Websites, darunter einflussreiche Nachrichtenverlage und Top-Social-Media-Plattformen, Apples Webcrawler daran hindern, ihre Seiten nach Inhalten für das KI-Training zu durchsuchen.

Laut dem Bericht haben Medienunternehmen wie The New York Times, The Atlantic, The Financial Times, Gannett, Vox Media und Condé Nast ihre robots.txt-Dateien geändert, um Applebot auszusperren. Auf der Social-Media-Seite haben Facebook, Instagram und Tumblr bestätigt, dass sie Apple daran gehindert haben, ihre Websites zu durchsuchen. Ebenso hat der Internet-Dino Craigslist dies getan.

Robots.txt-Dateien werden zunehmend zu einem faszinierenden Ort, um die digitale Politik der KI zu untersuchen. Einige dieser Unternehmen – darunter Vox, Condé Nast und The Atlantic – haben Content-Lizenzvereinbarungen mit OpenAI abgeschlossen; Die New York Times hat hingegen eine klare Linie in Bezug auf KI gezogen und verklagt OpenAI aktiv wegen Urheberrechtsverletzung. Facebook und Instagram gehören beide Meta, einem Konkurrenten von Apple im KI-Bereich. Plattformen wie Tumblr und Craigslist sitzen auf sehr lukrativen Datensätzen.

Die AI-Branche ist intensiv wettbewerbsorientiert, insbesondere hinsichtlich des Zugangs zu hochwertigem Trainingsmaterial. Die Entscheidung darüber, wo und wie Bots wie Apples herumstreifen dürfen, bietet einen interessanten Einblick in die KI-fokussierte Entscheidungsfindung – sowohl auf Seiten der Verlage als auch im Namen von KI-Unternehmen.

Laut Wired haben diese Websites speziell ‚Apple-Extended‘ blockiert – ein Webcrawler, der Webpublishern explizit die Wahl lässt, ‚die Verwendung ihrer Website-Inhalte zur Schulung von Apples Grundlagenmodellen zur Generierung von KI-Funktionen über Apple-Produkte hinweg auszuschließen.‘ Ein Apple-Sprecher bestätigte gegenüber Wired, dass das Blockieren von Applebot-Extended nicht den OG Applebot davon abhält, eine Website zu durchsuchen.

Applebot sammelt Daten für Apples Siri und Spotlight – eine Unterscheidung, die auf Apples Vorsicht hinsichtlich Urheberrechten und IP-Schutz im KI-Zeitalter hinweist. Die NYT ist nicht das einzige Unternehmen oder die einzige Gruppe, die KI-Hersteller verklagt. Es könnte also im besten Interesse von Apple liegen, kontroverse oder sich im Rechtsstreit befindliche Daten zu vermeiden.

Teile den Artikel

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert