Perplexity vs. Cloudflare – Streit um Webzugriff eskaliert

Verdecktes Crawling, IP-Wechsel und Fake-Browser – der Vorwurf wiegt schwer. Folgt jetzt ein Präzedenzfall für KI-Datenbeschaffung?

gpt-image-1 | All-AI.de

Cloudflare wirft der KI-Suchmaschine Perplexity vor, gezielt technische Sperren von Website-Betreibern zu umgehen. Laut einem am 4. August 2025 veröffentlichten Bericht soll das Unternehmen Inhalte auslesen, selbst wenn diese per `robots.txt` oder Firewall blockiert sind – und dabei Methoden einsetzen, die das Verhalten gewöhnlicher Browser imitieren. Die Vorwürfe verschärfen den Konflikt zwischen KI-Anbietern und Content-Publishern um Datenzugriff und Respekt vor Webstandards.

Verdecktes Crawlen unter Tarnidentität

Nach Cloudflares Angaben nutzte Perplexity zunächst seine offiziellen Bots, die Website-Betreiber gezielt blockieren konnten. Wurden diese Zugänge gesperrt, seien jedoch verdeckte Crawler eingesetzt worden, die sich als regulärer Chrome-Browser auf macOS ausgaben. Damit habe das Unternehmen Inhalte auch dann abgerufen, wenn Betreiber den Zugriff ausdrücklich verweigerten.

Zusätzlich sollen die Anfragen von wechselnden IP-Adressen und aus unterschiedlichen Netzwerken gekommen sein. Diese Strategie habe es ermöglicht, Firewalls und automatisierte Erkennungssysteme zu umgehen. Die Datenmengen sollen in den Millionenbereich pro Tag gegangen sein und Tausende Domains betroffen haben.

Cloudflares Gegenmaßnahmen

Auf Basis dieser Erkenntnisse entfernte Cloudflare Perplexity aus seinem Verified-Bots-Programm. Neue Filterregeln sollen verhindern, dass nicht deklarierte Crawler weiter auf blockierte Inhalte zugreifen können. Firmenchef Matthew Prince verglich das Vorgehen öffentlich mit Methoden, die sonst bei staatlich unterstützten Hackergruppen zu beobachten seien – eine deutliche Warnung an andere KI-Unternehmen.

Cloudflare betont, dass Webstandards wie `robots.txt` nicht nur technische Formalitäten, sondern Grundpfeiler eines fairen Miteinanders im Internet sind. Wer sie umgehe, gefährde das Vertrauen zwischen Betreibern, Nutzern und Dienstanbietern.

Perplexitys Reaktion und Vorgeschichte

Perplexity wies die Vorwürfe zurück und bezeichnete den Bericht als missverständlich und übertrieben. Man halte sich an gängige Praktiken und sehe in der Darstellung Cloudflares einen Versuch, mediale Aufmerksamkeit zu erzeugen.

Kritik an den Datensammelmethoden der Firma ist allerdings nicht neu. Bereits im vergangenen Jahr wurde Perplexity beschuldigt, Paywall-Inhalte oder gesperrte Seiten über Drittanbieter-Crawler zu beziehen. Damals sorgten Drohungen rechtlicher Schritte von Medienhäusern wie Forbes oder BBC für Schlagzeilen.

Ein Streit mit Signalwirkung

Der aktuelle Fall unterstreicht den wachsenden Druck im Spannungsfeld zwischen KI-Training, Urheberrechten und Webzugang. Während einige Anbieter wie OpenAI nach Cloudflares Angaben Blockierungen strikt respektieren, setzen andere offenbar auf technisch aggressive Strategien.

Für Publisher steht dabei nicht nur der Schutz eigener Inhalte auf dem Spiel, sondern auch die Frage, wie sich das offene Web in Zeiten datenhungriger KI-Modelle verändert. Ob Perplexity sein Vorgehen anpasst oder weiter auf Konfrontationskurs bleibt, könnte darüber entscheiden, wie sich die Fronten in diesem Konflikt verschieben – und wie viel Vertrauen im Netz noch übrig bleibt.

Kostenlose News und Tutorials – mit minimaler Werbung und maximalem Mehrwert. Damit das so bleibt und wir uns stetig verbessern können, freuen wir uns über deine Unterstützung.

Teile diesen Beitrag

Folge uns auf Social Media

Keine KI-News mehr verpassen und direkt kommentieren!

Unterstütze uns direkt

Mit einer YouTube-Mitgliedschaft (ab 0,99 €) oder einmalig über PayPal. So helft ihr uns, unabhängig neue Tools zu testen und noch mehr Tutorials für euch zu erstellen. Vielen Dank für euren Support!