Am 15. September 2026 hat sich für Millionen Websites im Hintergrund etwas verändert – und die meisten Betreiber haben es nicht gemerkt. Cloudflare, der Dienst, der bei einem großen Teil deiner Kundenseiten als Schutzschild und Beschleuniger vor dem Server sitzt, blockiert seit diesem Datum bestimmte KI-Crawler standardmäßig. Für neue Konten, für neu hinzugefügte Domains und für alle Nutzer des kostenlosen Tarifs geschieht das automatisch, ohne dass jemand einen Schalter umlegt. Gut möglich, dass das genau die Kundenprojekte betrifft, die du auf dem günstigen Cloudflare-Plan betreibst.
Damit ist eine Frage, die Agenturen bisher über die robots.txt geregelt haben, auf die Infrastruktur-Ebene gewandert. Wer KI-Crawler blockieren – oder eben gezielt durchlassen – will, entscheidet das jetzt auch im Cloudflare-Dashboard, nicht mehr nur in einer Textdatei, die höfliche Bots respektieren und unhöfliche ignorieren. Dieser Beitrag erklärt, was am Stichtag passiert ist, warum pauschales Blocken deinen Kunden schaden kann und wie du für jedes Projekt die richtige Entscheidung triffst.
KI-Crawler blockieren: was Cloudflare zum 15. September geändert hat
Der Auslöser ist eine Verschiebung, die Cloudflare mit eigenen Zahlen belegt: Automatisierter Bot-Traffic hat den menschlichen Datenverkehr im Netz erstmals überholt. Ein erheblicher Teil davon sind KI-Crawler, die Inhalte für das Training großer Sprachmodelle einsammeln. Nach Cloudflares Auswertung entfällt mehr als die Hälfte dieses Crawler-Verkehrs auf das wiederholte Abrufen unveränderter Seiten – reine Verschwendung von Bandbreite und Serverlast, die dein Kunde bezahlt, ohne etwas davon zu haben.
Die Reichweite der Maßnahme ist beträchtlich, weil Cloudflare eine dominante Position hat: Nach Daten von W3Techs entfallen rund 80 Prozent des Marktes für Reverse-Proxys auf den Anbieter, und ein spürbarer Teil aller Websites weltweit läuft über sein Netz. Konkret blockiert Cloudflare seit dem 15. September sogenannte Mixed-Use-Crawler auf werbefinanzierten Seiten standardmäßig – also Bots, die Suche, Agenten-Zugriffe und Trainingsdaten-Sammlung vermischen. Das greift automatisch bei neuen Kunden, bei neuen Domains bestehender Kunden und bei allen Gratis-Nutzern. Bestehende Seiten auf bezahlten Tarifen behalten zunächst ihre Einstellung, aber die Richtung ist klar vorgegeben.
Dahinter steht auch ein handfester Streit mit Google. Cloudflare wirft dem Konzern vor, über seine Suchmaschinen-Dominanz an etwa doppelt so viele Web-Inhalte zu kommen wie andere KI-Anbieter – weil eine Seite, die in Google sichtbar bleiben will, dem Crawling faktisch zustimmen muss. Genau diese Verknüpfung von Suche und KI-Training ist der Kern des Problems, das der Stichtag adressiert.
Warum pauschales Blocken deinen Kunden schaden kann
Jetzt kommt der Punkt, an dem viele Agenturen einen Fehler machen könnten: KI-Crawler pauschal wegsperren und sich sicher fühlen. Das ist zu kurz gedacht, denn „KI-Crawler" ist keine einheitliche Gruppe. Man muss zwei Sorten unterscheiden, die technisch ähnlich aussehen, aber gegensätzliche Folgen haben.
Die einen sind Trainings-Crawler wie GPTBot, die Inhalte einsammeln, um damit Modelle zu füttern. Davon hat dein Kunde direkt nichts – seine Texte verschwinden in einem Trainingsdatensatz, ohne dass ein Besucher oder eine Verlinkung zurückkommt. Diese Bots zu bremsen, ist für die meisten Kunden vertretbar. Die anderen sind Antwort- und Such-Crawler wie der von ChatGPT genutzte Bot für Live-Antworten oder der von Perplexity: Sie holen sich Inhalte, um sie in KI-Antworten zu zitieren – oft mit Quellenlink. Sperrst du die aus, verschwindet dein Kunde aus genau den KI-Antworten, um deren Sichtbarkeit du sonst kämpfst. Wie stark diese neue Sichtbarkeit zählt, zeigt der Beitrag zur Sichtbarkeit in KI-Suchen mit GEO; dass man sie überhaupt messen sollte, vertieft der Beitrag zum Messen der KI-Sichtbarkeit.
Das ist die eigentliche Aufgabe: nicht „alle KI-Bots blockieren", sondern für jeden Kunden abwägen, welcher Zugriff schadet und welcher nützt. Ein lokaler Handwerker, der ohnehin kaum von KI-Zitaten profitiert, kann Trainings- und Antwort-Bots getrost draußen lassen. Ein Fachhändler oder Ratgeber-Anbieter, der in ChatGPT und Google als Quelle auftauchen will, sollte die Antwort-Crawler ausdrücklich durchlassen und nur die reinen Trainings-Bots bremsen. Diese Unterscheidung ist der Beratungswert, den du lieferst.
Vom robots.txt-Wunsch zur durchgesetzten Regel
Bisher lief die Steuerung der Bots über die robots.txt – eine Datei, die Anweisungen enthält, aber nichts erzwingt. Seriöse Crawler halten sich daran, andere nicht. Die Grundlagen dieser Datei und der neueren llms.txt erklärt der Beitrag zum Steuern von KI-Crawlern über robots.txt und llms.txt.
Der Unterschied auf der Cloudflare-Ebene: Hier wird nicht gebeten, sondern durchgesetzt. Weil der Traffic ohnehin durch Cloudflares Netz läuft, kann der Dienst einen Bot technisch abweisen, statt nur einen Wunsch zu formulieren. Im Dashboard hast du dabei pro Crawler drei Optionen: durchlassen, sperren – oder, das ist neu, Bezahlung verlangen. Damit wird aus der bloßen Abwehr eine echte Wahl, die zur Strategie des jeweiligen Kunden passen muss. Wichtig für die Praxis: Prüfe die AI-Crawler-Einstellungen aktiv, verlass dich nicht auf die Standardwerte. Gerade bei den automatisch geblockten Gratis-Projekten lohnt der Blick, ob versehentlich ein Bot draußensteht, den der Kunde eigentlich braucht.
Pay-per-Crawl: aus Inhalten Umsatz machen
Der spannendste Teil ist das Bezahlmodell. Mit „Pay per Crawl" hat Cloudflare einen Mechanismus geschaffen, über den Publisher für den Zugriff von KI-Bots Geld verlangen können. Technisch läuft das über den HTTP-Statuscode 402 „Payment Required": Fragt ein Crawler eine Seite ab, bekommt er entweder gegen hinterlegte Zahlungsabsicht Zugriff – oder eine Antwort mit dem geforderten Preis. Der Seitenbetreiber legt einen Preis pro Anfrage für seine Domain fest und entscheidet je Bot zwischen Zulassen, Zahlen und Blockieren. Inzwischen ergänzt Cloudflare das um ein „Pay per Use"-Modell, das erst dann abrechnet, wenn die Inhalte tatsächlich Wert erzeugen, statt schon beim reinen Abruf.
Für die meisten kleinen Kundenseiten ist das noch keine relevante Einnahmequelle – der einzelne Handwerker wird von KI-Firmen keine nennenswerten Beträge sehen. Aber für inhaltsstarke Kunden verschiebt sich etwas: ein Fachmagazin, ein Ratgeber-Portal, ein Verlag mit umfangreichem Archiv. Wer viel hochwertigen, einzigartigen Text produziert, dessen Inhalte sind für KI-Modelle wertvoll – und Pay-per-Crawl macht diesen Wert erstmals abrechenbar. Das ist ein Gesprächsanlass, mit dem du bei solchen Kunden als vorausdenkender Partner auftrittst, statt das Thema auszusitzen. Der ökonomische Hintergrund, warum KI-Anbieter überhaupt zahlen sollen, hängt eng mit dem Traffic-Verlust zusammen, den der Beitrag zu den AI Overviews und dem Traffic-Einbruch beschreibt: Wenn KI die Antwort liefert und der Klick ausbleibt, muss die Wertschöpfung woanders entstehen.
Was du diese Woche für deine Kundenprojekte tun solltest
Fang mit einer schlichten Inventur an: Welche deiner Kundenseiten laufen über Cloudflare, und auf welchem Tarif? Bei den kostenlosen und neu angelegten Projekten greift die Standard-Blockade automatisch – dort prüfst du zuerst, ob die aktive Einstellung zur Strategie des Kunden passt.
Ein Wort zu den Seiten, die nicht über Cloudflare laufen: Bei ihnen ändert der Stichtag unmittelbar nichts, doch die Grundfrage bleibt dieselbe. Auch dort willst du wissen, welche KI-Bots welche Inhalte abgreifen, und steuerst das über robots.txt, Serverregeln oder – je nach Hoster – ähnliche Bot-Management-Funktionen. Der Cloudflare-Stichtag ist der laute Anlass, das Thema jetzt für alle Projekte einmal sauber durchzugehen, egal welche Infrastruktur dahintersteht. Und weil das Sperren von KI-Bots auch datenschutzrechtlich niemandem wehtut, im Gegenteil die Kontrolle über die eigenen Inhalte stärkt, ist es eine der wenigen Maßnahmen ohne Kehrseite.
Danach triffst du je Projekt eine bewusste Entscheidung entlang der einfachen Leitfrage: Profitiert dieser Kunde davon, in KI-Antworten zitiert zu werden? Wenn ja, lässt du die Antwort-Crawler durch und bremst nur die reinen Trainings-Bots. Wenn nein, kannst du breiter blockieren. Für inhaltsstarke Kunden nimmst du zusätzlich das Bezahlmodell in den Blick. Dokumentiere die getroffene Einstellung, damit sie nachvollziehbar bleibt – und mach die Bot-Steuerung zu einem festen Punkt deiner Wartungsroutine, denn die KI-Crawler-Landschaft ändert sich schnell, und was heute die richtige Regel ist, kann in einem halben Jahr überholt sein. Genau diese laufende Pflege ist es, die aus einer technischen Einstellung ein Argument für den Betreuungsvertrag macht.
- Seit dem 15. September 2026 blockiert Cloudflare bestimmte KI-Crawler auf werbefinanzierten Seiten standardmäßig – automatisch für neue Konten, neue Domains und alle Nutzer des kostenlosen Tarifs.
- 'KI-Crawler' ist keine einheitliche Gruppe: Trainings-Bots wie GPTBot bringen dem Kunden nichts, doch Antwort- und Such-Crawler zitieren Inhalte mit Quellenlink – wer sie pauschal sperrt, verschwindet aus KI-Antworten.
- Cloudflare dominiert mit rund 80 Prozent des Reverse-Proxy-Marktes (W3Techs), weshalb der Stichtag einen großen Teil der Kundenprojekte betrifft.
- Anders als die robots.txt, die nur bittet, setzt Cloudflare die Regel technisch durch – im Dashboard gibt es pro Bot drei Optionen: durchlassen, sperren oder Bezahlung verlangen.
- Mit Pay-per-Crawl (HTTP-Statuscode 402) können inhaltsstarke Kunden wie Verlage und Ratgeber-Portale den Zugriff von KI-Bots erstmals abrechnen – für kleine Seiten noch keine relevante Einnahmequelle.