Der Kunde meldet sich, weil seine Seite „seit ein paar Tagen so zäh" ist. Du wirfst einen Blick in die Server-Logs und traust deinen Augen kaum: Zehntausende Zugriffe pro Stunde, aber kaum ein echter Besucher darunter. Stattdessen tauchen immer dieselben Namen auf – GPTBot, meta-externalagent, ClaudeBot. Kein Angriff, keine Malware. Nur KI-Crawler, die den kleinen Shared-Hosting-Server deines Kunden systematisch leerräumen. Und am Monatsende steht dann die überraschend hohe Rechnung vom Hoster.
Was früher ein Randthema für Betreiber riesiger Portale war, ist 2026 im Agentur-Alltag angekommen. KI-Bots durchforsten das Web in einem Tempo, das kleine Seiten spürbar ausbremst und Hosting-Kosten in die Höhe treibt. Dieser Beitrag zeigt dir, wie groß das Problem wirklich ist, warum ausgerechnet deine Kundenseiten leiden – und mit welchen Mitteln du gegensteuerst, ohne die Seite für die KI-Suche unsichtbar zu machen.
Bot-Traffic frisst die Serverleistung deiner Kunden
Die Dimension wird erst mit Zahlen greifbar. Der Anbieter Fastly hat für seinen Threat Insights Report im Zeitraum von Mitte April bis Mitte Juli 2025 rund 6,5 Billionen Anfragen pro Monat über mehr als 130.000 Anwendungen ausgewertet. Ergebnis: Automatisierter Bot-Traffic machte etwa 37 Prozent der beobachteten Aktivität aus. Von diesem KI-Bot-Verkehr entfielen fast 80 Prozent auf klassische Crawler.
Wie brutal sich das auf einem einzelnen Server niederschlägt, zeigt ein Fall, den das Fachmagazin Dr. Web Ende August 2026 aufgriff: Auf den Servern von kernel.org, der zentralen Anlaufstelle für den Linux-Kernel, schlugen zeitweise rund sechs Millionen Anfragen täglich auf – 98 Prozent davon von Bots, nur zwei Prozent von Menschen. 14 bis 16 von 90 Prozessorkernen waren durchgängig nur damit beschäftigt, diese Bot-Anfragen abzuarbeiten. Ein Extrembeispiel, sicher. Aber es macht das Muster sichtbar, das auch die kleine WooCommerce-Seite deines Kunden trifft, nur eben in kleinerem Maßstab.
Crawler und Fetcher: zwei Sorten, ein Problem
Um gezielt gegenzusteuern, hilft es, zwei Arten von KI-Bots zu unterscheiden. Crawler sammeln kontinuierlich Inhalte ein, um damit Sprachmodelle zu trainieren. Fetcher dagegen holen Inhalte auf Zuruf – etwa wenn ein Nutzer ChatGPT eine Frage stellt und das Modell live die passende Quelle nachlädt. Genau diese Fetcher sind für die gefährlichsten Lastspitzen verantwortlich.
Laut Fastly erreichte das Anfragevolumen einzelner Fetcher in Spitzen mehr als 39.000 Anfragen pro Minute gegen eine einzelne Website – ein Volumen, das die Wirkung eines DDoS-Angriffs nachahmt, ganz ohne bösen Willen. Bei den reinen Crawlern führt Meta mit 52 Prozent des KI-Crawler-Traffics, gefolgt von Google mit 23 und OpenAI mit 20 Prozent. Bei den Fetchern ist die Konzentration noch extremer: 98 Prozent aller Fetcher-Anfragen gingen laut Fastly auf ChatGPT zurück. Wer also nur an „die eine KI" denkt, unterschätzt, aus wie vielen Richtungen die Last gleichzeitig kommt.
Warum gerade kleine Kundenseiten leiden
Große Plattformen stecken solche Wellen weg – sie haben CDNs, Lastverteilung und eigene Bot-Abteilungen. Die typische Agentur-Kundenseite hat davon nichts. Sie läuft auf Shared Hosting oder einem kleinen VPS, oft mit einem dynamischen CMS wie WordPress mit WooCommerce oder Shopware. Und dynamische Seiten sind die eigentliche Schwachstelle: Jeder Bot-Aufruf erzeugt eine frische Datenbankabfrage, die sich nicht so leicht aus einem Cache bedienen lässt wie eine statische HTML-Datei.
Das Ergebnis beschreibt das deutsche Fachmedium Computerwoche nüchtern: überlastete Origin-Server, aufgezehrte Bandbreite und teure, DDoS-ähnliche Effekte. Die Folgekosten landen am Ende beim Website-Betreiber – über höhere Hosting-Rechnungen, gedrosselte Server oder schlicht eine lahme Seite, die Besucher und Rankings kostet. Besonders betroffen sind laut den Auswertungen Branchen mit vielen Einzelseiten: Handel, Medien und Hightech. Also genau die Kunden, für die deine Agentur Shops und Magazine baut.
Das Gute ist: Das Problem lässt sich sehen, bevor es weh tut. Ein Blick in die Zugriffs-Logs oder in die Statistik des Hosters verrät schnell, ob etwas nicht stimmt. Auffällige User-Agents wie GPTBot, meta-externalagent, ClaudeBot, Bytespider oder PerplexityBot, ein Missverhältnis zwischen Seitenaufrufen und echten Sitzungen in der Webanalyse und wiederkehrende Lastspitzen zu immer denselben Zeiten sind die typischen Signale. Wer die Logs einmal im Monat überfliegt, erkennt eine anrollende Bot-Welle, bevor der Kunde anruft.
Das ist nicht dasselbe wie KI-Sichtbarkeit
Hier lohnt eine wichtige Abgrenzung, an der sich viele verheddern. Ob deine Kundenseite in ChatGPT oder Google AI Overviews überhaupt auftaucht, ist eine Frage der Sichtbarkeit – und die willst du in vielen Fällen. Welche Bots du für das Training zulässt und welche du monetarisierst, steuerst du auf der inhaltlichen Ebene, etwa über die robots.txt und llms.txt oder über Cloudflares Pay-per-Crawl-Modell.
Der Serverlast-Aspekt ist davon getrennt. Selbst wenn dein Kunde in KI-Suchen gefunden werden möchte, muss seine Seite die Anfragewellen technisch verkraften. Und ein Opt-out in der robots.txt hilft dagegen nur bedingt: Er ist eine Bitte, keine Sperre. Seriöse Anbieter halten sich daran, aggressive oder unbekannte Scraper ignorieren ihn schlicht. Wer nur die robots.txt pflegt und glaubt, das Lastproblem sei damit gelöst, wird von den nächsten Logs eines Besseren belehrt. Sichtbarkeit steuern und Server schützen sind zwei getrennte Aufgaben.
So verteidigst du Kundenseiten gegen Bot-Last
Die gute Nachricht: Du brauchst kein eigenes Security-Team, um die Last spürbar zu senken. Es gibt eine sinnvolle Reihenfolge, die vom Einfachen zum Aggressiven geht.
Caching und CDN vorschalten
Der wirksamste erste Schritt ist, möglichst wenig Last überhaupt bis zur Datenbank durchzulassen. Ein vorgeschaltetes CDN und ein sauberes Page-Caching liefern statische Kopien aus, statt jede Bot-Anfrage frisch berechnen zu lassen. Das nimmt nicht nur den Bots den Zahn, sondern verbessert nebenbei die Core Web Vitals für echte Besucher – ein doppelter Gewinn.
Rate Limiting setzen
Als Nächstes deckelst du die Ausreißer. Eine harte Ratenbegrenzung auf Server- oder CDN-Ebene erlaubt jeder Quelle nur eine bestimmte Zahl von Anfragen pro Zeitfenster. Ein einzelner Fetcher, der plötzlich Tausende Aufrufe pro Minute abfeuert, läuft damit ins Leere, ohne dass echte Nutzer es merken.
Bot-Management nutzen
Dienste wie Cloudflare bringen einen vorgelagerten Bot-Filter mit, der bekannte Crawler anhand von Signaturen und Verhalten erkennt und aussiebt, bevor sie den Origin-Server erreichen. Für viele kleine Kundenseiten ist das der pragmatischste Hebel: einmal eingerichtet, filtert er einen Großteil des unerwünschten Verkehrs automatisch.
Rechenrätsel als letzte Stufe
Bleibt hartnäckiger Scraper-Traffic übrig, kommen Proof-of-Work-Werkzeuge ins Spiel. Anubis etwa stellt jedem Besucher vor dem ersten Seitenaufruf ein kleines Rechenrätsel, das für einen Browser trivial, für einen Massen-Scraper aber teuer ist. Laut Dr. Web fängt das in der Praxis zwei von drei unerwünschten Anfragen ab. Solche Maßnahmen sind wirksam, können aber echte Nutzer und wohlwollende Bots stören – sie gehören ans Ende der Kette, nicht an den Anfang.
Bot-Abwehr als Wartungsbaustein
Für kleine Agenturen ist das kein lästiges Zusatzthema, sondern ein naheliegender Baustein für wiederkehrenden Umsatz. Wer die Server-Logs seiner Kunden regelmäßig sichtet, Auffälligkeiten früh erkennt und Caching, Rate Limiting und Bot-Filter sauber pflegt, verkauft eine messbare Leistung: eine Seite, die schnell bleibt und deren Hosting-Kosten nicht aus dem Ruder laufen. Das passt nahtlos in einen Wartungsvertrag und lässt sich anhand der Log-Auswertung sogar hübsch belegen.
Und es zahlt auf ein Argument ein, das deinen Kunden ohnehin wichtig ist: Eine Seite, die nicht die halbe Serverleistung an Scraper verschenkt, ist ressourcenschonender und günstiger im Betrieb. Wenn du deinen Kunden zusätzlich einen Assistenten anbietest, der Besucherfragen direkt aus den geprüften Seiteninhalten beantwortet, behältst du die Kontrolle darüber, wie auf diese Inhalte zugegriffen wird – statt sie ungefiltert dem nächsten Scraper zu überlassen.
Fazit: hinschauen, bevor der Server ächzt
Bot-Traffic ist kein hypothetisches Zukunftsthema mehr, sondern ein realer Kostentreiber, der schon heute auf den Servern deiner Kunden sitzt. Das Tückische daran ist die Unsichtbarkeit: Solange die Seite gerade noch läuft, fällt niemandem etwas auf – bis die Rechnung kommt oder die Ladezeit kippt. Genau hier liegt dein Vorsprung. Du hast Zugriff auf die Logs, du kennst die Hosting-Umgebung, und du kannst mit Caching, Ratenbegrenzung und einem Bot-Filter in wenigen Stunden dafür sorgen, dass die echten Besucher wieder Vorfahrt haben.
- Laut Fastly-Report (August 2025) macht automatisierter Bot-Traffic rund 37 % der Web-Anfragen aus; fast 80 % des KI-Bot-Verkehrs entfallen auf Crawler.
- Sogenannte Fetcher erzeugen die gefährlichsten Spitzen – einzelne erreichten über 39.000 Anfragen pro Minute gegen eine Website und wirken wie ein DDoS-Angriff ohne bösen Willen.
- Dynamische Kundenseiten auf Shared Hosting leiden besonders: Jeder Bot-Aufruf löst eine Datenbankabfrage aus, treibt Hosting-Kosten und bremst echte Besucher.
- Ein robots.txt-Opt-out ist nur eine Bitte, keine Sperre: Server-Schutz und KI-Sichtbarkeit sind zwei getrennte Aufgaben.
- Wirksame Abwehr in Reihenfolge: Caching und CDN, Rate Limiting, Bot-Management (z. B. Cloudflare) und – als letzte Stufe – Proof-of-Work-Rätsel wie Anubis.