KI-Crawler in der robots.txt: Welche du zulassen solltest und welche nicht.

Seit Cloudflare KI-Crawler standardmäßig aussperrt, taucht die Frage in fast jedem Erstgespräch auf: Soll ich die Bots blocken oder nicht?

Die Antwort hängt davon ab, was du verkaufst.

Ein Verlag mit Paywall hat gute Gründe, Trainings-Crawler fernzuhalten. Ein Coach, ein Berater oder ein kleines Studio lebt davon, empfohlen zu werden. Und eine einzige Zeile in der robots.txt kann entscheiden, ob ChatGPT, Claude oder Perplexity deinen Namen überhaupt nennen können.

Das Problem: Die Crawler heißen alle ähnlich, tun aber sehr unterschiedliche Dinge. Wer pauschal alles sperrt, was nach KI klingt, wirft sich damit aus den Antworten, in denen seine Kunden gerade suchen.

Drei Arten von KI-Besuchern

Jeder große Anbieter schickt inzwischen mehrere Bots mit eigenen Namen los. Sie lassen sich in drei Gruppen einteilen, und nur diese Einteilung zählt für deine Entscheidung.

Trainings-Crawler sammeln Inhalte, die in das Training künftiger Modelle einfließen können. Dazu gehören GPTBot, ClaudeBot und Google-Extended. Ob du sie sperrst, hat keinen Einfluss darauf, ob du heute in einer Antwort zitiert wirst.

Such-Crawler bauen den Index auf, aus dem die KI-Suche ihre Quellen zieht. OAI-SearchBot für die Suche in ChatGPT, Claude-SearchBot für Claude, PerplexityBot für Perplexity. Wer hier sperrt, kommt in den Suchergebnissen dieser Systeme nicht vor.

Live-Abrufer öffnen eine Seite in dem Moment, in dem ein Mensch eine Frage stellt. ChatGPT-User, Claude-User und Perplexity-User holen sich die aktuelle Version deiner Seite, um daraus zu antworten. Sie sind der Grund, warum eine KI dein Angebot korrekt beschreiben kann, obwohl du erst letzte Woche die Preise geändert hast.

Die Crawler im Überblick

Die Angaben stammen aus den offiziellen Dokumentationen der Anbieter, Stand September 2026. Die Namen in der zweiten Spalte sind exakt die Tokens, die du in der robots.txt verwendest.

Zwei Punkte aus dieser Tabelle überraschen fast jeden.

Erstens: Perplexity betont ausdrücklich, dass PerplexityBot ausschließlich dafür crawlt, Websites in Antworten zu verlinken. Für das Training von Modellen wird er laut Perplexity nicht eingesetzt. Wer ihn sperrt, gewinnt nichts und verliert eine ganze Plattform.

Zweitens: Die Live-Abrufer von OpenAI und Perplexity halten sich nach eigener Aussage nicht zuverlässig an die robots.txt, weil ein Mensch den Abruf ausgelöst hat. Das heißt umgekehrt: Selbst wenn du alles sperrst, kann eine KI deine Seite auf Nachfrage trotzdem öffnen. Was du mit der Sperre wirklich verhinderst, ist die Aufnahme in den Index, über den du gefunden wirst.

Was Google-Extended wirklich steuert

Google-Extended ist der Eintrag, den die meisten falsch verstehen.

Laut Googles Dokumentation regelt der Token nur, ob deine Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini-Apps und Vertex AI verwendet werden dürfen. Google schreibt wörtlich, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Ranking-Signal dient.

AI Overviews und der AI Mode laufen über den normalen Googlebot. Wer dort auftauchen will, braucht keinen speziellen Eintrag. Wer dort nicht auftauchen will, muss mit nosnippet, max-snippet oder noindex arbeiten, denn eine Sperre für Google-Extended ändert daran nichts.

Wie viele Websites KI-Crawler sperren

Die Sperrquoten zeigen, dass viele Betreiber genau die Unterscheidung aus der Tabelle treffen, oft ohne es zu wissen.

Eine monatlich aktualisierte Auswertung von Presenc für die 1.000 größten Websites kommt für Mai 2026 auf diese Werte: GPTBot wird von rund 25 Prozent gesperrt, ClaudeBot von rund 20 Prozent, Bytespider von etwa 22 Prozent. Die Such-Crawler stehen ganz anders da: PerplexityBot bei etwa 9 Prozent, OAI-SearchBot bei etwa 5 Prozent.

Die Quote für GPTBot lag Anfang 2023 noch bei 5 Prozent und ist seit 2024 auf dem heutigen Niveau eingefroren. Große Publisher haben ihre Entscheidung getroffen. Wer jetzt noch sperrt, tut es meist nicht bewusst.

Der größte Treiber dafür ist Cloudflare. Seit Juli 2025 fragt der Dienst jede neue Domain, ob KI-Crawler zugelassen werden sollen, und blockt im Zweifel. Ab dem 15. September 2026 gilt für neue Domains eine neue Standardeinstellung: Suche bleibt erlaubt, Training und Agenten werden auf Seiten mit Werbung blockiert. Cloudflare weist selbst darauf hin, dass Mehrzweck-Crawler wie Googlebot oder Bingbot unter die strengste Regel fallen, die auf sie zutrifft. Eine Trainingssperre kann deshalb mehr treffen, als der Name vermuten lässt.

Eine robots.txt, die dich sichtbar hält

Für die meisten Selbstständigen und kleinen Unternehmen ist die Antwort schlicht: Alles zulassen, was Suche und Live-Abruf betrifft. Ob du zusätzlich das Training ausschließt, ist eine Geschmacksfrage ohne Folgen für die Sichtbarkeit.

So sieht die einfachste Variante aus. Sie erlaubt allen Crawlern alles und sperrt nur die Bereiche, die ohnehin niemand sehen soll.

# robots.txt: KI-Suche und Live-Abruf ausdrücklich erlauben
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Alle anderen: alles erlauben, private Pfade ausnehmen
User-agent: *
Disallow: /intern/
Disallow: /danke/

Sitemap: https://deine-domain.de/sitemap-index.xml

Wenn du das Training ausschließen willst, ohne aus den Antworten zu fallen, ergänzt du die Trainings-Crawler mit einer eigenen Sperre. Der Rest bleibt gleich.

# Optional: nur das Training ausschließen
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Die Reihenfolge ist wichtig: Crawler suchen sich den Block, der sie namentlich nennt. Ein Crawler, der in keinem Block steht, folgt dem Stern-Block. Deshalb reicht ein Disallow: / unter User-agent: * aus, um alle KI-Systeme auf einmal auszusperren, und genau das passiert vielen unbemerkt nach einem Relaunch.

Wo die Sperre meistens herkommt

In den Checks, die wir für Kunden machen, ist die robots.txt selten das eigentliche Problem. Die Sperre sitzt woanders.

• Cloudflare oder ein anderes CDN. Die Einstellung „AI Bots blockieren" ist mit einem Klick aktiv und taucht in keiner Datei auf. Der Crawler bekommt eine Fehlerseite oder ein JavaScript-Rätsel statt deiner Inhalte.
• Security-Plugins. Viele WordPress-Plugins bringen Bot-Listen mit, in denen GPTBot und ClaudeBot als „schädlich" eingetragen sind. Ein Update kann die Liste erweitern.
• Firewall des Hosters. Manche Anbieter drosseln oder blocken unbekannte Crawler auf Serverebene, insbesondere bei hoher Last.
• Inhalte, die erst im Browser entstehen. Wenn deine Texte per JavaScript nachgeladen werden, sehen Crawler, die kein JavaScript ausführen, eine leere Seite. Die robots.txt ist dann korrekt, der Inhalt trotzdem unsichtbar.

Der einzige verlässliche Test ist deshalb der tatsächliche Abruf: eine Anfrage mit dem User-Agent des jeweiligen Crawlers, und ein Blick darauf, was zurückkommt.

Wann Sperren sinnvoll ist

Es gibt Fälle, in denen die Sperre die richtige Entscheidung ist.

Wenn deine Inhalte selbst das Produkt sind, etwa bei einem Fachverlag, einer Datenbank oder einer Plattform mit Paywall, entwertet ein Modell, das sie wiedergibt, dein Geschäft. Dann sperrst du die Trainings-Crawler und entscheidest bewusst, ob die Such-Crawler die frei zugänglichen Teile sehen dürfen.

Wenn du sensible Inhalte veröffentlichst, die nicht aus dem Zusammenhang gerissen werden sollen, ist die Sperre ebenfalls vertretbar.

Für alle anderen gilt: Eine KI, die dich nicht lesen kann, empfiehlt jemand anderen. Sie erfindet keine Lücke in ihrer Antwort, sie füllt sie mit dem nächstbesten Anbieter, dessen Seite offen war.

Häufige Fragen