Von Kunden kommen zwei gegensätzliche Fragen. Der eine sagt „Meine Inhalte sollen nicht für KI-Training genutzt werden, sperrt alles“, der andere fragt „Warum tauchen wir in ChatGPT nicht auf?“. Häufig liegt beides an derselben Datei: der robots.txt im Stammverzeichnis der Website. In diesem Beitrag erklären wir anhand der Dokumentation der Anbieter und ohne erfundene Zahlen, was welcher Bot tut.
Kurze Antwort
Trainings-Bots (GPTBot, ClaudeBot, Google-Extended) lassen sich blockieren, und das senkt Ihre Sichtbarkeit in der Suche nicht von selbst. Wenn Sie Such- und Antwort-Bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) blockieren, wird es schwieriger, in den jeweiligen KI-Suchen aufzutauchen. Da jeder Bot einen anderen Zweck hat, kann eine einzige Zeile „alles sperren“ gleich zwei Dinge kaputt machen.
Es gibt drei Arten von Bots
Die Crawler der KI-Unternehmen machen nicht alle dasselbe. Aus der Dokumentation ergibt sich diese Unterscheidung:
- Trainings-Bots: können Inhalte sammeln, um generative KI-Modelle zu trainieren.
- Such-Bots: indexieren Seiten, damit Ihre Website in der Suchfunktion des Unternehmens angezeigt werden kann.
- Nutzer-Bots: Wenn jemand einer KI eine Frage stellt, öffnen und lesen sie die Seite in genau diesem Moment.
OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User
Laut der Bot-Seite von OpenAI crawlt GPTBot Inhalte, die zum Training generativer KI-Basismodelle verwendet werden können. Wer GPTBot nicht zulässt, signalisiert, dass seine Inhalte nicht fürs Training genutzt werden sollen. OAI-SearchBot arbeitet dafür, Websites in den Suchfunktionen von ChatGPT anzuzeigen, und OpenAI empfiehlt, ihn in der robots.txt zuzulassen. Websites, die diesen Bot blockieren, bleiben aus den ChatGPT-Suchantworten draußen und erscheinen höchstens als Navigationslink.
Der dritte Bot ist ChatGPT-User. Er kann eine Seite besuchen, wenn ein Nutzer ChatGPT eine Frage stellt. OpenAI schreibt, dass robots.txt-Regeln bei diesen Besuchen möglicherweise nicht gelten, weil der Nutzer sie auslöst. Für diesen Bot ist die robots.txt allein also keine verlässliche Bremse.
Ein Hinweis zum Timing: OpenAI sagt, dass die Systeme nach einer Änderung der robots.txt etwa 24 Stunden brauchen können, um sich anzupassen. Ändern Sie die Datei nicht und erwarten Sie am selben Tag Ergebnisse.
Anthropic: ClaudeBot, Claude-SearchBot, Claude-User
Auch die Support-Seite von Anthropic nutzt dieselbe dreiteilige Struktur. ClaudeBot sammelt Webinhalte, die fürs Training genutzt werden können. Claude-SearchBot analysiert Inhalte, um die Qualität der Suchergebnisse zu verbessern; wird er blockiert, werden Sie nicht für die Suche indexiert, und Ihre Sichtbarkeit kann sinken. Claude-User besucht eine Website, wenn jemand Claude eine Frage stellt; wird er blockiert, können Ihre Inhalte bei Nutzerfragen nicht abgerufen werden.
Anthropic rät außerdem davon ab, per IP-Adresse zu blockieren. Der Grund: Eine IP-Sperre hindert den Bot auch daran, Ihre robots.txt zu lesen, sodass Ihre Präferenz womöglich nicht korrekt erkannt wird.
Perplexity und Google-Extended
In der Dokumentation von Perplexity wird PerplexityBot als Bot definiert, der Websites in den Perplexity-Suchergebnissen anzeigt, und es heißt, dass er keine Inhalte zum Training von KI-Basismodellen crawlt. Perplexity empfiehlt, diesen Bot zuzulassen. Perplexity-User besucht eine Seite, wenn ein Nutzer eine Frage stellt, und beachtet robots.txt-Regeln in der Regel nicht, weil er im Auftrag des Nutzers handelt.
Bei Google sorgt der Name Google-Extended für Verwirrung. Laut Googles Dokumentation ist er kein eigener User-Agent, sondern nur ein Produkt-Token, das in der robots.txt verwendet wird. Er steuert, ob Ihre Inhalte für das Training künftiger Gemini-Modelle und für Grounding genutzt werden dürfen. Auf derselben Seite steht ausdrücklich, dass Google-Extended die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist. Ihn zu blockieren schadet Ihrem klassischen Google-Ranking also nicht. Wie AI Overviews mit diesem Token zusammenhängen, konnte ich in der entsprechenden Dokumentation nicht finden, deshalb behaupte ich dazu nichts Definitives.
Ein praktisches robots.txt-Beispiel
Lautet das Ziel „nicht fürs Training verwenden, aber in KI-Suchen auftauchen“, sieht die Datei etwa so aus:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://alanadiniz.com/sitemap.xmlDas ist eine Vorlage; prüfen Sie Ihre eigene Situation, bevor Sie sie 1:1 übernehmen. Eine Website, die Nachrichten oder eigene Recherchen veröffentlicht, möchte das Training womöglich abschalten. Ein Unternehmen, das Dienstleistungen verkauft, möchte meist in KI-Antworten genannt werden; die Nutzung fürs Training ist dort zweitrangig. Das ist keine Rechts- oder Geschäftsberatung, sondern eine Entscheidung, und beide Wege sind legitim.
Die Grenzen der robots.txt
Die robots.txt ist keine Firewall, sondern ein Hinweis an Bots, die sich daran halten. Große Unternehmen sagen, dass ihre eigenen Bots sie beachten, aber es gibt Scraper von Drittanbietern, die die Regel ignorieren. Bei Bots, die im Auftrag eines Nutzers arbeiten, greift die Regel womöglich ebenfalls nicht. Ein Eintrag in der Datei garantiert nicht, dass Ihre Inhalte nicht auf anderen Wegen genutzt werden. Inhalte, die bereits in Trainingsdaten gelandet sind, werden nicht zurückgenommen.
Eine Ergänzung zur Infrastruktur: Cloudflare hat im Juli 2025 angekündigt, KI-Bots auf den bei ihm gehosteten Websites standardmäßig zu blockieren, und erklärt, neue Domain-Inhaber künftig fragen zu wollen, ob sie KI-Crawler zulassen (Bericht der MIT Technology Review). Liegt Ihre Website hinter Cloudflare, erreichen Bots Ihre Seite möglicherweise gar nicht, unabhängig davon, was in der robots.txt steht. Wenn Sie in KI auftauchen möchten, prüfen Sie diese Einstellung im Dashboard.
Checkliste
- Öffnen Sie die /robots.txt Ihrer Domain und prüfen Sie, ob eine übrig gebliebene Zeile „Disallow: /“ vorhanden ist. Sie stammt häufig von einem Plugin oder einer Testumgebung.
- Prüfen Sie, ob in Ihrem CDN oder Ihrer Sicherheitsschicht (etwa Cloudflare) die Blockade von KI-Bots aktiviert ist.
- Entscheiden Sie: Training aus und Suche an, oder alles an?
- Aktualisieren Sie die Datei, warten Sie einen Tag und beobachten Sie die Bot-Anfragen in Ihren Server-Logs.
- Verfolgen Sie mit einer Messung der KI-Sichtbarkeit, ob Ihre Marke in Antworten vorkommt.
Sobald Bots Ihre Website lesen können, kommt es darauf an, dass das Gelesene gut geordnet ist. Dafür ist llms.txt ein guter zweiter Schritt.
Häufige Fragen
Verschwinde ich aus der ChatGPT-Suche, wenn ich GPTBot blockiere?
Nein. OpenAI nutzt GPTBot für das Training und OAI-SearchBot für die Suchfunktionen von ChatGPT, und beide werden in der robots.txt getrennt verwaltet. Sie können GPTBot blockieren und OAI-SearchBot zulassen.
Sinkt mein Google-Ranking, wenn ich Google-Extended blockiere?
Laut Googles Dokumentation nicht. Google-Extended beeinflusst die Aufnahme in die Suche nicht und ist kein Ranking-Signal. Er steuert nur, ob Ihre Inhalte für das Training von Gemini-Modellen und für Grounding genutzt werden.
Hält die robots.txt KI-Bots garantiert auf?
Nein. Sie gibt Bots, die sich daran halten, eine Anweisung. OpenAI, Anthropic und Perplexity sagen, dass ihre Bots sie beachten, aber manche Crawler ignorieren die Regel, und bei Bots, die im Auftrag eines Nutzers arbeiten, greift sie möglicherweise nicht.
Wenn Sie nicht sicher sind, ob Ihre Website für KI-Bots offen ist
Lassen Sie uns robots.txt, CDN-Einstellungen und Ihre Inhaltsstruktur gemeinsam prüfen und klären, welche Bots Sie sehen können.