Welche KI-Crawler Ihren Shop besuchen dürfen
Suche, Nutzeranfrage, Training: KI-Anbieter schicken verschiedene Kennungen mit verschiedenen Zwecken. Wer alle über einen Kamm schert, sperrt sich aus den Antworten aus, in denen er vorkommen möchte.
Die Frage kommt inzwischen in fast jedem Projektgespräch: „Sollen wir KI-Bots aussperren?" Die ehrliche Antwort ist eine Gegenfrage — welchen Bot? Denn die großen Anbieter schicken nicht einen Crawler, sondern drei Sorten, und die tun sehr verschiedene Dinge.
Drei Zwecke, drei Kennungen
| Zweck | Was passiert | Wirkung, wenn Sie sperren |
|---|---|---|
| Suche / Zitierung | Der Anbieter baut einen Index, aus dem er beim Beantworten zitiert und verlinkt | Sie erscheinen in den Antworten nicht mehr als Quelle |
| Nutzerinitiiertes Abrufen | Jemand gibt Ihre URL in den Chat ein, das System holt genau diese Seite | Dem Nutzer wird gesagt, die Seite sei nicht abrufbar |
| Modelltraining | Inhalte fließen möglicherweise in künftige Modellversionen ein | Kein Einfluss auf Suche und Zitierung |
Wer pauschal alles sperrt, was nach KI aussieht, trifft alle drei Spalten. Die dritte zu sperren ist eine legitime, oft gewollte Entscheidung. Die ersten beiden mitzusperren ist dagegen selten das, was jemand wollte — es entfernt Sie genau aus den Antworten, in denen Sie vorkommen möchten.
Die Kennungen, sortiert nach Zweck
Stand September 2026. Kennungen ändern sich; die Liste gehört in eine halbjährliche Prüfung.
Suche und Zitierung
| Kennung | Anbieter |
|---|---|
Claude-SearchBot | Anthropic — speist die Websuche in Claude |
OAI-SearchBot | OpenAI — speist die Suche in ChatGPT |
PerplexityBot | Perplexity |
Googlebot | Google — Websuche und AI Overviews |
bingbot | Microsoft — Bing und Copilot |
Applebot | Apple — Siri und Spotlight |
Amazonbot | Amazon — Alexa |
Nutzerinitiiertes Abrufen
| Kennung | Anbieter |
|---|---|
Claude-User | Anthropic |
ChatGPT-User | OpenAI |
Perplexity-User | Perplexity |
Training
| Kennung | Anbieter |
|---|---|
ClaudeBot, anthropic-ai | Anthropic |
GPTBot | OpenAI |
Google-Extended | Google — Gemini und Vertex AI |
Applebot-Extended | Apple |
CCBot | Common Crawl — Datensatz, den viele Modelle nutzen |
meta-externalagent | Meta |
Bytespider | ByteDance |
Zwei Namen verdienen einen Hinweis, weil sie regelmäßig verwechselt werden:
Claude-SearchBot und ClaudeBot unterscheiden sich um sieben Zeichen und in
der Wirkung vollständig. Dasselbe gilt für OAI-SearchBot und GPTBot.
Was wir an der eigenen Website gemessen haben
Wir haben alle 18 Kennungen gegen unsere eigene Production geschickt und je Kennung protokolliert: Kommt die Verbindung zustande? Welchen HTTP-Status gibt es? Wie groß ist das ausgelieferte HTML? Und stimmt seine Prüfsumme mit dem überein, was ein anonymer Abruf bekommt?
Der letzte Punkt ist der wichtigste und wird fast nie geprüft. Ein Server kann mit 200 antworten und dem Bot trotzdem etwas anderes zeigen als einem Menschen. In unserem Fall war die Prüfsumme über alle zugelassenen Kennungen identisch — kein reduziertes Bot-Dokument, keine Sonderbehandlung.
Der eigentliche Befund war ein anderer: Drei Kennungen kamen gar nicht
durch. TLS-Handshake vollständig, dann schloss der Server die Verbindung,
ohne einen HTTP-Status zu senden. In curl sieht das so aus:
* SSL connection using TLSv1.3
* ALPN: server accepted h2
> GET / HTTP/2
* HTTP/2 stream 1 was not closed cleanly: PROTOCOL_ERROR (err 1)
Kein Statuscode, keine Fehlerseite, kein Log-Eintrag beim Aufrufer. Die
robots.txt sagte zu diesem Zeitpunkt Allow: / für alle. Die Sperre saß in
einer Option des Hosting-Panels, nicht in der Datei — und war deshalb mit
keinem robots.txt-Prüfwerkzeug zu finden. Wie wir sie eingegrenzt haben, steht
in Wenn der Hoster den KI-Crawler blockt.
Die Lehre daraus: Die robots.txt beschreibt Ihre Absicht. Was tatsächlich
passiert, sagt nur eine Messung gegen den Host.
So prüfen Sie es selbst
Ein Einzeiler pro Kennung genügt:
curl -s -o /dev/null -w '%{http_code}\n' \
-A "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)" \
https://ihre-domain.de/
Drei Ergebnisse sind möglich:
| Ausgabe | Bedeutung |
|---|---|
200 | erreichbar |
403 oder 429 | aktiv abgewiesen oder ausgebremst, meist Firewall oder WAF |
000 | Verbindung ohne HTTP-Antwort geschlossen — Sperre auf Serverebene |
Gehen Sie die Liste der Kennungen durch, die Ihnen wichtig sind. Prüfen Sie
zusätzlich eine tiefe Seite und die robots.txt selbst — eine Sperre auf
Serverebene gilt oft für jeden Pfad, auch für die Datei, die den Bot
eigentlich informieren soll.
Eine robots.txt, die zum Server passt
Zwei Regeln, mit denen Sie sich viel Ärger ersparen:
Erstens: keine Widersprüche. Was der Server hart blockiert, gehört auch in
die robots.txt. Eine Datei, die Allow: / sagt, während der Server die
Verbindung zumacht, ist irreführend — für Betreiber wie für Crawler.
Zweitens: nur nennen, was Sie wirklich meinen. Jede Zeile ist eine Entscheidung, die jemand in zwei Jahren nachvollziehen muss.
Ein Beispiel für den häufigen Fall „offen für Suche, geschlossen für Training":
User-agent: *
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Sitemap: https://ihre-domain.de/sitemap.xml
Claude-SearchBot, OAI-SearchBot, PerplexityBot, Googlebot und
bingbot bleiben hier bewusst ohne eigene Regel — sie fallen unter
User-agent: * und dürfen lesen.
Wir selbst haben uns anders entschieden und lassen auch die Trainings-Crawler zu. Das ist keine Empfehlung, sondern eine Abwägung, die von Ihrem Geschäft abhängt: Ein Hersteller mit eigenen Produktfotos wägt anders ab als eine Agentur, die von Auffindbarkeit lebt.
Was nicht hilft
Eine llms.txt. Es gibt keinen großen Anbieter, der sie verbindlich
auswertet. Sie schadet nicht, ersetzt aber nichts.
Meta-Tags für KI-Crawler. noai und ähnliche Erfindungen werden von
keinem der oben genannten Systeme ausgewertet.
Ein User-Agent-Filter als Schutz. Er wirkt nur auf höfliche Crawler. Wer Ihre Inhalte gegen Ihren Willen abziehen will, setzt eine beliebige Kennung und ist nicht betroffen. Ein Crawler-Filter steuert Crawl-Last und Höflichkeit — er ist kein Sicherheitsmechanismus.
Was danach zählt
Erreichbarkeit ist die Voraussetzung, nicht das Ziel. Ein Crawler, der Ihre Seite abrufen darf, zitiert sie deshalb noch lange nicht. Dafür braucht es Inhalte, die eine konkrete Frage beantworten, saubere strukturierte Daten und eine Seite, die ohne JavaScript lesbar ist.
Wie wir daran arbeiten, steht auf GEO & KI-Optimierung. Wenn Sie zuerst wissen möchten, ob Ihr Shop überhaupt erreichbar ist: die Befehle oben brauchen keine zehn Minuten.
Häufige Fragen
- Sperrt eine Disallow-Regel meinen Shop aus KI-Antworten aus?
- Das hängt davon ab, welche Kennung Sie sperren. Wer den Such-Crawler eines Anbieters sperrt, erscheint dort nicht mehr als Quelle. Wer nur den Trainings-Crawler sperrt, bleibt in der Suche sichtbar — die beiden sind getrennte Kennungen mit getrennter Wirkung.
- Reicht es, die robots.txt zu prüfen?
- Nein. Eine Sperre kann auch im Server, in der Firewall oder im Hosting-Panel sitzen. Sie ist dann in der robots.txt nicht sichtbar. Prüfen Sie immer mit echtem User-Agent gegen den Host, nicht nur die Datei.
- Brauche ich eine llms.txt?
- Nach heutigem Stand nicht. Kein großer Anbieter wertet sie verbindlich aus. Eine korrekte robots.txt, saubere strukturierte Daten und erreichbare Seiten wirken; eine zusätzliche Datei ersetzt keines davon.
- Was ist mit Google-Extended?
- Google-Extended steuert die Verwendung für Gemini und Vertex-AI-Training. Es beeinflusst nicht das Ranking in der Google-Suche und nicht die Aufnahme in den Google-Index — dafür ist Googlebot zuständig.