Wie KI-Crawler eine Agentur-Website besuchen: 27 Tage Server-Log
Wir haben das Zugriffsprotokoll unserer Website vom 8. September bis 4. Oktober 2026 ausgewertet und jeden Zugriff mit KI-Kennung gegen die veröffentlichten IP-Listen der Anbieter geprüft. Ein großer Teil kam nicht von den Anbietern selbst.
Ergebnis
149 von 472
Zugriffen mit der Kennung GPTBot kamen aus Netzen, die OpenAI dafür veröffentlicht. Bei OAI-SearchBot waren es 298 von 688, bei PerplexityBot 106 von 374. Den Rest erzeugten überwiegend Prüfwerkzeuge, die sich als Crawler ausgeben.
Seit dem Umzug unserer Website am 8. September 2026 schreibt der Server jede Anfrage in ein Protokoll. Darin steht, welche Adresse abgerufen wurde, mit welchem Ergebnis und welche Kennung der Abrufende angegeben hat. Wir haben die ersten 27 Tage ausgewertet: 115.687 Anfragen, darunter mehrere tausend mit der Kennung eines KI-Anbieters.
Die Kennung allein beweist nichts. Jeder kann sich als „GPTBot" ausgeben. Deshalb haben wir jede Anfrage mit KI-Kennung gegen die IP-Listen geprüft, die OpenAI, Google, Bing, Perplexity und Apple für ihre Crawler veröffentlichen.
Befund 1: Ein großer Teil der KI-Zugriffe war nicht echt
| Kennung | Zugriffe mit Kennung | davon aus Netzen des Anbieters |
|---|---|---|
| GPTBot | 472 | 149 |
| OAI-SearchBot | 688 | 298 |
| ChatGPT-User | 515 | 258 |
| PerplexityBot | 374 | 106 |
| Googlebot | 1.475 | 1.136 |
| Bingbot | 842 | 826 |
Woher kam der Rest? Die Antwort steckt in einem Muster: 89 IP-Adressen traten im Messzeitraum mit mindestens zwei verschiedenen Bot-Kennungen auf, eine einzige mit 15 — als GPTBot, ClaudeBot, PerplexityBot, Googlebot und weitere, nacheinander. Ein echter Crawler wechselt seine Identität nicht. Solche Adressen gehören zu Werkzeugen, die prüfen, ob eine Website für KI-Crawler erreichbar ist, und dafür deren Kennungen nachahmen. Bei GPTBot und PerplexityBot kamen alle nicht bestätigten Zugriffe von solchen Mehrfach-Adressen, bei ChatGPT-User 245 von 257 und bei OAI-SearchBot 285 von 390.
Befund 2: Die drei Crawler von OpenAI tun Verschiedenes
OpenAI ruft Websites mit drei Kennungen ab, und die Protokolle zeigen, wie verschieden sie arbeiten:
- OAI-SearchBot (Suche in ChatGPT): 298 echte Zugriffe, davon 188 auf die
robots.txt. Der Crawler prüft also vor allem, ob er die Seite lesen darf. - GPTBot (Training): 149 echte Zugriffe, ein Sechstel davon auf die Sitemap, sonst vor allem Wissensartikel und Blogbeiträge.
- ChatGPT-User (Abruf im Auftrag eines Nutzers): 258 echte Zugriffe, 145 davon auf die Startseite. Das sind Abrufe, die ein Mensch in ChatGPT ausgelöst hat — etwa mit einer Frage nach unserer Agentur.
Was die drei Kennungen bedeuten und wie man sie getrennt steuert, steht in Welche KI-Crawler Ihren Shop besuchen dürfen.
Befund 3: Neue Seiten werden am selben Tag abgerufen
Am 3. und 4. Oktober erschienen vier neue Seiten, jeweils mit der täglichen Veröffentlichung gegen 9.25 Uhr. Die ersten erfolgreichen Abrufe:
| Seite | erschienen | ClaudeBot | GPTBot |
|---|---|---|---|
| Onlineshop-Relaunch | 03.10. | 10.40 Uhr | 18.31 Uhr |
| In ChatGPT sichtbar werden | 03.10. | 10.41 Uhr | 18.31 Uhr |
| KI-Übersichten in E-Commerce-Suchen | 04.10. | — | 18.34 Uhr |
| Was ein Shopware-Shop kostet | 04.10. | — | 18.34 Uhr |
Die Zeiten von ClaudeBot sind nicht per IP bestätigt (Anthropic veröffentlicht keine Liste); GPTBot ist bestätigt. Auffällig: GPTBot holte die neuen Seiten an beiden Tagen am Abend gesammelt ab — passend zu seinen regelmäßigen Abrufen der Sitemap.
Befund 4: Niemand fragt nach der llms.txt
In 27 Tagen gab es 32 Anfragen auf /llms.txt und /llms-full.txt. Keine einzige kam von einem der bekannten KI-Crawler; abgefragt haben SEO-Werkzeuge, Browser und Kommandozeilen-Programme. Unsere Website hat keine solche Datei, alle Anfragen endeten mit 404 oder einer Weiterleitung. Was die Datei leisten kann und wie verbreitet sie ist, steht in llms.txt: was die Datei leistet und was nicht.
Befund 5: Gesperrt ist, was gesperrt sein soll
Den Crawler von Bytedance weist unser Server bewusst ab. Im Messzeitraum kamen 347 Anfragen mit dieser Kennung, alle wurden ohne Inhalt beendet. Die anderen KI-Crawler erreichten die Seiten mit Status 200. Dass eine solche Sperre auch unbeabsichtigt greifen kann, haben wir vor dem Messzeitraum erlebt — beschrieben hier.
Was wir daraus ableiten
Für die eigene KI-Sichtbarkeit ist die Menge der Crawler-Zugriffe eine schwache Kennzahl. Wichtiger sind drei Fragen: Erreichen die Such-Crawler der Anbieter die wichtigen Seiten mit Status 200? Werden neue Seiten zeitnah abgerufen? Und: Wie viele der gezählten Zugriffe stammen überhaupt vom Anbieter? In unserem Fall hätte eine Zählung nach Kennung die echten GPTBot-Zugriffe mehr als verdreifacht und die der drei OpenAI-Kennungen zusammen fast zweieinhalbfach überschätzt.
Dieselbe Prüfung — Zugriffe nach Kennung und nach Herkunft getrennt — gehört zu unserem GEO-Audit, wenn ein Server-Log vorliegt.
Wie Sie dieselbe Prüfung im eigenen Server-Log durchführen, beschreibt KI-Crawler im Server-Log erkennen.