KI-Crawler im Server-Log erkennen und prüfen
Im Zugriffsprotokoll steht „GPTBot“ — aber ist es GPTBot? Die Kennung kann jeder setzen. Wie man echte Crawler von Nachahmern unterscheidet, welche Prüfwege OpenAI, Perplexity und Google dokumentieren und was das Ergebnis über die eigene KI-Sichtbarkeit aussagt. Mit Zahlen aus 27 Tagen unseres eigenen Server-Logs.
Wer wissen will, ob KI-Assistenten die eigene Website lesen, schaut ins Server-Log und sucht nach Kennungen wie GPTBot, OAI-SearchBot oder PerplexityBot. Die Zahl, die dabei herauskommt, ist fast immer zu hoch. Denn die Kennung im User-Agent ist ein frei wählbarer Text. Jedes Programm kann sich als GPTBot ausgeben.
Welche Crawler es gibt und was man ihnen in der robots.txt erlaubt, steht in Welche KI-Crawler Ihren Shop besuchen dürfen. Hier geht es um den nächsten Schritt: zu prüfen, wer tatsächlich gekommen ist.
Drei Prüfschritte
Einen Crawler-Zugriff prüfen
- 1Kennung lesen. Der User-Agent zeigt, als wen sich der Zugriff ausgibt. Das grenzt die Kandidaten ein, beweist aber nichts.
- 2IP-Adresse gegen die Liste des Anbieters prüfen. OpenAI veröffentlicht für GPTBot, OAI-SearchBot und ChatGPT-User je eine Liste von IP-Bereichen, Perplexity für PerplexityBot. Liegt die IP-Adresse des Zugriffs in einem dieser Bereiche, kommt er aus dem Netz des Anbieters.
- 3Bei Google zusätzlich DNS prüfen. Google beschreibt zwei Wege: einen umgekehrten DNS-Lookup der IP-Adresse, dessen Ergebnis auf googlebot.com, google.com oder googleusercontent.com enden muss, gefolgt von einem vorwärtsgerichteten Lookup, der wieder dieselbe IP-Adresse ergeben muss — oder den Abgleich mit den von Google veröffentlichten IP-Listen.
Erst nach dem zweiten Schritt ist ein Zugriff belegt. Die IP-Listen liegen als JSON-Dateien im CIDR-Format vor und lassen sich automatisch abgleichen. Weil die Anbieter sie ändern, sollte man sie regelmäßig neu laden.
Was das in der Praxis ausmacht
Wir haben das Zugriffsprotokoll unserer eigenen Website vom 8. September bis 4. Oktober 2026 so ausgewertet (zur Auswertung):
| Kennung | Zugriffe | davon aus dem veröffentlichten Netz |
|---|---|---|
| GPTBot | 472 | 149 |
| OAI-SearchBot | 688 | 298 |
| PerplexityBot | 374 | 106 |
Den größten Teil der übrigen Zugriffe erzeugten Prüfwerkzeuge, die sich als Crawler ausgeben. Wer nur nach Kennung zählt, hätte die echten GPTBot-Zugriffe also mehr als verdreifacht. Das ist eine einzelne Website über 27 Tage, keine allgemeine Quote — aber es zeigt, wie groß der Unterschied sein kann.
Wenn ein Crawler gar nicht ankommt
Das Log zeigt nur, was den Server erreicht hat. Weist eine Firewall oder eine Bot-Liste im Hosting einen Crawler ab, steht dort im schlimmsten Fall nichts — oder ein Abbruch ohne Statuscode. An unserer eigenen Website hat eine solche Liste im Hosting-Panel Kennungen abgewiesen, ohne dass die robots.txt davon wusste (zum Fall). Wer Crawler-Zugriffe auswertet, sollte deshalb auch prüfen, ob die erwarteten Kennungen überhaupt mit Status 200 ankommen.
Was die Zahl aussagt
Ein bestätigter Crawler-Zugriff heißt: Der Anbieter hat die Seite abgerufen. Er heißt nicht, dass ein Assistent die Seite in einer Antwort nennt. Für die KI-Sichtbarkeit ist das Log deshalb ein Zugangsnachweis, kein Erfolgsmaß. Ob eine Website in Antworten vorkommt, misst man an den Antworten selbst — mit einer festen Fragenliste über mehrere Termine.
Im Log zählt nicht die Kennung, sondern die geprüfte Herkunft. Und ein echter Crawler-Besuch ist ein Zugang, noch keine Nennung.
Den Zugang der Crawler und die Sichtbarkeit in Antworten prüfen wir gemeinsam im GEO-Audit.
Häufige Fragen
- Reicht es, die robots.txt zu prüfen?
- Nein. Die robots.txt sagt, was Crawler dürfen, nicht, wer tatsächlich kommt. Ob ein Crawler die Seiten erreicht, zeigt nur das Server-Log — und ob er echt ist, erst der Abgleich mit der IP-Liste.
- Wie oft ändern sich die IP-Listen?
- Die Anbieter aktualisieren sie, ohne einen festen Rhythmus zu nennen. Wer automatisch prüft, sollte die Listen regelmäßig neu laden statt einmal zu kopieren.
- Warum gibt es so viele falsche Zugriffe?
- Prüfwerkzeuge und SEO-Tools rufen Seiten mit den Kennungen bekannter Crawler ab, um zu testen, ob sie durchkommen. Andere Programme geben sich als Crawler aus, um nicht blockiert zu werden. Beides landet im Log unter derselben Kennung.
- Sollte ich falsche Crawler sperren?
- Das ist eine Abwägung. Wer nach Kennung sperrt, trifft auch die echten Crawler. Sinnvoller ist es, Sperren an der geprüften Herkunft festzumachen — oder die Zugriffe zunächst nur zu beobachten.
- Was sagt die Zahl der Crawler-Zugriffe über meine KI-Sichtbarkeit?
- Wenig. Dass ein Crawler eine Seite abruft, heißt nicht, dass ein Assistent sie in einer Antwort nennt. Sichtbarkeit misst man an den Antworten selbst.