robots.txt in Onlineshops: was 119 Shops sperren
Wir haben die robots.txt von 128 Onlineshops abgerufen, die in Google-Treffern für Produktsuchen standen, und jede Regel ausgewertet. Warenkorb und Kundenkonto sperren fast alle, die Sitemap nennen die meisten. KI-Crawler sperren dagegen nur wenige — seltener als Werkzeuge für Linkanalysen.
Ergebnis
13 von 119
robots.txt-Dateien sperren mindestens einen KI-Crawler mit eigener Regel vollständig. Ebenso viele sperren mindestens ein Werkzeug für Link- und SEO-Analysen. Warenkorb und Checkout schließen 86 Dateien aus, das Kundenkonto 87. Den ganzen Shop für alle sperrt keine.
Die robots.txt ist die erste Datei, die ein Crawler auf einer Website liest. Sie sagt ihm, wo er nicht hinsoll. In einem Onlineshop entscheidet sie mit darüber, ob Suchmaschinen ihre Zeit mit Produkten verbringen oder mit Warenkorb, Filterkombinationen und Suchergebnissen — und ob KI-Crawler die Seiten lesen dürfen.
Wir wollten wissen, wie Shops das tatsächlich regeln. Dafür haben wir am 6. Oktober 2026 die robots.txt von 128 Onlineshops abgerufen, die in Google-Treffern für Produktsuchen standen, und jede Regel ausgewertet.
Was fast alle sperren
| Bereich | Dateien mit Regel |
|---|---|
| Kundenkonto | 87 von 119 |
| Warenkorb und Checkout | 86 von 119 |
| Parameter, Filter, Sortierung | 81 von 119 |
| interne Suche | 41 von 119 |
| CSS- oder JavaScript-Ressourcen | 38 von 119 |
| der ganze Shop für alle Crawler | 0 von 119 |
Warenkorb, Checkout und Konto auszuschließen ist üblich und sinnvoll: Diese Seiten haben für eine Suchmaschine keinen Inhalt, und es gibt sie je Besucher neu. Auch Parameterregeln sind verbreitet. Sie verhindern, dass Crawler Tausende Filter- und Sortierkombinationen abrufen, die dasselbe Sortiment in anderer Reihenfolge zeigen.
Die interne Suche sperren deutlich weniger Dateien mit einer eigenen Regel. Bei Shopware-Shops war sie trotzdem öfter gesperrt, als die Zahl vermuten lässt: Suchergebnisse haben einen Parameter in der Adresse, und Regeln gegen Parameter treffen sie mit.
Eine Komplettsperre fanden wir in keiner Datei — weder für alle Crawler noch für Googlebot allein.
Die Sitemap fehlt in jeder achten Datei
104 von 119 Dateien nennen mindestens eine Sitemap, 25 davon mehrere. Fünf verweisen auf eine Sitemap auf einem anderen Host, etwa einer anderen Länderdomain. Die übrigen 15 nennen keine. Suchmaschinen finden die Sitemap auch über die Search Console — die Zeile in der robots.txt ist aber der Weg, auf dem jeder Crawler sie findet, auch die, für die niemand ein Konto anlegt.
KI-Crawler: selten gesperrt, oft gar nicht erwähnt
Für dreizehn bekannte KI-Crawler haben wir gezählt, wie oft eine Datei ihnen mit einer eigenen Gruppe den Zugang vollständig verwehrt:
| Crawler | vollständig gesperrt |
|---|---|
| Amazonbot | 6 von 119 |
| CCBot | 5 |
| Bytespider | 4 |
| GPTBot, Meta-ExternalAgent | je 3 |
| ClaudeBot, Google-Extended, Applebot-Extended | je 2 |
| OAI-SearchBot, PerplexityBot, Claude-Web, anthropic-ai | je 1 |
| ChatGPT-User | 0 |
Zusammen sperren 13 Dateien mindestens einen dieser Crawler. Sieben Dateien geben mindestens einem ausdrücklich alles frei. Die große Mehrheit erwähnt KI-Crawler gar nicht — für sie gilt, was in der allgemeinen Gruppe steht.
Auffällig ist, wen Shops sonst namentlich aussperren: Werkzeuge für Link- und SEO-Analysen. MJ12bot war in 12 Dateien vollständig gesperrt, AhrefsBot in 9, DotBot in 8. Mindestens ein solches Werkzeug sperren ebenfalls 13 von 119 Dateien — genauso viele wie KI-Crawler.
Zehn Dateien enthalten Kommentare, die sich ausdrücklich an KI-Agenten richten. Sieben davon sind ein gleichlautender Textbaustein derselben Shop-Plattform mit einem Hinweis auf eine Einkaufsschnittstelle für Agenten.
Shopware: viele Dateien aus derselben Vorlage
Unter den 48 gelesenen Dateien von Shopware-6-Shops fiel eine Regelfolge besonders auf: Sperren für Adressen mit Parameter sowie für die Pfade account, checkout, widgets, navigation und bundles. 23 von 48 Dateien enthalten sie. Zehn Dateien waren bis auf die Sitemap-Zeile wortgleich.
Seit Shopware 6.7 erzeugt der Kern selbst eine robots.txt mit eigenen Standardregeln (was drinsteht). Ein Muster, das zu dieser Voreinstellung passt, fanden wir nur in 3 von 48 Dateien. Das ist ein Musterabgleich, kein Nachweis der Version: Ein Shop auf 6.7 kann eine eigene Datei ausliefern, die die Voreinstellung überdeckt.
Bei 32 der 48 Shopware-Dateien betrifft eine Regel CSS- oder JavaScript-Dateien. In 29 Fällen ist das die Sperre für den Ordner bundles, in dem Erweiterungen ihre Dateien ablegen. Den Ordner theme mit den Stilen und Skripten der Storefront sperren nur vier. Ob die Sperren die Darstellung für Google tatsächlich beeinträchtigen, haben wir nicht geprüft.
Kleinigkeiten mit Folgen
- Crawl-delay steht in 16 von 119 Dateien. Google wertet die Angabe nicht aus; andere Crawler schon.
- Syntaxfehler fanden wir nur in einer Datei.
- Falscher Dateityp: Zwei Shops liefern ihre robots.txt mit dem Dateityp
text/htmlaus, obwohl der Inhalt gültiger Text ist. Crawler lesen sie meist trotzdem, verlassen sollte man sich darauf nicht.
Fast alle Shops sperren, was niemand finden soll. Ob eine Sperre für KI-Crawler eine Entscheidung ist oder ein Rest aus einer Vorlage, zeigt erst ein Blick in die Datei.