noindex oder robots.txt-Sperre: wie Seiten wirklich aus Google verschwinden
Eine Sperre in der robots.txt hält Crawler fern, entfernt aber keine Seite aus dem Index. Dafür braucht es noindex — und das sieht Google nur, wenn es die Seite abrufen darf. Welche Maßnahme wofür gedacht ist und in welcher Reihenfolge man sie einsetzt.
Wer eine Seite aus Google verschwinden lassen will, denkt zuerst an die robots.txt. Eine Zeile Disallow, und die Sache scheint erledigt. Das ist ein Missverständnis mit Folgen: Die Adresse kann im Index bleiben, und Google kann sie danach nicht mehr abrufen, um eine bessere Anweisung zu lesen.
Dieser Ratgeber trennt vier Werkzeuge, die oft verwechselt werden: Disallow, noindex, Zugriffsschutz und das Entfernen-Tool der Search Console. Was Shopware selbst in die robots.txt schreibt, steht in robots.txt in Shopware. Was Onlineshops dort tatsächlich sperren, zeigt unsere Auswertung robots.txt in Onlineshops.
Zwei Fragen, die getrennt gehören
Suchmaschinen arbeiten in zwei Schritten. Sie rufen eine Seite ab (Crawling) und entscheiden dann, ob sie sie in den Index aufnehmen. Die beiden Werkzeuge setzen an verschiedenen Schritten an:
| Werkzeug | wirkt auf | sagt |
|---|---|---|
Disallow in der robots.txt | Abrufen | „Diese Adresse nicht abrufen.“ |
noindex als Meta-Tag oder Header | Index | „Diese Seite nicht in die Ergebnisse aufnehmen.“ |
Google formuliert es in seiner Dokumentation zur robots.txt ausdrücklich: Die Datei dient vor allem dazu, eine Website nicht mit Anfragen zu überlasten, und ist kein Mittel, Seiten aus der Google-Suche herauszuhalten. Eine gesperrte Adresse kann weiter in den Ergebnissen erscheinen, wenn andere Seiten auf sie verweisen; den Inhalt der Seite kennt Google dann nicht. Für das Ausschließen nennt Google noindex oder einen Passwortschutz.
Warum noindex und Disallow sich aufheben
noindex steht in der Seite selbst oder in ihrem Antwortheader. Google sieht es nur, wenn es die Seite abruft. Ist dieselbe Adresse in der robots.txt gesperrt, ruft Google sie nicht ab und liest das noindex nie. Die Google-Dokumentation zu noindex sagt deshalb: Die Seite darf nicht per robots.txt blockiert sein und muss für den Crawler zugänglich bleiben.
Meta-Tag oder Header
noindex gibt es in zwei Formen, die laut Google denselben Effekt haben:
<meta name="robots" content="noindex">
X-Robots-Tag: noindex
Das Meta-Tag steht im HTML und ist für einzelne Seiten praktisch, etwa über ein Feld im Shopsystem. Der Header wird vom Webserver gesendet. Er eignet sich für Dateien ohne HTML, wie PDFs oder Bilder, und für ganze Hosts: Eine Zeile in der Server-Konfiguration erfasst jede Antwort eines Testsystems, ohne dass jemand die Anwendung anfassen muss.
Entscheidung nach Lage
Welches Werkzeug wofür
Option 1
- Seite soll nie gefunden werden und ist noch nicht im Index (neues Testsystem): Zugriffsschutz per Passwort oder IP-Freigabe. Was niemand abrufen kann, kommt nicht in den Index.
- Seite steht schon im Index und soll raus, bleibt aber erreichbar (Filterseite, interne Druckansicht): noindex, Crawlen erlauben.
- Testsystem steht schon im Index: noindex für den ganzen Host oder ein Zugriffsschutz, der mit 401 oder 403 antwortet. Beides wirkt beim nächsten Abruf. Nicht: Disallow.
- Inhalt ist endgültig weg: Status 404 oder 410. Google entfernt solche Adressen aus dem Index, sobald es sie erneut abgerufen hat.
- Es muss sofort aus den Ergebnissen (versehentlich veröffentlichte Daten): Entfernen-Tool der Search Console zusätzlich zu einer der dauerhaften Maßnahmen.
- Nur Crawl-Aufwand sparen (Warenkorb, Konto, Parameter ohne eigenen Inhalt): Disallow.
Das Entfernen-Tool ist eine Überbrückung
In der Search Console gibt es unter „Entfernungen“ ein Werkzeug, mit dem man Adressen schnell aus den Ergebnissen nimmt. Laut der Search-Console-Hilfe gilt ein erfolgreicher Antrag nur etwa sechs Monate, und das Tool entfernt Inhalte nur vorübergehend. Für die dauerhafte Entfernung nennt Google: Inhalt löschen (404 oder 410), Zugriff sperren oder noindex — und ausdrücklich nicht die robots.txt.
Das Tool ist also sinnvoll, wenn es eilt. Es ersetzt die eigentliche Maßnahme nicht. Wer nur das Tool nutzt, sieht die Adresse nach Ablauf wieder.
Unser Fall: zwei Testsysteme im Index
Bei der Auswertung unserer eigenen Search Console fanden wir am 10.09.2026 zwei Testsysteme mit Adressen im Google-Index: ein Shopware-Testsystem mit elf Seiten Demodaten und ein Stage-System mit einer Seite. Beide waren ohne jeden Indexierschutz erreichbar: keine robots.txt, kein Meta-Tag, kein Header.
Eine Sperre per robots.txt schied aus: Google hätte die Adressen nicht mehr abrufen und ein noindex nie lesen können. Wir haben uns am 10.09.2026 für den Header auf beiden Hosts entschieden: Google muss das noindex lesen können, und die Systeme sollten für laufende Tests ohne Anmeldung erreichbar bleiben. Ein Zugriffsschutz kommt erst nach der Deindexierung infrage.
X-Robots-Tag: noindex, nofollow
Ehrlich festzuhalten ist das Ergebnis: In den Search-Console-Daten bis zum 15.09.2026 hatte das Shopware-Testsystem noch eine Adresse mit einer Impression. Ob und wann Google alle Adressen entfernt hat, haben wir nicht belegt. Das passt zu dem, was Google beschreibt — wirksam wird noindex erst beim nächsten Abruf, und der kann bei unwichtigen Seiten lange auf sich warten lassen.
Shopware-Besonderheit: Staging-Modus
Shopware 6.7 gibt im Staging-Modus statt der normalen Regeln nur Disallow: / aus. Das ist für ein frisches Testsystem in Ordnung, entfernt aber nichts, was schon im Index steht — die Details stehen im Ratgeber zur robots.txt in Shopware. Wer eine Kopie des Live-Shops als Testsystem betreibt, sollte deshalb zusätzlich einen noindex-Header oder einen Zugriffsschutz einplanen, bevor die erste Adresse gefunden wird.
Wie die Search Console ausgeschlossene Seiten einordnet und welche davon gewollt sind, beschreibt „Gecrawlt – zurzeit nicht indexiert“.
Disallow regelt das Abrufen, noindex den Index. Eine Seite, die verschwinden soll, muss Google noch einmal abrufen dürfen — sonst bleibt sie stehen.
Häufige Fragen
- Kann ich noindex in die robots.txt schreiben?
- Nein. Google unterstützt noindex nur als Meta-Tag im HTML oder als HTTP-Header X-Robots-Tag. In der robots.txt stehen Regeln für das Abrufen, nicht für den Index.
- Wie lange dauert es, bis eine Seite mit noindex verschwindet?
- Bis Google sie erneut abruft. Laut Google kann das je nach Bedeutung der Seite mehrere Monate dauern. Über die URL-Prüfung der Search Console lässt sich ein erneutes Crawlen beantragen.
- Reicht ein Passwortschutz für ein Testsystem?
- Ja, wenn er mit Status 401 oder 403 antwortet. Google nennt den Passwortschutz ausdrücklich als Weg, Seiten aus der Suche herauszuhalten, und entfernt bereits indexierte Adressen, die mit 4xx antworten, aus dem Index. Leitet der Schutz dagegen auf eine Anmeldeseite mit Status 200 um, ist das nach unserer Einschätzung kein verlässliches Signal: Google bekommt dann eine normale Seite.
- Wann ist Disallow trotzdem richtig?
- Wenn es ums Crawlen geht, nicht um den Index: Warenkorb, Konto, interne Suche oder Parameteradressen, die nur Crawl-Aufwand erzeugen. Für Seiten, die bereits gefunden wurden und verschwinden sollen, ist es das falsche Werkzeug.
- Hilft ein 404 oder 410?
- Ja, wenn der Inhalt wirklich weg ist. Google entfernt eine Adresse, die dauerhaft 404 oder 410 liefert, aus dem Index, sobald es sie erneut abgerufen hat.