Search Console

„Durch robots.txt-Datei blockiert“, in einfachen Worten

Eine Regel in Ihrer `robots.txt`-Datei bittet Google, die Seite nicht zu besuchen, und Google hält sich daran. Für einen Warenkorb oder eine Kontoseite wollen Sie genau das. Für eine Seite, die verkauft, ist es ein Fehler, und oft ist eine Zeile zu weit gefasst.

Geprüft am 17. November 2026 · Mathis

Richtig für private Seiten, falsch für Seiten, die verkaufen

Die robots.txt steuert, welche Seiten Google besuchen darf, nicht, welche es zeigt. Eine blockierte Seite kann trotzdem in der Suche erscheinen, ohne Beschreibung, wenn andere Websites auf sie verlinken. Um eine Seite aus der Suche zu halten, lassen Sie Google sie besuchen und markieren sie mit noindex. Damit eine blockierte Seite gefunden wird, entfernen Sie die Regel, die sie blockiert.

  • Google hat die Seite nicht gelesen, weil eine Regel es ihm untersagt hat
  • Einen Besuch zu blockieren, hält die Adresse nicht aus der Suche
  • Nutzen Sie noindex, nicht die robots.txt, um eine Seite herauszuhalten

Was Google Ihnen damit sagt

Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis Ihrer Website, etwa yourshop.com/robots.txt. Sie sagt Crawlern, den Robotern, die Suchmaschinen zum Lesen von Seiten schicken, welche Adressen sie besuchen dürfen. Google nennt sie ein Mittel, um den Zugriff von Crawlern zu steuern, nicht, um Seiten zu verstecken.

User-agent: *
Disallow: /cart/
Disallow: /search

Dieser Grund heißt, dass eine Regel wie diese auf die Adresse der Seite passt, also hat Google sie nicht abgerufen. Regeln passen auf den Anfang einer Adresse: Disallow: /p blockiert /pricing und /products ebenso wie /p.

Wo Sie es in der Search Console sehen

  1. 1

    Den Bericht zur Seitenindexierung öffnen

    Wählen Sie in der Search Console Ihre Website, dann „Indexierung“ und „Seiten“.

  2. 2

    Den Grund finden

    Scrollen Sie zu „Warum Seiten nicht indexiert werden“ und klicken Sie auf „Durch robots.txt-Datei blockiert“.

  3. 3

    Die Datei lesen, die Google gelesen hat

    Unter „Einstellungen“ zeigt der robots.txt-Bericht die Datei, die Google zuletzt abgerufen hat, wann, und welche Fehler sie enthält.

robots.txt und noindex erledigen verschiedene Aufgaben

robots.txt-Regelnoindex
Was sie sagtDiese Adresse nicht besuchenDiese Seite nicht in der Suche zeigen
Liest Google die SeiteNeinJa, nur so sieht es das Tag
Kann die Seite trotzdem in der Suche erscheinenJa, ohne Beschreibung, wenn andere Seiten auf sie verlinkenNein
Nutzen Sie es fürAdressen, die keinen Besuch lohnen: Filter, die Suche Ihrer Website, WarenkörbeSeiten, die Leute nutzen, aber nicht über Google finden sollen

Beides auf einer Seite hebt das Zweite auf. Google kann ein noindex-Tag auf einer Seite nicht sehen, die es nicht besuchen darf. Die Search Console hat für das Ergebnis eine eigene Warnung, „Indexiert, obwohl durch robots.txt-Datei blockiert“: Die Adresse steht in der Suche, und Google weiß nur, was Links auf sie sagen.

Wann es zählt und wann nicht

Warenkörbe, Kassen, Kontoseiten, die Suchergebnisse Ihrer eigenen Website und Admin-Seiten gehören hierher. Laut Googles Hilfe sind solche Adressen meist absichtlich blockiert, also gibt es nichts zu beheben.

Es zählt, wenn eine Produkt-, Preis- oder Leistungsseite hier steht, oder der größte Teil Ihrer Website. Das kommt meist von einer Regel aus der Zeit vor dem Start, etwa Disallow: /, die alles blockiert, oder von einer Einstellung in Ihrem Baukasten oder SEO-Plugin.

Was Sie ändern, der Reihe nach

  1. 1

    Ihre Datei öffnen

    Geben Sie im Browser Ihre Adresse gefolgt von /robots.txt ein und suchen Sie die Disallow-Zeile, die auf die Seite passt.

  2. 2

    Die Regel entfernen oder enger fassen

    Bearbeiten Sie die Datei auf Ihrem Server oder die robots.txt-Einstellung Ihres Baukastens. Lassen Sie die Regel nur auf das passen, wofür sie gedacht war, etwa /cart/ statt /c.

  3. 3

    Seiten, die aus der Suche bleiben sollen

    Heben Sie ihre Blockierung auf und markieren Sie sie stattdessen mit noindex. Der Ratgeber zu noindex zeigt, wie.

  4. 4

    Google sagen, dass sich die Datei geändert hat

    Google liest die robots.txt oft. Öffnen Sie nach einer dringenden Korrektur den robots.txt-Bericht, klicken Sie auf die drei Punkte neben der Datei und dann auf „Erneutes Crawling anfordern“.

  5. 5

    Für die Seiten beantragen, die verkaufen

    Fügen Sie jede Adresse in die Suchleiste oben in der Search Console ein und klicken Sie auf „Indexierung beantragen“.

Die robots.txt wird auch von KI-Crawlern gelesen. OpenAI zum Beispiel sagt, dass das Blockieren seines OAI-SearchBot die Seiten einer Website aus den Suchantworten von ChatGPT heraushält. Prüfen Sie die Datei, bevor Sie sich wundern, warum ein Assistent Sie nie zitiert. Der Ratgeber zu llms.txt behandelt die Datei, die für KI-Assistenten gedacht ist.

Wie PlainSEO das für Ihre Website liest

PlainSEO liest Ihre öffentlichen Seiten, dann Ihre Search Console, und listet die Seiten auf, die Ihnen am ehesten mehr Käufer bringen. Mit einem bezahlten Abo liest die Prüfung am Montag die wichtigen Seiten live und meldet, wenn eine nicht lesbar ist oder ein noindex-Tag trägt. Ihre robots.txt-Datei liest es nicht, also öffnen Sie diese Datei nach jeder Änderung an Ihrer Website oder deren Einstellungen selbst.

Mathis, der PlainSEO entwickelt

Mathis

Geprüft am 17. November 2026

Entwickelt PlainSEO. Schreibt diese Ratgeber aus dem, was er in den Search-Console-Daten von Websitebetreibern sieht.

Fragen

Hält die robots.txt eine Seite aus Google heraus?

Nicht zuverlässig. Google kann die Adresse trotzdem zeigen, ohne Beschreibung, wenn andere Seiten auf sie verlinken. Laut Googles Dokumentation nutzen Sie noindex oder ein Passwort, um eine Seite herauszuhalten.

Was ist der Unterschied zwischen robots.txt und noindex?

Die robots.txt hält Google davon ab, eine Seite zu besuchen. noindex lässt Google die Seite besuchen und sagt ihm, sie nicht in der Suche zu zeigen. Damit noindex wirkt, darf die Seite nicht in der robots.txt blockiert sein.

Brauche ich eine robots.txt-Datei?

Nein. Laut Googles Hilfe ist es in Ordnung, keine zu haben; dann darf Google jede Adresse Ihrer Website crawlen. Legen Sie eine an, wenn es Adressen gibt, die keinen Besuch lohnen.

Wie lange dauert es, bis Google meine Änderung sieht?

Google ruft die robots.txt oft ab, und Sie können einen Abruf über den robots.txt-Bericht anfordern. Die Seiten, die sie blockiert hat, werden in den folgenden Tagen oder Wochen erneut besucht; „Indexierung beantragen“ hilft für die wenigen, die verkaufen.

Sehen Sie, was das für Ihre eigene Website bedeutet

Kostenlos, ohne Karte. Geben Sie Ihre Adresse ein: Die Seiten, die neuen Käufern am nächsten sind, sind wenige Minuten nach dem Verbinden der Search Console fertig.

Fragen, oder Hilfe beim Lesen Ihrer Ergebnisse? Schreiben Sie mir.