So funktioniert es
- 1Geben Sie die Domain ein – die robots.txt wird automatisch geladen.
- 2Wählen Sie den User-Agent (z. B. Googlebot, Bingbot, GPTBot oder *).
- 3Geben Sie den zu prüfenden Pfad ein, z. B. /shop/warenkorb.
- 4Sehen Sie das Ergebnis und die greifende Regel; Änderungen können Sie direkt im Editor testen.
Wie Google robots.txt-Regeln auswertet
Für einen Crawler gilt die spezifischste User-agent-Gruppe. Innerhalb der Gruppe gewinnt die Regel mit dem längsten passenden Pfad; sind Allow- und Disallow-Regel gleich lang, gewinnt Allow. Der Platzhalter * steht für beliebige Zeichen, $ markiert das URL-Ende. Genau diese Logik bildet der Tester nach und hebt die ausschlaggebende Regel hervor.
Änderungen gefahrlos ausprobieren
Die geladene robots.txt ist im Tool editierbar. So testen Sie neue Regeln, bevor Sie sie live stellen – ein falsch gesetztes „Disallow: /“ kann sonst die komplette Website aus dem Index fallen lassen. Gefundene Sitemap-Einträge werden zusätzlich aufgelistet.
KI-Crawler gezielt steuern
Immer mehr Website-Betreiber entscheiden bewusst, ob KI-Crawler wie GPTBot, ClaudeBot, CCBot oder Google-Extended ihre Inhalte nutzen dürfen. Mit dem Tester prüfen Sie, ob Ihre Sperren für diese Bots tatsächlich greifen.
Häufige Fragen
Verhindert robots.txt die Indexierung?
Nicht zuverlässig. robots.txt steuert das Crawling. Eine gesperrte URL kann trotzdem im Index erscheinen, wenn sie verlinkt ist. Für den Ausschluss aus Google nutzen Sie „noindex“ – und die Seite darf dafür nicht per robots.txt gesperrt sein.
Wo muss die robots.txt liegen?
Immer im Stammverzeichnis der Domain, z. B. https://beispiel.de/robots.txt. Jede Subdomain braucht ihre eigene Datei.
Werden Groß- und Kleinschreibung beachtet?
Bei Pfaden ja: /Shop und /shop sind unterschiedliche Pfade. Die Namen der Direktiven und User-Agents sind dagegen nicht case-sensitiv.
Mit den Ergebnissen nicht zufrieden?
Sprechen Sie mit Webin Agency über schnelle, SEO-freundliche Websites, E-Commerce und Google-Ads-Betreuung.