Cómo usarla
- 1Escribe el dominio; se carga su robots.txt automáticamente.
- 2Edita el contenido si quieres probar cambios antes de publicarlos.
- 3Elige el user-agent (Googlebot, Bingbot, GPTBot, *…) y escribe la ruta.
- 4Mira el resultado y la regla que coincide, resaltada.
Cómo interpreta Google el robots.txt
Google aplica la regla más específica: la que coincide con más caracteres de la ruta. Si una regla Allow y una Disallow tienen la misma longitud, gana Allow. El comodín * equivale a cualquier secuencia de caracteres y $ marca el final de la URL. La herramienta sigue exactamente estas reglas, así que puedes depurar casos difíciles.
Prueba antes de publicar
Un Disallow: / por error puede desindexar una web entera. Como el texto es editable, puedes modificar las reglas aquí, probar varias rutas y, cuando todo funcione, copiarlo a tu servidor. También se listan las líneas Sitemap que contiene.
Bloquear rastreadores de IA
Cada vez más webs añaden reglas para GPTBot, ClaudeBot, CCBot o Google-Extended. Selecciona ese user-agent y comprueba si tus reglas los bloquean de verdad.
Preguntas frecuentes
¿Bloquear una URL en robots.txt la quita de Google?
No necesariamente. robots.txt impide el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo si tiene enlaces. Para desindexarla usa meta robots noindex y deja que Google la rastree.
¿Dónde tiene que estar el robots.txt?
En la raíz del dominio: https://ejemplo.com/robots.txt. Cada subdominio y protocolo necesita el suyo.
¿Cómo creo un robots.txt?
Usa nuestro generador de robots.txt, que incluye plantillas para WordPress, tiendas online y bloqueo de bots de IA.
¿No te convencen los resultados?
Habla con Webin Agency sobre webs rápidas y optimizadas para SEO, e-commerce y gestión de Google Ads.