Cómo usarla
- 1Elige una plantilla: permitir todo, bloquear todo, WordPress, tienda online o bloquear bots de IA.
- 2Añade o modifica reglas Allow/Disallow para cada rastreador.
- 3Opcional: indica crawl-delay y las URLs de tus sitemaps.
- 4Copia o descarga el robots.txt y súbelo a la raíz de tu dominio.
Plantillas incluidas
«Permitir todo» para webs sin restricciones, «Bloquear todo» para entornos de prueba, una plantilla para WordPress que bloquea /wp-admin/ y deja accesible admin-ajax.php, otra para tiendas online que evita el rastreo de carrito, checkout y búsquedas internas, y una para bloquear rastreadores de IA: GPTBot, CCBot, Google-Extended, ClaudeBot, PerplexityBot y Bytespider.
Errores que debes evitar
No bloquees los archivos CSS y JavaScript: Google los necesita para renderizar la página. No uses robots.txt para ocultar información privada, porque el archivo es público. Y recuerda que Googlebot ignora crawl-delay; solo lo respetan algunos otros rastreadores, como Bingbot.
Preguntas frecuentes
¿Dónde subo el robots.txt?
A la raíz del dominio, de forma que se pueda abrir en https://tudominio.com/robots.txt.
¿Bloquear GPTBot afecta a mi posicionamiento en Google?
No. GPTBot es el rastreador de OpenAI y no tiene relación con Googlebot. Google-Extended solo controla el uso de tu contenido para los modelos de IA de Google, no la indexación en el buscador.
¿Cómo compruebo que funciona?
Usa nuestro probador de robots.txt para ver si una ruta concreta está permitida o bloqueada para cada rastreador.
¿No te convencen los resultados?
Habla con Webin Agency sobre webs rápidas y optimizadas para SEO, e-commerce y gestión de Google Ads.