Generador de robots.txt
Elige lo que los robots pueden rastrear, decide qué hacer con los robots de inteligencia artificial, y prueba el archivo y su sintaxis antes de publicarlo. También puedes pegar un archivo existente para comprobarlo. Todo ocurre en tu navegador.
Google la ignora, Bing la respeta. Solo es útil si tu servidor sufre con las visitas de los rastreadores.
Tu archivo robots.txt
Comprobar un robots.txt existente
Pega aquí el contenido de un robots.txt: cada línea se comprueba mientras escribes, sin enviar nada. Para el archivo publicado, el probador lo lee él mismo y hace la misma comprobación.
Probar una dirección antes de publicar
Una vez publicado el archivo, comprueba lo que leen de verdad los rastreadores con esta herramienta: Probar el robots.txt
No se envía nada a nuestros servidores: el archivo se compone y se prueba en esta página.
Lo que hay que saber antes de publicar
El robots.txt dice a los rastreadores lo que pueden explorar, no lo que pueden indexar. Una página prohibida aquí puede seguir en Google, sin descripción, si otros sitios la enlazan. Para retirar una página de los resultados hay que hacer lo contrario: dejarla explorable y ponerle una etiqueta noindex.
Lo que se suele prohibir, y lo que nunca
Se cierra la administración, el carrito, la cuenta de cliente, las páginas de resultados de la búsqueda interna y los parámetros que generan direcciones sin fin (ordenaciones, filtros combinados). Nunca se cierran los archivos CSS y JavaScript, ni las carpetas de temas e imágenes: Google muestra tus páginas como un navegador y, sin ellos, ve una página rota.
Los rastreadores de IA
Las empresas de IA publican nombres de rastreador distintos según el uso. Los de entrenamiento (GPTBot, ClaudeBot, CCBot, y los identificadores Google-Extended y Applebot-Extended) recogen páginas para entrenar modelos. Los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexan para citar tus páginas en las respuestas. Los agentes de usuario (ChatGPT-User, Claude-User, Perplexity-User) van a buscar una página porque alguien la ha pedido.
Rechazar el entrenamiento manteniendo la búsqueda es la opción más habitual: sus textos dejan de entrenar modelos y sigue siendo citado. El robots.txt sigue siendo una convención: las grandes empresas la respetan, algunos rastreadores no.
Una línea de más
Disallow: / bajo User-agent: * retira un sitio entero de los buscadores en pocos días, sin error y sin alerta. Es la línea que se pone en un sitio de preproducción y se olvida al publicarlo. Este generador la señala, y el probador vecino comprueba el archivo una vez publicado.
Lo que esta herramienta no hace
- No publica nada: tú mismo colocas el archivo en la raíz de tu dominio.
- No protege una página privada. El robots.txt es público y solo frena a los rastreadores que aceptan leerlo; una página que debe ocultarse necesita una contraseña.
- No garantiza que un rastreador de IA obedezca. Las grandes empresas respetan los nombres que publican, otros recolectores ignoran el archivo.
Preguntas frecuentes
¿Rechazar GPTBot retira mi sitio de ChatGPT?
No de las respuestas con búsqueda. GPTBot sirve para el entrenamiento; OAI-SearchBot es el que indexa para la búsqueda de ChatGPT. La opción «rechazar el entrenamiento» de este generador bloquea el primero y mantiene el segundo.
¿Google-Extended bloquea a Googlebot?
No. Google-Extended no es un rastreador: es un nombre que Google consulta para saber si tus páginas pueden servir a sus modelos Gemini. Rechazarlo no tiene ningún efecto en tu presencia en la búsqueda de Google.
¿Hace falta un robots.txt si no prohíbo nada?
No es obligatorio: sin archivo, todo está permitido. Tener uno sigue siendo útil para declarar la dirección de tu sitemap, y para que cada visita de un rastreador no deje un error 404 en tus registros.
¿Dónde está el robots.txt en WordPress?
WordPress sirve uno virtual mientras no exista ningún archivo en la raíz. Colocar un archivo robots.txt real en la raíz del sitio lo sustituye; algunos plugins de SEO también permiten editarlo desde la administración.
Para profundizar
Presupuesto de rastreo: por qué no es tu problema El presupuesto de rastreo existe y casi con seguridad no afecta a tu sitio. A quién afecta de verdad, y qué se confunde con él.Las otras herramientas
¿Se puede indexar mi página?
Noindex, robots.txt, canonical, código HTTP: lo que impide a Google y Bing indexar una página, buscador por buscador.
Probar el robots.txt
Si el robots.txt del sitio permite rastrear esta dirección.
Vista previa en Google y redes sociales
Tu título y tu descripción tal como los mostrarán Google, Bing, Facebook, LinkedIn, X y WhatsApp, medidos en píxeles.
Saber el día en que el robots.txt cierra demasiado
La exploración de Expansel señala las páginas de tu sitio excluidas por el robots.txt: una puesta en producción que cierra más de lo previsto se ve enseguida.