robots.txt: qué es y para qué sirve

Añadir a fuentes preferidas

El robots.txt es un archivo de texto en la raíz de un sitio web que indica a los rastreadores a qué URL pueden acceder. Sirve sobre todo para gestionar el tráfico de rastreo y evitar sobrecargar el sitio. No impide que una página aparezca en Google: para eso se usa noindex o una contraseña.

Cómo funciona

Antes de rastrear un sitio, los rastreadores de Google descargan y leen su robots.txt para saber qué partes pueden visitar. El archivo se compone de grupos: una o varias líneas User-agent que dicen a qué rastreador se dirigen, seguidas de reglas Allow o Disallow. Un ejemplo mínimo:

User-agent: *
Disallow: /carrito/

Sitemap: https://www.ejemplo.com/sitemap.xml

Se basa en el Protocolo de Exclusión de Robots, definido por Martijn Koster en 1994 y especificado por el IETF en el RFC 9309. Ese RFC aclara algo importante: estas reglas no son una forma de autorización de acceso. Son una petición que los rastreadores fiables respetan; no impiden nada a quien decida ignorarla. Google lo dice igual: el robot de Google y otros rastreadores web fiables sí cumplen las instrucciones, pero otros rastreadores pueden no hacerlo.

Lo encuentras en tudominio.com/robots.txt. Según la especificación de Google, si el sitio no tiene robots.txt (respuesta 404), Google rastrea sin restricciones; en general, el comportamiento depende de cómo responda el servidor al pedir el archivo:

Respuesta al pedir /robots.txtQué hace Google
2xx (correcta)Lee y aplica las reglas
3xx (redirección)Sigue al menos cinco redirecciones y después lo trata como un 404; no sigue las redirecciones lógicas (metaetiquetas, JavaScript o marcos)
4xx, salvo 429 (por ejemplo, 404)Lo trata como si no hubiera robots.txt: sin restricciones de rastreo
5xx (error de servidor)Durante las primeras 12 horas deja de rastrear el sitio y sigue intentando leerlo; después usa hasta 30 días la última versión que funcionó
5xx que sigue sin resolverse a los 30 díasSe comporta como si no hubiera robots.txt cuando el sitio está disponible en general, y deja de rastrearlo si tiene problemas generales de disponibilidad
5xx sin versión guardada del robots.txtConsidera que no hay restricciones de rastreo
Error de DNS o de red (por ejemplo, tiempo de espera agotado)Sigue el mismo procedimiento que con un error 5xx

Fuente de la tabla: Google Search Central, especificación de robots.txt, actualizada el 2026-10-27.

Otras reglas de Google que conviene saber:

  • Ubicación: va en el directorio de nivel superior del sitio, y las reglas se aplican solo al host, protocolo y puerto donde está alojado. Un subdominio necesita su propio archivo.
  • Caché: Google guarda el robots.txt en caché hasta 24 horas, aunque puede ser más si no logra actualizarlo.
  • Formato: texto sin formato en UTF-8 y un límite de 500 KiB; lo que lo supere se ignora.

Cómo se aplica en SEO

  • Gestionar el rastreo. Según Google, el robots.txt sirve para que no rastree páginas sin importancia o similares de tu sitio, o para evitar que su rastreador sobrecargue tu servidor.
  • Declarar el sitemap. Una línea Sitemap: con la URL completa; puedes poner varias. Según Google, así encuentra tu sitemap XML la próxima vez que rastrea el archivo.
  • No bloquear lo que una página necesita para mostrarse. Google avisa de que bloquear recursos como imágenes, scripts o estilos importantes puede impedirle analizar correctamente páginas que dependen de ellos.
  • Decidir qué rastreadores de IA entran. Cada rastreador, incluidos los de IA, se identifica con su User-agent y puedes dirigir un grupo de reglas a cada uno; que respete esas reglas depende del propio rastreador (RFC 9309). La guía de configuración que enlazamos abajo desarrolla cómo tratar a los de IA.

Errores comunes

  • Usar el robots.txt para ocultar páginas de Google o para proteger información privada. Si una página está bloqueada, la URL puede seguir apareciendo en los resultados, pero sin descripción, y se puede indexar si otros sitios enlazan a ella. Para la información privada, Google recomienda proteger los archivos con contraseña en el servidor.
  • Combinar reglas de rastreo y de indexación sin pensar. Google avisa de que, al usar varias a la vez, puede haber conflictos entre ellas.
  • Malinterpretar el código de estado del archivo. Un 4xx (salvo 429), como un 404, se interpreta como «sin restricciones», no como un bloqueo; y un 5xx que dura puede hacer que Google deje de rastrear el sitio durante horas y después trabaje con una versión antigua.
  • Guardar el robots.txt en un formato incorrecto. Si no es UTF-8, Google puede ignorar los caracteres que no pertenezcan a ese intervalo, y con ello invalidar reglas.

Amplía en

Esta entrada es la definición, con lo que dice Google sobre la respuesta del servidor, la caché y los límites del archivo. Para la sintaxis completa, ejemplos listos para copiar, WordPress, bots de IA y cómo validarlo, tienes la guía de configuración del robots.txt.

Términos relacionados

Fuentes

Preguntas frecuentes sobre el robots.txt

¿Qué son los web crawlers?

Los web crawlers son programas automáticos que visitan páginas web; el RFC 9309 los define como clientes automatizados. Los buscadores los usan para descubrir contenido, y el robots.txt es la forma de indicarles a qué URL pueden acceder.

¿Para qué se utiliza un archivo TXT?

Un archivo TXT es un archivo de texto sin formato. El robots.txt es un TXT que se usa para decir a los rastreadores qué URL de tu sitio pueden visitar y para declarar la ubicación de tu sitemap.

¿Cómo se llama el robot de Google?

El robot de Google se llama Googlebot. Es el nombre que escribes en la línea User-agent para que un grupo de reglas se dirija solo a él (por ejemplo, User-agent: Googlebot).

Por dónde seguir

¿Quieres que revisemos qué le estás permitiendo rastrear a Google y a las IA? Te ayudamos con nuestro equipo de agencia SEO. ¡Hablemos de generar negocio!