El robots.txt es un archivo de texto plano que se coloca en la raíz de tu dominio y le dice a los rastreadores qué partes de la web pueden recorrer. Sirve para gestionar el rastreo, no para ocultar información ni para desindexar páginas. Bien configurado, ordena el trabajo de Google y de los bots de IA; mal configurado, puede dejarte fuera de los resultados.
Puntos clave
- El robots.txt vive siempre en https://tudominio.com/robots.txt, en la raíz del host, y es un archivo de texto plano en UTF-8.
- Controla el rastreo (qué URLs se recorren), no la indexación: para sacar una página de Google se usa la etiqueta noindex, no el Disallow.
- Nunca bloquees los recursos CSS y JavaScript que Google necesita para renderizar la página.
- Si quieres que la IA (ChatGPT, Gemini, Perplexity) te cite, no bloquees sus bots; lo que más te posiciona en la IA sigue siendo posicionar bien en Google.
- Valida siempre el archivo en Google Search Console antes de darlo por bueno.
El robots.txt es una de esas piezas de SEO técnico que parecen triviales y, sin embargo, están detrás de muchos desastres de visibilidad. Una sola línea de más puede esconder una web entera de Google. En esta guía verás qué es, dónde va, cómo se escribe la sintaxis con ejemplos listos para copiar, la diferencia clave con noindex y cómo tratar a los nuevos rastreadores de inteligencia artificial. Todo forma parte del mismo trabajo: SEO técnico.
Qué es el archivo robots.txt y para qué sirve
Qué es
El robots.txt es un archivo de texto plano (sin HTML, sin formato) que se aloja en la raíz de cada sitio y que forma parte del Protocolo de Exclusión de Robots (REP, por sus siglas en inglés). Ese protocolo nació en 1994 como un acuerdo informal entre los primeros buscadores y, desde 2022, está estandarizado por el IETF en el RFC 9309. En la práctica es lo primero que consulta un rastreador educado antes de recorrer tu web: pide tudominio.com/robots.txt, lee las reglas y, si las respeta, actúa en consecuencia.
La palabra clave aquí es educado. El robots.txt funciona por consenso: los rastreadores legítimos (Googlebot, Bingbot, GPTBot, ClaudeBot y compañía) lo obedecen porque quieren, no porque estén obligados. Un bot malicioso o un scraper sin escrúpulos puede ignorarlo por completo. Esto es determinante para entender qué puedes y qué no puedes esperar de este archivo.
Para qué sirve de verdad
El robots.txt sirve para gestionar el rastreo: decidir por qué zonas de tu sitio pueden circular los bots y por cuáles no. Sus usos reales y honestos son tres:
- Ahorrar presupuesto de rastreo (crawl budget) evitando que Google pierda el tiempo en URLs sin valor (filtros, parámetros, resultados de búsqueda interna, carritos).
- Evitar la sobrecarga del servidor en sitios muy grandes, impidiendo que un rastreo agresivo consuma recursos.
- Declarar dónde está tu sitemap con la directiva Sitemap:, para que los buscadores lo encuentren rápido.
Fíjate en lo que no aparece en esa lista: privacidad, seguridad y desindexación. Ese es el malentendido más caro del SEO técnico, y lo desarrollamos en el siguiente apartado.
Qué NO puede hacer
El robots.txt no oculta ni desindexa una página por sí solo. Esta es la confusión que más problemas causa y conviene grabársela:
- No es una medida de seguridad ni de privacidad. El archivo es público y cualquiera puede leerlo escribiendo /robots.txt en el navegador. Si listas ahí Disallow: /panel-secreto/, lo que has hecho es publicar un mapa de tus zonas sensibles. Para proteger información hay que usar autenticación, contraseñas o control de acceso en el servidor, nunca el robots.txt.
- No garantiza que una URL quede fuera de Google. Si bloqueas una página con Disallow pero otras webs la enlazan, Google puede indexar igualmente la URL (normalmente sin descripción, con el aviso de que no ha podido acceder al contenido). Bloquear el rastreo no equivale a impedir la indexación.
- No elimina contenido ya indexado. Poner un Disallow sobre una página que ya está en Google no la saca del índice; de hecho, puede impedir que Google vea la etiqueta noindex que sí la sacaría.
Con estas tres reglas claras en la cabeza, el resto de la guía encaja solo.
Dónde se aloja y cómo se crea
Ubicación: la raíz del host
El robots.txt tiene que estar exactamente en la raíz del host, accesible en https://tudominio.com/robots.txt. No vale ponerlo en una subcarpeta como tudominio.com/blog/robots.txt: ahí ningún rastreador lo buscará. La regla es literal y sin excepciones.
De esto se deriva un punto que mucha gente pasa por alto: cada host y cada subdominio necesita su propio robots.txt. El archivo de tudominio.com no aplica a tienda.tudominio.com ni a blog.tudominio.com; cada uno es un host distinto y necesita el suyo. Lo mismo ocurre con el protocolo: http:// y https:// se consideran orígenes diferentes, aunque en la práctica lo habitual es servir todo por HTTPS y redirigir el resto.
Cómo crearlo
Crear un robots.txt es tan sencillo como abrir un editor de texto (el Bloc de notas, VS Code, lo que sea) y escribir las reglas. Los requisitos técnicos son mínimos pero estrictos:
- Texto plano, sin formato enriquecido. Nada de Word ni de documentos con estilos.
- Codificación UTF-8.
- Nombre exacto en minúsculas: robots.txt. El sistema distingue mayúsculas de minúsculas, así que Robots.txt o ROBOTS.TXT no valen.
- Una directiva por línea.
Una vez escrito, se sube por FTP o por el gestor de archivos del alojamiento a la carpeta raíz (habitualmente public_html o www). Si tu web corre sobre un CMS, lo más probable es que ni siquiera necesites tocar el FTP, como se ve a continuación.
En WordPress
WordPress es un caso especial porque, de fábrica, genera un robots.txt virtual. Es decir, si no has subido ningún archivo físico, WordPress crea uno «al vuelo» cuando un bot lo pide, con un contenido mínimo por defecto parecido a este:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Ese archivo virtual no existe como fichero en tu servidor: se genera dinámicamente. En cuanto subes un robots.txt físico a la raíz por FTP, o lo editas desde un plugin, ese archivo real sustituye al virtual.
La forma más cómoda de editarlo en WordPress es con un plugin de SEO:
Con Yoast SEO
Ve a Yoast SEO > Herramientas > Editor de archivos. Desde ahí puedes crear y editar el robots.txt directamente en el panel de WordPress, sin tocar el FTP. Si el editor no aparece, suele ser porque el hosting tiene restringida la escritura de archivos; en ese caso tocará subirlo por FTP.
Con Rank Math
En Rank Math > Ajustes generales > Editar robots.txt tienes un cuadro de texto equivalente. Un detalle importante: si Rank Math detecta un robots.txt físico ya existente en la raíz, mostrará un aviso y no dejará editarlo desde el plugin, porque el archivo real siempre tiene prioridad sobre el virtual.
Editando el archivo físico por FTP
Si prefieres el control total o el plugin te da problemas de permisos, crea el robots.txt en tu ordenador y súbelo por FTP o por el administrador de archivos de cPanel a la raíz (public_html). Este método es el más fiable y el que usamos cuando el resultado tiene que ser exacto.
Sintaxis y directivas clave (con ejemplos)
La sintaxis del robots.txt es un pequeño lenguaje de reglas agrupadas por rastreador. Se compone de unas pocas directivas que se combinan en bloques. Vamos una por una.
User-agent
La directiva User-agent abre un bloque de reglas y define a qué rastreador se dirigen. El asterisco * significa «todos los rastreadores»:
User-agent: *
Disallow: /privado/
Puedes crear bloques específicos para bots concretos. Cada rastreador aplica solo el bloque más específico que le corresponda, no la suma de todos. Por ejemplo:
User-agent: *
Disallow: /privado/
User-agent: Googlebot
Disallow: /solo-para-google/
Aquí Googlebot obedecerá únicamente el segundo bloque (su bloque específico) e ignorará el genérico. El resto de bots seguirán el bloque con *. Este detalle es fuente de errores constantes: mucha gente asume que las reglas se acumulan, y no es así.
Disallow y Allow
Disallow indica una ruta que el bot no debe rastrear. Allow indica una excepción dentro de una ruta bloqueada. El valor es siempre una ruta relativa que empieza por /:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
En este ejemplo se bloquea toda la carpeta /wp-admin/ salvo el archivo admin-ajax.php, que WordPress necesita para funcionar. Un Disallow vacío significa «no bloquees nada» (permite todo):
User-agent: *
Disallow:
Y un Disallow: / a secas bloquea el sitio entero. Es la línea más peligrosa del archivo y la causa número uno de caídas de tráfico por robots.txt:
User-agent: *
Disallow: /
Cuando Google encuentra reglas Allow y Disallow que compiten sobre una misma URL, gana la regla más específica (la de ruta más larga). Si empatan en longitud, gana la menos restrictiva (Allow).
Sitemap
La directiva Sitemap declara la ubicación absoluta de tu mapa del sitio. Es independiente de los bloques User-agent y conviene ponerla siempre, normalmente al final:
Sitemap: https://www.tudominio.com/sitemap_index.xml
A diferencia de Disallow, la URL del sitemap debe ser absoluta (con https:// y dominio completo). Puedes declarar varios sitemaps en líneas separadas si los tienes divididos.
Comodines * y $
Google y la mayoría de rastreadores importantes admiten dos comodines que dan mucha potencia a las reglas (son una extensión del estándar, no forman parte del REP original, pero están ampliamente soportados):
- El asterisco * sustituye a cualquier secuencia de caracteres.
- El símbolo del dólar $ marca el final de la URL.
Ejemplos prácticos:
User-agent: *
Disallow: /*? # bloquea cualquier URL con parámetros (que contenga ?)
Disallow: /*.pdf$ # bloquea todas las URLs que terminan en .pdf
Disallow: /*/feed/ # bloquea cualquier ruta que contenga /feed/
Ojo con las mayúsculas: las rutas del robots.txt distinguen mayúsculas de minúsculas. /Carpeta/ y /carpeta/ son rutas distintas para el rastreador.
Ejemplos de robots.txt listos para copiar
Estos son tres esqueletos reales según el tipo de proyecto. Adáptalos a tu caso y cambia el dominio del sitemap.
Caso 1: web abierta (dejar rastrear todo). Lo más sencillo y, para muchos sitios pequeños, lo más acertado:
User-agent: *
Disallow:
Sitemap: https://www.tudominio.com/sitemap_index.xml
Caso 2: WordPress estándar (bloquear el escritorio, dejar el resto). El equilibrio habitual para un blog o una web corporativa:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.tudominio.com/sitemap_index.xml
Caso 3: ecommerce con facetas y parámetros. Aquí el objetivo es que Google no se pierda rastreando millones de combinaciones de filtros que no aportan páginas útiles:
User-agent: *
Disallow: /carrito/
Disallow: /finalizar-compra/
Disallow: /mi-cuenta/
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /*add-to-cart=
Disallow: /*?s=
Sitemap: https://www.tudominio.com/sitemap_index.xml
En el caso del ecommerce, decidir qué parámetros bloquear no es trivial y depende de la plataforma (WooCommerce, PrestaShop, Shopify). Es exactamente el tipo de decisión donde una mala regla puede desindexar categorías enteras, así que conviene medir antes de tocar. Lo relacionamos con el presupuesto de rastreo más abajo.
Disallow vs Noindex: no los confundas
Esta es, con diferencia, la sección que más búsquedas genera («diferencias entre no index y robots.txt») y donde más errores cometen incluso perfiles técnicos. Merece detenerse.
Qué hace cada uno
- Disallow (en robots.txt) controla el RASTREO. Le dice a Google: «no entres a leer esta URL». Actúa antes de que Google vea el contenido.
- noindex (etiqueta meta en el HTML o cabecera HTTP) controla la INDEXACIÓN. Le dice a Google: «puedes entrar y leer, pero no la incluyas en tus resultados». Actúa sobre una página que Google sí ha rastreado.
Son dos capas distintas del proceso: primero se rastrea, después se indexa. El robots.txt actúa en la primera; el noindex, en la segunda.
El error clásico: bloquear en robots una página que quieres desindexar
Este es el fallo que se repite en auditoría tras auditoría. Alguien quiere sacar una página de Google y hace lo intuitivo: la bloquea con Disallow en el robots.txt. El resultado es el contrario del buscado.
¿Por qué? Porque la etiqueta noindex vive dentro de la página. Si bloqueas el rastreo con Disallow, Google nunca llega a leer ese noindex. La página puede seguir apareciendo en los resultados (sobre todo si tiene enlaces externos), mostrando ese resultado feo de «No hay información disponible sobre esta página». Has conseguido que Google no vea la instrucción que sí la habría desindexado.
La regla de oro es simple: para desindexar, la página tiene que estar rastreable. Deja que Google entre, que lea el noindex y que la retire del índice. Solo cuando lleve tiempo fuera podrías (si quisieras) bloquearla también por rastreo.
Cuándo usar cada uno
|
Objetivo |
Herramienta correcta |
Herramienta incorrecta |
|---|---|---|
|
Que Google no pierda tiempo rastreando URLs inútiles (filtros, parámetros) |
Disallow en robots.txt |
noindex |
|
Sacar una página concreta de los resultados de Google |
Etiqueta noindex (con la página rastreable) |
Disallow en robots.txt |
|
Proteger información sensible o privada |
Contraseña / autenticación en el servidor |
robots.txt o noindex |
|
Evitar contenido duplicado por parámetros |
Canonical + Disallow según el caso |
Solo Disallow |
|
Impedir que se rastree una sección entera de baja calidad |
Disallow en robots.txt |
noindex página a página |
Robots.txt y el presupuesto de rastreo (crawl budget)
Cómo ayuda a ahorrar crawl budget
El presupuesto de rastreo es, en resumen, la cantidad de URLs que Google está dispuesto a rastrear en tu sitio en un periodo dado. En webs pequeñas casi nunca es un problema. Pero en sitios grandes (ecommerce con miles de productos, portales con muchos filtros, medios con archivos enormes) es un recurso limitado que conviene administrar.
Aquí es donde el robots.txt aporta valor de verdad. Si evitas que Google se pierda rastreando búsquedas internas, combinaciones de filtros, calendarios infinitos o URLs con parámetros de seguimiento, concentras su atención en las páginas que sí quieres posicionar: fichas, categorías y contenido. No es que el robots.txt «genere» más presupuesto, sino que evita malgastar el que tienes. Lo tratamos en profundidad en la guía de presupuesto de rastreo.
Qué conviene bloquear y qué NO
Candidatos razonables a bloquear:
- Resultados de búsqueda interna (/?s=, /buscar/).
- Parámetros de ordenación y filtrado que no generan páginas indexables útiles.
- Carrito, checkout y área de cuenta de usuario.
- Endpoints técnicos y URLs de seguimiento sin valor SEO.
Lo que NUNCA debes bloquear:
- Los archivos CSS y JavaScript. Este es un error grave y muy común. Google necesita renderizar la página como lo haría un usuario, y para eso descarga tu CSS y tu JS. Si los bloqueas, Google ve una página rota, puede penalizar la usabilidad móvil y malinterpretar tu contenido. La época en la que se bloqueaba /wp-includes/ o /wp-content/plugins/ quedó atrás; hoy es contraproducente.
- Imágenes que quieras posicionar en Google Imágenes.
- Páginas que quieras desindexar (recuerda: para eso, noindex, no Disallow).
Controlar el rastreo de los bots de IA
Aquí está la novedad de los últimos años y el motivo por el que este archivo vuelve a estar de moda. Que existan rastreadores de IA no cambia la naturaleza del robots.txt ni convierte al SEO en otra disciplina: sigue siendo SEO. Simplemente hay nuevos User-agent a los que decidir si dejar pasar o no.
Qué son GPTBot, OAI-SearchBot, ClaudeBot, Google-Extended y PerplexityBot
Cada plataforma de IA tiene sus propios rastreadores, y no todos hacen lo mismo. Conviene distinguirlos porque bloquear el equivocado tiene consecuencias distintas:
- GPTBot (OpenAI): rastrea contenido que puede usarse para entrenar los modelos de OpenAI (ChatGPT).
- OAI-SearchBot (OpenAI): es el rastreador de la búsqueda de ChatGPT. Es el que permite que tu contenido aparezca y se cite en las respuestas de ChatGPT cuando busca en la web. Es distinto de GPTBot.
- ChatGPT-User (OpenAI): se activa cuando un usuario pide a ChatGPT que consulte una URL concreta en ese momento. No es un rastreador masivo.
- ClaudeBot (Anthropic): el rastreador de Claude, que recopila contenido para el asistente de Anthropic.
- PerplexityBot (Perplexity): indexa contenido para que Perplexity pueda citarlo en sus respuestas con enlaces.
- Google-Extended (Google): es un caso especial. No es un rastreador con user-agent propio que visite tu web; es un token de control que decide si tu contenido puede usarse para entrenar Gemini y para grounding en Vertex AI. Bloquearlo no afecta a tu posicionamiento en Google Search ni a tu presencia en los AI Overviews, porque esos siguen dependiendo de Googlebot.
Permitir o bloquear: la decisión estratégica
La pregunta que nos llega una y otra vez es: «¿bloqueo los bots de IA para que no me copien?». La respuesta, salvo casos muy concretos, es no.
La lógica es la misma que con Google hace veinte años. Si quieres que ChatGPT, Gemini o Perplexity te citen como fuente y envíen tráfico y notoriedad a tu marca, tienes que dejar que sus rastreadores accedan a tu contenido. Bloquear a OAI-SearchBot o a PerplexityBot es el equivalente moderno de bloquear a Googlebot: te aseguras de no aparecer.
Si tu única preocupación es que tu contenido entrene modelos (una cuestión de propiedad, no de visibilidad), puedes optar por bloquear solo los bots de entrenamiento (GPTBot, Google-Extended) y dejar pasar los de búsqueda y citación (OAI-SearchBot, PerplexityBot, Googlebot). Es una decisión de negocio legítima, pero conviene tomarla sabiendo exactamente qué implica cada user-agent.
Ejemplo de robots.txt que permite que la IA de búsqueda te cite (la postura que recomendamos por defecto para visibilidad):
# Búsqueda y citación en IA: permitidos
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: GPTBot
Allow: /
Y un ejemplo de la postura opuesta (bloquear entrenamiento, algo que solo tiene sentido si tu prioridad es que no te usen para entrenar modelos):
# Bloquear entrenamiento, permitir búsqueda
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Puedes profundizar en la estrategia completa en nuestra sección de posicionamiento en IA y, en concreto, en la guía de SEO para ChatGPT.
Cómo auditarlo (la postura de BIGSEO)
Aquí va nuestra opinión sin rodeos, porque es lo que aplicamos con clientes. Existe una long-tail muy reveladora que la gente busca literalmente: «cómo auditar el robots.txt y el sitemap para que los crawlers de IA rastreen mi sitio». La intención detrás es correcta: quieren que la IA los descubra. Pero el enfoque a veces se pierde en los bots y olvida lo esencial.
Nuestra postura es doble y clara:
- Deja pasar a los bots de IA. Audita tu robots.txt para asegurarte de que no estás bloqueando por descuido a OAI-SearchBot, PerplexityBot o similares, y de que tu Sitemap: está bien declarado. Es un requisito de higiene: si les cierras la puerta, no te citan.
- Posiciona bien en Google, porque es lo que más alimenta a la IA. Los AI Overviews son de Google. Y ChatGPT y Perplexity, cuando buscan, se apoyan en gran medida en fuentes que ya rankean bien. Dicho de otro modo: el mejor «SEO para IA» que existe hoy es seguir siendo un buen resultado en Google. No es una disciplina nueva; es el mismo SEO de siempre, hecho bien, más un par de líneas de robots.txt que no estorben.
No prometemos posiciones garantizadas en ningún buscador ni en ninguna IA (nadie serio puede hacerlo). Lo que sí garantizamos es el método: contenido que merece ser citado, arquitectura rastreable y un robots.txt que no se dispara en el pie.
Una auditoría de robots.txt para IA, en la práctica, se reduce a comprobar tres cosas: que no bloqueas a los bots que quieres que te citen, que tu sitemap está declarado y accesible, y que las páginas que quieres que la IA lea son rastreables e indexables. Si quieres que lo revisemos con datos de tu proyecto, esto es parte de nuestra consultoría SEO.
Errores típicos en el robots.txt (qué NO hacer)
Un repaso rápido a los fallos que más veces encontramos en auditoría. Si evitas estos, ya vas por delante de la mayoría:
- Disallow: / olvidado tras un desarrollo. El clásico absoluto: la web sale de staging a producción con el robots.txt que bloqueaba todo, y desaparece de Google en días. Revisa esto siempre en cada puesta en producción.
- Bloquear CSS y JavaScript. Ya lo hemos dicho: rompe el renderizado y perjudica el SEO. Nunca.
- Usar Disallow para desindexar. Impide que Google lea el noindex. No funciona.
- Confiar en el robots.txt para ocultar información privada. Es un archivo público. Lo estás anunciando.
- Olvidar que cada subdominio necesita el suyo. El robots.txt de www no cubre tienda. ni blog..
- Usarlo en un subdominio de staging pero dejarlo accesible. Mejor proteger staging con contraseña que fiarlo todo a un Disallow.
- Errores de mayúsculas y rutas. /Blog/ no es /blog/. Un carácter mal escrito deja la regla sin efecto o bloquea de más.
- No declarar el sitemap. No es un error grave, pero es una oportunidad perdida de guiar a los rastreadores.
- Bloquear parámetros con demasiada agresividad. En ecommerce, un Disallow: /*? mal calibrado puede tumbar categorías legítimas paginadas. Mide antes.
Cómo validar tu robots.txt
Escribir el archivo es la mitad del trabajo. La otra mitad es comprobar que hace exactamente lo que crees que hace.
Probador e informe de Google Search Console
La herramienta de referencia es Google Search Console. Google retiró el antiguo «probador de robots.txt» independiente, pero dentro de Search Console tienes el informe de robots.txt (en Configuración), que muestra la última versión que Google ha leído, cuándo la rastreó y si detectó errores de sintaxis. Es la fuente de verdad sobre lo que Google está viendo realmente.
Para comprobar si una URL concreta está bloqueada, usa la Inspección de URL de Search Console: te dirá si esa página está permitida o bloqueada por el robots.txt y por qué regla exactamente. Es la forma más fiable de verificar un caso puntual antes de dar un cambio por bueno.
Validadores y comprobación manual (curl)
Para una comprobación rápida y sin herramientas, basta con abrir https://tudominio.com/robots.txt en el navegador y leerlo. Debe cargar como texto plano y mostrar exactamente lo que subiste.
Desde la terminal, curl te da la respuesta cruda del servidor, lo que además confirma que devuelve un código 200 y el tipo de contenido correcto:
curl -I https://www.tudominio.com/robots.txt
curl https://www.tudominio.com/robots.txt
El primer comando muestra las cabeceras (deberías ver HTTP/2 200 y content-type: text/plain); el segundo vuelca el contenido del archivo. Si te devuelve un 404, no tienes robots.txt (o no está en la raíz). Si te devuelve HTML en lugar de texto plano, algo está mal configurado en el servidor. Además de esto, existen validadores de sintaxis online que marcan reglas mal formadas antes de subir el archivo. Para la referencia oficial de todas las directivas y su comportamiento, consulta la documentación de Google sobre robots.txt [confirmar URL].
Preguntas frecuentes (FAQ)
¿Para qué sirve el robots.txt?
Sirve para gestionar el rastreo de tu web: le indica a los buscadores y bots de IA qué zonas pueden recorrer y cuáles no, ayuda a ahorrar presupuesto de rastreo en sitios grandes y declara dónde está tu sitemap. No sirve para desindexar páginas ni para proteger información privada.
¿Dónde se coloca el archivo robots.txt?
Siempre en la raíz del host, accesible en https://tudominio.com/robots.txt. No puede ir en una subcarpeta, y cada subdominio (www, blog, tienda) necesita el suyo propio.
¿Me puedes dar un ejemplo de robots.txt?
El más básico y válido para muchas webs permite rastrearlo todo y declara el sitemap:
User-agent: *
Disallow:
Sitemap: https://www.tudominio.com/sitemap_index.xml
Para WordPress, lo habitual es bloquear solo el escritorio:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.tudominio.com/sitemap_index.xml
¿Cuál es la diferencia entre robots.txt y noindex?
El Disallow del robots.txt controla el rastreo (si Google entra o no a leer la URL). La etiqueta noindex controla la indexación (si la página aparece o no en los resultados). Para sacar una página de Google se usa noindex, y la página debe ser rastreable para que Google pueda leer esa instrucción. Bloquearla con Disallow impide que Google vea el noindex y suele ser contraproducente.
¿Debo bloquear GPTBot, ClaudeBot o PerplexityBot?
Por norma general, no, si te interesa la visibilidad. Bloquear a los rastreadores de búsqueda de IA (OAI-SearchBot, PerplexityBot) te impide ser citado por ChatGPT o Perplexity. Solo tiene sentido bloquear los bots de entrenamiento (GPTBot, Google-Extended) si tu prioridad es que tu contenido no entrene modelos, y aun así conviene dejar pasar a los de búsqueda.
¿Cómo edito el robots.txt en WordPress?
Con un plugin de SEO: en Yoast SEO > Herramientas > Editor de archivos o en Rank Math > Ajustes generales > Editar robots.txt. Si el hosting no permite escritura desde el plugin, o si ya existe un archivo físico en la raíz, tendrás que subirlo o editarlo por FTP en la carpeta public_html.
