GEO · Técnica Rastreadores de IA y robots.txt: cómo configurar bien GPTBot, OAI-SearchBot y compañía

Cómo leen las webs los sistemas de IA

En los sistemas de IA hay tres tipos de acceso. Los rastreadores de entrenamiento recopilan textos con los que se entrenan modelos futuros. Los rastreadores de búsqueda crean un índice propio del que el sistema elige y enlaza fuentes cuando llega una pregunta. Los accesos en nombre de un usuario se producen cuando alguien pide en el chat abrir una página concreta o la IA consulta algo en directo para responder.

Para la visibilidad de su empresa cuentan sobre todo los rastreadores de búsqueda. Si bloquea OAI-SearchBot, según OpenAI su web no aparecerá en las respuestas de búsqueda de ChatGPT. Un rastreador de entrenamiento bloqueado, en cambio, solo significa que su contenido no debe entrar en futuros datos de entrenamiento.

Los rastreadores de IA más importantes de un vistazo

Conviene conocer dos detalles. OpenAI y Perplexity advierten de que sus accesos en nombre de usuarios no siempre respetan el robots.txt, porque una persona pidió la página. Y según Google, Google-Extended no influye en si sus páginas aparecen en la Búsqueda de Google ni en su posición. Las AI Overviews y el modo IA forman parte de la Búsqueda y se controlan con el Googlebot normal.

Tres configuraciones típicas

Permitirlo todo

Para la mayoría de las empresas es la opción correcta: todos los rastreadores pueden leer, salvo las zonas sin valor para los visitantes.

User-agent: *
Disallow: /carrito/
Disallow: /interno/
Sitemap: https://www.example.com/sitemap.xml

Visible en las búsquedas de IA, pero sin entrenamiento

Quien no quiera ver sus textos en datos de entrenamiento bloquea solo los rastreadores de entrenamiento y las señales de control. Los rastreadores de búsqueda quedan bajo la regla general y siguen permitidos.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Qué conviene sopesar

Bloquear o no el entrenamiento es una decisión de negocio. El bloqueo solo afecta a entrenamientos futuros, lo ya aprendido se mantiene. Para muchas pymes es más bien una ventaja que los modelos conozcan el nombre y los servicios de la empresa incluso sin búsqueda web. Las editoriales y los proveedores de contenido de pago suelen decidir de otra forma.

Qué dice el derecho de la UE

La directiva europea de derechos de autor permite el análisis automatizado de textos y datos, salvo que el titular de los derechos se lo haya reservado de forma legible por máquina para contenidos publicados en línea (art. 4, apartado 3, de la Directiva 2019/790). El Reglamento de IA obliga a los proveedores de modelos de IA de uso general a detectar y respetar esas reservas (art. 53, apartado 1, letra c). El robots.txt es el medio legible por máquina más extendido para ello. Si basta siempre como reserva eficaz es una cuestión jurídica aún no resuelta del todo.

Errores frecuentes

• Bloqueo general heredado de un relanzamiento: Disallow: / para todos los rastreadores suele venir de un entorno de pruebas y se queda tras la publicación.
• La protección contra bots también bloquea: algunos cortafuegos, proveedores de alojamiento y servicios antibots bloquean por su cuenta a los rastreadores de IA, aunque el robots.txt los permita.
• Subdominios olvidados: cada subdominio, como shop.example.com, necesita su propio robots.txt.
• Nombres incorrectos: las mayúsculas y minúsculas no importan, las erratas sí. Un «GPT-Bot» no bloquea a nadie.
• Ocultar secretos con el robots.txt: el archivo es público. Quien lista ahí rutas internas las hace todavía más fáciles de encontrar.

Cómo revisar su configuración

1. Abra https://su-dominio/robots.txt en el navegador y lea cada grupo.
2. Revise los subdominios y los dominios antiguos que sigan accesibles.
3. Use el informe de robots.txt de Google Search Console.
4. Busque en los registros del servidor OAI-SearchBot, Claude-SearchBot y PerplexityBot. Los proveedores publican sus rangos de IP para distinguir los accesos reales de los falsos.
5. Pregunte a su proveedor de alojamiento o CDN si una protección antibots bloquea a los rastreadores de IA.

Los cambios necesitan algo de tiempo: OpenAI y Perplexity indican hasta 24 horas hasta que sus sistemas tienen en cuenta un robots.txt nuevo. Si los sistemas de IA le mencionan después de todo, lo medimos como agencia GEO en el check gratuito.