GEO · Tecnologia robots.txt e rastreadores de IA: configurar corretamente GPTBot, OAI-SearchBot e outros

Como os sistemas de IA leem os sites

Nos sistemas de IA existem três tipos de acesso. Os rastreadores de treino recolhem textos que serão utilizados para treinar modelos futuros. Os rastreadores de pesquisa criam um índice próprio, a partir do qual o sistema seleciona fontes e inclui ligações quando recebe uma pergunta. Os acessos a pedido de um utilizador ocorrem quando alguém pede no chat para abrir uma página específica ou quando a IA consulta informação em tempo real para responder.

Para a visibilidade da sua empresa, contam sobretudo os rastreadores de pesquisa. Segundo a OpenAI, se bloquear o OAI-SearchBot, o seu site não aparecerá nas respostas de pesquisa do ChatGPT. Já bloquear um rastreador de treino indica apenas que os seus conteúdos não devem integrar futuros dados de treino.

Visão geral dos principais rastreadores de IA

Há duas particularidades que deve conhecer. A OpenAI e o Perplexity indicam que os seus acessos a pedido do utilizador nem sempre respeitam o robots.txt, porque foi uma pessoa que pediu a página. Além disso, segundo o Google, o Google-Extended não influencia se as suas páginas aparecem na Pesquisa Google nem a sua classificação. AI Overviews e o Modo IA fazem parte da pesquisa e são controlados pelo Googlebot normal.

Três configurações típicas

Permitir tudo

Para a maioria das empresas, esta é a escolha certa: todos os rastreadores podem ler, exceto as áreas sem utilidade para os visitantes.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Visível nas pesquisas de IA, mas sem treino

Quem não quer os seus textos nos dados de treino bloqueia apenas os rastreadores de treino e os identificadores de controlo. Os rastreadores de pesquisa ficam abrangidos pela regra geral e continuam autorizados.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

O que deve ponderar

Bloquear ou não o treino é uma decisão empresarial. O bloqueio só tem efeito sobre futuros ciclos de treino; o conhecimento já aprendido mantém-se. Para muitas pequenas e médias empresas, é uma vantagem que os modelos conheçam o nome da empresa e os seus serviços mesmo sem pesquisar na Web. As editoras e os prestadores de conteúdos pagos tomam frequentemente uma decisão diferente.

O que diz a legislação da UE

A diretiva da UE relativa aos direitos de autor permite a análise automatizada de textos e dados, salvo se o titular dos direitos tiver formulado uma reserva em formato legível por máquinas, no caso dos conteúdos publicados online (Art. 4 Abs. 3 da Diretiva 2019/790). O Regulamento da IA obriga os prestadores de modelos de IA de finalidade geral a identificar e respeitar essas reservas (Art. 53 Abs. 1 alínea c). O robots.txt é o meio legível por máquinas mais utilizado para esse fim. Ainda não está definitivamente esclarecido, do ponto de vista jurídico, se é suficiente como reserva válida em todos os casos.

Erros frequentes

• Bloqueio geral herdado do relançamento: a instrução Disallow: / para todos os rastreadores provém frequentemente de um ambiente de teste e permanece após a publicação do site.
• A proteção contra bots também bloqueia: algumas firewalls, prestadores de alojamento e serviços de proteção contra bots bloqueiam os rastreadores de IA por iniciativa própria, mesmo quando o robots.txt lhes permite o acesso.
• Esquecer os subdomínios: cada subdomínio, como shop.example.com, precisa do seu próprio robots.txt.
• Nomes incorretos: as maiúsculas e minúsculas não fazem diferença, mas os erros de escrita sim. Um «GPT-Bot» não bloqueia ninguém.
• Esconder informação confidencial no robots.txt: o ficheiro é público. Quem lista aí caminhos internos torna-os ainda mais fáceis de encontrar.

Como verificar a sua configuração

1. Abra https://ihre-domain/robots.txt no navegador e leia cada grupo.
2. Verifique os subdomínios e os domínios antigos que ainda estão acessíveis.
3. Utilize o relatório sobre o robots.txt na Google Search Console.
4. Procure OAI-SearchBot, Claude-SearchBot e PerplexityBot nos registos do servidor. Os prestadores publicam os seus intervalos de endereços IP para permitir distinguir os acessos reais dos falsificados.
5. Pergunte ao seu prestador de alojamento ou de CDN se alguma proteção contra bots bloqueia os rastreadores de IA.

As alterações demoram algum tempo: a OpenAI e o Perplexity indicam que os seus sistemas podem demorar até 24 horas a ter em conta um novo robots.txt. Como agência GEO, medimos na verificação gratuita se os sistemas de IA passam efetivamente a mencionar a sua empresa.