GEO · Tecnica Crawler AI e robots.txt: come configurare bene GPTBot, OAI-SearchBot e gli altri

Come i sistemi AI leggono i siti

I sistemi AI accedono ai siti in tre modi. I crawler di addestramento raccolgono testi con cui vengono addestrati i modelli futuri. I crawler di ricerca costruiscono un proprio indice, da cui il sistema sceglie e collega le fonti quando arriva una domanda. Gli accessi per conto di un utente avvengono quando qualcuno chiede alla chat di aprire una pagina precisa o l’AI verifica qualcosa in tempo reale per rispondere.

Per la visibilità della vostra azienda contano soprattutto i crawler di ricerca. Se bloccate OAI-SearchBot, secondo OpenAI il vostro sito non compare nelle risposte di ricerca di ChatGPT. Un crawler di addestramento bloccato significa invece solo che i vostri contenuti non devono entrare nei futuri dati di addestramento.

I principali crawler AI in sintesi

Due dettagli vanno conosciuti. OpenAI e Perplexity precisano che i loro accessi per conto degli utenti non rispettano sempre il robots.txt, perché è una persona ad aver richiesto la pagina. E secondo Google, Google-Extended non influisce sulla presenza delle vostre pagine nella Ricerca Google né sul loro posizionamento. Le AI Overview e la modalità AI fanno parte della Ricerca e si gestiscono tramite il normale Googlebot.

Tre configurazioni tipiche

Consentire tutto

Per la maggior parte delle aziende è la scelta giusta: tutti i crawler possono leggere, tranne le aree senza valore per i visitatori.

User-agent: *
Disallow: /carrello/
Disallow: /interno/
Sitemap: https://www.example.com/sitemap.xml

Visibili nelle ricerche AI, ma senza addestramento

Chi non vuole vedere i propri testi nei dati di addestramento blocca solo i crawler di addestramento e i token di controllo. I crawler di ricerca rientrano nella regola generale e restano consentiti.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Cosa valutare

Bloccare o meno l’addestramento è una decisione aziendale. Il blocco vale solo per gli addestramenti futuri, ciò che è già stato appreso resta. Per molte PMI è piuttosto un vantaggio se i modelli conoscono nome e servizi dell’azienda anche senza ricerca web. Editori e fornitori di contenuti a pagamento spesso decidono diversamente.

Cosa dice il diritto dell’UE

La direttiva europea sul diritto d’autore consente l’estrazione automatizzata di testo e dati, salvo che il titolare dei diritti se la sia riservata in modo leggibile da macchina per i contenuti pubblicati online (art. 4, paragrafo 3, della direttiva 2019/790). L’AI Act obbliga i fornitori di modelli di AI per finalità generali a individuare e rispettare tali riserve (art. 53, paragrafo 1, lettera c). Il robots.txt è lo strumento leggibile da macchina più diffuso a questo scopo. Se basti sempre come riserva efficace non è ancora stato chiarito in via definitiva sul piano giuridico.

Errori frequenti

• Blocco totale rimasto dal rilancio: Disallow: / per tutti i crawler proviene spesso da un ambiente di test e resta dopo la pubblicazione.
• La protezione antibot blocca anch’essa: alcuni firewall, provider di hosting e servizi antibot bloccano di propria iniziativa i crawler AI, anche se il robots.txt li consente.
• Sottodomini dimenticati: ogni sottodominio, come shop.example.com, ha bisogno del proprio robots.txt.
• Nomi sbagliati: maiuscole e minuscole non contano, gli errori di battitura sì. Un «GPT-Bot» non blocca nessuno.
• Nascondere segreti con il robots.txt: il file è pubblico. Elencarvi percorsi interni li rende ancora più facili da trovare.

Come verificare la configurazione

1. Aprite https://vostro-dominio/robots.txt nel browser e leggete ogni gruppo.
2. Controllate i sottodomini e i vecchi domini ancora raggiungibili.
3. Usate il rapporto robots.txt di Google Search Console.
4. Cercate nei log del server OAI-SearchBot, Claude-SearchBot e PerplexityBot. I fornitori pubblicano i propri intervalli IP per distinguere gli accessi autentici da quelli falsi.
5. Chiedete al vostro provider di hosting o CDN se una protezione antibot blocca i crawler AI.

Le modifiche richiedono un po’ di tempo: OpenAI e Perplexity indicano fino a 24 ore prima che i loro sistemi tengano conto di un nuovo robots.txt. Se i sistemi AI poi la citano davvero, lo misuriamo come agenzia GEO nella verifica gratuita.