GEO · Technique Robots d’IA et robots.txt : bien configurer GPTBot, OAI-SearchBot et les autres

Comment les systèmes d’IA lisent les sites

Les systèmes d’IA accèdent aux sites de trois façons. Les robots d’entraînement collectent des textes servant à entraîner les futurs modèles. Les robots de recherche construisent leur propre index, dans lequel le système choisit et cite des sources quand une question arrive. Les accès pour le compte d’un utilisateur ont lieu quand quelqu’un demande au chat d’ouvrir une page précise ou que l’IA vérifie une information en direct pour répondre.

Pour la visibilité de votre entreprise, ce sont surtout les robots de recherche qui comptent. Si vous bloquez OAI-SearchBot, votre site n’apparaît pas, selon OpenAI, dans les réponses de recherche de ChatGPT. Un robot d’entraînement bloqué signifie seulement que vos contenus ne doivent pas entrer dans les futures données d’entraînement.

Les principaux robots d’IA en un coup d’œil

Deux points méritent d’être connus. OpenAI et Perplexity précisent que leurs accès pour le compte d’utilisateurs ne respectent pas toujours le robots.txt, puisqu’une personne a demandé la page. Et selon Google, Google-Extended n’a aucune influence sur la présence de vos pages dans la recherche Google ni sur leur classement. Les Aperçus IA et le Mode IA font partie de la recherche et se pilotent via le Googlebot habituel.

Trois configurations types

Tout autoriser

Pour la plupart des entreprises, c’est le bon choix : tous les robots peuvent lire, sauf les zones sans intérêt pour les visiteurs.

User-agent: *
Disallow: /panier/
Disallow: /interne/
Sitemap: https://www.example.com/sitemap.xml

Visible dans les recherches IA, sans entraînement

Si vous ne voulez pas voir vos textes dans des données d’entraînement, bloquez uniquement les robots d’entraînement et les jetons de contrôle. Les robots de recherche relèvent de la règle générale et restent autorisés.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Ce qu’il faut peser

Bloquer ou non l’entraînement est une décision d’entreprise. Un blocage ne vaut que pour les entraînements futurs, ce qui a déjà été appris reste. Pour beaucoup de PME, il est plutôt avantageux que les modèles connaissent le nom et les prestations de l’entreprise même sans recherche web. Les éditeurs et les fournisseurs de contenus payants décident souvent autrement.

Ce que dit le droit européen

La directive européenne sur le droit d’auteur autorise la fouille automatisée de textes et de données, sauf si le titulaire des droits s’y est opposé de manière lisible par machine pour les contenus publiés en ligne (art. 4, paragraphe 3, de la directive 2019/790). Le règlement sur l’IA impose aux fournisseurs de modèles d’IA à usage général d’identifier et de respecter ces réserves (art. 53, paragraphe 1, point c). Le robots.txt est le moyen lisible par machine le plus répandu pour cela. Savoir s’il suffit toujours comme réserve valable n’est pas encore tranché juridiquement.

Erreurs fréquentes

• Blocage général hérité d’une refonte : Disallow: / pour tous les robots vient souvent d’un environnement de test et reste en place après la mise en ligne.
• La protection anti-robots bloque aussi : certains pare-feu, hébergeurs et services anti-robots bloquent d’eux-mêmes les robots d’IA, même si le robots.txt les autorise.
• Sous-domaines oubliés : chaque sous-domaine, comme shop.example.com, a besoin de son propre robots.txt.
• Noms erronés : majuscules et minuscules ne comptent pas, les fautes de frappe si. Un « GPT-Bot » ne bloque personne.
• Cacher des secrets avec le robots.txt : le fichier est public. Y lister des chemins internes les rend encore plus faciles à trouver.

Comment vérifier votre configuration

1. Ouvrez https://votre-domaine/robots.txt dans le navigateur et lisez chaque groupe.
2. Vérifiez les sous-domaines et les anciens domaines encore accessibles.
3. Utilisez le rapport robots.txt de la Google Search Console.
4. Cherchez dans les journaux du serveur OAI-SearchBot, Claude-SearchBot et PerplexityBot. Les fournisseurs publient leurs plages d’adresses IP pour distinguer les vrais accès des faux.
5. Demandez à votre hébergeur ou fournisseur de CDN si une protection anti-robots bloque les robots d’IA.

Les changements prennent un peu de temps : OpenAI et Perplexity indiquent jusqu’à 24 heures avant que leurs systèmes tiennent compte d’un nouveau robots.txt. Si les systèmes d’IA vous citent ensuite réellement, nous le mesurons en tant qu’agence GEO dans le test gratuit.