GEO · Tehnică robots.txt și crawlere AI: configurarea corectă a GPTBot, OAI-SearchBot și a celorlalte crawlere

Cum citesc sistemele AI site-urile web

Sistemele AI folosesc trei tipuri de acces. Crawlerele pentru antrenare colectează texte cu care vor fi antrenate modelele viitoare. Crawlerele pentru căutare construiesc un index propriu, din care sistemul selectează surse și oferă linkuri atunci când primește o întrebare. Accesările la cererea unui utilizator au loc când cineva solicită în chat deschiderea unei anumite pagini sau când AI consultă în timp real o pagină pentru a formula un răspuns.

Pentru vizibilitatea companiei dumneavoastră contează în primul rând crawlerele pentru căutare. Dacă blocați OAI-SearchBot, potrivit OpenAI, site-ul dumneavoastră nu apare în răspunsurile bazate pe căutare ale ChatGPT. Blocarea unui crawler pentru antrenare indică, în schimb, doar că materialele dumneavoastră nu ar trebui incluse în viitoarele date de antrenare.

Principalele crawlere AI, pe scurt

Ar trebui să cunoașteți două particularități. OpenAI și Perplexity precizează că accesările lor la cererea utilizatorului nu respectă în toate cazurile robots.txt, deoarece pagina a fost solicitată de o persoană. Iar Google-Extended, potrivit Google, nu influențează apariția paginilor dumneavoastră în căutarea Google sau poziția lor în rezultate. AI Overviews și modul AI fac parte din căutare și sunt controlate prin Googlebot obișnuit.

Trei configurații uzuale

Permiteți toate accesările

Pentru majoritatea companiilor, aceasta este alegerea potrivită: toate crawlerele au voie să citească site-ul, cu excepția secțiunilor fără utilitate pentru vizitatori.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Vizibilitate în căutările AI, fără antrenare

Dacă nu doriți ca textele dumneavoastră să fie incluse în datele de antrenare, blocați doar crawlerele pentru antrenare și identificatorii de control aferenți. Crawlerele pentru căutare intră sub incidența regulii generale și rămân permise.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Ce ar trebui să luați în considerare

Blocarea antrenării este o decizie de afaceri. Blocarea se aplică doar sesiunilor viitoare de antrenare; cunoștințele deja învățate rămân. Pentru multe întreprinderi mici și mijlocii este mai degrabă un avantaj dacă modelele cunosc numele companiei și serviciile acesteia chiar și fără o căutare web. Editorii și furnizorii de conținut contra cost aleg adesea altfel.

Ce prevede legislația UE

Directiva UE privind drepturile de autor permite analiza automatizată a textelor și datelor, cu excepția cazului în care titularul drepturilor și-a rezervat acest drept, pentru conținutul publicat online, într-un format care poate fi citit automat (Art. 4 Abs. 3 din Directiva 2019/790). Regulamentul privind AI obligă furnizorii de modele AI de uz general să identifice și să respecte aceste rezerve (Art. 53 Abs. 1 Buchst. c). robots.txt este mijlocul cel mai răspândit, care poate fi citit automat, pentru exprimarea lor. Dacă este suficient în toate cazurile pentru a constitui o rezervă valabilă nu a fost încă stabilit definitiv din punct de vedere juridic.

Greșeli frecvente

• Blocare generală rămasă după relansare: Disallow: / pentru toate crawlerele provine adesea dintr-un mediu de testare și rămâne activ după publicarea site-ului.
• Protecția împotriva boților blochează și ea: Unele firewalluri, furnizori de găzduire și servicii de protecție împotriva boților blochează implicit crawlerele AI, chiar dacă robots.txt le permite accesul.
• Subdomenii uitate: Fiecare subdomeniu, precum shop.example.com, are nevoie de propriul fișier robots.txt.
• Nume greșite: Diferența dintre literele mari și mici nu contează, dar greșelile de tastare contează. „GPT-Bot” nu blochează niciun crawler.
• Ascunderea informațiilor confidențiale prin robots.txt: Fișierul este public. Dacă enumerați acolo căi interne, le faceți și mai ușor de găsit.

Cum verificați configurația

1. Deschideți https://ihre-domain/robots.txt în browser și citiți fiecare grup.
2. Verificați subdomeniile și domeniile vechi care sunt încă accesibile.
3. Folosiți raportul despre robots.txt din Google Search Console.
4. Căutați OAI-SearchBot, Claude-SearchBot și PerplexityBot în jurnalele serverului. Furnizorii își publică intervalele de adrese IP, pentru a putea deosebi accesările autentice de cele falsificate.
5. Întrebați furnizorul dumneavoastră de găzduire sau CDN dacă protecția împotriva boților blochează crawlerele AI.

Modificările necesită puțin timp: OpenAI și Perplexity indică un termen de până la 24 de ore până când sistemele lor iau în considerare un nou fișier robots.txt. În calitate de agenție GEO, măsurăm în cadrul verificării gratuite dacă sistemele AI vă menționează efectiv compania după aceea.