GEO · Technika robots.txt: ako správne nastaviť AI crawlery GPTBot, OAI-SearchBot a ďalšie

Ako systémy AI čítajú weby

Pri systémoch AI existujú tri druhy prístupu. Crawlery na trénovanie zbierajú texty na trénovanie budúcich modelov. Crawlery na vyhľadávanie vytvárajú vlastný index, z ktorého systém pri otázke vyberá zdroje a odkazuje na ne. Načítanie na žiadosť používateľa nastáva, keď si niekto nechá v chate otvoriť konkrétnu stránku alebo keď AI pri odpovedi overuje údaje v reálnom čase.

Pre viditeľnosť Vašej firmy sú dôležité najmä crawlery na vyhľadávanie. Ak zablokujete OAI-SearchBot, podľa OpenAI sa Váš web nezobrazí v odpovediach vyhľadávania ChatGPT. Zablokovaný crawler na trénovanie naopak znamená iba to, že Váš obsah nemá byť súčasťou budúcich tréningových údajov.

Prehľad najdôležitejších AI crawlerov

Mali by ste poznať dve osobitosti. OpenAI a Perplexity upozorňujú, že pri načítaní na žiadosť používateľa ich systémy nie vždy rešpektujú robots.txt, pretože stránku si vyžiadal človek. A podľa spoločnosti Google nemá Google-Extended vplyv na to, či sa Vaše stránky zobrazia vo vyhľadávaní Google ani na ich pozíciu vo výsledkoch. Google AI Overviews a režim AI sú súčasťou vyhľadávania a riadia sa cez bežný crawler Googlebot.

Tri typické nastavenia

Povoliť všetko

Pre väčšinu firiem je to správna voľba: všetky crawlery smú čítať obsah okrem oblastí, ktoré návštevníkom neprinášajú úžitok.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Viditeľnosť vo vyhľadávaní AI, ale bez trénovania

Kto nechce svoje texty v tréningových údajoch, zablokuje iba crawlery na trénovanie a riadiace identifikátory. Crawlery na vyhľadávanie podliehajú všeobecnému pravidlu a zostávajú povolené.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Čo by ste mali zvážiť

Či zablokujete trénovanie, je obchodné rozhodnutie. Blokovanie sa týka iba budúcich trénovaní, už naučené znalosti zostávajú. Pre mnohé malé a stredné firmy je skôr výhodou, keď modely poznajú názov firmy a jej služby aj bez vyhľadávania na webe. Vydavateľstvá a poskytovatelia plateného obsahu sa často rozhodujú inak.

Čo na to hovorí právo EÚ

Smernica EÚ o autorskom práve povoľuje automatizovanú analýzu textov a údajov, pokiaľ si nositeľ práv pri obsahu zverejnenom online nevyhradil práva v strojovo čitateľnej forme (Art. 4 Abs. 3 smernice 2019/790). Nariadenie o AI ukladá poskytovateľom modelov AI na všeobecné účely povinnosť takéto výhrady rozpoznať a rešpektovať (Art. 53 Abs. 1 písm. c). Súbor robots.txt je na to najrozšírenejším strojovo čitateľným prostriedkom. Či v každom prípade postačuje ako účinná výhrada práv, nie je ešte z právneho hľadiska definitívne vyriešené.

Časté chyby

• Plošné blokovanie po obnove webu: Disallow: / pre všetky crawlery často pochádza z testovacieho prostredia a zostane aj po spustení webu.
• Blokuje aj ochrana proti botom: Niektoré firewally, poskytovatelia hostingu a služby ochrany proti botom blokujú AI crawlery automaticky, aj keď ich robots.txt povoľuje.
• Zabudnuté subdomény: Každá subdoména, napríklad shop.example.com, potrebuje vlastný robots.txt.
• Nesprávne názvy: Veľké a malé písmená nerozhodujú, preklepy áno. Názov „GPT-Bot“ nikoho nezablokuje.
• Skrývanie dôverných údajov pomocou robots.txt: Súbor je verejný. Ak v ňom uvediete interné cesty, uľahčíte ich nájdenie.

Ako overiť svoje nastavenie

1. Otvorte v prehliadači https://ihre-domain/robots.txt a prečítajte si každú skupinu.
2. Skontrolujte subdomény a staré domény, ktoré sú stále dostupné.
3. V nástroji Google Search Console použite prehľad o súbore robots.txt.
4. V záznamoch servera vyhľadajte OAI-SearchBot, Claude-SearchBot a PerplexityBot. Poskytovatelia zverejňujú svoje rozsahy IP adries, aby bolo možné odlíšiť skutočné prístupy od falošných.
5. Opýtajte sa svojho poskytovateľa hostingu alebo CDN, či ochrana proti botom neblokuje AI crawlery.

Zmeny potrebujú trochu času: OpenAI a Perplexity uvádzajú až 24 hodín, kým ich systémy zohľadnia nový robots.txt. Či systémy AI potom skutočne spomínajú Vašu firmu, meriame ako agentúra GEO v bezplatnej kontrole.