GEO · Technické aspekty robots.txt a AI crawlery: správné nastavení GPTBot, OAI-SearchBot a dalších

Jak systémy AI čtou weby

U systémů AI existují tři druhy přístupu. Crawlery pro trénování shromažďují texty pro trénování budoucích modelů. Crawlery pro vyhledávání vytvářejí vlastní index, ze kterého systém při dotazu vybírá zdroje a odkazuje na ně. Načítání na pokyn uživatele nastává, když někdo v chatu požádá o otevření konkrétní stránky nebo AI kvůli odpovědi vyhledá informace v reálném čase.

Pro viditelnost Vaší firmy jsou rozhodující zejména crawlery pro vyhledávání. Pokud zablokujete OAI-SearchBot, podle OpenAI se Váš web neobjeví v odpovědích vyhledávání ChatGPT. Zablokovaný crawler pro trénování naproti tomu znamená pouze to, že Váš obsah nemá být zahrnut do budoucích trénovacích dat.

Přehled nejdůležitějších AI crawlerů

Měli byste znát dvě zvláštnosti. OpenAI a Perplexity upozorňují, že při načítání na pokyn uživatele ne vždy respektují robots.txt, protože stránku vyžádal člověk. A podle Google nemá Google-Extended vliv na to, zda se Vaše stránky objeví ve vyhledávání Google ani na jejich pořadí. Google AI Overviews a režim AI jsou součástí vyhledávání a řídí se prostřednictvím běžného crawleru Googlebot.

Tři typická nastavení

Povolit vše

Pro většinu firem je to správná volba: všechny crawlery smějí číst obsah kromě částí, které návštěvníkům nepřinášejí užitek.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Viditelnost ve vyhledávání AI, ale bez trénování

Kdo nechce své texty v trénovacích datech, zablokuje pouze crawlery pro trénování a řídicí identifikátory. Crawlery pro vyhledávání spadají pod obecné pravidlo a zůstávají povolené.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Co byste měli zvážit

Zda zablokujete trénování, je obchodní rozhodnutí. Blokace se vztahuje pouze na budoucí trénování, již získané znalosti zůstávají. Pro mnoho malých a středních firem je spíše výhodou, pokud modely znají jejich název a služby i bez vyhledávání na webu. Vydavatelé a poskytovatelé placeného obsahu se často rozhodují jinak.

Co k tomu říká právo EU

Směrnice EU o autorském právu povoluje automatizovanou analýzu textů a dat, pokud nositel práv u obsahu zveřejněného online nevyjádřil ve strojově čitelné podobě výhradu proti takovému použití (Art. 4 Abs. 3 směrnice 2019/790). Nařízení o AI ukládá poskytovatelům modelů AI pro obecné účely takové výhrady rozpoznat a respektovat (Art. 53 Abs. 1 Buchst. c). robots.txt je k tomu nejrozšířenějším strojově čitelným prostředkem. Zda v každém případě postačuje jako účinná výhrada, není dosud z právního hlediska definitivně vyjasněno.

Časté chyby

• Plošná blokace po spuštění nového webu: Disallow: / pro všechny crawlery často pochází z testovacího prostředí a zůstane i po ostrém spuštění.
• Blokuje i ochrana proti botům: některé firewally, poskytovatelé hostingu a služby ochrany proti botům samy blokují AI crawlery, i když je robots.txt povoluje.
• Zapomenuté subdomény: každá subdoména, například shop.example.com, potřebuje vlastní robots.txt.
• Nesprávné názvy: na velikosti písmen nezáleží, na překlepech ano. Zápis „GPT-Bot“ nikoho nezablokuje.
• Skrývání důvěrného obsahu pomocí robots.txt: soubor je veřejný. Kdo v něm uvede interní cesty, jejich nalezení tím naopak usnadní.

Jak ověřit Vaše nastavení

1. Otevřete https://ihre-domain/robots.txt v prohlížeči a přečtěte si každou skupinu.
2. Zkontrolujte subdomény a staré domény, které jsou stále dostupné.
3. V Google Search Console použijte přehled robots.txt.
4. V serverových záznamech vyhledejte OAI-SearchBot, Claude-SearchBot a PerplexityBot. Poskytovatelé zveřejňují své rozsahy IP adres, aby bylo možné odlišit pravé přístupy od podvržených.
5. Zeptejte se svého poskytovatele hostingu nebo CDN, zda ochrana proti botům neblokuje AI crawlery.

Změny potřebují trochu času: OpenAI a Perplexity uvádějí až 24 hodin, než jejich systémy zohlední nový robots.txt. Zda pak systémy AI skutečně zmiňují Vaši firmu, měříme jako GEO agentura v rámci bezplatné kontroly.