GEO · Technika robots.txt i roboty AI: prawidłowa konfiguracja GPTBot, OAI-SearchBot i pozostałych

Jak systemy AI odczytują strony

W systemach AI występują trzy rodzaje dostępu. Roboty do trenowania modeli zbierają teksty, które posłużą do trenowania kolejnych modeli. Roboty wyszukujące tworzą własny indeks, z którego system wybiera i linkuje źródła przy odpowiedzi na pytanie. Pobieranie na zlecenie użytkownika następuje, gdy ktoś prosi na czacie o otwarcie konkretnej strony lub AI sprawdza informacje na bieżąco, aby udzielić odpowiedzi.

Dla widoczności Państwa firmy liczą się przede wszystkim roboty wyszukujące. Według OpenAI zablokowanie OAI-SearchBot powoduje, że Państwa strona nie pojawia się w odpowiedziach wyszukiwarki ChatGPT. Blokada robota do trenowania modeli oznacza natomiast jedynie, że Państwa treści nie powinny trafić do przyszłych danych treningowych.

Przegląd najważniejszych robotów AI

Warto znać dwa szczegóły. OpenAI i Perplexity zaznaczają, że pobieranie na zlecenie użytkownika nie zawsze uwzględnia robots.txt, ponieważ to człowiek poprosił o stronę. Z kolei Google-Extended według Google nie wpływa na to, czy Państwa strony pojawiają się w wyszukiwarce Google ani jaką mają w niej pozycję. Przegląd od AI i Tryb AI są częścią wyszukiwarki i steruje się nimi za pomocą reguł dla standardowego robota Googlebot.

Trzy typowe konfiguracje

Zezwolenie na wszystko

Dla większości firm to właściwy wybór: wszystkie roboty mogą odczytywać treści z wyjątkiem obszarów nieprzydatnych dla odwiedzających.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Widoczność w wyszukiwarkach AI bez trenowania modeli

Aby wyłączyć swoje teksty z danych treningowych, należy zablokować tylko roboty do trenowania modeli i identyfikatory sterujące. Roboty wyszukujące podlegają regule ogólnej i nadal mają dostęp.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Co warto rozważyć

Blokada trenowania modeli to decyzja biznesowa. Działa wyłącznie w odniesieniu do przyszłych cykli trenowania, a już przyswojona wiedza pozostaje. Dla wielu małych i średnich firm znajomość ich nazwy i usług przez modele, nawet bez wyszukiwania w internecie, jest raczej zaletą. Wydawcy i dostawcy płatnych treści często decydują inaczej.

Co mówi o tym prawo UE

Unijna dyrektywa o prawie autorskim zezwala na automatyczną analizę tekstów i danych, chyba że w przypadku treści opublikowanych online uprawniony zastrzegł takie wykorzystanie w formie czytelnej dla maszyn (Art. 4 Abs. 3 dyrektywy 2019/790). AI Act zobowiązuje dostawców modeli AI ogólnego przeznaczenia do rozpoznawania i przestrzegania takich zastrzeżeń (Art. 53 Abs. 1 lit. c). Plik robots.txt jest najpowszechniejszym czytelnym dla maszyn sposobem ich wyrażania. Nie rozstrzygnięto jeszcze ostatecznie pod względem prawnym, czy w każdym przypadku wystarcza jako skuteczne zastrzeżenie.

Częste błędy

• Całkowita blokada pozostała po przebudowie strony: Disallow: / dla wszystkich robotów często pochodzi ze środowiska testowego i pozostaje po uruchomieniu strony.
• Ochrona przed botami również blokuje dostęp: niektóre zapory, firmy hostingowe i usługi ochrony przed botami same blokują roboty AI, nawet gdy robots.txt na nie zezwala.
• Pominięte subdomeny: każda subdomena, taka jak shop.example.com, potrzebuje własnego pliku robots.txt.
• Błędne nazwy: wielkość liter nie ma znaczenia, ale literówki mają. Zapis „GPT-Bot” nikogo nie blokuje.
• Ukrywanie poufnych treści za pomocą robots.txt: plik jest publiczny. Wymienienie w nim wewnętrznych ścieżek tym bardziej ułatwia ich znalezienie.

Jak sprawdzić konfigurację

1. Prosimy otworzyć https://ihre-domain/robots.txt w przeglądarce i przeczytać każdą grupę reguł.
2. Należy sprawdzić subdomeny i stare domeny, które nadal są dostępne.
3. W Google Search Console warto skorzystać z raportu dotyczącego robots.txt.
4. Prosimy wyszukać OAI-SearchBot, Claude-SearchBot i PerplexityBot w rejestrach serwera. Dostawcy publikują swoje zakresy adresów IP, aby można było odróżnić autentyczne żądania od podszywających się pod nie.
5. Prosimy zapytać dostawcę hostingu lub CDN, czy ochrona przed botami blokuje roboty AI.

Zmiany wymagają czasu: OpenAI i Perplexity podają, że uwzględnienie nowego pliku robots.txt przez ich systemy może zająć do 24 godzin. Czy systemy AI rzeczywiście zaczną potem wymieniać Państwa firmę, sprawdzamy jako agencja GEO w bezpłatnym teście.