GEO · Tehnologija robots.txt i AI crawleri: pravilno postavite GPTBot, OAI-SearchBot i druge

Kako AI sustavi čitaju web-stranice

Kod AI sustava postoje tri vrste pristupa. Crawleri za treniranje prikupljaju tekstove kojima se treniraju budući modeli. Crawleri za pretraživanje stvaraju vlastiti indeks iz kojeg sustav pri odgovoru na pitanje odabire izvore i dodaje poveznice na njih. Dohvati na zahtjev korisnika nastaju kada netko u razgovoru zatraži otvaranje određene stranice ili kada AI za odgovor uživo provjerava informacije.

Za vidljivost Vaše tvrtke osobito su važni crawleri za pretraživanje. Ako blokirate OAI-SearchBot, prema navodima tvrtke OpenAI Vaša se web-stranica neće pojavljivati u odgovorima alata ChatGPT temeljenima na pretraživanju. Blokiran crawler za treniranje, s druge strane, znači samo da se Vaši sadržaji ne bi trebali uključivati u buduće podatke za treniranje.

Pregled najvažnijih AI crawlera

Trebali biste znati dvije posebnosti. OpenAI i Perplexity ističu da njihovi dohvati na zahtjev korisnika ne poštuju robots.txt u svakom slučaju jer je stranicu zatražila osoba. A Google-Extended prema navodima tvrtke Google ne utječe na to pojavljuju li se Vaše stranice u pretraživanju na tražilici Google ni na njihov poredak. AI Overviews i AI način dio su pretraživanja i njima upravlja uobičajeni Googlebot.

Tri tipične postavke

Dopustiti sve

Za većinu tvrtki to je pravi izbor: svi crawleri smiju čitati, osim područja koja nisu korisna posjetiteljima.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Vidljivost u AI pretraživanju, ali bez treniranja

Ako ne želite da Vaši tekstovi uđu u podatke za treniranje, blokirajte samo crawlere za treniranje i upravljačke oznake. Na crawlere za pretraživanje primjenjuje se opće pravilo i oni ostaju dopušteni.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Što biste trebali odvagnuti

Blokiranje treniranja poslovna je odluka. Blokada djeluje samo na buduća treniranja, a već naučeno znanje ostaje. Za mnoga mala i srednja poduzeća prije je prednost ako modeli i bez pretraživanja weba poznaju naziv tvrtke i njezine usluge. Izdavači i pružatelji plaćenih sadržaja često odlučuju drukčije.

Što o tome kaže pravo EU-a

Direktiva EU-a o autorskom pravu dopušta automatiziranu analizu tekstova i podataka, osim ako je nositelj prava za sadržaje objavljene na internetu pridržao ta prava u strojno čitljivom obliku (Art. 4 Abs. 3 Direktive 2019/790). Akt o umjetnoj inteligenciji obvezuje dobavljače AI modela opće namjene da prepoznaju i poštuju takva pridržavanja prava (Art. 53 Abs. 1 točka c). Datoteka robots.txt najraširenije je strojno čitljivo sredstvo za to. Je li u svakom slučaju dovoljna kao valjano pridržavanje prava, pravno još nije konačno razjašnjeno.

Česte pogreške

• Opća blokada nakon obnove stranice: Disallow: / za sve crawlere često potječe iz testnog okruženja i ostane nakon objave.
• Zaštita od botova također blokira: neki vatrozidi, pružatelji hostinga i usluge zaštite od botova samostalno blokiraju AI crawlere, čak i kada ih robots.txt dopušta.
• Zaboravljene poddomene: svaka poddomena poput shop.example.com treba vlastitu datoteku robots.txt.
• Pogrešni nazivi: velika i mala slova nisu važna, ali tipografske pogreške jesu. „GPT-Bot” ne blokira nikoga.
• Skrivanje tajnih sadržaja putem datoteke robots.txt: datoteka je javna. Tko u njoj navodi interne putanje, čini ih još lakše pronalažljivima.

Kako provjeriti svoje postavke

1. Otvorite https://ihre-domain/robots.txt u pregledniku i pročitajte svaku skupinu.
2. Provjerite poddomene i stare domene koje su još dostupne.
3. U alatu Google Search Console koristite izvješće o datoteci robots.txt.
4. U zapisnicima poslužitelja potražite OAI-SearchBot, Claude-SearchBot i PerplexityBot. Pružatelji objavljuju svoje IP raspone kako bi se stvarni pristupi mogli razlikovati od lažnih.
5. Pitajte svojeg pružatelja hostinga ili CDN-a blokira li zaštita od botova AI crawlere.

Za promjene je potrebno malo vremena: OpenAI i Perplexity navode do 24 sata dok njihovi sustavi ne počnu uzimati u obzir novu datoteku robots.txt. Navode li AI sustavi nakon toga doista Vašu tvrtku, kao agencija za GEO mjerimo besplatnom provjerom.