GEO · Tehnologija robots.txt in pajki AI: pravilne nastavitve za GPTBot, OAI-SearchBot in druge

Kako sistemi AI berejo spletne strani

Pri sistemih AI obstajajo tri vrste dostopa. Pajki za učenje zbirajo besedila za učenje prihodnjih modelov. Iskalni pajki ustvarjajo lasten indeks, iz katerega sistem ob vprašanju izbere vire in do njih ustvari povezave. Pridobivanje na zahtevo uporabnika se zgodi, ko nekdo v klepetu naroči odprtje določene strani ali ko AI za odgovor sproti preveri splet.

Za vidnost Vašega podjetja so pomembni predvsem iskalni pajki. Če blokirate OAI-SearchBot, se Vaša spletna stran po navedbah ponudnika OpenAI ne pojavi v odgovorih spletnega iskanja v orodju ChatGPT. Blokiran pajek za učenje pa pomeni le, da naj se Vaše vsebine ne vključijo v prihodnje podatke za učenje.

Pregled najpomembnejših pajkov AI

Dobro je poznati dve posebnosti. OpenAI in Perplexity opozarjata, da pri pridobivanju na zahtevo uporabnika datoteke robots.txt ne upoštevata v vseh primerih, saj je stran zahteval človek. Poleg tega Google-Extended po navedbah podjetja Google ne vpliva na to, ali se Vaše strani pojavijo v iskalniku Google in kako so tam uvrščene. AI Overviews in način AI spadata v iskanje in zanju veljajo nastavitve običajnega pajka Googlebot.

Tri značilne nastavitve

Dovoliti vse

Za večino podjetij je to prava izbira: vsi pajki smejo brati vsebino, razen področij, ki obiskovalcem ne koristijo.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Vidni v iskanju z AI, brez učenja

Če svojih besedil ne želite vključiti v podatke za učenje, blokirate le pajke za učenje in ustrezne oznake za upravljanje. Iskalni pajki spadajo pod splošno pravilo in jim dostop ostane dovoljen.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Kaj bi morali pretehtati

Blokiranje učenja je poslovna odločitev. Blokada vpliva le na prihodnja učenja, že pridobljeno znanje ostane. Za številna mala in srednja podjetja je prej prednost, če modeli ime podjetja in njegove storitve poznajo tudi brez spletnega iskanja. Založniki in ponudniki plačljivih vsebin se pogosto odločijo drugače.

Kaj o tem določa pravo EU

Direktiva EU o avtorskih pravicah dovoljuje avtomatizirano analiziranje besedil in podatkov, razen če si je imetnik pravic pri vsebinah, objavljenih na spletu, takšno uporabo pridržal v strojno berljivi obliki (Art. 4 Abs. 3 Direktive 2019/790). Akt o umetni inteligenci ponudnikom modelov AI za splošne namene nalaga, da takšne pridržke prepoznajo in upoštevajo (Art. 53 Abs. 1 točka c). Datoteka robots.txt je najbolj razširjeno strojno berljivo sredstvo za to. Ali v vseh primerih zadošča kot veljaven pridržek, pravno še ni dokončno razjasnjeno.

Pogoste napake

• Splošna blokada po prenovi: Nastavitev Disallow: / za vse pajke pogosto izvira iz testnega okolja in ostane tudi po objavi spletne strani.
• Blokira tudi zaščita pred boti: Nekateri požarni zidovi, ponudniki gostovanja in storitve zaščite pred boti sami blokirajo pajke AI, tudi če jim datoteka robots.txt dovoljuje dostop.
• Pozabljene poddomene: Vsaka poddomena, kot je shop.example.com, potrebuje lastno datoteko robots.txt.
• Napačna imena: Velike in male črke niso pomembne, tipkarske napake pa so. Zapis »GPT-Bot« ne blokira nikogar.
• Skrivanje zaupnih vsebin z datoteko robots.txt: Datoteka je javna. Če v njej navedete interne poti, jih je še lažje najti.

Kako preveriti nastavitev

1. V brskalniku odprite https://ihre-domain/robots.txt in preberite vsako skupino.
2. Preverite poddomene in stare domene, ki so še dosegljive.
3. V orodju Google Search Console uporabite poročilo o datoteki robots.txt.
4. V strežniških dnevnikih poiščite OAI-SearchBot, Claude-SearchBot in PerplexityBot. Ponudniki objavljajo svoja območja IP, da je mogoče razlikovati prave dostope od ponarejenih.
5. Pri ponudniku gostovanja ali CDN preverite, ali zaščita pred boti blokira pajke AI.

Spremembe potrebujejo nekaj časa: OpenAI in Perplexity navajata do 24 ur, preden njuni sistemi upoštevajo novo datoteko robots.txt. Ali sistemi AI nato dejansko omenjajo Vaše podjetje, kot agencija GEO izmerimo v brezplačnem pregledu.