GEO · Technika robots.txt és AI‑feltérképezők: a GPTBot, az OAI-SearchBot és társaik helyes beállítása

Hogyan olvassák az AI‑rendszerek a weboldalakat?

Az AI‑rendszereknél háromféle hozzáférés létezik. A tanításhoz használt feltérképezők olyan szövegeket gyűjtenek, amelyekkel a jövőbeli modelleket tanítják. A kereséshez használt feltérképezők saját indexet építenek, amelyből a rendszer egy kérdésnél forrásokat választ ki és hivatkozik rájuk. A felhasználó megbízásából történő lekérések akkor keletkeznek, amikor valaki a beszélgetésben egy adott oldal megnyitását kéri, vagy az AI egy válaszhoz élőben utánanéz valaminek.

Vállalkozása láthatósága szempontjából elsősorban a kereséshez használt feltérképezők számítanak. Ha letiltja az OAI-SearchBot hozzáférését, az OpenAI tájékoztatása szerint weboldala nem jelenik meg a ChatGPT keresési válaszaiban. A tanításhoz használt feltérképező letiltása ezzel szemben csak azt jelzi, hogy tartalmai ne kerüljenek be a jövőbeli tanítási adatokba.

A legfontosabb AI‑feltérképezők áttekintése

Két sajátosságot érdemes ismernie. Az OpenAI és a Perplexity jelzi, hogy a felhasználó megbízásából végzett lekéréseik nem minden esetben veszik figyelembe a robots.txt fájlt, mert az oldalt egy ember kérte. A Google-Extended pedig a Google tájékoztatása szerint nem befolyásolja, hogy az Ön oldalai megjelennek-e a Google keresőben, és milyen helyezést érnek el ott. A Google AI Overviews és az AI‑mód a keresés része, és a szokásos Googlebot révén szabályozható.

Három tipikus beállítás

Minden engedélyezése

A legtöbb vállalkozás számára ez a megfelelő választás: minden feltérképező olvashatja az oldalt, kivéve a látogatók számára haszontalan területeket.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Láthatóság az AI‑keresésekben, tanítás nélkül

Aki nem szeretné viszontlátni szövegeit a tanítási adatokban, csak a tanításhoz használt feltérképezőket és vezérlő jelöléseket tiltja le. A kereséshez használt feltérképezőkre az általános szabály vonatkozik, így azok továbbra is engedélyezettek.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Mit érdemes mérlegelnie?

Üzleti döntés, hogy letiltja-e a tanítást. A tiltás csak a jövőbeli tanításokra hat, a már megtanult tudás megmarad. Sok kis- és középvállalkozásnak inkább előny, ha a modellek webes keresés nélkül is ismerik a cég nevét és szolgáltatásait. A kiadók és a fizetős tartalmak szolgáltatói gyakran másként döntenek.

Mit mond erről az uniós jog?

Az EU szerzői jogi irányelve lehetővé teszi a szövegek és adatok automatizált elemzését, kivéve, ha a jogosult az online közzétett tartalmak esetében géppel olvasható formában jogfenntartással élt (a 2019/790 irányelv Art. 4 Abs. 3 rendelkezése). Az AI‑rendelet kötelezi az általános célú AI‑modellek szolgáltatóit az ilyen jogfenntartások felismerésére és betartására az Art. 53 Abs. 1 c) pontja szerint. A robots.txt az erre legelterjedtebben használt, géppel olvasható eszköz. Jogilag még nem tisztázott véglegesen, hogy minden esetben elegendő-e érvényes jogfenntartásként.

Gyakori hibák

• A weboldal megújításából megmaradt általános tiltás: a minden feltérképezőre vonatkozó Disallow: / gyakran a tesztkörnyezetből származik, és az élesítés után is megmarad.
• A botvédelem is tilt: egyes tűzfalak, tárhelyszolgáltatók és botvédelmi szolgáltatások maguktól blokkolják az AI‑feltérképezőket, akkor is, ha a robots.txt engedélyezi őket.
• Elfelejtett aldomainek: minden aldomainnek, például a shop.example.com címnek saját robots.txt fájlra van szüksége.
• Hibás nevek: a kis- és nagybetűk nem számítanak, az elgépelések igen. Egy „GPT-Bot” senkit sem tilt le.
• Titkok elrejtése a robots.txt segítségével: a fájl nyilvános. Aki belső útvonalakat sorol fel benne, éppen ezzel teszi őket könnyebben megtalálhatóvá.

Így ellenőrizze a beállítását

1. Nyissa meg a https://ihre-domain/robots.txt címet a böngészőben, és olvasson végig minden csoportot.
2. Ellenőrizze az aldomaineket és a még elérhető régi domaineket.
3. Használja a Google Search Console felületén a robots.txt jelentést.
4. Keressen rá az OAI-SearchBot, a Claude-SearchBot és a PerplexityBot nevekre a szervernaplókban. A szolgáltatók közzéteszik IP-tartományaikat, hogy meg lehessen különböztetni a valódi hozzáféréseket a hamisítottaktól.
5. Kérdezze meg tárhely- vagy CDN-szolgáltatóját, hogy a botvédelem blokkol-e AI‑feltérképezőket.

A módosításokhoz némi idő kell: az OpenAI és a Perplexity szerint akár 24 óra is eltelhet, mire rendszereik figyelembe veszik az új robots.txt fájlt. Hogy az AI‑rendszerek ezután valóban említik-e az Ön vállalkozását, azt GEO-ügynökségként az ingyenes ellenőrzésben mérjük.