GEO · Tehnoloogia AI roomaja ja robots.txt: määrake GPTBot, OAI-SearchBot ja Co õigesti

Kuidas AI‑süsteemid veebisaite loevad

AI‑süsteemidele on kolme tüüpi juurdepääsu. Treeningroomik koguda tekste, mida kasutatakse tulevaste modellide koolitamiseks. Otsi roomaja koostage oma register, millest süsteem valib ja lingib küsimuse allikad. Toob kasutaja nimel ilmnevad siis, kui keegi avab vestluses konkreetse lehe või AI kontrollib seda reaalajas vastuse saamiseks.

Otsinguindeksoijad on teie ettevõtte nähtavuse jaoks eriti olulised. Kui blokeerite OAI-SearchBoti, ei kuvata teie veebisaiti vastavalt OpenAI-le ChatGPT otsingu vastustes. Blokeeritud treeningu roomaja seevastu tähendab ainult seda, et teie sisu ei tohiks tulevaste treeningandmete hulka lisada.

Kõige olulisemad AI indeksoijad lühidalt

On kaks erilist asja, mida peaksite teadma. OpenAI ja Perplexity juhivad tähelepanu sellele, et nende kasutaja nimel esitatavad taotlused ei järgi alati faili robots.txt, kuna seda lehte on taotlenud inimene. Ja Google'i sõnul ei mõjuta Google Extended seda, kas teie lehed ilmuvad Google'i otsingutes või kuidas need seal asetsevad. AI ülevaated ja AI‑režiim on osa otsingust ja neid juhitakse tavalise Googleboti kaudu.

Kolm tüüpilist seadistust

Luba kõike

Enamiku ettevõtete jaoks on see õige valik: kõik roomajad saavad lugeda, välja arvatud alad, millest külastajatele kasu pole.

Kasutaja agent: *
Keela: /ostukorv/
Keela: /sisemine/
Saidiplaan: https://www.example.com/sitemap.xml

Nähtav AI‑otsingutes, kuid pole koolitust

Kui te ei soovi treeningandmetes oma tekste näha, blokeerige lihtsalt treeningu roomajad ja juhttegelased. Otsinguindeksoijad kuuluvad üldreegli alla ja jäävad lubatud.

Kasutajaagent: GPTBot
Kasutajaagent: ClaudeBot
Kasutajaagent: CCBot
Kasutajaagent: Google Extended
Kasutajaagent: Applebot Extended
Keela: /
Kasutaja agent: *
Luba: /
Saidiplaan: https://www.example.com/sitemap.xml

Mida peaksite kaaluma

Koolituse peatamine on äriline otsus. Keeld kehtib ainult tulevastele treeningutele; teadmised, mida olete juba õppinud, jäävad alles. Paljude väikeste ja keskmise suurusega ettevõtete jaoks on pigem eelis, kui modellid teavad ettevõtte nime ja teenuseid ka ilma veebiotsinguta. Väljaandjad ja tasulise sisu pakkujad otsustavad sageli teisiti.

Mida ELi õigus selle kohta ütleb

EL autoriõiguse direktiiv võimaldab tekstide ja andmete automatiseeritud hindamist, välja arvatud juhul, kui õiguste valdaja on jätnud selleks õiguse veebis masinloetaval kujul avaldatud sisu puhul (direktiivi 2019/790 artikli 4 lõige 3). Tehisintellekti määrus kohustab üldotstarbeliste tehisintellektimudelite pakkujaid selliseid reservatsioone tunnustama ja järgima (artikli 53 lõike 1 punkt c). Robots.txt on selleks kõige levinum masinloetav vahend. Seda, kas see on igal juhul tõhus reservatsioon, ei ole veel õiguslikult selgitatud.

Levinud vead

• Üldine taaskäivitamise keeld: Keela: / kõigi roomajate jaoks pärineb sageli testkeskkonnast ja jääb pärast otseteabe avaldamist seisma.
• Boti kaitseplokid koos: Mõned tulemüürid, hostimise pakkujad ja robotikaitseteenused blokeerivad iseseisvalt AI roomajad, isegi kui fail robots.txt seda võimaldab.
• Unustasid alamdomeenid: Iga alamdomeen, nagu shop.example.com, vajab oma robots.txt-faili.
• Valed nimed: Suur- ja väiketähtedel pole tähtsust, kirjavead küll. "GPT bot" ei keela kedagi.
• Peida saladused faili robots.txt kaudu: Fail on avalik. Igaüks, kes loetleb seal sisemisi teid, muudab need veelgi avastatavamaks.

Kuidas kontrollida oma suhtumist

1. Helista https://ihre-domain/robots.txt brauseris ja lugege iga rühma.
2. Kontrollige alamdomeene ja vanu domeene, mis on endiselt kättesaadavad.
3. Kasutage Google'i otsingukonsoolis aruannet robots.txt.
4. Otsige serveri logidest OAI-SearchBot, Claude-SearchBot ja PerplexityBot. Pakkujad avaldavad oma IP-vahemikud, et oleks võimalik eristada tegelikku ja võltsjuurdepääsu.
5. Küsige oma hostimise või CDN-i pakkujalt, kas robotikaitse blokeerib AI‑roomajad.

Muudatused võtavad veidi aega: OpenAI ja Perplexity sõnul kulub nende süsteemidel uue robots.txt arvessevõtmiseks kuni 24 tundi. Mõõdame, kas tehisintellektisüsteemid annavad teie ettevõttele ka nime GEO agentuur tasuta tšekis.