GEO · Teknologi AI‑søkerobot og robots.txt: Angi GPTBot, OAI-SearchBot og Co. riktig

Hvordan AI‑systemer leser nettsteder

Det er tre typer tilgang for AI‑systemer. Treningscrawler samle inn tekster som skal brukes til å trene fremtidige modeller. Søkerobot bygg din egen indeks som systemet velger og kobler kilder for et spørsmål fra. Henter på vegne av en bruker oppstå når noen åpner en bestemt side i chatten eller AI sjekker den live for å få svar.

Søkeroboter er spesielt viktige for synligheten til bedriften din. Hvis du blokkerer OAI-SearchBot, vil nettstedet ditt ikke vises i ChatGPT-søkesvarene, ifølge OpenAI. En blokkert treningssøkerobot betyr på den annen side bare at innholdet ditt ikke skal inkluderes i fremtidige treningsdata.

De viktigste AI‑crawlerne på et øyeblikk

Det er to spesielle ting du bør vite. OpenAI og Perplexity påpeker at deres forespørsler på vegne av brukeren ikke alltid respekterer robots.txt fordi et menneske har bedt om siden. Og ifølge Google har Google Extended ingen innflytelse på om sidene dine vises i Google-søk eller hvordan de rangeres der. AI‑oversikter og AI‑modus er en del av søket og styres via den vanlige Googlebot.

Tre typiske innstillinger

Tillat alt

For de fleste bedrifter er dette det riktige valget: alle crawlere har lov til å lese, bortsett fra områder som ikke er til nytte for besøkende.

Brukeragent: *
Disallow: /handlekurv/
Disallow: /intern/
Nettstedskart: https://www.example.com/sitemap.xml

Synlig i AI‑søk, men ingen opplæring

Hvis du ikke vil se tekstene dine i treningsdata, er det bare å blokkere treningscrawlerne og kontrolltegnene. Søkerobotene faller inn under den generelle regelen og forblir tillatt.

Brukeragent: GPTBot
Brukeragent: ClaudeBot
Brukeragent: CCBot
Brukeragent: Google Extended
Brukeragent: Applebot Extended
Ikke tillat: /
Brukeragent: *
Tillat: /
Nettstedskart: https://www.example.com/sitemap.xml

Hva du bør vurdere

Hvorvidt opplæringen skal avbrytes er en forretningsavgjørelse. Et forbud gjelder kun for fremtidige treningsløp; kunnskap du allerede har lært gjenstår. For mange små og mellomstore bedrifter er det mer en fordel om modellene kjenner firmanavnet og tjenestene selv uten nettsøk. Utgivere og leverandører av betalt innhold bestemmer ofte annerledes.

Hva EU-loven sier om det

EUs opphavsrettsdirektiv tillater automatisert evaluering av tekster og data, med mindre rettighetshaveren har forbeholdt seg retten til å gjøre det for innhold publisert på nett i maskinlesbar form (art. 4 paragraf 3 i direktiv 2019/790). AI‑forordningen forplikter tilbydere av generelle AI‑modeller til å gjenkjenne og overholde slike forbehold (artikkel 53 (1) c). Robots.txt er den vanligste maskinlesbare metoden for dette. Hvorvidt det er tilstrekkelig som et effektivt forbehold i alle tilfeller er ennå ikke juridisk avklart.

Vanlige feil

• Generelt forbud fra relanseringen: Ikke tillat: / for alle crawlere kommer ofte fra et testmiljø og blir stående etter å ha gått live.
• Botbeskyttelsesblokker med: Noen brannmurer, vertsleverandører og botbeskyttelsestjenester blokkerer AI‑søkeroboter på egen hånd, selv om robots.txt tillater dem.
• Glemt underdomener: Hvert underdomene som shop.example.com trenger sin egen robots.txt.
• Feil navn: Store og små bokstaver spiller ingen rolle, skrivefeil gjør det. En "GPT-bot" forbyr ikke noen.
• Skjul hemmeligheter via robots.txt: Filen er offentlig. Alle som lister opp interne stier der, gjør dem enda mer synlige.

Hvordan sjekke holdningen din

1. Ring https://ihre-domain/robots.txt i nettleseren og les hver gruppe.
2. Sjekk underdomener og gamle domener som fortsatt er tilgjengelige.
3. Bruk robots.txt-rapporten i Google Search Console.
4. Søk i serverloggene etter OAI-SearchBot, Claude-SearchBot og PerplexityBot. Leverandørene publiserer sine IP-områder slik at ekte og falsk tilgang kan skilles.
5. Spør hosting- eller CDN-leverandøren din om botbeskyttelse blokkerer AI‑søkeprogrammer.

Endringer tar litt tid: OpenAI og Perplexity sier at det tar opptil 24 timer før systemene deres tar hensyn til en ny robots.txt. Vi måler om AI‑systemer faktisk navngir bedriften din GEO-byrå i gratissjekken.