GEO · Teknologi AI‑crawler og robots.txt: Indstil GPTBot, OAI-SearchBot og Co. korrekt

Hvordan AI‑systemer læser websteder

Der er tre typer adgang til AI‑systemer. Træningscrawler indsamle tekster, der skal bruges til at træne fremtidige modeller. Søg crawler opbyg dit eget indeks, hvorfra systemet udvælger og linker kilder til et spørgsmål. Henter på vegne af en bruger opstår, når nogen åbner en bestemt side i chatten, eller AI tjekker den live for et svar.

Søgecrawlere er særligt vigtige for din virksomheds synlighed. Hvis du blokerer OAI-SearchBot, vil din hjemmeside ikke blive vist i ChatGPT-søgesvar, ifølge OpenAI. En blokeret træningscrawler betyder på den anden side kun, at dit indhold ikke skal indgå i fremtidige træningsdata.

De vigtigste AI‑crawlere på et øjeblik

Der er to særlige ting, du bør vide. OpenAI og Perplexity påpeger, at deres anmodninger på vegne af brugeren ikke altid respekterer robots.txt, fordi et menneske har anmodet om siden. Og ifølge Google har Google Extended ingen indflydelse på, om dine sider vises i Google-søgninger, eller hvordan de rangerer der. AI‑oversigter og AI‑tilstand er en del af søgningen og styres via den normale Googlebot.

Tre typiske indstillinger

Tillad alt

For de fleste virksomheder er dette det rigtige valg: Alle crawlere har lov til at læse, undtagen områder, der ikke er til nogen nytte for besøgende.

Brugeragent: *
Disallow: /indkøbskurv/
Disallow: /intern/
Site map: https://www.example.com/sitemap.xml

Synlig i AI‑søgninger, men ingen træning

Hvis du ikke ønsker at se dine tekster i træningsdata, skal du blot blokere træningscrawlerne og kontroltegnene. Søge-crawlerne falder ind under den generelle regel og forbliver tilladte.

Brugeragent: GPTBot
Brugeragent: ClaudeBot
Brugeragent: CCBot
Brugeragent: Google Extended
Brugeragent: Applebot Extended
Disallow: /
Brugeragent: *
Tillad: /
Sitemap: https://www.example.com/sitemap.xml

Hvad du bør overveje

Det er en forretningsbeslutning, om uddannelsen skal suspenderes. Et forbud gælder kun for fremtidige træningsløb; viden, du allerede har lært, er tilbage. For mange små og mellemstore virksomheder er det mere en fordel, hvis modeller kender virksomhedens navn og tjenester selv uden en websøgning. Udgivere og udbydere af betalt indhold beslutter ofte forskelligt.

Hvad siger EU-lovgivningen om det

EU's ophavsretsdirektiv tillader automatiseret vurdering af tekster og data, medmindre rettighedsindehaveren har forbeholdt sig retten hertil for indhold offentliggjort online i maskinlæsbar form (artikel 4, stk. 3, i direktiv 2019/790). AI‑forordningen forpligter udbydere af generelle AI‑modeller til at anerkende og overholde sådanne forbehold (artikel 53, stk. 1, litra c). Robots.txt er det mest almindelige maskinlæsbare middel til dette. Hvorvidt det er tilstrækkeligt som et effektivt forbehold i alle tilfælde, er endnu ikke juridisk afklaret.

Almindelige fejl

• Generelt forbud fra relanceringen: Disallow: / for alle crawlere kommer ofte fra et testmiljø og bliver stående efter at have gået live.
• Botbeskyttelsesblokke med: Nogle firewalls, hostingudbydere og botbeskyttelsestjenester blokerer AI‑crawlere på egen hånd, selvom robots.txt tillader dem.
• Glemt underdomæner: Hvert underdomæne som shop.example.com har brug for sin egen robots.txt.
• Forkerte navne: Store og små bogstaver betyder ikke noget, det gør stavefejl. En "GPT-bot" forbyder ikke nogen.
• Skjul hemmeligheder via robots.txt: Filen er offentlig. Enhver, der angiver interne stier der, gør dem endnu mere synlige.

Sådan tjekker du din holdning

1. Ring https://ihre-domain/robots.txt i browseren og læs hver gruppe.
2. Tjek underdomæner og gamle domæner, der stadig er tilgængelige.
3. Brug robots.txt-rapporten i Google Search Console.
4. Søg i serverlogfilerne efter OAI-SearchBot, Claude-SearchBot og PerplexityBot. Udbyderne offentliggør deres IP-intervaller, så ægte og falsk adgang kan skelnes.
5. Spørg din hosting- eller CDN-udbyder, om botbeskyttelse blokerer AI‑crawlere.

Ændringer tager noget tid: OpenAI og Perplexity siger, at det tager op til 24 timer for deres systemer at tage højde for en ny robots.txt. Vi måler, om AI‑systemer rent faktisk navngiver din virksomhed GEO bureau i den gratis check.