GEO · Teknik AI‑sökrobot och robots.txt: Ställ in GPTBot, OAI-SearchBot och Co. korrekt

Hur AI‑system läser webbplatser

Det finns tre typer av åtkomst för AI‑system. Träningscrawler samla in texter som ska användas för att träna framtida modeller. Sök sökrobot bygg ditt eget index från vilket systemet väljer och länkar källor för en fråga. Hämtar på uppdrag av en användare uppstår när någon öppnar en specifik sida i chatten eller AI:n kontrollerar den live efter ett svar.

Sökrobotar är särskilt viktiga för ditt företags synlighet. Om du blockerar OAI-SearchBot kommer din webbplats inte att visas i ChatGPT-söksvaren, enligt OpenAI. En blockerad träningssökrobot betyder å andra sidan bara att ditt innehåll inte ska inkluderas i framtida träningsdata.

De viktigaste AI‑sökrobotarna i ett ögonkast

Det finns två speciella saker du bör veta. OpenAI och Perplexity påpekar att deras förfrågningar på uppdrag av användaren inte alltid respekterar robots.txt eftersom en människa har begärt sidan. Och enligt Google har Google Extended inget inflytande på om dina sidor visas i Google-sökningar eller hur de rankas där. AI‑översikter och AI‑läget är en del av sökningen och styrs via den vanliga Googlebot.

Tre typiska inställningar

Tillåt allt

För de flesta företag är detta det rätta valet: alla sökrobotar får läsa, förutom områden som inte är till nytta för besökarna.

Användaragent: *
Disallow: /shopping cart/
Disallow: /intern/
Webbplatskarta: https://www.example.com/sitemap.xml

Synlig i AI‑sökningar, men ingen träning

Om du inte vill se dina texter i träningsdata blockerar du bara träningssökrobotarna och kontrolltecken. Sökrobotarna faller under den allmänna regeln och förblir tillåtna.

Användaragent: GPTBot
Användaragent: ClaudeBot
Användaragent: CCBot
Användaragent: Google Extended
Användaragent: Applebot Extended
Disallow: /
Användaragent: *
Tillåt: /
Webbplatskarta: https://www.example.com/sitemap.xml

Vad du bör tänka på

Om utbildningen ska avbrytas är ett affärsbeslut. Ett förbud gäller endast framtida träningslopp; kunskap du redan har lärt dig finns kvar. För många små och medelstora företag är det mer en fördel om modeller känner till företagsnamn och tjänster även utan en webbsökning. Publishers och leverantörer av betalt innehåll bestämmer ofta olika.

Vad EU-lagstiftningen säger om det

EU:s upphovsrättsdirektiv tillåter automatisk utvärdering av texter och data, såvida inte rättighetsinnehavaren har förbehållit sig rätten att göra det för innehåll som publiceras online i maskinläsbar form (art. 4 st. 3 i direktiv 2019/790). AI‑förordningen ålägger leverantörer av allmänna AI‑modeller att känna igen och följa sådana reservationer (artikel 53 (1) c). Robots.txt är det vanligaste maskinläsbara sättet för detta. Huruvida det räcker som ett effektivt förbehåll i varje fall är ännu inte juridiskt klarlagt.

Vanliga misstag

• Generellt förbud från nylanseringen: Disallow: / för alla sökrobotar kommer ofta från en testmiljö och förblir stående efter att ha gått live.
• Botskyddsblock med: Vissa brandväggar, värdleverantörer och botskyddstjänster blockerar AI‑sökrobotar på egen hand, även om robots.txt tillåter dem.
• Glömde underdomäner: Varje underdomän som shop.example.com behöver sin egen robots.txt.
• Fel namn: Versaler och gemener spelar ingen roll, stavfel gör det. En "GPT-bot" förbjuder inte någon.
• Dölj hemligheter via robots.txt: Filen är offentlig. Alla som listar interna vägar där gör dem ännu mer upptäckbara.

Hur du kontrollerar din attityd

1. Ring https://ihre-domain/robots.txt i webbläsaren och läs varje grupp.
2. Kontrollera underdomäner och gamla domäner som fortfarande är tillgängliga.
3. Använd robots.txt-rapporten i Google Search Console.
4. Sök i serverloggarna efter OAI-SearchBot, Claude-SearchBot och PerplexityBot. Leverantörerna publicerar sina IP-intervall så att verklig och falsk åtkomst kan särskiljas.
5. Fråga din värd- eller CDN-leverantör om botskydd blockerar AI‑sökrobotar.

Förändringar tar lite tid: OpenAI och Perplexity säger att det tar upp till 24 timmar för deras system att ta hänsyn till en ny robots.txt. Vi mäter om AI‑system faktiskt namnger ditt företag GEO-byrå i gratischecken.