GEO · Techniek AI‑crawlers en robots.txt: GPTBot, OAI-SearchBot en andere goed instellen

Hoe AI‑systemen websites lezen

Bij AI‑systemen zijn er drie soorten toegang. Trainingscrawlers verzamelen teksten waarmee toekomstige modellen worden getraind. Zoekcrawlers bouwen een eigen index op waaruit het systeem bij een vraag bronnen kiest en linkt. Verzoeken namens een gebruiker ontstaan wanneer iemand in de chat een bepaalde pagina laat openen of de AI voor een antwoord live nakijkt.

Voor de zichtbaarheid van uw bedrijf tellen vooral de zoekcrawlers. Blokkeert u OAI-SearchBot, dan verschijnt uw website volgens OpenAI niet in de zoekantwoorden van ChatGPT. Een geblokkeerde trainingscrawler betekent daarentegen alleen dat uw inhoud niet in toekomstige trainingsgegevens moet terechtkomen.

De belangrijkste AI‑crawlers in een overzicht

Twee bijzonderheden moet u kennen. OpenAI en Perplexity wijzen erop dat verzoeken namens een gebruiker de robots.txt niet in alle gevallen respecteren, omdat een mens de pagina heeft opgevraagd. En Google-Extended heeft volgens Google geen invloed op of uw pagina’s in de Google-zoekmachine verschijnen of hoe ze daar scoren. AI Overviews en de AI‑modus horen bij het zoeken en worden via de gewone Googlebot gestuurd.

Drie typische instellingen

Alles toelaten

Voor de meeste bedrijven is dit de juiste keuze: alle crawlers mogen lezen, behalve gedeelten zonder nut voor bezoekers.

User-agent: *
Disallow: /winkelwagen/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Zichtbaar in AI‑zoekopdrachten, maar geen training

Wie zijn teksten niet in trainingsgegevens wil zien, blokkeert alleen de trainingscrawlers en de tokens Google-Extended en Applebot-Extended. De zoekcrawlers vallen onder de algemene regel en blijven toegelaten.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Wat u moet afwegen

Of u de training blokkeert, is een zakelijke beslissing. Een blokkade werkt alleen voor toekomstige trainingsrondes, wat al is geleerd, blijft. Voor veel kleine en middelgrote bedrijven is het eerder een voordeel als modellen de bedrijfsnaam en de diensten ook zonder webzoekopdracht kennen. Uitgevers en aanbieders van betaalde inhoud beslissen vaak anders.

Wat het Europese recht hierover zegt

De Europese auteursrechtrichtlijn staat tekst- en datamining toe, tenzij de rechthebbende dit bij online gepubliceerde inhoud in machineleesbare vorm heeft voorbehouden (art. 4 lid 3 van Richtlijn 2019/790). De AI‑verordening verplicht aanbieders van AI‑modellen voor algemene doeleinden zulke voorbehouden te herkennen en na te leven (art. 53 lid 1 onder c). De robots.txt is daarvoor het meest gangbare machineleesbare middel. Of ze in elk geval als geldig voorbehoud volstaat, is juridisch nog niet definitief beantwoord.

Veelgemaakte fouten

• Algemene blokkade uit de relaunch: Disallow: / voor alle crawlers stamt vaak uit een testomgeving en blijft na de livegang staan.
• Botbescherming blokkeert mee: Sommige firewalls, hostingaanbieders en botbeschermingsdiensten blokkeren AI‑crawlers uit zichzelf, ook als de robots.txt ze toestaat.
• Subdomeinen vergeten: Elk subdomein zoals shop.example.com heeft een eigen robots.txt nodig.
• Verkeerde namen: Hoofdletters of kleine letters maken niet uit, typefouten wel. Een ‘GPT-Bot’ blokkeert niemand.
• Geheimen verbergen in de robots.txt: Het bestand is openbaar. Wie daar interne paden opsomt, maakt ze juist vindbaar.

Zo controleert u uw instelling

1. Open https://uw-domein/robots.txt in de browser en lees elke groep.
2. Controleer subdomeinen en oude domeinen die nog bereikbaar zijn.
3. Gebruik in Google Search Console het rapport over de robots.txt.
4. Zoek in de serverlogboeken naar OAI-SearchBot, Claude-SearchBot en PerplexityBot. De aanbieders publiceren hun IP-bereiken, zodat echte van valse toegang te onderscheiden is.
5. Vraag uw hosting- of CDN-aanbieder of een botbescherming AI‑crawlers blokkeert.

Wijzigingen hebben even tijd nodig: OpenAI en Perplexity noemen tot 24 uur voordat hun systemen een nieuwe robots.txt toepassen. Of AI‑systemen uw bedrijf daarna ook echt noemen, meten wij als GEO-bureau in de gratis check.