Kort samengevat
- De llms.txt is een voorstel uit 2024: een Markdown-bestand in de hoofdmap dat AI‑systemen een kort overzicht van uw website geeft.
- Google schrijft dat u voor AI Overviews en de AI‑modus geen nieuwe machineleesbare bestanden of AI‑tekstbestanden nodig hebt.
- Een betrouwbaar bewijs dat grote AI‑zoeksystemen het bestand voor aanbevelingen gebruiken, is er tot nu toe niet.
- Het kost weinig en kan geen kwaad. Belangrijker zijn open crawlers, goed leesbare pagina’s en nette gestructureerde data.
Wat een llms.txt is
Het idee komt van Jeremy Howard, die het in september 2024 op llmstxt.org publiceerde. Websites zouden taalmodellen en AI‑agents een compacte samenvatting in Markdown moeten bieden: wie ze zijn, wat er op de website staat en welke pagina’s voor welke vraag belangrijk zijn. De achtergrond is dat AI‑systemen bij hun werk maar beperkt tekst tegelijk kunnen verwerken en volledige webpagina’s met menu’s, scripts en reclame moeilijk te lezen zijn.
Het bestand staat gewoonlijk onder /llms.txt in de hoofdmap, maar kan volgens het voorstel ook in een submap staan en geldt dan voor de adressen daaronder. Sommige websites bieden daarnaast een llms-full.txt met de volledige tekst. Dat is een gangbare aanvulling, geen onderdeel van het kernvoorstel.
Zo is het bestand opgebouwd
Het voorstel schrijft een vaste volgorde voor. Verplicht is alleen de eerste regel:
- Kop van het eerste niveau met de naam van de website of het bedrijf.
- Citaatblok met een korte samenvatting in een of twee zinnen.
- Vrije alinea’s of lijsten met belangrijke aanwijzingen, zonder verdere koppen.
- Secties met koppen van het tweede niveau, elk met een lijst links, optioneel met een korte beschrijving na een dubbele punt.
- Een sectie ‘Optional’ voor links die een AI‑systeem kan weglaten als er weinig ruimte is.
Voor een installatiebedrijf kan dat er zo uitzien:
# Voorbeeld Installatietechniek B.V.
> Elektrotechnische installaties, zonnepanelen en laadpalen voor particulieren en bedrijven in Zwolle, Deventer en omgeving.
Storingsdienst op werkdagen van 7 tot 18 uur. Offertes gratis na opname.
## Diensten
* [Zonnepanelen](https://www.voorbeeld-installatie.example/zonnepanelen/): ontwerp, montage, subsidieadvies
* [Laadpaal](https://www.voorbeeld-installatie.example/laadpaal/): installatie voor thuis en bedrijf
## Bedrijf
* [Contact en openingstijden](https://www.voorbeeld-installatie.example/contact/)
## Optional
* [Veelgestelde vragen](https://www.voorbeeld-installatie.example/vragen/)
Wat het bestand oplevert, en wat niet
Hier loont een nuchtere blik. Google schrijft in zijn richtlijnen over AI‑functies dat u geen nieuwe machineleesbare bestanden, AI‑tekstbestanden of speciale markup nodig hebt om in AI Overviews of in de AI‑modus te verschijnen. OpenAI beschrijft in zijn overzicht van crawlers hoe de zichtbaarheid in de ChatGPT-zoekopdracht via de robots.txt wordt geregeld, een llms.txt komt daar niet in voor. Ook voor Perplexity en Claude is de toegang doorslaggevend, hier van PerplexityBot en Claude-SearchBot.
Een openbaar onderbouwd bewijs dat ChatGPT, Gemini of Perplexity bedrijven vaker aanbevelen vanwege een llms.txt, is er tot nu toe niet. Nuttig is het bestand waar AI‑agents gericht inhoud ophalen, bijvoorbeeld bij technische documentatie die ontwikkelaars met AI‑assistenten doorzoeken. Voor een lokaal bedrijf is het eerder een nette visitekaart voor machines dan een weg naar meer aanvragen. Wat verder telt om in AI‑antwoorden genoemd te worden, staat op de pagina over Generative Engine Optimization.
Onze aanbeveling
Maak een llms.txt aan wanneer uw website staat en de belangrijkste punten zijn geregeld. Reken daarvoor op een half uur, niet op een project. Beloften van aanbieders die een llms.txt als sleutel tot ChatGPT verkopen, kunt u beter kritisch bekijken.
Zo maakt u een llms.txt aan
- Inhoud bepalen: naam, een of twee zinnen over wat u doet en waar, plus uw vijf tot vijftien belangrijkste pagina’s.
- Bestand schrijven: een eenvoudige teksteditor volstaat. Sla het bestand op als UTF-8 onder de naam
llms.txt. - Uploaden: zet het bestand in de hoofdmap, zodat het bereikbaar is onder
uw-domein.nl/llms.txt. Voor WordPress en andere systemen bestaan daarvoor plug-ins. - Controleren: open het adres in de browser. Het bestand moet als tekst verschijnen, zonder inloggen en zonder doorverwijzing naar de startpagina.
- Bijhouden: veranderen diensten of adressen, pas dan ook de llms.txt aan. Verouderde gegevens schaden meer dan een ontbrekend bestand.
Wat belangrijker is dan de llms.txt
- De robots.txt staat OAI-SearchBot, Googlebot, Bingbot, PerplexityBot en Claude-SearchBot toe.
- De belangrijkste inhoud staat in de HTML en niet pas na het laden van JavaScript.
- Elke dienst heeft een eigen pagina met een duidelijke kop en de plaatsnaam.
- Gestructureerde data volgens Schema.org beschrijven bedrijf, vestiging en diensten.
- Google-bedrijfsprofiel en gidsen bevatten dezelfde bedrijfsgegevens als de website.
- Een actuele sitemap is in de robots.txt opgenomen.
llms.txt en robots.txt vergeleken
| robots.txt | llms.txt | |
|---|---|---|
| Doel | Regelt welke crawlers welke pagina’s mogen ophalen | Geeft AI‑systemen een kort overzicht in Markdown |
| Effect op de zichtbaarheid | Direct: wie geblokkeerd is, wordt in de ChatGPT-zoekopdracht niet getoond | Niet aangetoond |
| Verspreiding | Al tientallen jaren standaard, door alle grote crawlers gerespecteerd | Voorstel sinds 2024, vrijwillig |
| Inspanning | Enkele regels, maar fouten hebben grote gevolgen | Een half uur |
Bronnen
- Jeremy Howard: The /llms.txt file, voorstel van 3 september 2024
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI Crawlers
- Perplexity: Perplexity Crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?