Na kratko
- Datoteka llms.txt je predlog iz leta 2024: datoteka Markdown v korenskem imeniku, ki sistemom AI ponuja kratek pregled Vaše spletne strani.
- Google piše, da za AI Overviews in način AI niso potrebne nove strojno berljive datoteke ali besedilne datoteke za AI.
- Za zdaj ni zanesljivih dokazov, da veliki iskalni sistemi AI datoteko uporabljajo za priporočila.
- Stane malo in ne škoduje. Pomembnejši so dovoljen dostop pajkom, dobro berljive strani in urejeni strukturirani podatki.
Kaj je llms.txt
Zamisel je predstavil Jeremy Howard, ki jo je septembra 2024 objavil na llmstxt.org. Spletne strani naj jezikovnim modelom in agentom AI ponudijo strnjen povzetek v obliki Markdown: kdo so, kaj je na spletni strani in katere strani so pomembne za katero vprašanje. Razlog je v tem, da sistemi AI naenkrat lahko obdelajo le omejeno količino besedila, celotne spletne strani z meniji, skriptami in oglasi pa so težko berljive.
Datoteka je običajno v korenskem imeniku na naslovu /llms.txt, po predlogu pa je lahko tudi v podmapi in takrat velja za naslove pod njo. Nekatere spletne strani dodatno ponujajo datoteko llms-full.txt s celotnim besedilom. To je razširjena dopolnitev, ne del osnovnega predloga.
Kako je datoteka zgrajena
Predlog določa fiksen vrstni red. Obvezna je le prva vrstica:
- Naslov prve ravni z imenom spletne strani ali podjetja.
- Blok navedka s kratkim povzetkom v enem ali dveh stavkih.
- Prosti odstavki ali seznami s pomembnimi napotki, brez dodatnih naslovov.
- Razdelki z naslovi druge ravni, ki vsebujejo sezname povezav, po želji s kratkim opisom za dvopičjem.
- Razdelek »Optional« za povezave, ki jih sistem AI lahko izpusti, če ima malo prostora.
Za obrtno podjetje je lahko videti takole:
# Muster Elektrotechnik GmbH
> Elektroinštalacije, fotovoltaika in stenske polnilnice za gospodinjstva in podjetja v mestih Linz, Wels in okolici.
Dežurna služba ob delavnikih od 7. do 18. ure. Brezplačne ponudbe po ogledu.
## Storitve
* [Fotovoltaika](https://www.muster-elektro.at/photovoltaik/): načrtovanje, montaža, svetovanje o subvencijah
* [Stenska polnilnica](https://www.muster-elektro.at/wallbox/): namestitev za dom in podjetje
## Podjetje
* [Kontakt in odpiralni čas](https://www.muster-elektro.at/kontakt/)
## Optional
* [Pogosta vprašanja](https://www.muster-elektro.at/fragen/)
Kaj datoteka prinaša in česa ne
Tu je smiselna stvarna presoja. Google v svojih navodilih o funkcijah AI piše, da za pojav v AI Overviews ali načinu AI niso potrebne nove strojno berljive datoteke, besedilne datoteke za AI ali posebno označevanje. OpenAI v pregledu svojih pajkov opisuje, kako se vidnost v iskanju ChatGPT ureja prek datoteke robots.txt, datoteke llms.txt pa ne omenja. Tudi za Perplexity in Claude je odločilen dostop, v tem primeru za PerplexityBot in Claude-SearchBot.
Za zdaj ni javno dokumentiranih dokazov, da ChatGPT, Gemini ali Perplexity podjetja zaradi datoteke llms.txt priporočajo pogosteje. Datoteka je koristna tam, kjer agenti AI ciljno pridobivajo vsebine, na primer pri tehnični dokumentaciji, po kateri razvijalci iščejo s pomočniki AI. Za lokalno podjetje je bolj urejena vizitka za stroje kot pot do več povpraševanj. Kaj še šteje za omembo v odgovorih AI, pojasnjuje stran o pristopu Generative Engine Optimization.
Naše priporočilo
Ustvarite datoteko llms.txt, ko je Vaša spletna stran pripravljena in so pomembnejše naloge opravljene. Za to načrtujte pol ure, ne celotnega projekta. Obljube ponudnikov, ki llms.txt prodajajo kot ključ do orodja ChatGPT, bi morali presojati kritično.
Kako ustvarite llms.txt
- Določite vsebino: Ime, en do dva stavka o tem, kaj delate in kje, ter od pet do petnajst najpomembnejših strani.
- Napišite datoteko: Zadostuje preprost urejevalnik besedila. Datoteko shranite v kodiranju UTF-8 z imenom
llms.txt. - Naložite datoteko: Shranite jo v korenski imenik, da bo dostopna na naslovu
ihre-domain.at/llms.txt. Za WordPress in druge sisteme so na voljo razširitve. - Preverite: Odprite naslov v brskalniku. Datoteka se mora prikazati kot besedilo, brez prijave in brez preusmeritve na začetno stran.
- Vzdržujte: Ko se spremenijo storitve ali naslovi, spremenite tudi llms.txt. Zastareli podatki škodujejo bolj kot manjkajoča datoteka.
Kaj je pomembnejše od datoteke llms.txt
- Datoteka robots.txt dovoljuje dostop pajkom OAI-SearchBot, Googlebot, Bingbot, PerplexityBot in Claude-SearchBot.
- Najpomembnejše vsebine so v HTML in se ne pojavijo šele po nalaganju kode JavaScript.
- Vsaka storitev ima svojo stran z jasnim naslovom in navedbo kraja.
- Strukturirani podatki po Schema.org opisujejo podjetje, lokacijo in storitve.
- Profil podjetja v storitvi Google in imeniki vsebujejo iste podatke podjetja kot spletna stran.
- Posodobljen zemljevid spletnega mesta je naveden v datoteki robots.txt.
Primerjava datotek llms.txt in robots.txt
| robots.txt | llms.txt | |
|---|---|---|
| Namen | Določa, kateri pajki smejo pridobivati katere strani | Sistemom AI ponuja kratek pregled v obliki Markdown |
| Vpliv na vidnost | Neposreden: kdor je blokiran, se ne prikaže v iskanju ChatGPT | Ni dokazano |
| Razširjenost | Standard že desetletja, upoštevajo ga vsi veliki pajki | Predlog od leta 2024, prostovoljen |
| Potreben trud | Nekaj vrstic, vendar imajo napake velike posledice | Pol ure |
Viri
- Jeremy Howard: Datoteka /llms.txt, predlog z dne 3. septembra 2024
- Google Search Central: Funkcije AI in Vaša spletna stran
- OpenAI: Pregled spletnih pajkov OpenAI
- Perplexity: Spletni pajki Perplexity
- Anthropic: Ali Anthropic s spletnimi pajki zajema podatke s spleta in kako lahko lastniki strani pajka blokirajo?