GEO · Tehnologija llms.txt: što datoteka donosi, što ne i kako je izraditi

Što je llms.txt

Ideju je predstavio Jeremy Howard, koji ju je u rujnu 2024. objavio na llmstxt.org. Web-stranice trebale bi jezičnim modelima i AI agentima ponuditi sažet pregled u formatu Markdown: tko su, što se nalazi na web-stranici i koje su stranice važne za koje pitanje. Razlog je to što AI sustavi tijekom rada mogu obraditi samo ograničenu količinu teksta odjednom, a cijele web-stranice s izbornicima, skriptama i oglasima teško je čitati.

Datoteka se obično nalazi na adresi /llms.txt u korijenskom direktoriju, ali prema prijedlogu može biti i u podmapi te se tada odnosi na adrese ispod nje. Neke web-stranice dodatno nude llms-full.txt s cjelokupnim tekstom. To je raširena dopuna, a ne dio osnovnog prijedloga.

Kako je datoteka strukturirana

Prijedlog propisuje točan redoslijed. Obvezan je samo prvi redak:

• Naslov prve razine s nazivom web-stranice ili tvrtke.
• Blok citata s kratkim sažetkom u jednoj do dvije rečenice.
• Slobodni odlomci ili popisi s važnim napomenama, bez dodatnih naslova.
• Odjeljci s naslovima druge razine, od kojih svaki sadržava popis poveznica, po želji s kratkim opisom nakon dvotočke.
• Odjeljak „Optional” za poveznice koje AI sustav može izostaviti ako ima malo prostora.

Za obrtničku tvrtku to može izgledati ovako:

# Muster Elektrotechnik GmbH
> Elektroinstalacije, fotonaponski sustavi i zidne punionice za privatne i poslovne korisnike na području gradova Linz i Wels te okolice.
Hitna služba radnim danom od 7 do 18 sati. Besplatne ponude nakon obilaska.
## Usluge
* [Fotonaponski sustavi](https://www.muster-elektro.at/photovoltaik/): planiranje, montaža, savjetovanje o potporama
* [Zidna punionica](https://www.muster-elektro.at/wallbox/): ugradnja za dom i tvrtku
## Tvrtka
* [Kontakt i radno vrijeme](https://www.muster-elektro.at/kontakt/)
## Optional
* [Česta pitanja](https://www.muster-elektro.at/fragen/)

Što datoteka donosi, a što ne

Ovdje vrijedi realno sagledati stvari. Google u svojim uputama za AI značajke navodi da za pojavljivanje u AI Overviews ili AI načinu rada nisu potrebne nove strojno čitljive datoteke, tekstualne datoteke za AI ni posebne oznake. OpenAI u pregledu crawlera opisuje kako se vidljivošću u pretraživanju alata ChatGPT upravlja putem robots.txt; llms.txt se ondje ne spominje. Pristup je presudan i za Perplexity i Claude, u ovom slučaju za PerplexityBot i Claude-SearchBot.

Zasad nema javno potkrijepljenog dokaza da ChatGPT, Gemini ili Perplexity češće preporučuju tvrtke zbog datoteke llms.txt. Datoteka je korisna ondje gdje AI agenti ciljano dohvaćaju sadržaj, primjerice u tehničkoj dokumentaciji koju programeri pretražuju AI asistentima. Za lokalnu tvrtku više je uredna posjetnica za strojeve nego put do većeg broja upita. Što je još važno za spominjanje u AI odgovorima opisuje stranica o postupku Generative Engine Optimization.

Kako izraditi llms.txt

1. Odrediti sadržaj: naziv, jedna do dvije rečenice o tome što radite i gdje te Vaših pet do petnaest najvažnijih stranica.
2. Napisati datoteku: dovoljan je jednostavan uređivač teksta. Spremite datoteku u kodiranju UTF-8 pod nazivom llms.txt.
3. Učitati: stavite datoteku u korijenski direktorij kako bi bila dostupna na adresi ihre-domain.at/llms.txt. U sustavu WordPress i drugim sustavima za to postoje dodaci.
4. Provjeriti: otvorite adresu u pregledniku. Datoteka se mora prikazati kao tekst, bez prijave i bez preusmjeravanja na početnu stranicu.
5. Održavati: kada se promijene usluge ili adrese, promijenite i llms.txt. Zastarjeli podaci više štete nego nepostojanje datoteke.

Što je važnije od datoteke llms.txt

• robots.txt dopušta pristup alatima OAI-SearchBot, Googlebot, Bingbot, PerplexityBot i Claude-SearchBot.
• Najvažniji sadržaj nalazi se u HTML-u, a ne pojavljuje se tek nakon učitavanja JavaScript koda.
• Svaka usluga ima vlastitu stranicu s jasnim naslovom i navedenom lokacijom.
• Strukturirani podaci prema Schema.org opisuju tvrtku, lokaciju i usluge.
• Google poslovni profil i imenici sadržavaju iste podatke o tvrtki kao web-stranica.
• Ažurna karta web-stranice navedena je u robots.txt.

Usporedba datoteka llms.txt i robots.txt