Stručne
- llms.txt je návrh z roku 2024: súbor vo formáte Markdown v koreňovom adresári, ktorý systémom AI poskytuje stručný prehľad Vášho webu.
- Google uvádza, že pre Google AI Overviews a režim AI netreba nové strojovo čitateľné súbory ani textové súbory pre AI.
- Zatiaľ neexistuje spoľahlivý dôkaz, že veľké vyhľadávacie systémy AI používajú tento súbor na odporúčania.
- Jeho vytvorenie stojí málo a neuškodí. Dôležitejšie sú povolený prístup crawlerov, dobre čitateľné stránky a správne štruktúrované údaje.
Čo je llms.txt
Myšlienku predstavil Jeremy Howard, ktorý ju v septembri 2024 zverejnil na llmstxt.org. Weby majú jazykovým modelom a AI agentom ponúkať stručné zhrnutie vo formáte Markdown: kto za nimi stojí, čo na webe nájdu a ktoré stránky sú dôležité pre konkrétne otázky. Dôvodom je, že systémy AI dokážu pri práci naraz spracovať len obmedzené množstvo textu a úplné webové stránky s menu, skriptmi a reklamou sa čítajú ťažko.
Súbor sa zvyčajne nachádza na adrese /llms.txt v koreňovom adresári. Podľa návrhu však môže byť aj v podadresári a vtedy platí pre adresy pod ním. Niektoré weby navyše ponúkajú llms-full.txt s celým textom. Ide o rozšírený doplnok, nie o súčasť základného návrhu.
Ako je súbor štruktúrovaný
Návrh stanovuje pevné poradie. Povinný je iba prvý riadok:
- Nadpis prvej úrovne s názvom webu alebo firmy.
- Blok citácie so stručným zhrnutím v jednej či dvoch vetách.
- Voľné odseky alebo zoznamy s dôležitými informáciami, bez ďalších nadpisov.
- Sekcie s nadpismi druhej úrovne, z ktorých každá obsahuje zoznam odkazov, prípadne so stručným opisom za dvojbodkou.
- Sekcia „Optional“ pre odkazy, ktoré môže systém AI vynechať, ak má málo priestoru.
Pre remeselnú firmu môže vyzerať takto:
# Muster Elektrotechnik GmbH
> Elektroinštalácie, fotovoltika a nástenné nabíjacie stanice pre domácnosti a firmy v mestách Linz, Wels a okolí.
Pohotovostná služba v pracovné dni od 7 do 18 hod. Cenové ponuky po obhliadke bezplatne.
## Služby
* [Fotovoltika](https://www.muster-elektro.at/photovoltaik/): plánovanie, montáž, poradenstvo v oblasti dotácií
* [Nástenná nabíjacia stanica](https://www.muster-elektro.at/wallbox/): inštalácia pre domácnosti a firmy
## Firma
* [Kontakt a otváracie hodiny](https://www.muster-elektro.at/kontakt/)
## Optional
* [Časté otázky](https://www.muster-elektro.at/fragen/)
Čo súbor prináša a čo nie
Tu sa oplatí triezvy pohľad. Google v pokynoch k funkciám AI uvádza, že na zobrazenie v Google AI Overviews alebo v režime AI nepotrebujete nové strojovo čitateľné súbory, textové súbory pre AI ani špeciálne značkovanie. OpenAI v prehľade crawlerov opisuje, ako sa viditeľnosť vo vyhľadávaní ChatGPT riadi cez robots.txt. Súbor llms.txt sa tam nespomína. Aj pre Perplexity a Claude je rozhodujúci prístup, konkrétne pre crawlery PerplexityBot a Claude-SearchBot.
Zatiaľ neexistuje verejne doložený dôkaz, že ChatGPT, Gemini alebo Perplexity odporúčajú firmy častejšie vďaka llms.txt. Súbor je užitočný tam, kde AI agenti cielene načítavajú obsah, napríklad v technickej dokumentácii, ktorú vývojári prehľadávajú pomocou AI asistentov. Pre miestnu firmu je skôr prehľadnou vizitkou pre stroje než cestou k väčšiemu počtu dopytov. Čo ďalšie je dôležité pre zmienky v odpovediach AI, opisuje stránka o Generative Engine Optimization.
Naše odporúčanie
Vytvorte llms.txt, keď je Váš web hotový a dôležitejšie veci sú vyriešené. Vyhraďte si na to pol hodiny, nie celý projekt. Sľuby poskytovateľov, ktorí predávajú llms.txt ako kľúč k nástroju ChatGPT, posudzujte kriticky.
Ako vytvoriť llms.txt
- Určiť obsah: Názov, jedna až dve vety o tom, čo robíte a kde, a Vašich päť až pätnásť najdôležitejších stránok.
- Napísať súbor: Stačí jednoduchý textový editor. Súbor uložte v kódovaní UTF-8 pod názvom
llms.txt. - Nahrať: Umiestnite súbor do koreňového adresára tak, aby bol dostupný na adrese
ihre-domain.at/llms.txt. Pre WordPress a ďalšie systémy existujú na tento účel rozšírenia. - Overiť: Otvorte adresu v prehliadači. Súbor sa musí zobraziť ako text, bez prihlásenia a bez presmerovania na úvodnú stránku.
- Udržiavať: Ak sa zmenia služby alebo adresy, upravte aj llms.txt. Neaktuálne údaje škodia viac než chýbajúci súbor.
Čo je dôležitejšie než llms.txt
- Súbor robots.txt povoľuje prístup crawlerom OAI-SearchBot, Googlebot, Bingbot, PerplexityBot a Claude-SearchBot.
- Najdôležitejší obsah je priamo v HTML a neobjaví sa až po načítaní kódu JavaScript.
- Každá služba má vlastnú stránku s jasným nadpisom a uvedenou lokalitou.
- Štruktúrované údaje podľa Schema.org opisujú firmu, lokalitu a služby.
- Firemný profil Google a katalógy obsahujú rovnaké firemné údaje ako web.
- V súbore robots.txt je uvedená aktuálna mapa webu.
Porovnanie llms.txt a robots.txt
| robots.txt | llms.txt | |
|---|---|---|
| Účel | Určuje, ktoré crawlery smú načítavať ktoré stránky | Poskytuje systémom AI stručný prehľad v jazyku Markdown |
| Vplyv na viditeľnosť | Priamy: kto je zablokovaný, nezobrazí sa vo vyhľadávaní ChatGPT | Nepreukázaný |
| Rozšírenie | Štandard už desaťročia, rešpektovaný všetkými veľkými crawlermi | Návrh od roku 2024, dobrovoľný |
| Náročnosť | Niekoľko riadkov, ale chyby majú veľké následky | Pol hodiny |
Zdroje
- Jeremy Howard: Súbor /llms.txt, návrh z 3. septembra 2024
- Google Search Central: Funkcie AI a Váš web
- OpenAI: Prehľad crawlerov OpenAI
- Perplexity: Crawlery Perplexity
- Anthropic: Prehľadáva Anthropic údaje na webe a ako môžu vlastníci stránok zablokovať jeho crawler?