Stručně
- llms.txt je návrh z roku 2024: soubor ve formátu Markdown v kořenovém adresáři, který systémům AI poskytuje stručný přehled Vašeho webu.
- Google uvádí, že pro Google AI Overviews a režim AI nejsou potřeba nové strojově čitelné soubory ani textové soubory pro AI.
- Spolehlivý důkaz, že velké vyhledávací systémy AI používají tento soubor pro doporučení, zatím neexistuje.
- Soubor stojí málo a neuškodí. Důležitější je povolený přístup crawlerů, dobře čitelné stránky a správná strukturovaná data.
Co je llms.txt
Myšlenka pochází od Jeremyho Howarda, který ji zveřejnil v září 2024 na llmstxt.org. Weby mají jazykovým modelům a AI agentům nabídnout stručné shrnutí ve formátu Markdown: kdo za webem stojí, co na něm najdou a které stránky jsou důležité pro jakou otázku. Důvodem je, že systémy AI dokážou najednou zpracovat jen omezené množství textu a celé webové stránky s nabídkami, skripty a reklamou se obtížně čtou.
Soubor se obvykle nachází na adrese /llms.txt v kořenovém adresáři, podle návrhu však může být i v podadresáři a pak platí pro adresy pod ním. Některé weby navíc nabízejí llms-full.txt s úplným textem. Jde o rozšířený doplněk, nikoli součást základního návrhu.
Jakou má soubor strukturu
Návrh stanoví pevné pořadí. Povinný je pouze první řádek:
- Nadpis první úrovně s názvem webu nebo firmy.
- Bloková citace se stručným shrnutím v jedné či dvou větách.
- Volné odstavce nebo seznamy s důležitými informacemi, bez dalších nadpisů.
- Sekce s nadpisy druhé úrovně, z nichž každá obsahuje seznam odkazů, případně se stručným popisem za dvojtečkou.
- Sekce „Optional“ pro odkazy, které může systém AI vynechat, pokud má málo místa.
U řemeslné firmy může soubor vypadat takto:
# Muster Elektrotechnik GmbH
> Elektroinstalace, fotovoltaika a wallboxy pro domácnosti a firmy ve městech Linz a Wels a v okolí.
Pohotovostní služba v pracovní dny od 7 do 18 hodin. Nabídky zdarma po prohlídce.
## Služby
* [Fotovoltaika](https://www.muster-elektro.at/photovoltaik/): plánování, montáž, poradenství k dotacím
* [Wallbox](https://www.muster-elektro.at/wallbox/): instalace pro domácnosti a firmy
## Firma
* [Kontakt a otevírací doba](https://www.muster-elektro.at/kontakt/)
## Optional
* [Časté dotazy](https://www.muster-elektro.at/fragen/)
Co soubor přináší a co ne
Zde je na místě střízlivý pohled. Google ve svých pokynech k funkcím AI uvádí, že pro zobrazení v Google AI Overviews nebo v režimu AI nejsou potřeba nové strojově čitelné soubory, textové soubory pro AI ani zvláštní značkování. OpenAI v přehledu svých crawlerů popisuje, jak se viditelnost ve vyhledávání ChatGPT řídí pomocí robots.txt, llms.txt se tam nezmiňuje. Také pro Perplexity a Claude je rozhodující přístup, konkrétně pro PerplexityBot a Claude-SearchBot.
Veřejně doložený důkaz, že ChatGPT, Gemini nebo Perplexity doporučují firmy častěji díky llms.txt, zatím neexistuje. Soubor je užitečný tam, kde AI agenti cíleně získávají obsah, například v technické dokumentaci, kterou vývojáři prohledávají s pomocí AI asistentů. Pro místní firmu je spíše přehlednou vizitkou pro stroje než cestou k většímu počtu poptávek. Co dalšího rozhoduje o zmínkách v odpovědích AI, popisuje stránka o Generative Engine Optimization.
Naše doporučení
Vytvořte llms.txt, až bude Váš web hotový a důležitější body vyřešené. Vyhraďte si na to půl hodiny, ne celý projekt. Ke slibům poskytovatelů, kteří prodávají llms.txt jako klíč k ChatGPT, přistupujte kriticky.
Jak vytvořit llms.txt
- Určit obsah: název, jedna až dvě věty o tom, co děláte a kde, a Vašich pět až patnáct nejdůležitějších stránek.
- Napsat soubor: stačí jednoduchý textový editor. Soubor uložte v kódování UTF-8 pod názvem
llms.txt. - Nahrát: umístěte soubor do kořenového adresáře tak, aby byl dostupný na
ihre-domain.at/llms.txt. Pro WordPress a další systémy k tomu existují rozšíření. - Ověřit: otevřete adresu v prohlížeči. Soubor se musí zobrazit jako text, bez přihlášení a bez přesměrování na úvodní stránku.
- Udržovat: pokud se změní služby nebo adresy, upravte také llms.txt. Zastaralé údaje škodí více než chybějící soubor.
Co je důležitější než llms.txt
- robots.txt povoluje přístup pro OAI-SearchBot, Googlebot, Bingbot, PerplexityBot a Claude-SearchBot.
- Nejdůležitější obsah je přímo v HTML, nikoli dostupný teprve po načtení JavaScriptu.
- Každá služba má vlastní stránku s jasným nadpisem a uvedením lokality.
- Strukturovaná data podle Schema.org popisují firmu, lokalitu a služby.
- Firemní profil Google a katalogy obsahují stejné firemní údaje jako web.
- Aktuální mapa webu je uvedena v robots.txt.
Srovnání llms.txt a robots.txt
| robots.txt | llms.txt | |
|---|---|---|
| Účel | Určuje, kteří crawleři smějí načítat které stránky | Poskytuje systémům AI stručný přehled v Markdownu |
| Vliv na viditelnost | Přímý: kdo je blokovaný, nezobrazí se ve vyhledávání ChatGPT | Není doložen |
| Rozšíření | Standard po desetiletí, respektovaný všemi velkými crawlery | Návrh od roku 2024, dobrovolný |
| Náročnost | Několik řádků, ale chyby mají závažné důsledky | Půl hodiny |
Zdroje
- Jeremy Howard: Soubor /llms.txt, návrh ze 3. září 2024
- Google Search Central: Funkce AI a Váš web
- OpenAI: Přehled crawlerů OpenAI
- Perplexity: Crawlery Perplexity
- Anthropic: Prochází Anthropic data na webu a jak mohou vlastníci webů crawler zablokovat?