Pe scurt
- llms.txt este o propunere din anul 2024: un fișier Markdown în directorul rădăcină care oferă sistemelor AI o prezentare succintă a site-ului dumneavoastră.
- Google spune că pentru AI Overviews și modul AI nu sunt necesare fișiere noi care pot fi citite automat sau fișiere text AI.
- Până acum, nu există nicio dovadă solidă că marile sisteme de căutare AI folosesc fișierul pentru recomandări.
- Costă puțin și nu dăunează. Mai importante sunt crawler-ele accesibile, paginile ușor de citit și datele structurate corecte.
Ce este o llms.txt
Ideea îi aparține lui Jeremy Howard, care a publicat-o în septembrie 2024 pe llmstxt.org. Site-urile ar trebui să ofere modelelor lingvistice și agenților AI un rezumat compact în Markdown: cine sunt, ce oferă site-ul și care pagini sunt importante pentru fiecare întrebare. Contextul este că sistemele AI pot procesa la un moment dat doar o cantitate limitată de text, iar paginile web complete, cu meniuri, scripturi și reclame, sunt greu de citit.
Fișierul se află de obicei la /llms.txt în directorul rădăcină, însă, conform propunerii, poate fi și într-un subdirector și se aplică atunci adreselor de sub acesta. Unele site-uri oferă suplimentar un llms-full.txt cu întregul text. Aceasta este o completare răspândită, nu parte din propunerea de bază.
Cum este structurat fișierul
Propunerea stabilește o ordine fixă. Obligatorie este doar prima linie:
- Titlu de nivelul întâi cu numele site-ului sau al companiei.
- Bloc de citat cu un rezumat scurt în una sau două propoziții.
- Paragrafe sau liste libere cu observații importante, fără alte titluri.
- Secțiuni cu titluri de nivelul al doilea, fiecare conținând o listă de linkuri, opțional cu o descriere scurtă după două puncte.
- O secțiune „Opțional” pentru linkuri pe care un sistem AI le poate omite dacă are puțin spațiu.
Pentru o companie de instalații electrice poate arăta astfel:
# Muster Elektrotechnik GmbH
> Instalații electrice, fotovoltaice și wallbox-uri pentru clienți privați și companii în Linz, Wels și împrejurimi.
Serviciu de urgență în zilele lucrătoare de la 7 la 18. Oferte gratuite după o vizită la fața locului.
## Servicii
* [Fotovoltaice](https://www.muster-elektro.at/photovoltaik/): Planificare, montaj, consultanță privind finanțarea
* [Wallbox](https://www.muster-elektro.at/wallbox/): Instalare pentru casă și companie
## Companie
* [Contact și program](https://www.muster-elektro.at/kontakt/)
## Opțional
* [Întrebări frecvente](https://www.muster-elektro.at/fragen/)
Ce oferă fișierul și ce nu
Aici merită o privire lucidă. Google spune în instrucțiunile sale despre funcțiile AI că nu sunt necesare fișiere noi care pot fi citite automat, fișiere text AI sau markup special pentru a apărea în AI Overviews sau în modul AI. OpenAI descrie în prezentarea sa despre crawlere cum este controlată vizibilitatea în căutarea ChatGPT prin robots.txt, însă llms.txt nu apare acolo. Și pentru Perplexity și Claude accesul este decisiv, în acest caz pentru PerplexityBot și Claude-SearchBot.
Până acum nu există o dovadă publică că ChatGPT, Gemini sau Perplexity recomandă mai des companii din cauza unei llms.txt. Fișierul este util acolo unde agenții AI accesează țintit conținuturi, de exemplu în documentații tehnice pe care dezvoltatorii le cercetează cu asistenți AI. Pentru o companie locală, este mai degrabă o carte de vizită curată pentru mașini decât o cale spre mai multe solicitări. Pagina despre Generative Engine Optimization explică ce mai contează pentru a fi menționat în răspunsurile AI.
Recomandarea noastră
Creați o llms.txt atunci când site-ul dumneavoastră este gata și punctele mai importante sunt rezolvate. Planificați pentru aceasta o jumătate de oră, nu un întreg proiect. Priviți critic promisiunile furnizorilor care vând o llms.txt ca pe cheia către ChatGPT.
Cum creați o llms.txt
- Stabiliți conținutul: Numele, una sau două propoziții despre ce faceți și unde, plus cele mai importante cinci până la cincisprezece pagini.
- Scrieți fișierul: Este suficient un editor de text simplu. Salvați fișierul în UTF-8 cu numele
llms.txt. - Încărcați: Puneți fișierul în directorul rădăcină, astfel încât să fie accesibil la
ihre-domain.at/llms.txt. Pentru aceasta există extensii pentru WordPress și alte sisteme. - Verificați: Deschideți adresa în browser. Fișierul trebuie să apară ca text, fără autentificare și fără redirecționare la pagina de start.
- Actualizați: Dacă se schimbă serviciile sau adresele, modificați și llms.txt. Informațiile învechite dăunează mai mult decât un fișier lipsă.
Ce este mai important decât llms.txt
- robots.txt permite OAI-SearchBot, Googlebot, Bingbot, PerplexityBot și Claude-SearchBot.
- Cele mai importante conținuturi se află în HTML, nu doar după încărcarea JavaScript.
- Fiecare serviciu are o pagină proprie cu un titlu clar și indicarea locației.
- Datele structurate conform Schema.org descriu compania, locația și serviciile.
- Profilul de companie Google și directoarele conțin aceleași date despre companie ca site-ul.
- Un Sitemap actualizat este menționat în robots.txt.
llms.txt și robots.txt comparate
| robots.txt | llms.txt | |
|---|---|---|
| Scop | Reglementează ce crawlere pot accesa ce pagini | Oferă sistemelor AI o prezentare scurtă în Markdown |
| Efect asupra vizibilității | Direct: cine este blocat nu apare în căutarea ChatGPT | Nedovedit |
| Răspândire | Standard de decenii, respectat de toate crawlerele mari | Propunere din 2024, voluntară |
| Efort | Câteva rânduri, dar erorile au consecințe majore | O jumătate de oră |
Surse
- Jeremy Howard: The /llms.txt file, propunere din 3 septembrie 2024
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI Crawlers
- Perplexity: Perplexity Crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?