W skrócie
- llms.txt to propozycja z 2024 roku: plik Markdown w katalogu głównym, który daje systemom AI krótki przegląd Państwa strony.
- Google podaje, że funkcje Przegląd od AI i Tryb AI nie wymagają nowych plików czytelnych dla maszyn ani plików tekstowych dla AI.
- Dotychczas nie ma wiarygodnego dowodu, że duże wyszukiwarki AI wykorzystują ten plik do rekomendacji.
- Utworzenie pliku kosztuje niewiele i nie szkodzi. Ważniejsze są dostęp dla robotów, czytelne strony i poprawne dane strukturalne.
Czym jest llms.txt
Pomysł pochodzi od Jeremy'ego Howarda, który opublikował go we wrześniu 2024 na llmstxt.org. Witryny mają udostępniać modelom językowym i agentom AI zwięzłe podsumowanie w Markdown: kogo reprezentują, co zawierają i które strony są istotne dla poszczególnych pytań. Wynika to z faktu, że systemy AI mogą przetwarzać jednocześnie tylko ograniczoną ilość tekstu, a pełne strony z menu, skryptami i reklamami są trudne do odczytania.
Plik znajduje się zwykle pod adresem /llms.txt w katalogu głównym, ale zgodnie z propozycją może też znajdować się w podkatalogu i obejmować adresy w jego obrębie. Niektóre witryny udostępniają dodatkowo llms-full.txt z pełną treścią. To powszechne uzupełnienie, które nie należy do podstawowej propozycji.
Jak zbudowany jest plik
Propozycja określa stałą kolejność. Obowiązkowy jest tylko pierwszy wiersz:
- Nagłówek pierwszego poziomu z nazwą witryny lub firmy.
- Blok cytatu z krótkim podsumowaniem w jednym lub dwóch zdaniach.
- Dowolne akapity lub listy z ważnymi wskazówkami, bez dodatkowych nagłówków.
- Sekcje z nagłówkami drugiego poziomu, z których każda zawiera listę linków, opcjonalnie z krótkim opisem po dwukropku.
- Sekcja „Optional” na linki, które system AI może pominąć, gdy ma mało miejsca.
Dla firmy rzemieślniczej może to wyglądać tak:
# Muster Elektrotechnik GmbH
> Instalacje elektryczne, fotowoltaika i ładowarki ścienne do samochodów dla osób prywatnych i firm w Linz, Wels i okolicy.
Serwis awaryjny w dni robocze od 7 do 18. Bezpłatne oferty po oględzinach.
## Usługi
* [Fotowoltaika](https://www.muster-elektro.at/photovoltaik/): projektowanie, montaż, doradztwo w sprawie dotacji
* [Wallbox](https://www.muster-elektro.at/wallbox/): instalacja w domu i firmie
## Firma
* [Kontakt i godziny otwarcia](https://www.muster-elektro.at/kontakt/)
## Optional
* [Częste pytania](https://www.muster-elektro.at/fragen/)
Co daje ten plik, a czego nie
Warto podejść do tego rzeczowo. Google podaje we wskazówkach dotyczących funkcji AI, że obecność w Przeglądzie od AI lub Trybie AI nie wymaga nowych plików czytelnych dla maszyn, plików tekstowych dla AI ani specjalnych znaczników. OpenAI wyjaśnia w przeglądzie swoich robotów, jak sterować widocznością w wyszukiwarce ChatGPT za pomocą robots.txt. Plik llms.txt nie jest tam wymieniony. Również w przypadku Perplexity i Claude decydujący jest dostęp, odpowiednio dla PerplexityBot i Claude-SearchBot.
Dotychczas nie ma publicznie udokumentowanego dowodu, że ChatGPT, Gemini lub Perplexity częściej rekomendują firmy dzięki llms.txt. Plik jest przydatny tam, gdzie agenci AI celowo pobierają treści, na przykład z dokumentacji technicznej, którą programiści przeszukują z pomocą asystentów AI. Dla lokalnej firmy jest raczej uporządkowaną wizytówką dla maszyn niż sposobem na więcej zapytań. Inne czynniki wpływające na obecność w odpowiedziach AI opisuje strona o Generative Engine Optimization.
Nasza rekomendacja
Warto utworzyć llms.txt, gdy strona jest gotowa, a ważniejsze kwestie zostały rozwiązane. Należy przeznaczyć na to pół godziny, a nie osobny projekt. Do obietnic dostawców przedstawiających llms.txt jako klucz do ChatGPT warto podchodzić krytycznie.
Jak utworzyć llms.txt
- Ustalenie treści: nazwa, jedno lub dwa zdania o tym, czym Państwo się zajmują i gdzie, oraz od pięciu do piętnastu najważniejszych stron.
- Przygotowanie pliku: wystarczy prosty edytor tekstu. Plik należy zapisać w kodowaniu UTF-8 pod nazwą
llms.txt. - Przesłanie pliku: plik należy umieścić w katalogu głównym, aby był dostępny pod adresem
ihre-domain.at/llms.txt. W systemach takich jak WordPress służą do tego rozszerzenia. - Sprawdzenie: prosimy otworzyć adres w przeglądarce. Plik musi wyświetlić się jako tekst, bez logowania i bez przekierowania na stronę główną.
- Aktualizacja: gdy zmieniają się usługi lub adresy, należy zaktualizować również llms.txt. Nieaktualne informacje szkodzą bardziej niż brak pliku.
Co jest ważniejsze niż llms.txt
- Plik robots.txt zezwala na dostęp OAI-SearchBot, Googlebot, Bingbot, PerplexityBot i Claude-SearchBot.
- Najważniejsze treści znajdują się w HTML, a nie pojawiają się dopiero po załadowaniu JavaScript.
- Każda usługa ma osobną stronę z jasnym nagłówkiem i podaną lokalizacją.
- Dane strukturalne zgodne ze Schema.org opisują firmę, lokalizację i usługi.
- Profil Firmy w Google i katalogi zawierają te same dane firmy co strona internetowa.
- Aktualna mapa witryny jest wskazana w robots.txt.
Porównanie llms.txt i robots.txt
| robots.txt | llms.txt | |
|---|---|---|
| Cel | Określa, które roboty mogą pobierać poszczególne strony | Udostępnia systemom AI krótki przegląd w Markdown |
| Wpływ na widoczność | Bezpośredni: zablokowane strony nie są wyświetlane w wyszukiwaniu ChatGPT | Niepotwierdzony |
| Rozpowszechnienie | Standard od dziesięcioleci, przestrzegany przez wszystkie duże roboty indeksujące | Propozycja od 2024, dobrowolna |
| Nakład pracy | Kilka wierszy, ale błędy mają poważne konsekwencje | Pół godziny |
Źródła
- Jeremy Howard: Plik /llms.txt, propozycja z 3 września 2024
- Google Search Central: Funkcje AI a Państwa witryna
- OpenAI: Przegląd robotów OpenAI
- Perplexity: Roboty Perplexity
- Anthropic: Czy Anthropic zbiera dane z internetu i jak właściciele stron mogą zablokować robota?