Īsumā
- Fails llms.txt ir 2024. gada priekšlikums: Markdown fails saknes direktorijā, kas sniedz AI sistēmām ātru pārskatu par jūsu vietni.
- Google raksta, ka AI pārskatiem un AI režīmam nav nepieciešami jauni mašīnlasāmi faili vai AI teksta faili.
- Pašlaik nav ticamu pierādījumu tam, ka lielas AI meklēšanas sistēmas izmanto failu ieteikumu sniegšanai.
- Tas maksā maz un nekaitē. Atvērtās rāpuļprogrammas, viegli lasāmas lapas un tīri strukturālie dati ir svarīgāki.
Kas ir llms.txt
Ideja nāk no Džeremija Hovarda, kurš to publicēja vietnē llmstxt.org 2024. gada septembrī. Vietnēs ir jāpiedāvā valodu modeļi un AI aģenti kompakts kopsavilkums pakalpojumā Markdown: kas viņi ir, kas atrodas vietnē un kuras lapas ir svarīgas kādam jautājumam. Iemesls ir tāds, ka mākslīgā intelekta sistēmas vienlaikus apstrādā tikai ierobežotu teksta daudzumu, kad ir grūti salasāmas darba un pilnas vietnes ar izvēlnēm, skriptiem un reklāmām.
Fails parasti atrodas zemāk /llms.txt saknes direktorijā, bet pēc ieteikuma tas var atrasties arī apakšmapē un pēc tam attiecas uz zemāk esošajām adresēm. Dažas vietnes piedāvā arī vienu llms-full.txt ar visu tekstu. Šis ir kopīgs papildinājums, nevis daļa no galvenā priekšlikuma.
Šādi tiek strukturēts fails
Priekšlikumā ir norādīta noteikta kārtība. Obligāta ir tikai pirmā rinda:
- Pirmā līmeņa virsraksts ar vietnes vai uzņēmuma nosaukumu.
- Citāti bloks ar īsu kopsavilkumu vienā vai divos teikumos.
- Bezmaksas rindkopas vai saraksti ar svarīgu informāciju, bez papildu virsrakstiem.
- Sadaļas ar otrā līmeņa virsrakstiem, katrs satur saišu sarakstu, pēc izvēles ar īsu aprakstu aiz kola.
- Sadaļa “Neobligāti”. saitēm, kuras AI sistēma var izlaist, ja tai ir ierobežota vieta.
Amatniecības uzņēmumam tas var izskatīties šādi:
# Muster Elektrotechnik GmbH
> Elektroinstalācijas, fotoelementi un sienas kastes privātai un komerciālai lietošanai Lincā, Velsā un apkārtnē.
Neatliekamā palīdzība darba dienās no pulksten 7 līdz 18. Bezmaksas piedāvājumi pēc apskates.
## Pakalpojumi
* [Fotogalvaniskais](https://www.muster-elektro.at/photovoltaik/): Plānošanas, montāžas, finansēšanas konsultācijas
* [Wallbox](https://www.muster-elektro.at/wallbox/): Uzstādīšana mājām un biznesam
## Uzņēmumi
* [Sazināšanās un darba laiki](https://www.muster-elektro.at/kontakt/)
## Pēc izvēles
* [Bieži uzdotie jautājumi](https://www.muster-elektro.at/fragen/)
Ko fails nes un ko ne
Šeit ir vērts paskatīties prātīgi. Google savās piezīmēs par AI funkcijām raksta, ka jums nav nepieciešami jauni mašīnlasāmi faili, AI teksta faili vai īpašs marķējums, lai tie tiktu parādīti AI pārskatos vai AI režīmā. Pārskatā par rāpuļprogrammām OpenAI apraksta, kā redzamība ChatGPT meklēšanā tiek kontrolēta, izmantojot failu robots.txt; llms.txt tur neparādās. Piekļuve ir ļoti svarīga arī Perplexity un Claude, šeit PerplexityBot un Claude-SearchBot.
Pašlaik nav publiski dokumentētu pierādījumu, ka ChatGPT, Gemini vai Perplexity iesaka uzņēmumiem biežāk llms.txt dēļ. Fails ir noderīgs, ja AI aģenti izgūst noteiktu saturu, piemēram, tehnisko dokumentāciju, ko izstrādātāji meklē ar AI palīgiem. Vietējam uzņēmumam tā drīzāk ir glīta mašīnu vizītkarte, nevis ceļš uz vairāk uzziņām. Lapā ir aprakstīts, kas vēl ir jāpiemin AI atbildēs Ģeneratīvā dzinēja optimizācija.
Mūsu ieteikums
Izveidojiet failu llms.txt, kad jūsu vietne ir izveidota un darbojas un svarīgākie punkti ir parūpēti. Plānojiet tam pusstundu, nevis projektu. Jums vajadzētu būt kritiskam pret solījumiem, ko sniedz pakalpojumu sniedzēji, kuri pārdod failu llms.txt kā ChatGPT atslēgu.
Tādā veidā jūs izveidojat failu llms.txt
- Iestatīt saturu: Vārds, viens līdz divi teikumi, ko jūs darāt un kur, kā arī piecas līdz piecpadsmit svarīgākās lapas.
- Rakstīt failu: Pietiek ar vienkāršu teksta redaktoru. Saglabājiet failu kā UTF-8 ar nosaukumu
llms.txt. - Augšupielādēt: Ievietojiet failu saknes direktorijā tā, lai tas būtu zem
your-domain.at/llms.txtir sasniedzams. Tam ir paplašinājumi WordPress un citās sistēmās. - Pārbaudiet: Izsauciet adresi pārlūkprogrammā. Failam ir jāparādās kā tekstam, bez pieteikšanās un bez novirzīšanas uz sākumlapu.
- Uzturēt: Ja mainās pakalpojumi vai adreses, mainiet arī failu llms.txt. Novecojusi informācija ir vairāk kaitīga nekā trūkstošs fails.
Kas ir svarīgāks par llms.txt
- Fails robots.txt ļauj izmantot OAI-SearchBot, Googlebot, Bingbot, PerplexityBot un Claude-SearchBot.
- Vissvarīgākais saturs ir HTML, nevis pēc JavaScript ielādes.
- Katram pakalpojumam ir sava lapa ar skaidru virsrakstu un atrašanās vietu.
- Strukturālie dati saskaņā ar Schema.org apraksta uzņēmumu, atrašanās vietu un pakalpojumus.
- Google uzņēmuma profilā un katalogos ir tāda pati uzņēmuma informācija kā vietnē.
- Pašreizējā vietnes karte tiek ievadīta failā robots.txt.
llms.txt un robots.txt salīdzinājumā
| robots.txt | llms.txt | |
|---|---|---|
| Mērķis | Regulē, kurām rāpuļprogrammām ir atļauts piekļūt kādām lapām | Sniedz AI sistēmām ātru pārskatu Markdown |
| Ietekme uz redzamību | Tiešs: neviens, kas ir bloķēts, netiks rādīts ChatGPT meklēšanā | Nav dokumentēts |
| Izplatīt | Standarts gadu desmitiem, ko ievēro visas lielākās rāpuļprogrammas | Ierosinājums kopš 2024. gada, brīvprātīgs |
| Pūles | Dažas rindiņas, bet kļūdām ir lielas sekas | Pusstundu |
Avoti
- Džeremijs Hovards: Fails /llms.txt, 2024.gada 3.septembra priekšlikums
- Google meklēšanas centrs: AI funkcijas un jūsu vietne
- OpenAI: OpenAI rāpuļprogrammu pārskats
- Apjukums: Apjukuma rāpuļprogrammas
- Antropisks: Vai Anthropic pārmeklē datus no tīmekļa un kā vietņu īpašnieki var bloķēt rāpuļprogrammu?