Lühidalt
- llms.txt on 2024. aasta ettepanek: juurkataloogis olev Markdowni fail, mis annab AI‑süsteemidele teie veebisaidist kiire ülevaate.
- Google kirjutab, et tehisintellekti ülevaadete ja AI‑režiimi jaoks pole vaja uusi masinloetavaid faile ega AI tekstifaile.
- Praegu puuduvad usaldusväärsed tõendid selle kohta, et suured tehisintellekti otsingusüsteemid kasutaksid seda faili soovituste andmiseks.
- See maksab vähe ja ei kahjusta. Olulisem on avatud indeksoijad, hõlpsasti loetavad lehed ja puhtad struktuuriandmed.
Mis on llms.txt
Idee pärineb Jeremy Howardilt, kes avaldas selle saidil llmstxt.org 2024. aasta septembris. Veebisaidid peaksid pakkuma keelemudelitele ja tehisintellekti agentidele Markdownis kompaktset kokkuvõtet: kes nad on, mis on veebisaidil ja millised lehed on millise küsimuse jaoks olulised. Taust seisneb selles, et AI‑süsteemid töötlevad korraga vaid piiratud hulga teksti, kui töötavaid ja täisväärtuslikke veebisaite koos menüüde, skriptide ja reklaamidega on raske lugeda.
Fail asub tavaliselt allpool /llms.txt juurkataloogis, kuid vastavalt ettepanekule võib see olla ka alamkaustas ja rakendub siis allolevatele aadressidele. Mõned veebisaidid pakuvad seda ka llms-full.txt kogu tekstiga. See on tavaline täiendus, mitte osa põhiettepanekust.
Nii on fail üles ehitatud
Ettepanekus on määratud kindel järjekord. Ainult esimene rida on kohustuslik:
- Esimese taseme pealkiri veebisaidi või ettevõtte nimega.
- Tsitaadi blokk ühes või kahes lauses lühikese kokkuvõttega.
- Tasuta lõigud või loendid olulise teabega, ilma täiendavate pealkirjadeta.
- Teise taseme pealkirjadega jaotised, millest igaüks sisaldab linkide loendit, soovi korral koos kooloniga lühikese kirjeldusega.
- Jaotis „Valikuline”. linkide jaoks, mille AI‑süsteem võib välja jätta, kui sellel on piiratud ruumi.
Käsitööettevõtte jaoks võib see välja näha järgmine:
# Muster Elektrotechnik GmbH
> Elektripaigaldis, fotogalvaanika ja seinakarbid era- ja ärikasutuseks Linzis, Welsis ja lähiümbruses.
Kiirabi tööpäeviti kell 7-18. Pärast vaatamist tasuta pakkumised.
## Teenused
* [Fotogalvaaniline](https://www.muster-elektro.at/photovoltaik/): Planeerimise, komplekteerimise, rahastamise nõustamine
* [Seinakast](https://www.muster-elektro.at/wallbox/): Paigaldamine koju ja ettevõttesse
## Ettevõtted
* [Kontakt ja lahtiolekuajad](https://www.muster-elektro.at/kontakt/)
## Valikuline
* [Korduma kippuvad küsimused](https://www.muster-elektro.at/fragen/)
Mida fail toob ja mida mitte
Siin tasub kaine pilk peale visata. Google kirjutab oma märkustes tehisintellekti funktsioonide kohta, et te ei vaja uusi masinloetavaid faile, AI tekstifaile ega spetsiaalset märgistust, et need ilmuksid AI ülevaadetes või AI‑režiimis. OpenAI kirjeldab oma roomajate ülevaates, kuidas ChatGPT otsingus nähtavust kontrollitakse faili robots.txt kaudu; faili llms.txt seal ei kuvata. Juurdepääs on samuti oluline Perplexity ja Claude, siin PerplexityBoti ja Claude-SearchBoti jaoks.
Praegu puuduvad avalikult dokumenteeritud tõendid selle kohta, et ChatGPT, Gemini või Perplexity soovitaksid ettevõtteid sagedamini faili llms.txt tõttu. Fail on kasulik siis, kui AI agendid toovad välja konkreetse sisu, näiteks tehnilise dokumentatsiooni, mida arendajad otsivad AI‑assistentidega. Kohaliku ettevõtte jaoks on see pigem korralik masinate visiitkaart kui teekond rohkemate päringute juurde. Sellel lehel kirjeldatakse, mida veel AI vastustes mainimiseks loetakse Generatiivne mootori optimeerimine.
Meie soovitus
Looge fail llms.txt, kui teie veebisait on valmis ja olulisemate punktide eest hoolitsetud. Planeerige selleks pool tundi, mitte projekti. Peaksite olema kriitiline nende pakkujate lubaduste suhtes, kes müüvad faili llms.txt ChatGPT võtmena.
Nii saate luua faili llms.txt
- Määra sisu: Nimi, üks kuni kaks lauset, mida te teete ja kus, pluss viis kuni viisteist kõige olulisemat lehekülge.
- Kirjuta fail: Piisab lihtsast tekstiredaktorist. Salvestage fail nime all UTF-8-ga
llms.txt. - Laadi üles: Asetage fail juurkataloogi nii, et see oleks all
teie-domeen.at/llms.txton kättesaadav. WordPressis ja teistes süsteemides on selleks laiendusi. - Kontrollige: Helistage brauseris aadress. Fail peab ilmuma tekstina, sisse logimata ja avalehele suunamata.
- Hoolda: Kui teenused või aadressid muutuvad, muutke ka faili llms.txt. Aegunud teave on kahjulikum kui puuduv fail.
Mis on tähtsam kui llms.txt
- Fail robots.txt lubab OAI-SearchBot, Googlebot, Bingbot, PerplexityBot ja Claude-SearchBot.
- Kõige olulisem sisu on HTML-is ja mitte pärast JavaScripti laadimist.
- Igal teenusel on oma leht, millel on selge pealkiri ja asukoht.
- Struktuuriandmed vastavalt Schema.org-ile kirjeldavad ettevõtet, asukohta ja teenuseid.
- Google'i ettevõtte profiil ja kataloogid sisaldavad sama ettevõtte teavet, mis veebisait.
- Praegune saidikaart sisestatakse faili robots.txt.
llms.txt ja robots.txt võrdluseks
| robots.txt | llms.txt | |
|---|---|---|
| Eesmärk | Reguleerib, millised roomajad millistele lehtedele juurde pääsevad | Annab AI‑süsteemidele Markdownis kiire ülevaate |
| Mõju nähtavusele | Otsene: kedagi, kes on blokeeritud, ei kuvata ChatGPT otsingus | Pole dokumenteeritud |
| Levitada | Standard juba aastakümneid, mida austavad kõik suuremad roomajad | Ettepanek aastast 2024, vabatahtlik |
| Pingutus | Paar rida, aga vigadel on suured tagajärjed | Pool tundi |
Allikad
- Jeremy Howard: /llms.txt fail, 03.09.2024 ettepanek
- Google'i otsingukeskus: AI funktsioonid ja teie veebisait
- OpenAI: Ülevaade OpenAI indeksoijatest
- Hämmeldus: Hämmelduse indeksoijad
- Antroopne: Kas Anthropic roomab andmeid veebist ja kuidas saavad saidi omanikud roomaja blokeerida?