Με λίγα λόγια
- Το llms.txt είναι μια πρόταση από το 2024: ένα αρχείο Markdown στον ριζικό κατάλογο που δίνει στα συστήματα AI μια γρήγορη επισκόπηση του ιστότοπού σας.
- Η Google γράφει ότι δεν χρειάζεστε νέα αρχεία αναγνώσιμα από μηχανή ή αρχεία κειμένου AI για επισκοπήσεις AI και λειτουργία AI.
- Επί του παρόντος δεν υπάρχουν αξιόπιστα στοιχεία ότι τα μεγάλα συστήματα αναζήτησης AI χρησιμοποιούν το αρχείο για συστάσεις.
- Κοστίζει λίγο και δεν κάνει κακό. Τα ανοιχτά προγράμματα ανίχνευσης, οι ευανάγνωστες σελίδες και τα καθαρά δομικά δεδομένα είναι πιο σημαντικά.
Τι είναι το llms.txt
Η ιδέα προέρχεται από τον Jeremy Howard, ο οποίος τη δημοσίευσε στο llmstxt.org τον Σεπτέμβριο του 2024. Οι ιστότοποι θα πρέπει να προσφέρουν στα μοντέλα γλώσσας και στους πράκτορες τεχνητής νοημοσύνης μια συμπαγή σύνοψη στο Markdown: ποιοι είναι, τι υπάρχει στον ιστότοπο και ποιες σελίδες είναι σημαντικές για ποια ερώτηση. Το υπόβαθρο είναι ότι τα συστήματα τεχνητής νοημοσύνης επεξεργάζονται μόνο περιορισμένο αριθμό κειμένου τη στιγμή που οι λειτουργικοί και πλήρεις ιστότοποι με μενού, σενάρια και διαφημίσεις είναι δύσκολο να διαβαστούν.
Το αρχείο βρίσκεται συνήθως παρακάτω /llms.txt στον ριζικό κατάλογο, αλλά σύμφωνα με την πρόταση μπορεί να βρίσκεται και σε υποφάκελο και μετά να ισχύει για τις παρακάτω διευθύνσεις. Ορισμένοι ιστότοποι προσφέρουν επίσης ένα llms-full.txt με ολόκληρο το κείμενο. Αυτή είναι μια κοινή προσθήκη, όχι μέρος της βασικής πρότασης.
Έτσι είναι δομημένο το αρχείο
Η πρόταση καθορίζει μια σταθερή σειρά. Μόνο η πρώτη γραμμή είναι υποχρεωτική:
- Επικεφαλίδα πρώτου επιπέδου με το όνομα της ιστοσελίδας ή της εταιρείας.
- Μπλοκ προσφοράς με μια σύντομη περίληψη σε μία ή δύο προτάσεις.
- Δωρεάν παράγραφοι ή λίστες με σημαντικές πληροφορίες, χωρίς περαιτέρω επικεφαλίδες.
- Ενότητες με επικεφαλίδες δεύτερου επιπέδου, το καθένα περιέχει μια λίστα συνδέσμων, προαιρετικά με μια σύντομη περιγραφή μετά από άνω και κάτω τελεία.
- Μια ενότητα "Προαιρετικό". για συνδέσμους που ένα σύστημα AI μπορεί να αφήσει έξω εάν έχει περιορισμένο χώρο.
Για μια βιοτεχνική επιχείρηση μπορεί να μοιάζει με αυτό:
# Muster Elektrotechnik GmbH
> Ηλεκτρική εγκατάσταση, φωτοβολταϊκά και επιτοίχια κιβώτια για ιδιωτική και εμπορική χρήση στο Linz, Wels και στη γύρω περιοχή.
Υπηρεσία έκτακτης ανάγκης τις καθημερινές από τις 7 π.μ. έως τις 6 μ.μ. Δωρεάν προσφορές μετά την προβολή.
## Υπηρεσίες
* [Φωτοβολταϊκά](https://www.muster-elektro.at/photovoltaik/): Συμβουλές προγραμματισμού, συναρμολόγησης, χρηματοδότησης
* [Wallbox](https://www.muster-elektro.at/wallbox/): Εγκατάσταση για σπίτι και επαγγελματικό χώρο
## Εταιρείες
* [Ώρες επικοινωνίας και ανοίγματος](https://www.muster-elektro.at/kontakt/)
## Προαιρετικό
* [Συχνές ερωτήσεις](https://www.muster-elektro.at/fragen/)
Τι φέρνει το αρχείο και τι όχι
Αξίζει να ρίξετε μια νηφάλια ματιά εδώ. Η Google γράφει στις σημειώσεις της σχετικά με τα χαρακτηριστικά τεχνητής νοημοσύνης ότι δεν χρειάζεστε νέα αρχεία αναγνώσιμα από μηχανή, αρχεία κειμένου AI ή ειδική σήμανση για να εμφανίζονται σε επισκόπηση τεχνητής νοημοσύνης ή σε λειτουργία τεχνητής νοημοσύνης. Στην επισκόπηση των προγραμμάτων ανίχνευσης, το OpenAI περιγράφει πώς ελέγχεται η ορατότητα στην αναζήτηση ChatGPT μέσω του robots.txt. ένα llms.txt δεν εμφανίζεται εκεί. Η πρόσβαση είναι επίσης κρίσιμη για το Perplexity και τον Claude, εδώ για το PerplexityBot και το Claude-SearchBot.
Επί του παρόντος, δεν υπάρχουν δημόσια τεκμηριωμένα στοιχεία ότι τα ChatGPT, Gemini ή Perplexity συνιστούν εταιρείες πιο συχνά λόγω ενός llms.txt. Το αρχείο είναι χρήσιμο όταν οι πράκτορες τεχνητής νοημοσύνης ανακτούν συγκεκριμένο περιεχόμενο, όπως τεχνική τεκμηρίωση που αναζητούν οι προγραμματιστές με βοηθούς τεχνητής νοημοσύνης. Για μια τοπική εταιρεία, είναι περισσότερο μια προσεγμένη επαγγελματική κάρτα για μηχανές παρά μια διαδρομή για περισσότερες έρευνες. Η σελίδα περιγράφει τι άλλο μετράει για αναφορά στις απαντήσεις AI Generative Engine Optimization.
Η σύστασή μας
Δημιουργήστε ένα llms.txt όταν ο ιστότοπός σας είναι έτοιμος και λειτουργεί και τα πιο σημαντικά σημεία έχουν ληφθεί μέριμνα. Προγραμματίστε μισή ώρα για αυτό, όχι ένα έργο. Θα πρέπει να είστε επικριτικοί με τις υποσχέσεις που δίνονται από παρόχους που πωλούν ένα llms.txt ως κλειδί στο ChatGPT.
Έτσι δημιουργείτε ένα llms.txt
- Ορισμός περιεχομένου: Όνομα, μία έως δύο προτάσεις, τι κάνετε και πού, συν τις πέντε έως δεκαπέντε πιο σημαντικές σελίδες σας.
- Γράψτε το αρχείο: Αρκεί ένας απλός επεξεργαστής κειμένου. Αποθηκεύστε το αρχείο ως UTF-8 κάτω από το όνομα
llms.txt. - Μεταφόρτωση: Τοποθετήστε το αρχείο στον ριζικό κατάλογο έτσι ώστε να βρίσκεται κάτω
your-domain.at/llms.txtείναι προσβάσιμο. Υπάρχουν επεκτάσεις για αυτό στο WordPress και σε άλλα συστήματα. - Έλεγχος: Καλέστε τη διεύθυνση στο πρόγραμμα περιήγησης. Το αρχείο πρέπει να εμφανίζεται ως κείμενο, χωρίς σύνδεση και χωρίς ανακατεύθυνση στην αρχική σελίδα.
- Διατήρηση: Εάν αλλάξουν οι υπηρεσίες ή οι διευθύνσεις, αλλάξτε επίσης το llms.txt. Οι ξεπερασμένες πληροφορίες είναι πιο επιζήμιες από ένα αρχείο που λείπει.
Τι είναι πιο σημαντικό από το llms.txt
- Το robots.txt επιτρέπει τα OAI-SearchBot, Googlebot, Bingbot, PerplexityBot και Claude-SearchBot.
- Το πιο σημαντικό περιεχόμενο βρίσκεται στο HTML και όχι μετά τη φόρτωση του JavaScript.
- Κάθε υπηρεσία έχει τη δική της σελίδα με σαφή επικεφαλίδα και τοποθεσία.
- Τα δομικά δεδομένα σύμφωνα με το Schema.org περιγράφουν την εταιρεία, την τοποθεσία και τις υπηρεσίες.
- Το εταιρικό προφίλ και οι κατάλογοι της Google περιέχουν τις ίδιες πληροφορίες εταιρείας με τον ιστότοπο.
- Ένας τρέχων χάρτης ιστότοπου εισάγεται στο robots.txt.
llms.txt και robots.txt σε σύγκριση
| robots.txt | llms.txt | |
|---|---|---|
| Σκοπός | Ρυθμίζει ποια προγράμματα ανίχνευσης επιτρέπεται να έχουν πρόσβαση σε ποιες σελίδες | Δίνει στα συστήματα AI μια γρήγορη επισκόπηση στο Markdown |
| Επίδραση στην ορατότητα | Απευθείας: Όποιος έχει αποκλειστεί δεν θα εμφανίζεται στην αναζήτηση ChatGPT | Δεν τεκμηριώνεται |
| Διαδώστε | Πρότυπο εδώ και δεκαετίες, σεβαστό από όλα τα μεγάλα προγράμματα ανίχνευσης | Πρόταση από το 2024, εθελοντική |
| Προσπάθεια | Λίγες γραμμές, αλλά τα λάθη έχουν μεγάλες συνέπειες | Μισή ώρα |
Πηγές
- Τζέρεμι Χάουαρντ: Το αρχείο /llms.txt, πρόταση της 3ης Σεπτεμβρίου 2024
- Google Search Central: Τα χαρακτηριστικά AI και ο ιστότοπός σας
- OpenAI: Επισκόπηση των ανιχνευτών OpenAI
- Αμηχανία: Ανιχνευτές Perplexity
- Anthropic: Ανιχνεύει το Anthropic δεδομένα από τον ιστό και πώς μπορούν οι κάτοχοι ιστοτόπων να αποκλείσουν το πρόγραμμα ανίχνευσης;