GEO · Tehnoloģija AI rāpuļprogramma un robots.txt: pareizi iestatiet GPTBot, OAI-SearchBot un Co.

Kā AI sistēmas lasa vietnes

AI sistēmām ir trīs piekļuves veidi. Apmācības rāpuļprogramma apkopot tekstus, kas tiks izmantoti nākotnes modeļu apmācībai. Meklēt rāpuļprogrammu izveidojiet savu indeksu, no kura sistēma atlasa un saista jautājuma avotus. Izgūst lietotāja vārdā rodas, kad kāds tērzēšanā atver noteiktu lapu vai AI pārbauda to tiešraidē, lai atrastu atbildi.

Meklēšanas rāpuļprogrammas ir īpaši svarīgas jūsu uzņēmuma redzamībai. Ja bloķēsit OAI-SearchBot, saskaņā ar OpenAI jūsu vietne netiks rādīta ChatGPT meklēšanas atbildēs. Savukārt bloķēta apmācības rāpuļprogramma nozīmē tikai to, ka jūsu saturu nevajadzētu iekļaut turpmākajos apmācības datos.

Vissvarīgākās mākslīgā intelekta rāpuļprogrammas īsumā

Ir divas īpašas lietas, kas jums jāzina. OpenAI un Perplexity norāda, ka viņu pieprasījumos lietotāja vārdā ne vienmēr tiek ievērots fails robots.txt, jo lapu ir pieprasījis cilvēks. Un saskaņā ar Google datiem, Google Extended neietekmē to, vai jūsu lapas tiek rādītas Google meklējumos vai to rangs. AI pārskati un AI režīms ir daļa no meklēšanas un tiek kontrolēti, izmantojot parasto Googlebot.

Trīs tipiski iestatījumi

Atļaut visu

Lielākajai daļai uzņēmumu tā ir pareizā izvēle: lasīt ir atļauts visiem rāpuļprogrammām, izņemot vietas, kas apmeklētājiem nav noderīgas.

Lietotāja aģents: *
Neatļaut: /iepirkumu grozs/
Neatļaut: /iekšējais/
Vietnes karte: https://www.example.com/sitemap.xml

Redzams AI meklējumos, bet bez apmācības

Ja nevēlaties redzēt savus tekstus treniņu datos, vienkārši bloķējiet apmācības rāpuļprogrammas un vadības rakstzīmes. Uz meklēšanas rāpuļprogrammām attiecas vispārējais noteikums, un tās joprojām ir atļautas.

Lietotāja aģents: GPTBot
Lietotāja aģents: ClaudeBot
Lietotāja aģents: CCBot
Lietotāja aģents: Google Extended
Lietotāja aģents: Applebot Extended
Neatļaut: /
Lietotāja aģents: *
Atļaut: /
Vietnes karte: https://www.example.com/sitemap.xml

Kas jums jāņem vērā

Tas, vai pārtraukt apmācību, ir biznesa lēmums. Aizliegums attiecas tikai uz turpmākiem treniņiem; paliek jau apgūtās zināšanas. Daudziem maziem un vidējiem uzņēmumiem tā ir lielāka priekšrocība, ja modeļi zina uzņēmuma nosaukumu un pakalpojumus pat bez meklēšanas tīmeklī. Izdevēji un maksas satura nodrošinātāji bieži izlemj atšķirīgi.

Ko par to saka ES tiesību akti

ES Autortiesību direktīva ļauj automatizēti novērtēt tekstus un datus, ja vien tiesību īpašnieks nav rezervējis tiesības to darīt saturam, kas publicēts tiešsaistē mašīnlasāmā formā (Direktīvas 2019/790 4. panta 3. punkts). AI regula uzliek pienākumu vispārējas nozīmes AI modeļu nodrošinātājiem atzīt un ievērot šādas atrunas (53. panta 1. punkta c) apakšpunkts). Fails robots.txt ir visizplatītākais mašīnlasāmais līdzeklis šim nolūkam. Tas, vai katrā gadījumā pietiek ar efektīvu atrunu, vēl nav juridiski noskaidrots.

Biežas kļūdas

• Vispārējs atkārtotas palaišanas aizliegums: Neatļaut: / visiem rāpuļprogrammām bieži vien nāk no testa vides un paliek nemainīga pēc tiešraides.
• Botu aizsardzības bloki ar: Daži ugunsmūri, mitināšanas pakalpojumu sniedzēji un robotu aizsardzības pakalpojumi bloķē mākslīgā intelekta rāpuļprogrammas paši par sevi, pat ja fails robots.txt to atļauj.
• Aizmirsti apakšdomēni: Katram apakšdomēnam, piemēram, veikals.example.com, ir nepieciešams savs robots.txt.
• Nepareizi nosaukumi: Lielajiem un mazajiem burtiem nav nozīmes, drukas kļūdām ir nozīme. “GPT robots” nevienu neaizliedz.
• Slēpt noslēpumus, izmantojot robots.txt: Fails ir publisks. Ikviens, kurš tur uzskaita iekšējos ceļus, padara tos vēl atklājamākus.

Kā pārbaudīt savu attieksmi

1. Zvaniet https://ihre-domain/robots.txt pārlūkprogrammā un izlasiet katru grupu.
2. Pārbaudiet apakšdomēnus un vecos domēnus, kas joprojām ir sasniedzami.
3. Izmantojiet Google Search Console pārskatu robots.txt.
4. Meklējiet servera žurnālos OAI-SearchBot, Claude-SearchBot un PerplexityBot. Pakalpojumu sniedzēji publicē savus IP diapazonus, lai varētu atšķirt īstu un viltus piekļuvi.
5. Jautājiet savam mitināšanas vai CDN nodrošinātājam, vai robotprogrammatūras aizsardzība bloķē AI rāpuļprogrammas.

Izmaiņas aizņem kādu laiku: OpenAI un Perplexity apgalvo, ka paiet līdz 24 stundām, līdz to sistēmās tiek ņemts vērā jauns robots.txt fails. Mēs novērtējam, vai AI sistēmas patiešām nosauc jūsu uzņēmumu GEO aģentūra bezmaksas čekā.