Ar turėčiau uždrausti GPTBot?

Tai priklauso nuo jūsų tikslų. GPTBot draudimas turi įtakos tik būsimų modelių mokymui. OAI-SearchBot yra atsakinga už matomumą ChatGPT paieškoje, ir jūs galite tai leisti atskirai.

Ar dingsiu iš „Google“, jei užblokuosiu „Google Extended“?

Ne. „Google“ aiškiai nurodo, kad „Google Extended“ neturi įtakos įtraukimui į „Google“ paieškas ar reitingus. AI apžvalgos valdomos naudojant įprastus „Googlebot“ ir fragmentų nustatymus.

Ar visos tikrinimo programos laikosi robots.txt?

Pagrindiniai tiekėjai atsižvelgia į juos automatiškai tikrindami. Paieškos vartotojo vardu kartais neįtraukiamos, o abejotinos tikrinimo programos nepaiso failo. Pagal standartą robots.txt aiškiai nėra prieigos kontrolė.

Ar man taip pat reikia llms.txt?

Nebūtina matomumui. Labai svarbu, kad tikrintuvams būtų leista skaityti ir kad jūsų turinys būtų aiškus. Kokią llms.txt atneša, o ko ne, yra mūsų straipsnyje.

Kaip greitai pakeitimas įsigalioja?

OpenAI ir Perplexity mini iki 24 valandų. Standartas numato, kad tikrinimo programos paprastai nenaudoja talpykloje esančio robots.txt ilgiau nei 24 valandas.

Teisingai nustatykite AI tikrintuvus ir robots.txt

Trumpai

Daugelis dirbtinio intelekto pardavėjų atskiria mokomuosius skaitytuvus nuo paieškos robotų. Abi gali būti valdomos atskirai robots.txt.
Jei norite, kad „ChatGPT“, „Claude“ ar „Perplexity“ būtų rodomas kaip šaltinis, turėtumėte bent jau leisti „OAI-SearchBot“, „Claude-SearchBot“ ir „PerplexityBot“.
„Google-Extended“ reguliuoja mokymą ir įžeminimą „Gemini“ ir „Vertex AI“, o ne įtraukimą į „Google“ paiešką.
Robots.txt yra užklausa tikrintuvams, o ne prieigos blokas. Konfidencialūs dalykai yra už slaptažodžio.

Kaip AI sistemos skaito svetaines

Yra trys AI sistemų prieigos tipai. Mokymo vikšrinė rinkti tekstus, kurie bus naudojami mokant būsimus modelius. Paieškos robotas sukurti savo indeksą, iš kurio sistema atrenka ir susieja klausimo šaltinius. Gaunama vartotojo vardu įvyksta, kai kas nors atidaro konkretų puslapį pokalbyje arba AI tiesiogiai patikrina, ar nėra atsakymo.

Paieškos tikrinimo programos yra ypač svarbios jūsų įmonės matomumui. Jei užblokuosite OAI-SearchBot, jūsų svetainė nebus rodoma ChatGPT paieškos atsakymuose, remiantis OpenAI. Kita vertus, užblokuota mokymo programa reiškia tik tai, kad jūsų turinys neturėtų būti įtrauktas į būsimus mokymo duomenis.

Iš pirmo žvilgsnio svarbiausios AI tikrinimo programos

Teikėjas	Pavadinimas faile robots.txt	Tikslas
OpenAI	GPTBot	Ateities modelių mokymas
OpenAI	OAI SearchBot	Ieškokite „ChatGPT“, šaltinių ir nuorodų
OpenAI	ChatGPT vartotojas	Gaunama, kai vartotojui reikia puslapio pokalbyje
Antropinis	ClaudeBot	Ateities modelių mokymas
Antropinis	Claude SearchBot	Claude paieškos indeksas
Antropinis	Claude'o vartotojas	Naudotojo klausimo paieška
Sumišimas	PerplexityBot	Paieškos ir nuorodos „Perplexity“, paslaugų teikėjo teigimu, jokio mokymo
Sumišimas	Sumaišties vartotojas	Naudotojo klausimo paieška
Google	„Google Extended“.	Ne nuosavas skaitytuvas, o Dvynių treniruočių ir įžeminimo valdymo žetonas
Apple	„Applebot Extended“.	Ne sava, o valdymo simbolis, skirtas Apple modelių mokymui
Įprastas nuskaitymas	CCBot	Atviras žiniatinklio archyvas, kuris dažnai naudojamas kaip mokymo pagrindas

Yra du ypatingi dalykai, kuriuos turėtumėte žinoti. „OpenAI“ ir „Perplexity“ pabrėžia, kad jų užklausos vartotojo vardu ne visada paiso robots.txt, nes žmogus paprašė puslapio. „Google“ teigimu, „Google Extended“ neturi jokios įtakos tam, ar jūsų puslapiai rodomi „Google“ paieškose ar kaip jie ten reitinguojami. AI apžvalgos ir AI režimas yra paieškos dalis ir valdomi naudojant įprastą „Googlebot“.

Trys tipiniai nustatymai

Leisti viskam

Daugeliui įmonių tai yra teisingas pasirinkimas: skaityti leidžiama visiems skaitytuvams, išskyrus tas sritis, kurios lankytojams nenaudingos.

Vartotojo agentas: *
Neleisti: /pirkinių krepšelis/
Neleisti: /vidinis/
Svetainės žemėlapis: https://www.example.com/sitemap.xml

Matoma AI paieškoje, bet nėra mokymo

Jei nenorite matyti savo tekstų treniruočių duomenyse, tiesiog užblokuokite mokymo tikrinimo programas ir valdymo simbolius. Paieškos tikrintuvams taikoma bendroji taisyklė ir jie tebėra leidžiami.

Vartotojo agentas: GPTBot
Vartotojo agentas: ClaudeBot
Vartotojo agentas: CCBot
Vartotojo agentas: „Google Extended“.
Vartotojo agentas: Applebot Extended
Neleisti: /
Vartotojo agentas: *
Leisti: /
Svetainės žemėlapis: https://www.example.com/sitemap.xml

Ką turėtumėte apsvarstyti

Ar sustabdyti mokymus yra verslo sprendimas. Draudimas taikomas tik būsimiems treniruočių važiavimams; išlieka žinios, kurias jau išmokote. Daugeliui mažų ir vidutinių įmonių yra daugiau privalumas, jei modeliai žino įmonės pavadinimą ir paslaugas net be paieškos internete. Leidėjai ir mokamo turinio teikėjai dažnai nusprendžia skirtingai.

Ką apie tai sako ES teisės aktai

ES autorių teisių direktyva leidžia automatizuotai vertinti tekstus ir duomenis, nebent teisių turėtojas pasiliko teisę tai daryti turiniui, paskelbtam internete mašininio skaitymo forma (Direktyvos 2019/790 4 str. 3 d.). AI reglamentas įpareigoja bendrosios paskirties AI modelių teikėjus pripažinti tokias išlygas ir jų laikytis (53 straipsnio 1 dalies c punktas). Robots.txt yra labiausiai paplitusi mašininio skaitymo priemonė. Dar nėra teisiškai išaiškinta, ar to visais atvejais pakanka kaip veiksmingą išlygą.

Dažnos klaidos

Bendras draudimas pakartotinai paleisti: Neleisti: / nes visi tikrintuvai dažnai gaunami iš bandomosios aplinkos ir lieka stovėti po to, kai jie pradeda veikti.
Boto apsaugos blokai su: Kai kurios ugniasienės, prieglobos paslaugų teikėjai ir robotų apsaugos paslaugos blokuoja AI tikrinimo programas, net jei tai leidžia robots.txt.
Pamiršau padomenius: Kiekvienam padomeniui, pvz., shop.example.com, reikia savo robots.txt.
Klaidingi vardai: Didžiosios ir mažosios raidės nesvarbu, rašybos klaidos. „GPT robotas“ niekam nedraudžia.
Slėpti paslaptis naudojant robots.txt: Failas yra viešas. Kiekvienas, kuris ten išvardija vidinius kelius, daro juos dar labiau atrandamus.

Kaip patikrinti savo požiūrį

Skambinti https://ihre-domain/robots.txt naršyklėje ir perskaitykite kiekvieną grupę.
Patikrinkite padomenius ir senus domenus, kurie vis dar pasiekiami.
Naudokite robots.txt ataskaitą „Google Search Console“.
Serverio žurnaluose ieškokite OAI-SearchBot, Claude-SearchBot ir PerplexityBot. Teikėjai skelbia savo IP diapazonus, kad būtų galima atskirti tikrą ir netikrą prieigą.
Paklauskite savo prieglobos arba CDN teikėjo, ar roboto apsauga blokuoja AI tikrinimo programas.

Pakeitimai užtrunka šiek tiek laiko: „OpenAI“ ir „Perplexity“ teigia, kad užtrunka iki 24 valandų, kol jų sistemos atsižvelgs į naują robots.txt failą. Matuojame, ar AI sistemos iš tikrųjų įvardija jūsų įmonę GEO agentūra nemokamame čeke.

Šaltiniai

OpenAI: OpenAI Crawlers apžvalga
Antropinis: Ar Anthropic tikrina duomenis iš žiniatinklio ir kaip svetainių savininkai gali blokuoti tikrintuvą?
Sumaištis: Perplexity Crawlers
„Google“ paieškos centras: Įprastos „Google“ tikrinimo programos, „Google Extended“.
Apple: Apie Applebot
Įprastas tikrinimas: CCBot
IETF: RFC 9309 Robots Exclusion Protocol
Direktyvos (ES) 2019/790 dėl autorių teisių skaitmeninėje vidaus rinkoje str. 4: EUR-Lex
Reglamentas (ES) 2024/1689 dėl dirbtinio intelekto, str. 53: EUR-Lex

GEO · Technologijos AI crawler ir robots.txt: teisingai nustatykite GPTBot, OAI-SearchBot ir Co.