GEO · Tekniikka AI‑indeksointirobotti ja robots.txt: Aseta GPTBot, OAI-SearchBot ja Co. oikein

Kuinka tekoälyjärjestelmät lukevat verkkosivustoja

Tekoälyjärjestelmille on kolme pääsyä. Koulutusindeksoija kerätä tekstejä, joita käytetään tulevien mallien kouluttamiseen. Hakuindeksoija rakentaa oma hakemisto, josta järjestelmä valitsee ja linkittää lähteet kysymykselle. Hakee käyttäjän puolesta esiintyy, kun joku avaa tietyn sivun chatissa tai tekoäly tarkistaa siltä suorana vastauksen.

Hakurobotit ovat erityisen tärkeitä yrityksesi näkyvyyden kannalta. Jos estät OAI-SearchBotin, verkkosivustosi ei näy ChatGPT-hakuvastauksissa OpenAI:n mukaan. Estetty harjoitusindeksointirobotti puolestaan ​​tarkoittaa vain sitä, että sisältöäsi ei tule sisällyttää tuleviin harjoitustietoihin.

Tärkeimmät tekoälyindeksointirobotit yhdellä silmäyksellä

On kaksi erityistä asiaa, jotka sinun pitäisi tietää. OpenAI ja Perplexity huomauttavat, että heidän käyttäjän puolesta tekemänsä pyynnöt eivät aina kunnioita robots.txt-tiedostoa, koska ihminen on pyytänyt sivua. Ja Googlen mukaan Google Extendedillä ei ole vaikutusta siihen, näkyvätkö sivusi Google-hauissa tai miten ne sijoittuvat siellä. Tekoälykatsaukset ja tekoälytila ​​ovat osa hakua ja niitä ohjataan tavallisen Googlebotin kautta.

Kolme tyypillistä asetusta

Salli kaikki

Useimmille yrityksille tämä on oikea valinta: kaikki indeksointirobotit saavat lukea, lukuun ottamatta alueita, joista ei ole vierailijoille hyötyä.

Käyttäjäagentti: *
Disallow: /ostoskori/
Disallow: /sisäinen/
Sivustokartta: https://www.example.com/sitemap.xml

Näkyy tekoälyhauissa, mutta ei koulutusta

Jos et halua nähdä tekstejäsi harjoitustiedoissa, estä vain harjoitusindeksoijat ja ohjausmerkit. Hakurobotit kuuluvat yleissäännön piiriin ja ovat edelleen sallittuja.

Käyttäjäagentti: GPTBot
Käyttäjäagentti: ClaudeBot
Käyttäjäagentti: CCBot
Käyttäjäagentti: Google Extended
Käyttäjäagentti: Applebot Extended
Estä: /
Käyttäjäagentti: *
Salli: /
Sivustokartta: https://www.example.com/sitemap.xml

Mitä kannattaa ottaa huomioon

Koulutuksen keskeyttäminen on liikepäätös. Kielto koskee vain tulevia harjoitusajoja; jo oppimasi tieto säilyy. Monille pienille ja keskisuurille yrityksille on enemmän etua, jos mallit tietävät yrityksen nimen ja palvelut ilman verkkohakua. Julkaisijat ja maksulliset sisällöntuottajat päättävät usein eri tavalla.

Mitä EU:n lainsäädäntö sanoo siitä

EU:n tekijänoikeusdirektiivi sallii tekstien ja tietojen automaattisen arvioinnin, ellei oikeudenhaltija ole varannut siihen oikeutta verkossa julkaistulle sisällölle koneellisesti luettavassa muodossa (direktiivin 2019/790 4 artiklan 3 kohta). Tekoälyasetus velvoittaa yleiskäyttöisten tekoälymallien tarjoajat tunnistamaan tällaiset varaumat ja noudattamaan niitä (53 artiklan 1 kohdan c alakohta). Robots.txt on yleisin koneellisesti luettava tapa tähän. Sitä, riittääkö se tehokkaaksi varaumaksi joka tapauksessa, ei ole vielä oikeudellisesti selvitetty.

Yleisiä virheitä

• Yleinen uudelleenkäynnistyskielto: Estä: / kaikille indeksoijat tulevat usein testiympäristöstä ja pysyvät paikallaan julkaisun jälkeen.
• Botin suojalohkot, joissa: Jotkut palomuurit, isännöintipalveluntarjoajat ja robottien suojauspalvelut estävät tekoälyindeksoijat yksinään, vaikka robots.txt sallisi ne.
• Unohtuneet aliverkkotunnukset: Jokainen aliverkkotunnus, kuten shop.example.com, tarvitsee oman robots.txt-tiedoston.
• Väärät nimet: Isoilla ja pienillä kirjaimilla ei ole väliä, kirjoitusvirheillä on. "GPT-botti" ei estä ketään.
• Piilota salaisuudet robots.txt-tiedoston kautta: Tiedosto on julkinen. Jokainen, joka luettelee sisäisiä polkuja siellä, tekee niistä entistä löydettävissä.

Kuinka tarkistaa asenteesi

1. Soita https://ihre-domain/robots.txt selaimessa ja lue jokainen ryhmä.
2. Tarkista aliverkkotunnukset ja vanhat verkkotunnukset, jotka ovat edelleen tavoitettavissa.
3. Käytä Google Search Consolen robots.txt-raporttia.
4. Etsi palvelimen lokeista OAI-SearchBot, Claude-SearchBot ja PerplexityBot. Palveluntarjoajat julkaisevat IP-alueet, jotta todellinen ja väärennetty pääsy voidaan erottaa.
5. Kysy isännöinti- tai CDN-palveluntarjoajaltasi, estääkö bot-suojaus tekoäly-indeksoijat.

Muutokset vievät jonkin aikaa: OpenAI ja Perplexity sanovat, että niiden järjestelmissä kestää jopa 24 tuntia ottaa uusi robots.txt huomioon. Mittaamme, nimeävätkö tekoälyjärjestelmät yrityksesi GEO-toimisto ilmaisessa shekissä.