GEO · Технически аспекти robots.txt и ИИ роботи за обхождане: правилни настройки за GPTBot, OAI-SearchBot и други

Как ИИ системите четат сайтове

При ИИ системите има три вида достъп. Роботите за обучение събират текстове, с които се обучават бъдещи модели. Роботите за търсене изграждат собствен индекс, от който системата избира източници при въпрос и предоставя връзки към тях. Извличане по заявка на потребител се извършва, когато някой поиска в чата да бъде отворена конкретна страница или ИИ направи справка в реално време за отговор.

За видимостта на Вашето предприятие са важни преди всичко роботите за търсене. Ако блокирате OAI-SearchBot, според OpenAI Вашият сайт няма да се появява в отговорите от търсенето на ChatGPT. Блокирането на робот за обучение обаче означава само, че съдържанието Ви не следва да влиза в бъдещи данни за обучение.

Преглед на най-важните ИИ роботи за обхождане

Добре е да знаете две особености. OpenAI и Perplexity посочват, че при извличане по заявка на потребител техните системи невинаги спазват robots.txt, защото човек е поискал страницата. А според Google Google-Extended не влияе върху това дали Вашите страници се появяват в търсенето на Google или как се класират там. AI Overviews и режимът с ИИ са част от търсенето и се управляват чрез обичайния Googlebot.

Три типични настройки

Разрешаване на всичко

За повечето предприятия това е правилният избор: всички роботи за обхождане могат да четат, с изключение на разделите без полза за посетителите.

User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Sitemap: https://www.example.com/sitemap.xml

Видимост в ИИ търсачките, но без обучение

Който не иска текстовете му да попадат в данни за обучение, блокира само роботите за обучение и управляващите идентификатори. Роботите за търсене попадат под общото правило и остават разрешени.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Какво е добре да обмислите

Дали да блокирате обучението е бизнес решение. Блокирането действа само за бъдещи обучения, вече усвоените знания остават. За много малки и средни предприятия е по-скоро предимство моделите да познават името на фирмата и услугите ѝ и без търсене в интернет. Издателите и доставчиците на платено съдържание често решават друго.

Какво предвижда правото на ЕС

Директивата на ЕС за авторското право позволява автоматизиран анализ на текстове и данни, освен когато носителят на правата е запазил правата си по отношение на това използване в машинночетима форма за публикуваното онлайн съдържание (Art. 4 Abs. 3 от Директива 2019/790). Регламентът за ИИ задължава доставчиците на модели на ИИ с общо предназначение да разпознават и спазват такова запазване на права (Art. 53 Abs. 1, буква c). robots.txt е най-разпространеното машинночетимо средство за това. Дали във всеки случай е достатъчно за валидно запазване на права все още не е окончателно изяснено от правна гледна точка.

Чести грешки

• Общо блокиране, останало след обновяване на сайта: Disallow: / за всички роботи за обхождане често идва от тестова среда и остава след публикуването на сайта.
• Защитата от ботове също блокира: Някои защитни стени, хостинг доставчици и услуги за защита от ботове блокират ИИ роботи за обхождане по подразбиране, дори когато robots.txt ги разрешава.
• Забравени поддомейни: Всеки поддомейн, например shop.example.com, се нуждае от собствен robots.txt.
• Грешни имена: Главните и малките букви нямат значение, но печатните грешки имат. „GPT-Bot“ не блокира никого.
• Скриване на тайна информация чрез robots.txt: Файлът е публичен. Изброяването на вътрешни пътища в него само ги прави по-лесни за откриване.

Как да проверите настройката си

1. Отворете https://ihre-domain/robots.txt в браузъра и прочетете всяка група.
2. Проверете поддомейните и старите домейни, които все още са достъпни.
3. Използвайте отчета за robots.txt в Google Search Console.
4. Потърсете OAI-SearchBot, Claude-SearchBot и PerplexityBot в сървърните дневници. Доставчиците публикуват своите IP диапазони, за да могат истинските заявки да се различават от подправените.
5. Попитайте Вашия хостинг или CDN доставчик дали защитата от ботове блокира ИИ роботи за обхождане.

Промените отнемат известно време: OpenAI и Perplexity посочват до 24 часа, преди системите им да вземат предвид нов robots.txt. Дали след това ИИ системите действително споменават Вашето предприятие, измерваме като GEO агенция в безплатната проверка.