Накратко
- За повечето фирми обучението на собствен ИИ не е нито необходимо, нито разумно. Обичайният подход се нарича Retrieval-Augmented Generation, накратко RAG.
- При RAG системата търси подходящи откъси във Вашите документи за всеки въпрос и кара езиковия модел да отговаря само въз основа на тях, с посочване на източника.
- Качеството зависи най-вече от Вашите документи: актуални, еднозначни, без дубликати и с ясни права за достъп.
- Езиковите модели могат да работят в центрове за данни в ЕС или на собствени сървъри. Локалният ИИ дава контрол, но изисква разходи за хардуер и поддръжка.
Да обучим собствен ИИ? Обикновено не е необходимо
Когато някой говори за „собствен ИИ“, често има предвид едно от четири неща. Те се различават значително по необходимите усилия и ползата:
| Подход | Какво се случва | Подходящо за | Ограничения |
|---|---|---|---|
| Предоставяне на документи в чата | Документи се качват за конкретен въпрос | Единични задачи, бързи тестове | Няма трайно запазено знание, няма управление на правата |
| RAG | Системата търси във Вашите документи и отговаря въз основа на намерените откъси | Ръководства, политики, продуктови знания, обслужване на клиенти | Резултатът зависи изцяло от качеството на документите |
| Фина настройка | Моделът се дообучава с примери | Единен стил, фиксирани формати, специализирани класификации | Неподходящо за променящи се факти, изисква усилия при всяка промяна |
| Обучение на собствен модел | Моделът се създава от нулата | Научни изследвания, много големи организации | На практика почти никога не е разумно за малки и средни предприятия |
За знания, които се променят, като цени, процеси или продуктови данни, RAG почти винаги е по-добрият избор. Фината настройка може да го допълни, когато стилът или форматът трябва да са много еднообразни.
Как работи RAG
Методът е описан през 2020 г. в публикация на изследователи, сред които Patrick Lewis, и днес е стандарт за приложения, работещи със знания. Опростено процесът изглежда така:
- Събиране на документи: Ръководства, политики, продуктови листове, договори, предишни отговори от хранилища като SharePoint, дискове или уикито.
- Разделяне: Документите се разделят на смислени откъси, например по заглавия.
- Подготовка за търсене: Всеки откъс получава математическо описание на смисъла си и се записва във векторна база данни, често допълнена с класическо търсене по ключови думи.
- Търсене: За всеки въпрос се намират най-подходящите откъси, при това само от документи, до които питащият има право на достъп.
- Отговор: Езиковият модел формулира отговора въз основа на тези откъси и посочва източниците. Ако отговорът не се съдържа в документите, той го заявява.
Типични приложения
- Вътрешни знания: Служителите питат за процеси, политики или отговорности и получават отговор с връзка към документа.
- Техническо обслужване: Сервизните техници намират правилното място в ръководствата и инструкциите за поддръжка, включително когато са на път.
- Обслужване на клиенти: Чатбот с ИИ или имейл асистент отговаря на въпроси въз основа на Вашите продуктови документи.
- Договори и тръжни процедури: Откъси за срокове, отговорност или изисквания се намират бързо в дълги документи.
Защо базите знания не дават резултат
- Остарели и дублирани документи: Ако в хранилището има три версии на една политика, ИИ може да намери грешната.
- Сканирани PDF файлове и таблици: Без добро разпознаване на текст и подготовка на данните се губи съдържание.
- Липсващи права за достъп: Ако ИИ вижда всичко, скоро всички ще виждат всичко, включително ведомостите за заплати. Правата за достъп трябва да се прилагат при търсенето.
- Липса на измерване: Без тестови въпроси с известни отговори никой не знае колко често системата отговаря правилно.
- Липса на източници: Отговорите без посочен източник не могат да се проверят и подкопават доверието.
Локален ИИ или облак в ЕС?
Има три начина за работа с езиковия модел. Големите доставчици предлагат моделите си в центрове за данни в ЕС и заявяват, че при бизнес предложенията и API по подразбиране не използват клиентските данни за обучение. Проверете това в договорните условия. Освен тях има европейски доставчици. Има и отворени модели, например от Mistral AI, Meta или Alibaba, които можете да изпълнявате на собствени сървъри.
Локалният ИИ дава пълен контрол върху данните. За него обаче са нужни подходящ хардуер с графични процесори, поддръжка и актуализации, а най-добрите отворени модели не достигат качеството на най-големите облачни модели при всяка задача. За много фирми разумният среден вариант е модел в център за данни в ЕС с ясен договор. Локалните модели си струват при особено чувствителни данни или много голям обем. Кой подход е подходящ за Вашите данни може да се изясни чрез консултация за ИИ.
Защита на данните и сигурност
Личните данни в документите си остават лични данни. Необходими са правно основание, договори за обработване на лични данни и правила за изтриване. В становище от декември 2024 г. Европейският комитет по защита на данните подробно разглежда моделите на ИИ и личните данни. OWASP изрично посочва уязвимостите във векторните системи и системите за векторни представяния като риск, например когато правата за достъп не се прилагат при търсене. Документите могат също да съдържат скрити инструкции, предназначени да манипулират системата. Затова: проверявайте правата при всяко търсене, контролирайте източниците, записвайте отговорите в дневник.
Първи стъпки
- Изберете една област от знания: например сервизни ръководства или вътрешни политики.
- Подредете документите: изтрийте остарелите версии, определете отговорници.
- Съберете тестови въпроси: от 30 до 50 реални въпроса с правилния отговор и източника.
- Пилотно въвеждане с една група: измерете резултатите, приложете обратната връзка и след това разширете обхвата.
Източници
- Lewis и др.: Генериране с допълнително извличане на информация за задачи по обработка на естествен език, изискващи много знания, NeurIPS 2020
- OWASP: Топ 10 за LLM приложения 2025
- Европейски комитет по защита на данните: Становище 28/2024 относно моделите на ИИ
- OpenAI: Защита на данните за корпоративни клиенти
- Регламент (ЕС) 2016/679 (Общ регламент относно защитата на данните): EUR-Lex