Stručne
- Trénovať vlastnú AI nie je pre väčšinu firiem potrebné ani zmysluplné. Bežný postup sa nazýva Retrieval-Augmented Generation, skrátene RAG.
- Pri RAG systém ku každej otázke vyhľadá vhodné časti vo Vašich dokumentoch a nechá jazykový model odpovedať iba na ich základe, s uvedením zdroja.
- Kvalita závisí predovšetkým od Vašich podkladov: musia byť aktuálne, jednoznačné, bez duplicít a s jasnými prístupovými právami.
- Jazykové modely sa dajú prevádzkovať v dátových centrách v EÚ alebo na vlastných serveroch. Lokálna AI prináša kontrolu, ale vyžaduje náklady na hardvér a údržbu.
Trénovať vlastnú AI? Väčšinou to nie je potrebné
Kto hovorí o „vlastnej AI“, často má na mysli jednu zo štyroch vecí. Výrazne sa líšia náročnosťou aj prínosom:
| Prístup | Čo sa deje | Vhodné pre | Hranice |
|---|---|---|---|
| Priloženie podkladov do chatu | Dokumenty sa nahrajú pre konkrétnu otázku | Jednotlivé úlohy, rýchle testy | Žiadne trvalé znalosti, žiadna správa práv |
| RAG | Systém prehľadáva Vaše dokumenty a odpovedá na základe nájdených pasáží | Príručky, smernice, produktové znalosti, zákaznícky servis | Úspech závisí od kvality podkladov |
| Doladenie modelu | Model sa dotrénuje na príkladoch | Jednotný štýl, pevné formáty, špeciálne klasifikácie | Nevhodné pre meniace sa fakty, náročnosť pri každej zmene |
| Trénovanie vlastného modelu | Model vzniká od základov | Výskum, veľmi veľké organizácie | Pre malé a stredné podniky to prakticky nikdy nemá zmysel |
Pre meniace sa znalosti, ako sú ceny, procesy alebo produktové údaje, je RAG takmer vždy lepšou voľbou. Doladenie modelu ho môže doplniť, keď musí byť štýl alebo formát veľmi jednotný.
Ako funguje RAG
Postup opísali v roku 2020 v práci výskumníci okolo Patricka Lewisa a dnes je štandardom pre znalostné aplikácie. Zjednodušene funguje takto:
- Zhromaždite dokumenty: príručky, smernice, produktové listy, zmluvy, predchádzajúce odpovede, z úložísk ako SharePoint, diskov alebo wiki.
- Rozdeľte ich: dokumenty sa rozdelia na zmysluplné časti, napríklad podľa nadpisov.
- Umožnite vyhľadávanie: každá časť dostane matematický opis svojho významu a uloží sa do vektorovej databázy, často doplnenej o klasické vyhľadávanie podľa kľúčových slov.
- Vyhľadávajte: ku každej otázke sa nájdu najvhodnejšie časti, a to iba z dokumentov, ku ktorým má pýtajúca sa osoba prístup.
- Odpovedajte: jazykový model sformuluje odpoveď z týchto častí a uvedie zdroje. Ak odpoveď v podkladoch nie je, povie to.
Typické použitia
- Interné znalosti: zamestnanci sa pýtajú na procesy, smernice alebo zodpovednosti a dostávajú odpoveď s odkazom na dokument.
- Technický servis: servisní technici nájdu správne miesto v príručkách a návodoch na údržbu aj na cestách.
- Zákaznícky servis: AI chatbot alebo e-mailový asistent odpovedá na otázky na základe Vašich produktových podkladov.
- Zmluvy a výberové konania: pasáže o lehotách, zodpovednosti alebo požiadavkách sa v dlhých dokumentoch nájdu rýchlo.
Na čom znalostné databázy zlyhávajú
- Zastarané a duplicitné dokumenty: ak sú v úložisku tri verzie smernice, AI môže nájsť tú nesprávnu.
- Naskenované PDF a tabuľky: bez kvalitného rozpoznávania textu a prípravy sa obsah stráca.
- Chýbajúca správa oprávnení: ak AI vidí všetko, čoskoro uvidia všetko všetci, aj mzdové zoznamy. Prístupové práva sa musia uplatňovať aj pri vyhľadávaní.
- Žiadne meranie: bez testovacích otázok so známymi odpoveďami nikto nevie, ako často systém odpovedá správne.
- Žiadne zdroje: odpovede bez odkazu na konkrétnu pasáž sa nedajú overiť a podkopávajú dôveru.
Lokálna AI alebo cloud v EÚ?
Na prevádzku jazykového modelu existujú tri možnosti. Veľkí poskytovatelia ponúkajú svoje modely v dátových centrách v EÚ a pri ponukách pre firmy a cez API uvádzajú, že zákaznícke údaje štandardne nepoužívajú na trénovanie. Overte si to v zmluvných podmienkach. Ďalšou možnosťou sú európski poskytovatelia. A existujú aj otvorené modely, napríklad od spoločností Mistral AI, Meta alebo Alibaba, ktoré môžete prevádzkovať na vlastných serveroch.
Lokálna AI prináša plnú kontrolu nad údajmi. Potrebujete však vhodný hardvér s grafickými procesormi, údržbu a aktualizácie. Ani najlepšie otvorené modely nedosahujú pri každej úlohe kvalitu najväčších cloudových modelov. Pre mnohé firmy je rozumnou strednou cestou model v dátovom centre v EÚ s jasnou zmluvou. Lokálne modely sa oplatia pri obzvlášť citlivých údajoch alebo veľmi veľkom objeme. Ktorá cesta je vhodná pre Vaše údaje, objasní poradenstvo v oblasti AI.
Ochrana údajov a bezpečnosť
Osobné údaje v dokumentoch zostávajú osobnými údajmi. Je potrebný právny základ, zmluvy o spracúvaní osobných údajov a pravidlá vymazávania. Európsky výbor pre ochranu údajov sa v stanovisku z decembra 2024 podrobne zaoberal modelmi AI a osobnými údajmi. OWASP výslovne uvádza zraniteľnosti vo vektorových a embeddingových systémoch ako riziko, napríklad keď sa pri vyhľadávaní neuplatňujú oprávnenia. Dokumenty navyše môžu obsahovať skryté pokyny, ktoré majú systém zmanipulovať. Preto platí: pri každom vyhľadávaní overovať oprávnenia, kontrolovať zdroje a zaznamenávať odpovede.
Prvé kroky
- Vyberte jednu oblasť znalostí: napríklad servisné príručky alebo interné smernice.
- Usporiadajte podklady: vymažte zastarané verzie a určte zodpovedné osoby.
- Zozbierajte testovacie otázky: 30 až 50 skutočných otázok so správnou odpoveďou a konkrétnym miestom v zdroji.
- Pilotná prevádzka s jednou skupinou: zmerajte výsledky, zapracujte spätnú väzbu a potom rozšírte používanie.
Zdroje
- Lewis a kol.: Generovanie rozšírené o vyhľadávanie pre úlohy spracovania prirodzeného jazyka náročné na znalosti, NeurIPS 2020
- OWASP: 10 najväčších rizík pre aplikácie LLM 2025
- Európsky výbor pre ochranu údajov: Stanovisko 28/2024 k modelom AI
- OpenAI: Ochrana súkromia pre firmy
- Nariadenie (EÚ) 2016/679 (všeobecné nariadenie o ochrane údajov): EUR-Lex