Stručně
- Trénovat vlastní AI není pro většinu firem potřebné ani smysluplné. Běžný postup se nazývá Retrieval-Augmented Generation, zkráceně RAG.
- Při RAG systém ke každé otázce vyhledá vhodné pasáže ve Vašich dokumentech a nechá jazykový model odpovídat pouze na jejich základě, s uvedením zdrojů.
- Kvalita závisí především na Vašich podkladech: musí být aktuální, jednoznačné, bez duplicit a s jasnými přístupovými oprávněními.
- Jazykové modely lze provozovat v datových centrech v EU nebo na vlastních serverech. Lokální AI přináší kontrolu, vyžaduje však náklady na hardware a údržbu.
Trénovat vlastní AI? Většinou to není potřeba
Když někdo mluví o „vlastní AI“, často tím myslí jednu ze čtyř věcí. Výrazně se liší náročností i přínosem:
| Přístup | Co se děje | Vhodné pro | Limity |
|---|---|---|---|
| Přiložení podkladů do chatu | Dokumenty se nahrají pro jednu otázku | Jednotlivé úkoly, rychlé testy | Žádné trvalé znalosti ani správa oprávnění |
| RAG | Systém prohledává Vaše dokumenty a odpovídá na základě nalezených pasáží | Příručky, směrnice, znalosti o produktech, zákaznický servis | Úspěch závisí na kvalitě podkladů |
| Dotrénování | Model se dotrénuje na příkladech | Jednotný styl, pevné formáty, specifické klasifikace | Nevhodné pro fakta, která se mění, každá změna vyžaduje další práci |
| Trénování vlastního modelu | Model vzniká od základu | Výzkum, velmi velké organizace | Pro malé a střední firmy prakticky nikdy nedává smysl |
Pro znalosti, které se mění, například ceny, postupy nebo produktová data, je RAG téměř vždy lepší volbou. Dotrénování jej může doplnit, pokud musí být styl nebo formát velmi jednotný.
Jak funguje RAG
Metoda byla popsána v roce 2020 v práci výzkumníků kolem Patricka Lewise a dnes je standardem pro znalostní aplikace. Zjednodušeně probíhá takto:
- Shromáždění dokumentů: příručky, směrnice, produktové listy, smlouvy a dřívější odpovědi z úložišť, jako jsou SharePoint, disky nebo wiki.
- Rozdělení: dokumenty se rozdělí na smysluplné pasáže, například podle nadpisů.
- Příprava pro vyhledávání: každá pasáž dostane matematický popis svého významu a uloží se do vektorové databáze, často doplněné klasickým vyhledáváním podle klíčových slov.
- Vyhledávání: ke každé otázce se najdou nejvhodnější pasáže, a to pouze z dokumentů, které smí tazatel vidět.
- Odpověď: jazykový model z těchto pasáží sestaví odpověď a uvede zdroje. Pokud odpověď v podkladech není, sdělí to.
Typická využití
- Interní znalosti: zaměstnanci se ptají na postupy, směrnice nebo odpovědnosti a dostávají odpověď s odkazem na dokument.
- Technický servis: servisní technici najdou správné místo v příručkách a pokynech k údržbě, a to i na cestách.
- Zákaznický servis: AI chatbot nebo e-mailový asistent odpovídá na otázky na základě Vašich produktových podkladů.
- Smlouvy a výběrová řízení: v dlouhých dokumentech se rychle vyhledají pasáže o lhůtách, odpovědnosti nebo požadavcích.
Proč znalostní báze selhávají
- Zastaralé a duplicitní dokumenty: pokud jsou v úložišti tři verze směrnice, může AI najít tu nesprávnou.
- Naskenovaná PDF a tabulky: bez kvalitního rozpoznání textu a přípravy dat se obsah ztrácí.
- Chybějící řízení oprávnění: pokud AI vidí vše, brzy uvidí vše všichni, včetně seznamů mezd. Přístupová oprávnění musí platit i při vyhledávání.
- Žádné měření: bez testovacích otázek se známými odpověďmi nikdo neví, jak často systém odpovídá správně.
- Žádné zdroje: odpovědi bez uvedení místa v dokumentu nelze ověřit a podkopávají důvěru.
Lokální AI, nebo cloud v EU?
Pro provoz jazykového modelu existují tři možnosti. Velcí poskytovatelé nabízejí své modely v datových centrech v EU a u firemních služeb a API uvádějí, že standardně nepoužívají zákaznická data k trénování. Ověřte si to ve smluvních podmínkách. Vedle nich existují evropští poskytovatelé. A existují také otevřené modely, například od Mistral AI, Meta nebo Alibaba, které můžete provozovat na vlastních serverech.
Lokální AI přináší plnou kontrolu nad daty. Vyžaduje však vhodný hardware s grafickými procesory, údržbu a aktualizace. Ani nejlepší otevřené modely nedosahují u každého úkolu kvality největších cloudových modelů. Pro mnoho firem představuje model v datovém centru v EU s jasnou smlouvou rozumnou střední cestu. Lokální modely se vyplatí u zvlášť citlivých dat nebo velmi vysokého objemu. Která možnost odpovídá Vašim datům, objasní poradenství v oblasti AI.
Ochrana osobních údajů a bezpečnost
Osobní údaje v dokumentech zůstávají osobními údaji. Je potřeba právní základ, smlouvy o zpracování osobních údajů a pravidla mazání. Evropský sbor pro ochranu osobních údajů se ve stanovisku z prosince 2024 podrobně zabýval modely AI a osobními údaji. OWASP výslovně uvádí zranitelnosti vektorových a embeddingových systémů jako riziko, například pokud při vyhledávání nefungují oprávnění. Dokumenty mohou obsahovat také skryté pokyny, které mají manipulovat se systémem. Proto platí: při každém vyhledávání ověřovat oprávnění, kontrolovat zdroje a zaznamenávat odpovědi.
První kroky
- Vyberte jednu oblast znalostí: například servisní příručky nebo interní směrnice.
- Uspořádejte podklady: odstraňte zastaralé verze a určete odpovědné osoby.
- Shromážděte testovací otázky: 30 až 50 skutečných otázek se správnou odpovědí a místem, kde ji lze najít.
- Pilotní provoz s jednou skupinou: měřte výsledky, zapracujte zpětnou vazbu a poté rozšiřujte.
Zdroje
- Lewis a kol.: Generování rozšířené o vyhledávání pro znalostně náročné úlohy zpracování přirozeného jazyka, NeurIPS 2020
- OWASP: Top 10 pro aplikace s LLM 2025
- Evropský sbor pro ochranu osobních údajů: Stanovisko 28/2024 k modelům AI
- OpenAI: Ochrana soukromí ve firmách
- Nařízení (EU) 2016/679 (obecné nařízení o ochraně osobních údajů): EUR-Lex