Röviden
- A legtöbb vállalkozásnak sem szükséges, sem észszerű saját AI‑t tanítania. A szokásos megoldás neve Retrieval-Augmented Generation, röviden RAG.
- A RAG esetében a rendszer minden kérdéshez megfelelő szakaszokat keres az Ön dokumentumaiban, és a nyelvi modellel csak ezekből válaszoltat, forrásmegjelöléssel.
- A minőség elsősorban az Ön dokumentumaitól függ: legyenek naprakészek, egyértelműek, ismétlődések nélkül és világos hozzáférési jogosultságokkal.
- A nyelvi modellek EU-s adatközpontokban vagy saját szervereken is működtethetők. A helyi AI ellenőrzést biztosít, de hardvert és karbantartást igényel.
Saját AI tanítása? Többnyire nem szükséges
Aki „saját AI‑ról” beszél, gyakran négy dolog egyikére gondol. Ezek ráfordításban és haszonban jelentősen különböznek:
| Megközelítés | Mi történik? | Mire alkalmas? | Korlátok |
|---|---|---|---|
| Dokumentumok csatolása a beszélgetéshez | Dokumentumok feltöltése egy kérdéshez | Egy-egy feladat, gyors tesztek | Nincs tartós tudás, nincs jogosultságkezelés |
| RAG | A rendszer keres az Ön dokumentumaiban, és a megtalált részek alapján válaszol | Kézikönyvek, szabályzatok, termékismeret, ügyfélszolgálat | Sikere a dokumentumok minőségén múlik |
| Finomhangolás | Egy modell további tanítása példák alapján | Egységes stílus, kötött formátumok, speciális besorolások | Változó tényekhez nem megfelelő, minden változás munkával jár |
| Saját modell tanítása | Egy modell az alapoktól épül fel | Kutatás, nagyon nagy szervezetek | Kis- és középvállalkozásoknál gyakorlatilag soha nem észszerű |
A változó tudáshoz, például árakhoz, folyamatokhoz vagy termékadatokhoz a RAG szinte mindig jobb választás. Finomhangolás egészítheti ki, ha a stílusnak vagy a formátumnak nagyon egységesnek kell lennie.
Így működik a RAG
Az eljárást 2020-ban írták le Patrick Lewis és kutatótársai egy tanulmányban, és ma már bevett megoldás a tudásra épülő alkalmazásoknál. Egyszerűsítve így működik:
- Dokumentumok összegyűjtése: kézikönyvek, szabályzatok, termékadatlapok, szerződések, korábbi válaszok olyan tárolókból, mint a SharePoint, a meghajtók vagy a wiki.
- Felosztás: a dokumentumokat értelmes szakaszokra bontják, például a címsorok alapján.
- Kereshetővé tétel: minden szakasz jelentéséről matematikai leírás készül, és vektoradatbázisba kerül, gyakran hagyományos kulcsszavas kereséssel kiegészítve.
- Keresés: minden kérdéshez megkeresik a leginkább illő szakaszokat, kizárólag olyan dokumentumokból, amelyeket a kérdező személy láthat.
- Válaszadás: a nyelvi modell ezekből a szakaszokból fogalmazza meg a választ, és megadja a forrásokat. Ha a válasz nincs benne a dokumentumokban, ezt közli.
Jellemző felhasználások
- Belső tudás: a munkatársak folyamatokról, szabályzatokról vagy felelősségi körökről kérdeznek, és a dokumentumra mutató hivatkozással együtt kapnak választ.
- Műszaki szerviz: a szerviztechnikusok útközben is megtalálják a megfelelő részt a kézikönyvekben és karbantartási útmutatókban.
- Ügyfélszolgálat: egy AI‑chatbot vagy e-mail-asszisztens az Ön termékdokumentációja alapján válaszolja meg a kérdéseket.
- Szerződések és pályázati kiírások: a hosszú dokumentumokban gyorsan megtalálhatók a határidőkre, felelősségre vagy követelményekre vonatkozó részek.
Min buknak el a tudásbázisok?
- Elavult és ismétlődő dokumentumok: ha egy szabályzat három változata van a tárolóban, az AI esetleg a rosszat találja meg.
- Szkennelt PDF‑ek és táblázatok: jó szövegfelismerés és előkészítés nélkül tartalmak vesznek el.
- Hiányzó jogosultságkezelés: ha az AI mindent lát, hamarosan mindenki mindent lát, még a bérlistákat is. A hozzáférési jogosultságoknak a keresésnél is érvényesülniük kell.
- Nincs mérés: ismert válaszú tesztkérdések nélkül senki sem tudja, milyen gyakran ad helyes választ a rendszer.
- Nincsenek források: a forráshely nélküli válaszok nem ellenőrizhetők, és elveszítik a bizalmat.
Helyi AI vagy EU-s felhő?
A nyelvi modell üzemeltetésére három lehetőség van. A nagy szolgáltatók EU-s adatközpontokban kínálják modelljeiket, és közlésük szerint az üzleti és API-szolgáltatásoknál alapértelmezésben nem használják tanításra az ügyféladatokat. Ellenőrizze ezt a szerződési feltételekben. Emellett vannak európai szolgáltatók is. Nyílt modellek is elérhetők, például a Mistral AI, a Meta vagy az Alibaba kínálatában, amelyeket saját szervereken működtethet.
A helyi AI teljes ellenőrzést biztosít az adatok felett. Ehhez azonban megfelelő, grafikus processzorokkal felszerelt hardverre, karbantartásra és frissítésekre van szükség, és a legjobb nyílt modellek sem érik el minden feladatban a legnagyobb felhős modellek minőségét. Sok vállalkozás számára egy EU-s adatközpontban futó modell, egyértelmű szerződéssel, az észszerű középút. A helyi modellek különösen érzékeny adatok vagy nagyon nagy volumen esetén érik meg. Azt, hogy melyik megoldás illik az Ön adataihoz, egy AI‑tanácsadás tisztázza.
Adatvédelem és biztonság
A dokumentumokban szereplő személyes adatok továbbra is személyes adatok. Jogalapra, adatfeldolgozási szerződésekre és törlési szabályokra van szükség. Az Európai Adatvédelmi Testület egy 2024. decemberi véleményében részletesen foglalkozott az AI‑modellekkel és a személyes adatokkal. Az OWASP kifejezetten kockázatként nevezi meg a vektor- és embedding-rendszerek sérülékenységeit, például amikor a keresésnél nem érvényesülnek a jogosultságok. A dokumentumok pedig rejtett utasításokat is tartalmazhatnak, amelyek célja a rendszer manipulálása. Ezért minden keresésnél ellenőrizni kell a jogosultságokat, ellenőrizni a forrásokat és naplózni a válaszokat.
Első lépések
- Egy tudásterület kiválasztása: például szervizkézikönyvek vagy belső szabályzatok.
- Dokumentumok rendbetétele: elavult változatok törlése, felelősök kijelölése.
- Tesztkérdések gyűjtése: 30 és 50 közötti valós kérdés, a helyes válasszal és forráshellyel.
- Próbaüzem egy csoporttal: eredmények mérése, visszajelzések beépítése, majd kiterjesztés.
Források
- Lewis és mások: Visszakereséssel kiegészített generálás tudásigényes NLP-feladatokhoz, NeurIPS 2020
- OWASP: Az LLM-alkalmazások top 10-es listája, 2025
- Európai Adatvédelmi Testület: 28/2024. számú vélemény az AI‑modellekről
- OpenAI: Vállalati adatvédelem
- (EU) 2016/679 rendelet (általános adatvédelmi rendelet): EUR-Lex