Na kratko
- Izdelava lastne AI je za večino podjetij nepotrebna in nesmiselna. Običajna pot se imenuje Retrieval-Augmented Generation, na kratko RAG.
- Pri RAG sistem za vsako vprašanje poišče ustrezne odseke v Vaših dokumentih in jezikovnemu modelu dovoli odgovoriti samo iz njih, z navedbo virov.
- Kakovost je odvisna predvsem od Vaših gradiv: biti morajo aktualna, nedvoumna, brez dvojnikov in z jasnimi pravicami dostopa.
- Jezikovne modele lahko uporabljate v podatkovnih centrih v EU ali na lastnih strežnikih. Lokalna AI prinaša nadzor, vendar zahteva strojno opremo in vzdrževanje.
Usposabljanje lastne AI? Večinoma ni potrebno
Kdor govori o »lastni AI«, pogosto misli eno od štirih stvari. Po zahtevnosti in koristi se močno razlikujejo:
| Pristop | Kaj se zgodi | Primerno za | Omejitve |
|---|---|---|---|
| Gradiva dodate v klepet | Dokumenti se naložijo za eno vprašanje | Posamezne naloge, hitri preizkusi | Brez trajnega znanja in upravljanja pravic |
| RAG | Sistem preišče Vaše dokumente in odgovori iz najdenih mest | Priročniki, pravilniki, znanje o izdelkih, podpora strankam | Uspeh je odvisen od kakovosti gradiv |
| Fina nastavitev | Model se z dodatnim učenjem prilagodi na podlagi primerov | Enoten slog, stalne oblike, posebne klasifikacije | Slabo za dejstva, ki se spreminjajo, veliko dela ob vsaki spremembi |
| Usposabljanje lastnega modela | Model nastane od začetka | Raziskave, zelo velike organizacije | Za mala in srednja podjetja praktično nikoli smiselno |
Za znanje, ki se spreminja, kot so cene, procesi ali podatki o izdelkih, je RAG skoraj vedno boljša izbira. Fina nastavitev ga lahko dopolni, kadar morata biti slog ali oblika zelo enotna.
Tako deluje RAG
Postopek je bil opisan leta 2020 v delu raziskovalcev, med katerimi je bil Patrick Lewis, danes pa je standard za aplikacije znanja. Poenostavljeno poteka takole:
- Zberite dokumente: Priročniki, pravilniki, tehnični listi, pogodbe in prejšnji odgovori iz shramb, kot so SharePoint, pogoni ali Wiki.
- Razčlenite: Dokumenti se razdelijo na smiselne odseke, na primer po naslovih.
- Naredite jih preiskljive: Vsak odsek dobi matematični opis svojega pomena in pristane v vektorski podatkovni zbirki, pogosto dopolnjen s klasičnim iskanjem po ključnih besedah.
- Iskanje: Za vsako vprašanje se poiščejo najprimernejši odseki, in sicer samo iz dokumentov, ki jih sme videti oseba, ki sprašuje.
- Odgovarjanje: Jezikovni model oblikuje odgovor iz teh odsekov in navede vire. Če odgovora v gradivih ni, to pove.
Tipične uporabe
- Notranje znanje: Zaposleni sprašujejo o procesih, pravilnikih ali pristojnostih in dobijo odgovor s povezavo do dokumenta.
- Tehnična podpora: Servisni tehniki najdejo pravo mesto v priročnikih in navodilih za vzdrževanje, tudi na poti.
- Podpora strankam: Klepetalni robot AI ali e-poštni pomočnik odgovarja na vprašanja iz Vaših gradiv o izdelkih.
- Pogodbe in razpisi: Mesta z navedbami rokov, odgovornosti ali zahtevami se v dolgih dokumentih hitro najdejo.
Kje baze znanja odpovejo
- Zastareli in podvojeni dokumenti: Če so v shrambi tri različice pravilnika, AI morda najde napačno.
- Skenirani PDF‑ji in tabele: Brez dobre prepoznave besedila in priprave se vsebina izgubi.
- Manjkajoče pravice: Če AI vidi vse, bodo kmalu vsi videli vse, tudi sezname plač. Pri iskanju je treba upoštevati pravice dostopa.
- Brez merjenja: Brez testnih vprašanj z znanimi odgovori nihče ne ve, kako pogosto sistem zadene pravilno.
- Brez virov: Odgovorov brez navedbe mesta v viru ni mogoče preveriti in spodkopavajo zaupanje.
Lokalna AI ali oblak v EU?
Za delovanje jezikovnega modela obstajajo tri poti. Veliki ponudniki svoje modele ponujajo v podatkovnih centrih v EU in pri poslovnih ponudbah ter ponudbah API navajajo, da podatkov strank privzeto ne uporabljajo za učenje. To preverite v pogodbenih pogojih. Poleg tega obstajajo evropski ponudniki. Obstajajo tudi odprti modeli, na primer Mistral AI, Meta ali Alibaba, ki jih lahko uporabljate na lastnih strežnikih.
Lokalna AI prinaša popoln nadzor nad podatki. Za to potrebujete ustrezno strojno opremo z grafičnimi procesorji, vzdrževanje in posodobitve, najboljši odprti modeli pa pri vsaki nalogi ne dosegajo kakovosti največjih modelov v oblaku. Za številna podjetja je model v podatkovnem centru v EU z jasno pogodbo razumna srednja pot. Lokalni modeli se splačajo pri posebno občutljivih podatkih ali zelo velikem obsegu. Katera pot ustreza Vašim podatkom, razjasni svetovanje o AI.
Varstvo podatkov in varnost
Osebni podatki v dokumentih ostanejo osebni podatki. Potrebujete pravno podlago, pogodbe o obdelavi osebnih podatkov in pravila brisanja. Evropski odbor za varstvo podatkov je v mnenju iz decembra 2024 podrobno obravnaval modele AI in osebne podatke. OWASP izrecno navaja ranljivosti v vektorskih sistemih in sistemih za vdelave kot tveganje, na primer kadar se pri iskanju ne upoštevajo pravice. Tudi dokumenti lahko vsebujejo skrita navodila, s katerimi naj bi nekdo manipuliral s sistemom. Zato velja: pri vsakem iskanju preverite pravice, nadzorujte vire in beležite odgovore.
Prvi koraki
- Izberite področje znanja: na primer servisne priročnike ali notranje pravilnike.
- Uredite gradiva: izbrišite zastarele različice in določite odgovorne osebe.
- Zberite testna vprašanja: 30 do 50 resničnih vprašanj s pravilnim odgovorom in mestom v viru.
- Pilotno izvajanje z eno skupino: Izmerite rezultate, vključite povratne informacije in nato razširite uporabo.
Viri
- Lewis in drugi: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
- OWASP: 10 najpomembnejših tveganj za aplikacije LLM 2025
- Evropski odbor za varstvo podatkov: Mnenje 28/2024 o nekaterih vidikih varstva podatkov pri modelih AI
- OpenAI: Zasebnost za podjetja
- Uredba (EU) 2016/679 (Splošna uredba o varstvu podatkov): EUR-Lex