Ukratko
- Za većinu tvrtki treniranje vlastitog AI‑ja nije ni potrebno ni smisleno. Uobičajeni pristup zove se Retrieval-Augmented Generation, skraćeno RAG.
- Kod pristupa RAG sustav za svako pitanje traži odgovarajuće odjeljke u Vašim dokumentima i nalaže jezičnom modelu da odgovori samo na temelju njih, uz navođenje izvora.
- Kvaliteta prije svega ovisi o Vašim dokumentima: moraju biti ažurni, nedvosmisleni, bez duplikata i s jasnim pravima pristupa.
- Jezični modeli mogu raditi u podatkovnim centrima u EU-u ili na vlastitim poslužiteljima. Lokalni AI donosi kontrolu, ali zahtijeva troškove hardvera i održavanja.
Trenirati vlastiti AI? Uglavnom nije potrebno
Kada netko govori o „vlastitom AI‑ju”, često misli na jednu od četiri stvari. One se znatno razlikuju po potrebnom trudu i koristi:
| Pristup | Što se događa | Prikladno za | Ograničenja |
|---|---|---|---|
| Priložiti dokumente u razgovoru | Dokumenti se učitavaju za jedno pitanje | Pojedinačni zadaci, brzi testovi | Nema trajnog znanja ni upravljanja pravima pristupa |
| RAG | Sustav pretražuje Vaše dokumente i odgovara na temelju pronađenih dijelova | Priručnici, politike, znanje o proizvodima, korisnička podrška | Uspjeh u potpunosti ovisi o kvaliteti dokumenata |
| Fino podešavanje | Model se dodatno trenira na primjerima | Ujednačen stil, zadani formati, posebne klasifikacije | Neprikladno za činjenice koje se mijenjaju, potreban je rad pri svakoj promjeni |
| Trenirati vlastiti model | Model nastaje od temelja | Istraživanje, vrlo velike organizacije | Za mala i srednja poduzeća gotovo nikada nije smisleno |
Za znanje koje se mijenja, poput cijena, procesa ili podataka o proizvodima, RAG je gotovo uvijek bolji izbor. Fino podešavanje može ga dopuniti ako stil ili format moraju biti vrlo ujednačeni.
Kako funkcionira RAG
Postupak je 2020. opisan u radu istraživača među kojima je Patrick Lewis. Danas je standard za aplikacije koje rade sa znanjem. Pojednostavljeno, odvija se ovako:
- Prikupite dokumente: priručnike, politike, listove s podacima o proizvodima, ugovore i ranije odgovore iz spremišta poput sustava SharePoint, diskova ili wikija.
- Podjela: dokumenti se dijele na smislene odjeljke, primjerice prema naslovima.
- Omogućivanje pretraživanja: svaki odjeljak dobiva matematički opis svojeg značenja i pohranjuje se u vektorsku bazu podataka, često uz dodatno klasično pretraživanje po ključnim riječima.
- Pretraživanje: za svako pitanje pronalaze se najprikladniji odjeljci, i to samo iz dokumenata koje osoba koja pita smije vidjeti.
- Odgovaranje: jezični model sastavlja odgovor na temelju tih odjeljaka i navodi izvore. Ako odgovora nema u dokumentima, to i kaže.
Tipične primjene
- Interno znanje: zaposlenici pitaju o procesima, politikama ili nadležnostima i dobivaju odgovor s poveznicom na dokument.
- Tehnički servis: servisni tehničari pronalaze pravo mjesto u priručnicima i uputama za održavanje, čak i na terenu.
- Korisnička podrška: AI chatbot ili asistent za e-poštu odgovara na pitanja na temelju Vaše dokumentacije o proizvodima.
- Ugovori i natječaji: u dugim dokumentima brzo se pronalaze mjesta s podacima o rokovima, odgovornosti ili zahtjevima.
Zašto baze znanja ne uspijevaju
- Zastarjeli i dvostruki dokumenti: ako se u spremištu nalaze tri inačice iste politike, AI može pronaći pogrešnu.
- Skenirani PDF‑ovi i tablice: bez dobrog prepoznavanja teksta i pripreme sadržaj se gubi.
- Nedostatak ograničenja pristupa: ako AI vidi sve, uskoro svi vide sve, uključujući popise plaća. Prava pristupa moraju vrijediti pri pretraživanju.
- Bez mjerenja: bez testnih pitanja s poznatim odgovorima nitko ne zna koliko često sustav daje točan odgovor.
- Bez izvora: odgovori bez upućivanja na mjesto u dokumentu ne mogu se provjeriti i narušavaju povjerenje.
Lokalni AI ili oblak u EU-u?
Za pokretanje jezičnog modela postoje tri mogućnosti. Veliki pružatelji nude svoje modele u podatkovnim centrima u EU-u i navode da za poslovne ponude i API ponude prema zadanim postavkama ne koriste podatke klijenata za treniranje. Provjerite to u ugovornim uvjetima. Postoje i europski pružatelji. Tu su i otvoreni modeli, primjerice tvrtki Mistral AI, Meta ili Alibaba, koje možete pokrenuti na vlastitim poslužiteljima.
Lokalni AI donosi potpunu kontrolu nad podacima. Za to su Vam potrebni odgovarajući hardver s grafičkim procesorima, održavanje i ažuriranja, a najbolji otvoreni modeli ne dosežu u svakom zadatku kvalitetu najvećih modela u oblaku. Za mnoge tvrtke model u podatkovnom centru u EU-u s jasnim ugovorom razuman je srednji put. Lokalni modeli isplate se kod posebno osjetljivih podataka ili vrlo velikog opsega obrade. Koji pristup odgovara Vašim podacima, razjašnjava savjetovanje o AI‑ju.
Zaštita podataka i sigurnost
Osobni podaci u dokumentima ostaju osobni podaci. Potrebni su pravna osnova, ugovori o obradi osobnih podataka i pravila brisanja. Europski odbor za zaštitu podataka u mišljenju iz prosinca 2024. detaljno se bavio AI modelima i osobnim podacima. OWASP ranjivosti vektorskih sustava i sustava za vektorske prikaze izričito navodi kao rizik, primjerice kada se prava pristupa ne primjenjuju pri pretraživanju. Dokumenti mogu sadržavati i skrivene upute kojima se pokušava manipulirati sustavom. Zato vrijedi: pri svakom pretraživanju provjerite prava pristupa, kontrolirajte izvore i bilježite odgovore.
Prvi koraci
- Odaberite jedno područje znanja: primjerice servisne priručnike ili interne politike.
- Uredite dokumente: izbrišite zastarjele inačice i odredite odgovorne osobe.
- Prikupite testna pitanja: 30 do 50 stvarnih pitanja s točnim odgovorom i mjestom na kojem se nalazi.
- Pilot s jednom skupinom: mjerite rezultate, uvažite povratne informacije, a zatim proširite primjenu.
Izvori
- Lewis i dr.: Generiranje prošireno dohvatom za NLP zadatke koji zahtijevaju opsežno znanje, NeurIPS 2020
- OWASP: 10 najvećih rizika za LLM aplikacije 2025.
- Europski odbor za zaštitu podataka: Mišljenje 28/2024 o AI modelima
- OpenAI: Privatnost za tvrtke
- Uredba (EU) 2016/679 (Opća uredba o zaštiti podataka): EUR-Lex