Īsumā
- Vairumam uzņēmumu sava AI apmācība nav ne nepieciešama, ne noderīga. Parastais veids tiek saukts par Retrieval-Augmented Generation vai saīsināti RAG.
- Izmantojot RAG, sistēma meklē atbilstošās sadaļas jūsu dokumentos katram jautājumam un ļauj tikai valodas modelim atbildēt no tiem, atsaucoties uz avotu.
- Kvalitāte galvenokārt ir atkarīga no jūsu dokumentiem: atjaunināti, skaidri, bez dublikātiem un ar skaidrām piekļuves tiesībām.
- Valodu modeļus var darbināt ES datu centros vai uz jūsu serveriem. Vietējais AI nodrošina kontroli, bet maksā aparatūru un apkopi.
Apmācīt savu AI? Parasti nav nepieciešams
Kad cilvēki runā par “savu AI”, viņi bieži domā vienu no četrām lietām. Tie ievērojami atšķiras pēc piepūles un ieguvumiem:
| pieeja | Kas notiek | Labi priekš | Robežas |
|---|---|---|---|
| Kopīgojiet dokumentus tērzēšanā | Jautājumam tiek augšupielādēti dokumenti | Individuālie uzdevumi, ātrie testi | Nav pastāvīgu zināšanu, nav tiesību pārvaldības |
| RAG | Sistēma meklē jūsu dokumentus un atbild no atrastajām vietām | Rokasgrāmatas, vadlīnijas, zināšanas par produktu, klientu apkalpošana | Tas ir atkarīgs no dokumentu kvalitātes |
| Precīzi noregulēt | Modelis tiek pārkvalificēts ar piemēriem | Vienots stils, fiksēti formāti, īpašas klasifikācijas | Slikti faktiem, kas mainās, pūles ar katru izmaiņu |
| Apmāciet savu modeli | Modelis tiek izveidots no nulles | Pētījumi, ļoti lielas organizācijas | Praktiski nekad nav jēgas maziem un vidējiem uzņēmumiem |
Attiecībā uz zināšanām, kas mainās, piemēram, cenām, procesiem vai produktu datiem, RAG gandrīz vienmēr ir labāka izvēle. Precizēšana var papildināt, ja stilam vai formātam ir jābūt ļoti konsekventam.
Šādi darbojas RAG
Šis process tika aprakstīts 2020. gadā Patrika Lūisa vadīto pētnieku rakstā, un tagad tas ir zināšanu pielietojuma standarts. Vienkāršā izteiksmē tas notiek šādi:
- Savāc dokumentus: Rokasgrāmatas, vadlīnijas, produktu lapas, līgumi, iepriekšējās atbildes no krātuvēm, piemēram, SharePoint, diskdziņiem vai wiki.
- Izjaukt: Dokumenti ir sadalīti jēgpilnās sadaļās, piemēram, pēc virsrakstiem.
- Padarīt meklējamu: Katra sadaļa saņem matemātisku tās nozīmes aprakstu un nonāk vektoru datubāzē, ko bieži papildina klasiska atslēgvārdu meklēšana.
- Meklēt: Katram jautājumam tiek atrastas atbilstošākās sadaļas, tikai no dokumentiem, kurus ļauts aplūkot jautājuma uzdevējam.
- Atbilde: Valodas modelis formulē atbildi no šīm sadaļām un atsaucas uz avotiem. Ja atbilde nav dokumentos, tā saka.
Tipiskas misijas
- Iekšējās zināšanas: Darbinieki jautā par procesiem, vadlīnijām vai pienākumiem un saņem atbildi ar saiti uz dokumentu.
- Tehniskais dienests: Servisa tehniķi var atrast pareizo vietu rokasgrāmatās un apkopes instrukcijās, pat atrodoties ceļā.
- Klientu apkalpošana: A AI tērzēšanas robots vai e-pasta palīgs atbild uz jautājumiem no jūsu produkta dokumentiem.
- Līgumi un piedāvājumi: Atsauces uz termiņiem, atbildību vai prasībām var ātri atrast garos dokumentos.
Kāpēc zināšanu datu bāzes neizdodas
- Novecojuši un dublēti dokumenti: Ja failā ir trīs politikas versijas, AI var atrast nepareizo.
- Skenētie PDF faili un izklājlapas: Bez labas teksta atpazīšanas un sagatavošanas saturs tiek zaudēts.
- Trūkstošās tiesības: Ja AI redzēs visu, visi drīz redzēs visu, ieskaitot algu sarakstus. Meklējot, ir jāpiemēro piekļuves tiesības.
- Nav mērījumu: Bez testa jautājumiem ar zināmām atbildēm neviens nezina, cik bieži sistēma ir pareiza.
- Nav avotu: Atbildes bez atsaucēm nevar pārbaudīt un tiek zaudēta uzticība.
Vietējais AI vai ES mākonis?
Ir trīs veidi, kā izmantot valodas modeli. Lielākie pakalpojumu sniedzēji piedāvā savus modeļus ES datu centros un attiecībā uz biznesa un API piedāvājumiem norāda, ka pēc noklusējuma viņi neizmanto klientu datus apmācībai. Pārbaudiet to līguma nosacījumos. Ir arī Eiropas pakalpojumu sniedzēji. Ir arī atvērti modeļi, piemēram, Mistral AI, Meta vai Alibaba modeļi, kurus varat darbināt savos serveros.
Vietējais AI nodrošina pilnīgu datu kontroli. Šim nolūkam ir nepieciešama piemērota aparatūra ar grafikas procesoriem, apkope un atjauninājumi, un labākie atvērtie modeļi nesasniedz lielāko mākoņu modeļu kvalitāti katrā uzdevumā. Daudziem uzņēmumiem modelis ES datu centrā ar skaidru līgumu ir saprātīgs vidusceļš. Vietējie modeļi ir vērtīgi īpaši sensitīviem datiem vai ļoti lieliem apjomiem. Varat uzzināt, kurš ceļš ir piemērots jūsu datiem AI konsultācijas.
Privātums un drošība
Personas dati dokumentos paliek personas dati. Ir jābūt juridiskajam pamatam, līgumiem par pasūtījumu apstrādi un dzēšanas noteikumiem. Eiropas Datu aizsardzības kolēģija 2024. gada decembra atzinumā detalizēti apsprieda mākslīgā intelekta modeļus un personas datus. OWASP kā risku skaidri min ievainojamības vektoru un iegulšanas sistēmās, piemēram, ja netiek piemērotas meklēšanas tiesības. Un dokumentos var būt slēptas instrukcijas, kuru mērķis ir manipulēt ar sistēmu. Tāpēc ir svarīgi pārbaudīt tiesības katram meklējumam, pārbaudīt avotus un reģistrēt atbildes.
Darba sākšana
- Izvēlieties zināšanu jomu: piemēram, servisa rokasgrāmatas vai iekšējās vadlīnijas.
- Notīriet dokumentus: Dzēst novecojušās versijas, noteikt atbildīgos.
- Savāc testa jautājumus: 30 līdz 50 reāli jautājumi ar pareizo atbildi un atrašanās vietu.
- Pilots ar grupu: Izmēriet rezultātus, iekļaujiet atsauksmes un pēc tam izvērsiet.
Avoti
- Lūiss et al.: Izguves paplašinātā paaudze zināšanu ietilpīgiem NLP uzdevumiem, NeurIPS 2020
- OWASP: 10 populārākie LLM pieteikumi 2025
- Eiropas Datu aizsardzības kolēģija: Paziņojums 28/2024 par AI modeļiem
- OpenAI: Uzņēmuma privātums
- Regula (ES) 2016/679 (Vispārīgā datu aizsardzības regula): EUR-Lex