Trumpai
- Mokyti savo AI nėra nei būtina, nei naudinga daugeliui įmonių. Įprastas būdas vadinamas „Retrieval-Augmented Generation“ arba sutrumpintai RAG.
- Naudodama RAG, sistema kiekvienam klausimui ieško atitinkamų jūsų dokumento skilčių ir leidžia tik kalbos modeliui atsakyti iš jų, nurodydama šaltinį.
- Kokybė pirmiausia priklauso nuo jūsų dokumentų: naujausių, aiškų, be dublikatų ir su aiškiomis prieigos teisėmis.
- Kalbos modelius galima valdyti ES duomenų centruose arba savo serveriuose. Vietinis AI suteikia galimybę valdyti, tačiau kainuoja aparatinę įrangą ir priežiūrą.
Mokyti savo AI? Paprastai nebūtina
Kai žmonės kalba apie „savo AI“, jie dažnai turi omenyje vieną iš keturių dalykų. Jie labai skiriasi pastangomis ir nauda:
| požiūris | Kas atsitiks | Tinka | Ribos |
|---|---|---|---|
| Bendrinkite dokumentus pokalbyje | Klausimo dokumentai įkeliami | Individualios užduotys, greiti testai | Jokių nuolatinių žinių, jokio teisių valdymo |
| RAG | Sistema ieško jūsų dokumentų ir atsako iš rastų vietų | Vadovai, gairės, produktų žinios, klientų aptarnavimas | Tai priklauso nuo dokumentų kokybės |
| Tiksliai suderinti | Modelis perkvalifikuojamas su pavyzdžiais | Vienodas stilius, fiksuoti formatai, specialios klasifikacijos | Blogai dėl besikeičiančių faktų, pastangų su kiekvienu pasikeitimu |
| Treniruok savo modelį | Modelis kuriamas nuo nulio | Tyrimai, labai didelės organizacijos | Mažoms ir vidutinėms įmonėms praktiškai niekada nėra prasmės |
Kalbant apie besikeičiančias žinias, pvz., kainas, procesus ar produkto duomenis, RAG beveik visada yra geresnis pasirinkimas. Tikslus derinimas gali papildyti, kai stilius ar formatas turi būti labai nuoseklūs.
Taip veikia RAG
Šis procesas buvo aprašytas 2020 m. Patricko Lewiso vadovaujamų mokslininkų straipsnyje ir dabar yra žinių pritaikymo standartas. Paprastai tariant, viskas vyksta taip:
- Surinkite dokumentus: Vadovai, gairės, produktų lapai, sutartys, ankstesni atsakymai iš saugyklų, pvz., SharePoint, diskų ar wiki.
- Išardyti: Dokumentai suskirstyti į reikšmingas dalis, pavyzdžiui, pagal antraštes.
- Padaryti ieškomą: Kiekviena sekcija gauna matematinį savo reikšmės aprašymą ir patenka į vektorinę duomenų bazę, dažnai papildytą klasikine raktinių žodžių paieška.
- Paieška: Kiekvienam klausimui randamos tinkamiausios skiltys, tik iš dokumentų, kuriuos leidžia matyti klausiantis asmuo.
- Atsakymas: Kalbos modelis suformuluoja atsakymą iš šių skyrių ir cituoja šaltinius. Jei atsakymo dokumentuose nėra, taip ir rašoma.
Tipiškos misijos
- Vidinės žinios: Darbuotojai teiraujasi apie procesus, gaires ar pareigas ir gauna atsakymą su nuoroda į dokumentą.
- Techninis aptarnavimas: Aptarnavimo technikai gali rasti reikiamą vietą vadovuose ir priežiūros instrukcijose net keliaudami.
- Klientų aptarnavimas: A AI pokalbių robotas arba el. pašto asistentas atsako į klausimus iš jūsų produkto dokumentų.
- Sutartys ir konkursai: Ilguose dokumentuose greitai galima rasti nuorodas į terminus, atsakomybę ar reikalavimus.
Kodėl žinių duomenų bazės žlunga
- Pasenę ir pasikartojantys dokumentai: Jei faile yra trys politikos versijos, AI gali rasti netinkamą.
- Nuskaityti PDF failai ir skaičiuoklės: Be gero teksto atpažinimo ir paruošimo, turinys prarandamas.
- Trūksta teisių: Jei dirbtinis intelektas matys viską, greitai visi matys viską, įskaitant darbo užmokestį. Atliekant paiešką turi būti taikomos prieigos teisės.
- Nėra matavimo: Be testo klausimų su žinomais atsakymais niekas nežino, kaip dažnai sistema yra teisinga.
- Nėra šaltinių: Atsakymų be nuorodų negalima patikrinti ir prarandamas pasitikėjimas.
Vietinis AI ar ES debesis?
Yra trys kalbos modelio veikimo būdai. Pagrindiniai tiekėjai siūlo savo modelius ES duomenų centruose, o verslo ir API pasiūlymams teigia, kad pagal numatytuosius nustatymus jie nenaudoja klientų duomenų mokymams. Patikrinkite tai sutarties sąlygose. Taip pat yra Europos tiekėjų. Ir yra atvirų modelių, tokių kaip „Mistral AI“, „Meta“ ar „Alibaba“, kuriuos galite paleisti savo serveriuose.
Vietinis AI suteikia visišką duomenų kontrolę. Tam jums reikia tinkamos aparatinės įrangos su grafikos procesoriais, priežiūra ir atnaujinimais, o geriausi atviri modeliai ne kiekvienoje užduotyje pasiekia didžiausių debesų modelių kokybę. Daugeliui įmonių modelis ES duomenų centre su aiškia sutartimi yra protingas viduriukas. Vietiniai modeliai yra naudingi ypač jautriems duomenims arba labai dideliems kiekiams. Galite sužinoti, kuris kelias tinka jūsų duomenims AI konsultacijos.
Privatumas ir saugumas
Asmens duomenys dokumentuose išlieka asmens duomenimis. Turi būti teisinis pagrindas, sutartys dėl užsakymų apdorojimo ir ištrynimo taisyklės. Europos duomenų apsaugos valdyba 2024 m. gruodžio mėn. pateiktoje nuomonėje išsamiai aptarė dirbtinio intelekto modelius ir asmens duomenis. OWASP aiškiai mini vektorinių ir įterpimo sistemų pažeidžiamumą kaip riziką, pavyzdžiui, jei paieškos teisės netaikomos. Dokumentuose gali būti paslėptų nurodymų, skirtų valdyti sistemą. Štai kodėl svarbu patikrinti kiekvienos paieškos teises, patikrinti šaltinius ir registruoti atsakymus.
Darbo pradžia
- Pasirinkite žinių sritį: pavyzdžiui, techninės priežiūros vadovus arba vidines gaires.
- Išvalyti dokumentus: Ištrinkite pasenusias versijas, nustatykite atsakingus asmenis.
- Surinkite testo klausimus: Nuo 30 iki 50 tikrų klausimų su teisingu atsakymu ir vieta.
- Pilotas su grupe: Išmatuokite rezultatus, įtraukite atsiliepimus, tada išplėskite.
Šaltiniai
- Lewis ir kt.: Atkūrimo papildyta karta žinioms imlioms NLP užduotims atlikti, NeurIPS 2020
- OWASP: 2025 m. LLM programų 10 geriausių
- Europos duomenų apsaugos valdyba: 28/2024 pareiškimas dėl AI modelių
- OpenAI: Įmonės privatumas
- Reglamentas (ES) 2016/679 (Bendrasis duomenų apsaugos reglamentas): EUR-Lex