W skrócie
- Trenowanie własnej AI dla większości firm nie jest ani potrzebne, ani uzasadnione. Standardową metodą jest Retrieval-Augmented Generation, w skrócie RAG.
- W RAG system wyszukuje dla każdego pytania odpowiednie fragmenty Państwa dokumentów i pozwala modelowi językowemu odpowiedzieć wyłącznie na ich podstawie, ze wskazaniem źródła.
- Jakość zależy przede wszystkim od Państwa dokumentów: powinny być aktualne, jednoznaczne, bez duplikatów i z jasnymi uprawnieniami dostępu.
- Modele językowe można uruchamiać w centrach danych w UE lub na własnych serwerach. Lokalna AI daje kontrolę, ale wymaga nakładów na sprzęt i utrzymanie.
Trenować własną AI? Zwykle nie trzeba
Mówiąc o „własnej AI”, często ma się na myśli jedno z czterech rozwiązań. Znacznie różnią się nakładem pracy i korzyściami:
| Podejście | Co się dzieje | Do czego się sprawdza | Ograniczenia |
|---|---|---|---|
| Dodawanie dokumentów na czacie | Dokumenty są przesyłane na potrzeby konkretnego pytania | Pojedyncze zadania, szybkie testy | Brak trwałej wiedzy i zarządzania uprawnieniami |
| RAG | System przeszukuje Państwa dokumenty i odpowiada na podstawie znalezionych fragmentów | Instrukcje, polityki, wiedza o produktach, obsługa klienta | Skuteczność zależy od jakości dokumentów |
| Dostrajanie modelu | Model jest dodatkowo trenowany na przykładach | Spójny styl, stałe formaty, specjalistyczne klasyfikacje | Słabo nadaje się do zmiennych faktów, każda zmiana wymaga pracy |
| Trenowanie własnego modelu | Model powstaje od podstaw | Badania, bardzo duże organizacje | Dla małych i średnich firm praktycznie nigdy nie ma uzasadnienia |
Dla wiedzy, która się zmienia, takiej jak ceny, procesy lub dane produktów, RAG jest prawie zawsze lepszym wyborem. Dostrajanie może być uzupełnieniem, gdy styl lub format muszą być bardzo spójne.
Jak działa RAG
Metodę opisano w 2020 w pracy zespołu badaczy, w tym Patricka Lewisa. Dziś jest standardem w zastosowaniach opartych na wiedzy. W uproszczeniu działa tak:
- Zebranie dokumentów: instrukcje, polityki, karty produktów, umowy i wcześniejsze odpowiedzi ze zbiorów takich jak SharePoint, dyski lub wiki.
- Podział: dokumenty dzieli się na sensowne fragmenty, na przykład według nagłówków.
- Umożliwienie wyszukiwania: każdy fragment otrzymuje matematyczny opis swojego znaczenia i trafia do bazy wektorowej, często uzupełnianej klasycznym wyszukiwaniem słów kluczowych.
- Wyszukiwanie: dla każdego pytania znajdowane są najbardziej pasujące fragmenty, wyłącznie z dokumentów, do których osoba pytająca ma dostęp.
- Odpowiedź: model językowy formułuje odpowiedź na podstawie tych fragmentów i podaje źródła. Jeśli odpowiedzi nie ma w dokumentach, informuje o tym.
Typowe zastosowania
- Wiedza wewnętrzna: pracownicy pytają o procesy, polityki lub zakres odpowiedzialności i otrzymują odpowiedź z linkiem do dokumentu.
- Serwis techniczny: technicy znajdują właściwe fragmenty instrukcji obsługi i konserwacji, także w terenie.
- Obsługa klienta: chatbot AI lub asystent e-mail odpowiada na pytania na podstawie Państwa dokumentacji produktów.
- Umowy i przetargi: szybkie znajdowanie fragmentów dotyczących terminów, odpowiedzialności lub wymagań w długich dokumentach.
Dlaczego bazy wiedzy zawodzą
- Nieaktualne i zduplikowane dokumenty: jeśli w zbiorze są trzy wersje polityki, AI może znaleźć niewłaściwą.
- Zeskanowane PDF‑y i tabele: bez dobrego rozpoznawania tekstu i przygotowania danych część treści zostaje utracona.
- Brak uprawnień: jeśli AI widzi wszystko, wkrótce wszyscy zobaczą wszystko, także listy płac. Uprawnienia dostępu muszą obowiązywać podczas wyszukiwania.
- Brak pomiaru: bez pytań testowych ze znanymi odpowiedziami nikt nie wie, jak często system ma rację.
- Brak źródeł: odpowiedzi bez wskazania fragmentu źródłowego nie można sprawdzić, co podważa zaufanie.
Lokalna AI czy chmura w UE?
Istnieją trzy sposoby uruchomienia modelu językowego. Duzi dostawcy oferują modele w centrach danych w UE i deklarują, że w ofertach biznesowych i API domyślnie nie wykorzystują danych klientów do trenowania. Należy sprawdzić to w warunkach umowy. Oprócz tego istnieją dostawcy europejscy. Dostępne są też otwarte modele, na przykład od Mistral AI, Meta lub Alibaba, które można uruchamiać na własnych serwerach.
Lokalna AI daje pełną kontrolę nad danymi. Wymaga jednak odpowiedniego sprzętu z procesorami graficznymi, utrzymania i aktualizacji, a najlepsze otwarte modele nie w każdym zadaniu dorównują jakością największym modelom chmurowym. Dla wielu firm rozsądnym rozwiązaniem pośrednim jest model w centrum danych w UE z jasną umową. Modele lokalne opłacają się przy szczególnie wrażliwych danych lub bardzo dużej skali wykorzystania. Która droga pasuje do Państwa danych, można ustalić podczas doradztwa AI.
Ochrona danych i bezpieczeństwo
Dane osobowe w dokumentach pozostają danymi osobowymi. Potrzebne są podstawa prawna, umowy powierzenia przetwarzania danych i zasady usuwania. Europejska Rada Ochrony Danych w opinii z grudnia 2024 szczegółowo omówiła modele AI i dane osobowe. OWASP wyraźnie wskazuje luki w systemach wektorowych i embeddingowych jako ryzyko, na przykład gdy uprawnienia nie działają przy wyszukiwaniu. Dokumenty mogą też zawierać ukryte instrukcje mające manipulować systemem. Dlatego należy sprawdzać uprawnienia przy każdym wyszukiwaniu, kontrolować źródła i rejestrować odpowiedzi.
Pierwsze kroki
- Wybór jednego obszaru wiedzy: na przykład instrukcje serwisowe lub wewnętrzne polityki.
- Uporządkowanie dokumentów: usunięcie nieaktualnych wersji i wyznaczenie osób odpowiedzialnych.
- Zebranie pytań testowych: od 30 do 50 rzeczywistych pytań z prawidłową odpowiedzią i wskazaniem fragmentu źródłowego.
- Pilotaż z jedną grupą: pomiar wyników, uwzględnienie uwag, a następnie rozszerzenie.
Źródła
- Lewis i in.: Generowanie wspomagane wyszukiwaniem w zadaniach NLP wymagających dużych zasobów wiedzy, NeurIPS 2020
- OWASP: 10 najważniejszych zagrożeń dla aplikacji LLM 2025
- Europejska Rada Ochrony Danych: Opinia 28/2024 dotycząca modeli AI
- OpenAI: Prywatność w rozwiązaniach dla firm
- Rozporządzenie (UE) 2016/679 (ogólne rozporządzenie o ochronie danych): EUR-Lex