Kurz gesagt
- Eine eigene KI zu trainieren ist für die meisten Unternehmen weder nötig noch sinnvoll. Der übliche Weg heißt Retrieval-Augmented Generation, kurz RAG.
- Bei RAG sucht das System zu jeder Frage passende Abschnitte in Ihren Dokumenten und lässt das Sprachmodell nur daraus antworten, mit Quellenangabe.
- Die Qualität hängt vor allem von Ihren Unterlagen ab: aktuell, eindeutig, ohne Dubletten und mit klaren Zugriffsrechten.
- Sprachmodelle lassen sich in EU-Rechenzentren oder auf eigenen Servern betreiben. Lokale KI bringt Kontrolle, kostet aber Hardware und Pflege.
Eigene KI trainieren? Meist nicht nötig
Wer von „eigener KI“ spricht, meint oft eines von vier Dingen. Sie unterscheiden sich stark in Aufwand und Nutzen:
| Ansatz | Was passiert | Gut für | Grenzen |
|---|---|---|---|
| Unterlagen im Chat mitgeben | Dokumente werden für eine Frage hochgeladen | Einzelne Aufgaben, schnelle Tests | Kein dauerhaftes Wissen, keine Rechteverwaltung |
| RAG | Das System durchsucht Ihre Dokumente und antwortet aus den Fundstellen | Handbücher, Richtlinien, Produktwissen, Kundenservice | Steht und fällt mit der Qualität der Unterlagen |
| Feinabstimmung | Ein Modell wird mit Beispielen nachtrainiert | Einheitlicher Stil, feste Formate, spezielle Klassifikationen | Schlecht für Fakten, die sich ändern, Aufwand bei jeder Änderung |
| Eigenes Modell trainieren | Ein Modell entsteht von Grund auf | Forschung, sehr große Organisationen | Für kleine und mittlere Unternehmen praktisch nie sinnvoll |
Für Wissen, das sich ändert, wie Preise, Abläufe oder Produktdaten, ist RAG fast immer die bessere Wahl. Eine Feinabstimmung kann ergänzen, wenn Stil oder Format sehr einheitlich sein müssen.
So funktioniert RAG
Das Verfahren wurde 2020 in einer Arbeit von Forschenden um Patrick Lewis beschrieben und ist heute Standard für Wissensanwendungen. Vereinfacht läuft es so:
- Dokumente sammeln: Handbücher, Richtlinien, Produktblätter, Verträge, frühere Antworten, aus Ablagen wie SharePoint, Laufwerken oder dem Wiki.
- Zerlegen: Die Dokumente werden in sinnvolle Abschnitte geteilt, etwa nach Überschriften.
- Durchsuchbar machen: Jeder Abschnitt bekommt eine mathematische Beschreibung seiner Bedeutung und landet in einer Vektordatenbank, oft ergänzt um eine klassische Stichwortsuche.
- Suchen: Zu jeder Frage werden die passendsten Abschnitte gefunden, und zwar nur aus Dokumenten, die die fragende Person sehen darf.
- Antworten: Das Sprachmodell formuliert die Antwort aus diesen Abschnitten und nennt die Quellen. Steht die Antwort nicht in den Unterlagen, sagt es das.
Typische Einsätze
- Internes Wissen: Mitarbeitende fragen nach Abläufen, Richtlinien oder Zuständigkeiten und bekommen eine Antwort mit Link zum Dokument.
- Technischer Service: Servicetechniker finden die richtige Stelle in Handbüchern und Wartungsanleitungen, auch unterwegs.
- Kundenservice: Ein KI‑Chatbot oder ein E‑Mail-Assistent beantwortet Fragen aus Ihren Produktunterlagen.
- Verträge und Ausschreibungen: Fundstellen zu Fristen, Haftung oder Anforderungen werden in langen Dokumenten schnell gefunden.
Woran Wissensdatenbanken scheitern
- Veraltete und doppelte Dokumente: Liegen drei Fassungen einer Richtlinie in der Ablage, findet die KI womöglich die falsche.
- Gescannte PDFs und Tabellen: Ohne gute Texterkennung und Aufbereitung gehen Inhalte verloren.
- Fehlende Rechte: Wenn die KI alles sieht, sehen bald alle alles, auch Gehaltslisten. Zugriffsrechte müssen bei der Suche gelten.
- Keine Messung: Ohne Testfragen mit bekannten Antworten weiß niemand, wie oft das System richtig liegt.
- Keine Quellen: Antworten ohne Fundstelle lassen sich nicht prüfen und verspielen Vertrauen.
Lokale KI oder EU-Cloud?
Für den Betrieb des Sprachmodells gibt es drei Wege. Die großen Anbieter bieten ihre Modelle in EU-Rechenzentren an und geben für Business- und API-Angebote an, Kundendaten standardmäßig nicht zum Training zu verwenden. Prüfen Sie das in den Vertragsbedingungen. Daneben gibt es europäische Anbieter. Und es gibt offene Modelle, etwa von Mistral AI, Meta oder Alibaba, die Sie auf eigenen Servern betreiben können.
Lokale KI bringt volle Kontrolle über die Daten. Dafür brauchen Sie passende Hardware mit Grafikprozessoren, Pflege und Updates, und die besten offenen Modelle erreichen nicht in jeder Aufgabe die Qualität der größten Cloud-Modelle. Für viele Unternehmen ist ein Modell in einem EU-Rechenzentrum mit klarem Vertrag der vernünftige Mittelweg. Lokale Modelle lohnen sich bei besonders sensiblen Daten oder sehr hohem Volumen. Welcher Weg zu Ihren Daten passt, klärt eine KI‑Beratung.
Datenschutz und Sicherheit
Personenbezogene Daten in Dokumenten bleiben personenbezogene Daten. Es braucht eine Rechtsgrundlage, Verträge zur Auftragsverarbeitung und Löschregeln. Der Europäische Datenschutzausschuss hat sich in einer Stellungnahme von Dezember 2024 ausführlich mit KI‑Modellen und personenbezogenen Daten befasst. OWASP nennt Schwachstellen in Vektor- und Embedding-Systemen ausdrücklich als Risiko, etwa wenn Rechte bei der Suche nicht greifen. Und Dokumente können versteckte Anweisungen enthalten, die das System manipulieren sollen. Deshalb gilt: Rechte bei jeder Suche prüfen, Quellen kontrollieren, Antworten protokollieren.
Erste Schritte
- Einen Wissensbereich wählen: zum Beispiel Servicehandbücher oder interne Richtlinien.
- Unterlagen aufräumen: veraltete Fassungen löschen, Verantwortliche festlegen.
- Testfragen sammeln: 30 bis 50 echte Fragen mit der richtigen Antwort und Fundstelle.
- Pilot mit einer Gruppe: Ergebnisse messen, Rückmeldungen einarbeiten, dann ausweiten.
Quellen
- Lewis u. a.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
- OWASP: Top 10 for LLM Applications 2025
- Europäischer Datenschutzausschuss: Stellungnahme 28/2024 zu KI‑Modellen
- OpenAI: Enterprise privacy
- Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung): EUR-Lex