Warum interne KI‑Assistenten an Daten scheitern und wie RAG hilft
Kurzantwort
Ein interner KI-Assistent enttäuscht fast nie, weil das Modell zu schwach ist. Er enttäuscht, weil die Dokumente dahinter veraltet, schlecht strukturiert oder gar nicht zugänglich sind. RAG hilft, indem der Assistent vor jeder Antwort die passenden Stellen sucht und mit Quelle antwortet. Das steht und fällt aber mit der Pflege der Wissensbasis.
Wer einen internen KI-Assistenten baut und enttäuscht wird, sucht den Fehler meist beim Modell. Der sitzt fast immer davor: in den Daten. Veraltete Handbücher, Antworten ohne Quelle, unstrukturierte Ablagen und ein System, auf das der Assistent gar nicht zugreifen darf. RAG ist der Hebel, der aus einer Wissensbasis belegbare Antworten macht: erst die richtigen Textstellen finden, dann damit antworten und die Quelle mitliefern. Der wichtigste Punkt ist unbequem: Retrieval ist nur so gut wie die Dokumente darunter, und die brauchen einen Update-Prozess, sonst driftet der Assistent langsam in falsche Sicherheit.
Warum der Assistent enttäuscht
Ein interner KI-Assistent geht live, die ersten Fragen laufen gut, und dann kommt der Moment, in dem jemand eine Auskunft bekommt, die schlicht falsch ist. Die Reaktion ist fast immer dieselbe: das Modell sei nicht gut genug. Das ist bequem, weil es niemanden im Haus in die Verantwortung nimmt. Und es ist meistens falsch.
Aktuelle Modelle können die Antwort formulieren. Was sie nicht können, ist raten, was in eurem Haus gilt. Sie kennen nur, was ihr ihnen vorlegt. Legt ihr ein Handbuch von vorletztem Jahr vor, antwortet der Assistent überzeugend auf dem Stand von vorletztem Jahr. Legt ihr drei widersprüchliche Versionen vor, wählt er eine, ohne den Konflikt zu sehen. Der Engpass ist nicht die Sprache, sondern das Wissen darunter.
Ein interner KI-Assistent ist nur so klug wie das jüngste, sauberste Dokument, das er finden darf. Alles andere ist eine gut formulierte Vermutung.
Das ist die eigentliche Nachricht dieses Artikels. Die Qualität eines internen Assistenten entscheidet sich lange vor dem Modell, in der Frage, welche Dokumente aktuell, auffindbar und freigegeben sind.
Was RAG wirklich macht
RAG steht für Retrieval-Augmented Generation, und der sperrige Name verdeckt eine einfache Idee. Der Assistent antwortet nicht aus dem Gedächtnis. Er sucht zuerst in eurer Wissensbasis nach den Textstellen, die zur Frage passen, und formuliert die Antwort dann aus genau diesen Stellen, samt Herkunft.
In zwei Schritten gedacht: Retrieval holt die richtigen Passagen heran, Generation baut daraus die Antwort. Der zweite Schritt ist der leichte. Der erste entscheidet über alles. Findet die Suche die falschen oder veralteten Stellen, klingt die Antwort trotzdem sicher, ist aber falsch. Findet sie die richtigen, kann der Assistent seine Antwort belegen und ihr könnt sie nachprüfen.
Der praktische Gewinn von RAG ist nicht Magie, sondern Nachprüfbarkeit. Eine Antwort mit Quelle lässt sich kontrollieren, eine Antwort ohne Quelle muss man glauben. Bei internen Auskünften, an denen Entscheidungen hängen, ist dieser Unterschied der ganze Punkt.
| Frage im Haus | Ohne Retrieval | Mit gutem RAG |
|---|---|---|
| Welche Reisekostenregel gilt gerade? | plausibel klingende, oft veraltete Antwort | aktuelle Regel plus Link auf die Richtlinie |
| Wie war die Zusage an Kunde X? | freie Rekonstruktion aus dem Gedächtnis | Zitat aus dem freigegebenen Vertrag oder Ticket |
| Gibt es dazu schon eine Entscheidung? | vage Vermutung | belegter Verweis oder ehrliches "nicht gefunden" |
Gutes gegen schlechtes Retrieval
Der Unterschied zwischen einem Assistenten, dem das Team traut, und einem, den es nach zwei Wochen umgeht, liegt fast vollständig im Retrieval. Diese Tabelle zeigt die Merkmale nebeneinander, damit ihr sie an eurem eigenen Aufbau prüfen könnt.
| Merkmal | Schlechtes Retrieval | Gutes Retrieval |
|---|---|---|
| Quelle | Antwort ohne Herkunft | jede Antwort mit Beleg und Datum |
| Aktualität | zieht alte und neue Version gleich | bevorzugt die gültige Fassung |
| Struktur | ganze PDFs als ein Block | sinnvoll geschnittene, benannte Abschnitte |
| Zugriff | nur, was zufällig indexiert wurde | die freigegebenen Systeme, bewusst angebunden |
| Nicht-Wissen | erfindet eine Antwort | sagt, wenn nichts Passendes gefunden wurde |
Die letzte Zeile ist die wichtigste. Ein Assistent, der bei fehlender Grundlage ehrlich passt, ist im Alltag wertvoller als einer, der immer etwas sagt. Denn die stille, falsche Antwort ist teurer als das offene "weiß ich nicht".
Die Pflege für vertrauenswürdige Antworten
RAG ist kein einmaliger Aufbau, sondern eine Routine. Ein Assistent, der im Januar korrekt antwortet, kann im Juni danebenliegen, weil sich die Realität geändert hat und die Wissensbasis nicht. Diese Pflege hält Antworten vertrauenswürdig, und sie ist die Arbeit, die in den meisten gescheiterten Projekten gefehlt hat.
- Eine benannte Ownership: Eine fachliche Person verantwortet, was in die Wissensbasis darf und was raus muss. Ohne Namen verwaist die Pflege.
- Ein Update-Pfad: Wenn sich eine Regel ändert, muss die alte Version verschwinden oder klar als veraltet markiert sein, nicht neben der neuen liegen bleiben.
- Struktur statt Rohablage: Dokumente in benannte, geschnittene Abschnitte bringen, damit Retrieval die richtige Stelle findet und nicht ein halbes Handbuch.
- Freigegebener Zugriff: Der Assistent braucht die richtigen Systeme angebunden und die Rechte geklärt, sonst antwortet er aus einem Ausschnitt.
- Ein Blick auf die Antworten: Stichproben auf falsche und quellenlose Antworten, damit Drift auffällt, bevor sie Vertrauen kostet.
Kernsatz: Ein interner KI-Assistent ist zu einem kleinen Teil ein Modellprojekt und zu einem großen Teil ein Datenpflege-Projekt. Wer die Pflege überspringt, bekommt einen Assistenten, der langsam und unbemerkt schlechter wird.
Häufige Irrtümer
- Ein stärkeres Modell löst falsche Antworten.
- Ein stärkeres Modell formuliert eine falsche Quelle nur überzeugender. Solange das Retrieval veraltete oder falsche Stellen liefert, verschiebt ein Modellwechsel das Problem, statt es zu lösen.
- Einmal alle Dokumente hochladen genügt.
- Die Wissensbasis altert mit jedem Tag, an dem sich etwas im Haus ändert. Ohne Update-Prozess sinkt die Trefferquote schleichend, und niemand merkt den Moment, in dem der Assistent unzuverlässig wird.
Fragen und Antworten
- Woran erkenne ich, dass es an den Daten liegt und nicht am Modell?
- Prüf, ob die Antwort eine Quelle nennt und ob diese Quelle aktuell ist. Ist die zitierte Stelle veraltet oder fehlt sie ganz, liegt es am Retrieval und an der Wissensbasis, nicht am Modell.
- Braucht ein interner KI-Assistent perfekte Daten?
- Nein, aber freigegebene, auffindbare und einigermaßen aktuelle. Wichtiger als Vollständigkeit ist, dass die vorhandenen Dokumente sauber geschnitten sind und eine gültige Version klar erkennbar ist.
- Was ist der billigste erste Schritt?
- Zehn echte Fragen aus dem Alltag sammeln und den Assistenten daran prüfen, mit Blick auf die Quellen. Wo er ohne Beleg oder mit altem Beleg antwortet, seht ihr sofort, welche Ecke der Wissensbasis Arbeit braucht.
Sources and evidence
Es werden keine externen Statistiken oder Kundenergebnisse als belegt behauptet. Die Beispielfragen sind erfunden und dienen nur der Veranschaulichung.
