Halluzinationen im KI‑Assistenten eindämmen
Kurzantwort
Ein KI-Assistent halluziniert, weil ein Sprachmodell plausiblen Text erzeugt und keinen eingebauten Wahrheitsprüfer hat. Ganz abstellen lässt sich das nicht, eindämmen sehr wohl: die Antwort an Belege binden (Grounding), Quellen mitliefern, dem Assistenten das Schweigen erlauben und an heiklen Stellen einen Menschen prüfen lassen. Diese Schichten wirken zusammen, keine allein reicht.
Halluzinationen sind kein Bug, den man wegpatcht, sondern eine Eigenschaft, wie Sprachmodelle arbeiten: Sie sagen das Wahrscheinliche, nicht das Belegte. Deshalb klingt eine erfundene Antwort genauso sicher wie eine richtige. Der wirksamste Hebel ist Grounding, also die Antwort zwingend aus freigegebenen Quellen zu bilden und die Herkunft mitzuliefern. Darüber liegen zwei weitere Schichten: dem Assistenten erlauben, bei fehlender Grundlage ehrlich zu passen, und an Stellen mit Folgen einen Menschen entscheiden lassen. Der teuerste Fehler ist nicht die falsche Antwort, sondern die falsche Antwort, die niemand als solche erkennt.
Warum ein Assistent überhaupt erfindet
Ein Sprachmodell beantwortet keine Frage, es setzt Text fort. Es schätzt, welches Wort als Nächstes am wahrscheinlichsten ist, und reiht so Satz an Satz. Das erklärt die Stärke und die Schwäche in einem: Der Assistent formuliert flüssig und überzeugend, hat aber keinen eingebauten Prüfer, der zwischen wahr und plausibel unterscheidet. Wo ihm eine Grundlage fehlt, füllt er die Lücke mit dem, was klingt, als könnte es stimmen.
Genau deshalb sind Halluzinationen so tückisch. Eine erfundene Kennzahl, ein erfundenes Aktenzeichen, eine erfundene Regel kommen im selben ruhigen, sicheren Ton wie die richtige Auskunft. Es gibt kein Zögern, keine Warnfarbe. Der Assistent weiß nicht, dass er rät, und der Mensch davor sieht es der Antwort nicht an.
Der teuerste Fehler ist nicht die falsche Antwort. Es ist die falsche Antwort, die genauso souverän klingt wie die richtige und deshalb niemandem auffällt.
Daraus folgt die ganze Logik dieses Artikels. Man kann einem Sprachmodell das Raten nicht abtrainieren, aber man kann ihm den Anlass nehmen und die Folgen abfangen. Nicht mit einem Trick, sondern mit mehreren Schichten, die übereinander liegen.
Die vier Schutzschichten
Keine einzelne Maßnahme macht einen Assistenten verlässlich. Verlässlich wird er durch mehrere Schichten, die verschiedene Fehler an verschiedenen Stellen abfangen. Fällt eine durch, hält die nächste.
Die erste ist Grounding: Der Assistent bildet seine Antwort aus freigegebenen Quellen, statt aus dem Gedächtnis. Die zweite sind Quellen in der Antwort, damit sich jede Auskunft nachprüfen lässt. Die dritte ist das erlaubte Schweigen, damit der Assistent bei fehlender Grundlage passt statt erfindet. Die vierte ist der Mensch an den Stellen, an denen ein Fehler Geld, Recht oder Vertrauen kostet.
| Schicht | Was sie abfängt | Wo sie allein versagt |
|---|---|---|
| Grounding auf Quellen | frei erfundene Fakten | wenn die Quelle selbst veraltet ist |
| Quellen in der Antwort | unbemerkt falsche Auskünfte | wenn niemand die Quelle liest |
| Erlaubtes Schweigen | Antworten ohne Grundlage | wenn die Schwelle zu locker gesetzt ist |
| Menschliche Prüfung | teure Einzelfehler | bei Masse und Tempo nicht skalierbar |
Die Tabelle macht klar, warum es die Kombination braucht. Grounding senkt die Zahl der Halluzinationen, Quellen machen die verbleibenden sichtbar, das Schweigen verhindert die stille falsche Antwort, und der Mensch fängt das ab, was trotzdem durchrutscht und wehtut.
Grenzen ehrlich machen, statt immer zu antworten
Die unbequemste Maßnahme ist zugleich eine der wirksamsten: dem Assistenten beizubringen, ehrlich zu passen. Ein System, das auf jede Frage etwas sagt, ist bequem in der Demo und gefährlich im Betrieb. Denn die Fälle, in denen es nichts Passendes findet, sind genau die, in denen es am liebsten erfindet.
Ein guter Assistent trennt drei Zustände sichtbar: Er hat eine belegte Antwort, er hat eine Teilantwort mit Vorbehalt, oder er hat nichts Passendes gefunden. Der dritte Zustand ist kein Versagen, sondern eine korrekte Auskunft. Ein offenes „dazu finde ich nichts Freigegebenes“ ist im Alltag mehr wert als eine glatte Erfindung, weil es den Menschen an die richtige Stelle schickt, statt ihn in die Irre zu führen.
| Situation | Schlechter Assistent | Guter Assistent |
|---|---|---|
| Frage außerhalb der Wissensbasis | erfindet eine plausible Antwort | sagt offen, dass nichts Passendes vorliegt |
| Widersprüchliche Quellen | wählt still eine Version | zeigt den Konflikt und die Fundstellen |
| Frage mit rechtlicher Folge | antwortet endgültig | antwortet mit Vorbehalt und übergibt an einen Menschen |
Diese Ehrlichkeit muss man bewusst einbauen und testen, sonst optimiert das System auf eine hübsche, immer gefüllte Antwort. Und eine hübsche Antwort ist nicht dasselbe wie eine richtige.
So dämmst du Halluzinationen ein
Diese Schritte bringen die Schichten in eine Reihenfolge. Sie kosten wenig, decken früh die Lücken auf und lassen sich an einem kleinen, echten Ausschnitt beginnen.
- Grounding zuerst: Binde den Assistenten an freigegebene Quellen, damit er aus Belegen antwortet und nicht aus dem allgemeinen Modellwissen.
- Quellen erzwingen: Jede Antwort nennt Fundstelle und Datum. Was keine Quelle hat, gilt als Vermutung, nicht als Auskunft.
- Das Passen erlauben: Setze eine Schwelle, unter der der Assistent ehrlich sagt, dass er nichts Passendes findet, statt zu füllen.
- Menschen an die richtigen Stellen: Definiere, bei welchen Fragen ein Mensch prüft, bevor die Antwort zählt, entlang der Folgen eines Fehlers.
- Mit echten Fragen prüfen: Sammle zehn schwierige Alltagsfragen und schau, wo der Assistent ohne Quelle oder zu selbstsicher antwortet.
Kernsatz: Halluzinationen bekämpft man nicht mit einem stärkeren Modell, sondern mit einer klaren Grundlage und dem Mut, den Assistenten schweigen zu lassen, wenn er nichts weiß.
Häufige Irrtümer
- Ein stärkeres Modell halluziniert nicht mehr.
- Ein stärkeres Modell erfindet seltener, aber wenn es erfindet, klingt es nur überzeugender. Ohne Grounding und ohne Quellen verschiebt ein Modellwechsel das Problem, statt es zu lösen.
- Halluzinationen lassen sich ganz abstellen.
- Nein. Solange ein Sprachmodell im Kern Wahrscheinlichkeiten fortschreibt, bleibt ein Restrisiko. Das Ziel ist nicht null Fehler, sondern selten, sichtbar und an folgenreichen Stellen abgefangen.
Fragen und Antworten
- Woran erkenne ich eine Halluzination im Alltag?
- An der fehlenden oder falschen Quelle. Nennt der Assistent keine Fundstelle oder verweist auf etwas, das die Aussage nicht trägt, behandle die Antwort als Vermutung, egal wie sicher sie klingt.
- Löst RAG das Problem allein?
- RAG ist der stärkste einzelne Hebel, weil es die Antwort an echte Stellen bindet. Aber wenn die Quelle veraltet ist oder niemand sie liest, hilft auch RAG nicht. Deshalb braucht es die weiteren Schichten dazu.
- Ist ein Assistent, der oft passt, nicht nutzlos?
- Im Gegenteil. Ein Assistent, der bei fehlender Grundlage ehrlich passt, spart die stillen Fehlentscheidungen, die eine glatt erfundene Antwort auslöst. Ehrliches Nichtwissen ist im Betrieb ein Merkmal, kein Mangel.
Sources and evidence
Es werden keine externen Statistiken oder Kundenergebnisse als belegt behauptet. Die Beispielfälle sind erfunden und dienen nur der Veranschaulichung.
