Warum Sprachmodelle halluzinieren
Ein LLM erzeugt seine Antwort nicht aus einer Wissensdatenbank, sondern Token für Token aus statistischen Wahrscheinlichkeiten, die während des Trainings gelernt wurden. Wenn das Modell die richtige Fortsetzung nicht kennt, wird der wahrscheinlichste plausible Text ausgegeben – nicht eine Rückmeldung, dass die Information fehlt. Das Ergebnis kann grammatisch perfekt, stilistisch souverän und inhaltlich frei erfunden sein.
Die OpenAI-Arbeit Why Language Models Hallucinate (Kalai et al., 2025) führt Halluzinationen explizit auf die Trainings- und Bewertungsmethodik zurück: Modelle werden so optimiert, dass sie auch bei Unsicherheit raten statt „ich weiß es nicht“ zu sagen – weil Raten in gängigen Benchmarks bessere Punktzahlen liefert. Die umfassende Survey A Survey on Hallucination in Large Language Models (Huang et al., 2023–2025) systematisiert das Phänomen weiter und bildet die meistzitierte Referenzarbeit zum Thema.
Typen von Halluzinationen
In der Forschung wird zwischen mehreren Halluzinations-Typen unterschieden – die Abgrenzung ist wichtig, weil sich unterschiedliche Gegenmaßnahmen anbieten:
- Faktische Halluzination: Das Modell behauptet Tatsachen, die in der realen Welt nicht stimmen – etwa ein erfundenes Erscheinungsdatum, eine falsche Zahl oder eine nicht existierende Studie.
- Quellen-Halluzination: Das Modell erfindet Literaturangaben, URLs oder Paragraphen, die plausibel klingen, aber nicht existieren. Besonders riskant in juristischen und wissenschaftlichen Kontexten.
- Kontext-Halluzination: Das Modell weicht von Inhalten ab, die im Context Window mitgegeben wurden – etwa indem es Zahlen aus einem hochgeladenen Dokument falsch wiedergibt.
- Logische Halluzination: Das Modell liefert eine formal korrekte, aber inhaltlich widerspruechliche Argumentation – etwa indem es eine Aussage und ihr Gegenteil im selben Absatz vertritt.
Wie sich Halluzinationen reduzieren lassen
Vollständig vermeiden lassen sich Halluzinationen nach aktuellem Forschungsstand nicht – aber das Risiko lässt sich in Unternehmensanwendungen drastisch senken. Vier Hebel haben sich durchgesetzt:
Retrieval Augmented Generation
Das Modell antwortet nicht aus dem Gedächtnis, sondern auf Basis aktuell abgerufener Dokumente. Antworten werden gegen kontrollierte Quellen gerätselt – der wirkungsvollste Einzelhebel gegen faktische Halluzinationen.
Prompt-Disziplin
Klare Anweisungen wie „antworte nur, wenn die Quelle im Kontext steht“ senken Halluzinationen messbar – Bestandteil jedes systematischen Prompt-Engineering-Prozesses.
Strukturierte Ausgabe
Wenn das Modell jeden Fakt einer Quelle zuordnen muss (JSON mit Quellenfeld), wird das Erfinden teurer als das Zugeben von Wissenslücken. Halluzinationen werden so sichtbar.
Human-in-the-Loop
In regulierten Bereichen wie der KI in der Steuerberatung bleibt die finale Prüfung eine menschliche Aufgabe – Halluzinationen werden so abgefangen, bevor sie nach außen wirken.
Halluzinationen im Unternehmenseinsatz
Für Unternehmen ist nicht die Frage, ob Halluzinationen auftreten, sondern wo sie auftreten dürfen und wo nicht. Drei Risiko-Kategorien sind in der Praxis hilfreich:
- Niedriges Risiko: Brainstorming, Formulierungshilfen, Entwurfs-Texte – hier ist eine Halluzination unangenehm, aber selten gefährlich. Der Mensch redigiert ohnehin.
- Mittleres Risiko: Wissens-Chatbots, Recherchen, interne Reports – hier braucht es Quellenangaben und einen klaren Hinweis, dass die KI fehlbare Vorschläge liefert, keine geprüften Antworten.
- Hohes Risiko: Rechtliche, medizinische, steuerliche oder sicherheitsrelevante Aussagen – hier dürfen Halluzinationen nicht unentdeckt nach außen gehen. Pflicht: Quellenpflicht im Prompt, Retrieval gegen kontrollierte Datenbasis, menschliche Freigabe.
Eine pauschale Aussage „KI macht Fehler“ reicht in der Unternehmenspraxis nicht aus. Sinnvoll ist ein Halluzinations-Audit pro Use Case: Welche Art von Fehler kann auftreten, wer prüft, und welche Konsequenz hätte ein durchgelassener Fehler? Diese Bewertung gehört zu jeder seriösen KI-Beratung.
Verwandte Begriffe
Wie halluzinations-sicher ist Ihr KI-Use-Case?
Wir bewerten Ihre LLM-Anwendungen strukturiert, identifizieren die kritischen Halluzinations-Risiken und entwickeln einen passenden Mix aus Retrieval, Prompt-Disziplin und Human-in-the-Loop – im Rahmen einer KI-Beratung.
Kostenlose Erstberatung vereinbaren