KI-Halluzinationen erkennen und reduzieren

Eine KI-Halluzination ist eine Antwort eines KI-Chats wie ChatGPT, Claude oder Gemini, die überzeugend klingt, aber falsch oder frei erfunden ist. Das kann ein Paragraf sein, den es nicht gibt, eine Lieferzeit, die nirgends steht, oder ein Beschluss, der nie gefallen ist. Mit der medizinischen Halluzination hat das nichts zu tun. Du erkennst sie am ehesten an konkreten Details ohne Quelle. Seltener wird sie, wenn du der KI dein Material mitgibst, ihr „weiß ich nicht“ erlaubst und das Ergebnis getrennt prüfst.

Ich arbeite täglich mit KI-Werkzeugen wie Claude Code. Meine vierzehn KI-Mitarbeiter laufen auf Claude Team, manche auch auf offenen Modellen oder über die API. Das sind KI-Rollen mit festen Aufgaben, Regeln und eigenem Wissen. Dabei frage ich bei jedem Ergebnis nach dem Nachweis, denn „fertig“ ist nur eine Behauptung. Und es gilt eine Hausregel: Wer etwas erstellt, prüft es nicht selbst. Alle Grundlagen zu KI findest du auf der Seite KI-Grundlagen.

Warum KI Dinge erfindet

Hinter einem KI-Chat steckt ein Sprachmodell, auf Englisch Large Language Model, kurz LLM. Anthropic, der Hersteller von Claude, beschreibt das Grundtraining so: Das Modell lernt, das nächste Wort vorherzusagen, wenn es den Text davor kennt. Es schreibt also, was nach allem Gelesenen wahrscheinlich als Nächstes kommt. Ob es stimmt, prüft das Modell dabei nicht. Wie das im Detail abläuft, erkläre ich in meinem Beitrag darüber, wie ein LLM funktioniert.

Forscher von OpenAI und der Georgia Tech haben 2025 eine einfache Erklärung dafür vorgelegt, warum das Raten bleibt. Sprachmodelle verhalten sich wie Schüler bei einer schweren Prüfung: Wenn sie unsicher sind, raten sie oft, statt eine Lücke zu lassen. Der Grund liegt laut der Studie im Training und in der Bewertung. Die meisten Tests belohnen eine geratene Antwort mehr als ein ehrliches „weiß ich nicht“. Ein Modell, das auf solche Tests hin optimiert wird, lernt also zu raten.

Daraus ergeben sich typische Auslöser:

• Das Material fehlt. Du fragst nach etwas, das weder im Chat noch im Training steht, zum Beispiel nach den Preisen deines eigenen Betriebs.
• Der Wissensstand ist alt. Jedes Modell hat einen Stichtag. Anthropic nennt für jedes aktuelle Claude-Modell ein Datum, bis zu dem sein Wissen am zuverlässigsten ist. Was danach passiert ist, kennt das Modell nicht, außer es sucht im Netz.
• Die Frage setzt etwas voraus. „Nenne mir drei Urteile zu …“ klingt so, als gäbe es drei. Ein Modell, das lieber rät, liefert dann eher drei als keines.
• Der Chat ist sehr lang. Alles, was die KI gerade vor sich hat, heißt Kontext. Je voller er ist, desto eher geht eine frühe Anweisung unter. Anthropic schreibt das selbst für sein Werkzeug Claude Code: Wird das Kontextfenster voll, kann Claude frühere Anweisungen „vergessen“ oder mehr Fehler machen. Was Kontext genau ist, steht in meinem Beitrag zum Kontextfenster.

Beispiele aus dem Büroalltag

Die folgenden Fälle sind ausgedachte Beispiele, wie sie in jedem kleinen Büro vorkommen können.

Beim Protokoll zum Beispiel hilft eine einfache Pflicht: Jede Aussage bekommt eine Zeitmarke aus der Aufnahme. Wie das in der Praxis aussieht, zeige ich in Protokoll schreiben lassen: ChatGPT, Teams. Und bei einem KI-Telefonassistenten ist die Gefahr ähnlich: Findet er nichts in seinem Wissen, kann er trotzdem eine plausible Antwort formulieren. Deshalb gehören Preise, Fristen und Zusagen dort nicht in seine Hände, siehe KI-Telefonassistent: Anbieter, Kosten, Recht.

Woran du eine Halluzination erkennst

Eine Halluzination sieht genauso aus wie eine richtige Antwort. Der Ton verrät nichts. Die OpenAI-Studie beschreibt genau das: plausible, aber falsche Aussagen. Diese vier Prüfungen helfen:

1. Achte auf konkrete Details. Zahlen, Namen, Daten, Aktenzeichen, Links und wörtliche Zitate sind die Stellen mit dem höchsten Risiko.
2. Frag nach der Quelle und öffne sie selbst. Lass dir zu jeder wichtigen Aussage sagen, woher sie stammt. Dann prüf die Quelle selbst, denn auch eine Quellenangabe kann erfunden sein.
3. Stell dieselbe Frage noch einmal neu. Am besten in einem neuen Chat. Anthropic empfiehlt, dieselbe Aufgabe mehrmals laufen zu lassen und die Ergebnisse zu vergleichen. Weichen sie voneinander ab, ist das ein Hinweis auf eine Halluzination.
4. Rechne nach. Bei Summen, Prozenten und Steuern reicht oft eine Gegenrechnung, zum Beispiel netto plus Steuer gleich brutto.

Ob ein Text überhaupt von einer KI stammt, lässt sich dagegen nicht sicher erkennen. Warum, erkläre ich in KI-Texte erkennen: was Detektoren können.

Wie du Halluzinationen seltener machst

Ganz abstellen lässt sich das nicht. Anthropic schreibt in seiner Anleitung ausdrücklich, dass die Techniken Halluzinationen deutlich verringern, aber nicht vollständig beseitigen. Die Schritte 1 bis 4 stammen aus dieser Anleitung, Schritt 5 ist meine eigene Hausregel:

1. Gib der KI dein Material. Leg die Preisliste, die Mitschrift oder den Vertrag in den Chat und schreib dazu: „Antworte nur auf Basis dieser Unterlagen, nicht aus deinem allgemeinen Wissen.“ Wie Systeme das automatisch machen, erkläre ich im Beitrag über das RAG-System.
2. Erlaube „weiß ich nicht“. Ein Satz reicht: „Wenn die Unterlagen dazu nichts sagen, schreib: Dazu habe ich keine Grundlage.“ Laut Anthropic kann allein das falsche Angaben deutlich verringern.
3. Verlange Zitate vor der Antwort. Bei langen Dokumenten lässt du die KI zuerst die passenden Stellen wörtlich herausziehen und erst danach antworten. So stützt sie sich auf den echten Text.
4. Lass jede Aussage belegen. Nach dem Entwurf soll die KI zu jeder Aussage die passende Stelle nennen. Was sie nicht belegen kann, streicht sie und markiert die Lücke mit leeren eckigen Klammern.
5. Lass getrennt prüfen. Die Rolle, die einen Text geschrieben hat, prüft ihn nicht. Geprüft wird in einem zweiten Durchlauf mit eigenem Auftrag, oft durch eine eigene Rolle mit frischem Kontext, manchmal mit einem anderen Werkzeug. Für Korrekturschleifen nutze ich regelmäßig Codex, ein KI-Werkzeug von OpenAI. Dazu passt ein Befund aus der Forschung: Sprachmodelle korrigieren ihre eigenen Denkfehler ohne Rückmeldung von außen nicht zuverlässig, manchmal werden sie dabei sogar schlechter. Von außen heißt: echte Quellen, eine Gegenrechnung, ein Test. Die getrennte Rolle ist meine Regel dafür, dass diese Prüfung nicht ausfällt.

Worauf du achten solltest

• Lass die KI entwerfen, nicht entscheiden. Alles, was teuer wird, wenn es falsch ist, prüfst du selbst: Preise, Fristen, Zusagen an Kunden, Zahlen in Rechnungen und alles mit rechtlicher Wirkung.
• Eine sichtbare Lücke ist besser als eine plausible Füllung. Als mein KI-Mitarbeiter Ralf beim Bau einer Website zu einer Person nichts fand, schrieb er sichtbare Platzhalter in den Text, statt etwas zu erfinden. Eine sichtbare Lücke kannst du prüfen, eine gut gefüllte fällt dir vielleicht nie auf.
• Auch Quellen schützen nicht ganz. Selbst wenn die KI in deinen eigenen Unterlagen sucht, können Quellen veraltet sein oder falsch zugeordnet werden. Mehr dazu in KI-Wissensdatenbank aus Calls.
• Stopp statt Diskussion. Wenn du eine Erfindung entdeckst, streite nicht mit der KI im selben Chat. Stopp das Ergebnis, mach die Lücke sichtbar und verlange einen Beleg. Wie ich dabei vorgehe, steht in Claude richtig nutzen: sechs Gewohnheiten.

Häufige Fragen

Was ist eine KI-Halluzination, einfach erklärt?

Eine Antwort, die richtig klingt, aber falsch oder erfunden ist. Das Sprachmodell sagt vorher, welches Wort wahrscheinlich als Nächstes kommt. Wenn ihm das Wissen fehlt, füllt es die Lücke mit etwas Plausiblem, statt zu sagen, dass es nichts weiß.

Warum halluziniert ChatGPT?

Aus demselben Grund wie andere Sprachmodelle. Laut einer Studie von Forschern von OpenAI und der Georgia Tech belohnen Training und Tests das Raten mehr als das Eingestehen von Unsicherheit. Dazu kommen fehlendes Material, ein alter Wissensstand und Fragen, die etwas voraussetzen.

Kann man KI-Halluzinationen ganz vermeiden?

Nein. Du kannst sie deutlich seltener machen: Material mitgeben, „weiß ich nicht“ erlauben, Belege verlangen und getrennt prüfen. Anthropic schreibt selbst, dass diese Techniken Halluzinationen nicht vollständig beseitigen. Wichtige Angaben prüfst du deshalb immer selbst.

Welche KI halluziniert am wenigsten?

Eine verlässliche Rangliste für deinen Alltag gibt es nicht. Die Hersteller messen mit unterschiedlichen Tests, und das Ergebnis hängt stark von der Aufgabe ab. Mein Rat: Nimm eine typische Aufgabe aus deinem Betrieb, deren richtige Antwort du kennst, und lass sie von zwei Werkzeugen lösen.

Hilft es, die KI zu bitten, sich selbst zu prüfen?

Nur begrenzt. Eine Studie von der Konferenz ICLR 2024 zeigt, dass Sprachmodelle ihre eigenen Denkfehler ohne Rückmeldung von außen nicht zuverlässig korrigieren. Hilfreich ist eine Prüfung gegen etwas außerhalb des Modells: die Quelle selbst, eine Gegenrechnung, deine eigene Kenntnis. Ich lasse dafür zusätzlich eine getrennte Rolle prüfen, das ist meine Hausregel.

Wie du weitermachst

Nimm dir eine Aufgabe, die du diese Woche ohnehin an die KI gibst, und bau die Schritte 1 und 2 von oben in deinen Auftrag ein: Material mitgeben und „weiß ich nicht“ erlauben. Dann vergleich das Ergebnis mit dem, was du sonst bekommst. Wenn du verstehen willst, woher das Raten kommt, lies vorher, wie ein LLM funktioniert. Der nächste Schritt ist das RAG-System, also eine KI, die vor der Antwort in deinen Unterlagen nachschlägt. Wie Halluzinationen in die gesamte Abwägung passen, steht in meinem Beitrag über die Vor- und Nachteile von KI. Alle Fachwörter aus diesem Beitrag findest du in meinem KI-Glossar. Wie andere KI im Alltag prüfen und einsetzen, besprechen wir in meiner deutschsprachigen Community Claude Practitioners.