KI-Halluzinationen sind Antworten eines KI-Systems, die plausibel und überzeugend klingen, aber sachlich falsch sind. Das kann von einer fehlerhaften Zahl bis zu frei erfundenen Personen, Studien oder Quellen reichen. Das National Institute of Standards and Technology verwendet dafür auch den Begriff „Confabulation“.

Der Grund liegt unter anderem in der Funktionsweise großer Sprachmodelle. Sie greifen nicht einfach auf ein verlässliches Lexikon mit geprüften Fakten zurück. Stattdessen erzeugen sie Text anhand statistischer Muster und berechnen, welche Wörter oder Textbestandteile wahrscheinlich zueinander passen. So kann eine sprachlich einwandfreie Antwort entstehen, obwohl ihr Inhalt nicht stimmt.

Halluzinationen treten besonders dann auf, wenn Informationen fehlen, selten vorkommen oder eine Frage mehrdeutig ist. Hinzu kommt, dass Sprachmodelle in Training und Bewertung teilweise davon profitieren können, eine Antwort zu versuchen, statt Unsicherheit einzugestehen. Forschende untersuchen deshalb Methoden, mit denen Modelle zuverlässiger erkennen sollen, wann sie etwas nicht wissen.

Der Begriff „Halluzination“ darf dabei nicht wörtlich verstanden werden. Eine KI nimmt nichts wahr und erlebt keine Sinnestäuschung. Gemeint ist lediglich, dass sie falsche Inhalte erzeugt. Gerade bei Namen, Zahlen, Zitaten und Quellen sollten KI-Antworten deshalb überprüft werden.

Quellen:
▪︎ National Institute of Standards and Technology: Artificial Intelligence Risk Management Framework – Generative Artificial Intelligence Profile
▪︎ OpenAI: Why Language Models Hallucinate
▪︎ Kalai, Nachum, Vempala, Zhang: Why Language Models Hallucinate