KI kann falsche Antworten geben, weil ein Sprachmodell nicht wie ein Nachschlagewerk arbeitet. Es erzeugt Text, indem es berechnet, welche Wörter beziehungsweise Textbausteine wahrscheinlich aufeinander folgen. Dabei kann eine Antwort sprachlich überzeugend klingen, obwohl einzelne Angaben falsch oder sogar vollständig erfunden sind. Solche Fehler werden häufig als Halluzinationen bezeichnet.

Besonders leicht passiert das bei seltenen Fakten, mehrdeutigen Fragen oder Informationen, die dem Modell nicht zuverlässig zur Verfügung stehen. Ein Sprachmodell kann dann aus gelernten Mustern eine scheinbar passende Antwort zusammensetzen. Deshalb entstehen mitunter erfundene Studien, falsche Namen, nicht existierende Quellen oder sehr konkrete Zahlen, die trotzdem nicht stimmen.

Ein weiterer Grund liegt im Training und in der Bewertung solcher Systeme. Untersuchungen zeigen, dass Modelle teilweise stärker dafür belohnt werden, überhaupt eine Antwort zu geben, als Unsicherheit einzugestehen. Raten kann dadurch statistisch günstiger erscheinen als ein schlichtes „Ich weiß es nicht“.

Moderne Modelle machen solche Fehler seltener als frühere Generationen, vollständig verschwunden sind sie jedoch nicht. Deshalb sollten insbesondere Namen, Zahlen, Quellen sowie medizinische, rechtliche oder andere wichtige Angaben unabhängig überprüft werden.

Quellen:
▪︎ National Institute of Standards and Technology: Artificial Intelligence Risk Management Framework – Generative Artificial Intelligence Profile
▪︎ OpenAI: Why Language Models Hallucinate
▪︎ IBM: What Are AI Hallucinations?