Es gibt Dinge, von denen man nicht wusste, dass die Wissenschaft sie dringend vermessen muss. Bullshit zum Beispiel. Forscher der University of Cambridge haben genau das getan und einen sogenannten BS Meter entwickelt. Das Ergebnis ist für ChatGPT nicht besonders schmeichelhaft. Für Politiker allerdings auch nicht.
Die Forscher verglichen zunächst 1.000 echte Nature-Artikel mit Texten, die ChatGPT zu denselben wissenschaftlichen Themen erzeugen sollte. Das System produzierte dabei unter anderem erfundene Daten, falsche Behauptungen und reichlich wissenschaftlich klingende Luft. Daraus trainierten die Autoren ein statistisches Modell, das typische sprachliche Muster solcher Texte erkennt. Wichtig ist die Einschränkung: Der BS Meter erkennt keine Lügen und schon gar keine Absichten. Er misst sprachliche Ähnlichkeiten zu Texten, die nach der Definition des Philosophen Harry Frankfurt vor allem eines auszeichnet: Gleichgültigkeit gegenüber der Wahrheit.
Danach wurde es unterhaltsamer. Die Forscher jagten politische Programme britischer Parteien durch ihr Modell und verglichen sie mit gewöhnlicher Alltagssprache. Die politischen Texte kamen im Mittel auf 49,36 Punkte. Normale Gespräche auf 9,40. Die Autoren formulieren das Ergebnis selbst bemerkenswert trocken: Gewöhnliche Menschen sprechen in ihrer Untersuchung eher wie Wissenschaftler. Politiker eher wie ChatGPT.
Das ist fast zu schön, um wahr zu sein, weshalb man gleich hinzufügen sollte: Der Test beweist natürlich nicht, dass Politiker künstliche Intelligenzen mit Wahlprogramm sind. Er zeigt lediglich, dass bestimmte sprachliche Muster erstaunlich ähnlich ausfallen. Vage Formulierungen, aufgeblasene Gewissheit, geringe Bindung an überprüfbare Tatsachen. Also im Grunde genau jene Eigenschaften, für die sowohl politische Rede als auch Chatbots seit Jahren einen gewissen Ruf genießen.
Besonders unangenehm ist dabei die Kritik der Autoren an den Chatbots selbst. Sie argumentieren, dass versteckte Systemvorgaben, Feinabstimmung und Guardrails gezielt den Eindruck eines kompetenten, verlässlichen Gesprächspartners erzeugen, obwohl darunter weiterhin ein System arbeitet, das Wortfolgen probabilistisch erzeugt und Wahrheit nicht grundsätzlich von Falschheit unterscheiden kann.
Der Bullshit-Messer ist damit vielleicht weniger ein Detektor als ein Spiegel. Und ausgerechnet ChatGPT hält ihn uns hin.
Quellen:
▪︎ Alessandro Trevisan, Harry Giddens, Sarah Dillon, Alan F. Blackwell: The BS meter: detecting politics and labour through ChatGPT’s language, AI & Society, 9. September 2026
▪︎ University of Cambridge, Faculty of English: Sarah Dillon, Publikationsübersicht