Die gute Nachricht ist: Die Leute, die an besonders mächtiger künstlicher Intelligenz arbeiten, denken durchaus über deren Risiken nach. Die etwas schlechtere Nachricht: Einige von ihnen halten es für möglich, dass diese Technik die Menschheit auslöscht. Gebaut wird trotzdem.
Jacob Coxon hat drei Jahre lang an der Vorentwicklung großer KI-Modelle bei OpenAI und Anthropic gearbeitet. Am 8. September verließ er Anthropic und gleich die ganze Branche. Sein Vorwurf: Beide Unternehmen rasten auf eine sich selbst verbessernde Superintelligenz zu und spielten dabei mit unser aller Leben. Nach Coxons Darstellung glauben Menschen innerhalb der führenden Labore ernsthaft, dass solche Systeme noch in diesem Jahrzehnt tödlich für die Menschheit werden könnten.
Das könnte man als dramatischen Abgang eines einzelnen Forschers abheften. Leider meldete sich anschließend Evan Hubinger zu Wort, bei Anthropic zuständig für Alignment-Forschung. Er widersprach Coxon nicht. Im Gegenteil. Seine persönliche Einschätzung für die Wahrscheinlichkeit, dass KI innerhalb der kommenden zehn Jahre alle Menschen töten könnte, liege bei mehr als zehn Prozent. Gleichzeitig erklärte er, Anthropic habe bislang keinen Plan, wie sich eine Superintelligenz zuverlässig auf menschliche Ziele ausrichten lasse, und sei auch nicht eindeutig auf dem Weg dorthin.
Mehr als zehn Prozent. Bei einem Regenschauer nimmt man dafür einen Schirm mit. Bei der möglichen Auslöschung der Menschheit offenbar einen weiteren Finanzierungsschritt.
Natürlich sind solche Szenarien hoch umstritten. Andere Fachleute halten die Vorstellung einer außer Kontrolle geratenen Superintelligenz für spekulativ und warnen davor, darüber bereits reale Folgen der KI zu vergessen: Desinformation, Arbeitsplatzverluste, Cyberrisiken und die Konzentration enormer Macht bei wenigen Unternehmen. Auch Hubinger betont, dass er die Gefahr bei heutigen Modellen für gering hält. Seine Sorge gilt einer künftigen, sich selbst verbessernden Superintelligenz.
Das macht die Sache allerdings kaum beruhigender. Denn die eigentliche Absurdität liegt nicht darin, dass Forscher vor einer hypothetischen Katastrophe warnen. Sie liegt darin, dass einige der Menschen, die diese Katastrophe selbst für ernsthaft möglich halten, gleichzeitig weiter an der Technik arbeiten, die sie verursachen könnte.
Man könnte das Fortschritt nennen. Beim Roulette heißt es Einsatz.
Quellen:
▪︎ The Washington Post: Anthropic researcher resigns, warning of reckless race toward superintelligence, 9. September 2026
▪︎ CBS News: Anthropic researcher says more than 10% chance AI could kill all humans, 9. September 2026
▪︎ Euronews: Spiel mit unserem Leben: Ex-Anthropic-Forscher warnt vor KI-Katastrophe, 9. September 2026