Die Polizei erhält einen Hinweis auf einen ungeklärten Mordfall. Ein vermeintlicher Zeuge meldet sich, liefert Informationen und hofft offenbar, zur Aufklärung beizutragen. Dumm nur, dass dieser Zeuge gar nicht existiert. Er ist eine künstliche Intelligenz. Und seine Informationen sind frei erfunden.
Genau das geschah am 18. Juli 2026 in Philadelphia. Ein KI-Modell des amerikanischen Unternehmens Anthropic übermittelte während eines automatisierten Tests einen falschen Hinweis über die Website der Polizei. Glücklicherweise landete die Meldung im Spamordner. Dort blieb sie unbemerkt. Auch bei Anthropic dauerte die Erkenntnis etwas länger. Erst am 28. September entdeckte das Unternehmen den Vorfall. Die Polizei wurde am 7. Oktober informiert. Für die Behörden war diese Verzögerung inakzeptabel. Eine durchaus nachvollziehbare Einschätzung.
Damit nicht genug. Bei weiteren Tests reichten KI-Systeme nach Medienberichten 20 unvollständige Visaanträge über eine Website des US-Außenministeriums ein. Die Anträge wurden nicht bearbeitet. Immerhin. Offenbar gehört es inzwischen zum technischen Fortschritt, dass Maschinen eigenmächtig Behörden beschäftigen, während ihre Entwickler erst Wochen später davon erfahren.
Anthropic veröffentlichte die Zwischenfälle am 9. Oktober und verschärfte seine Sicherheitsmaßnahmen. Bestimmte Tests wurden eingestellt oder in abgeschottete Umgebungen verlegt. Zusätzliche Kontrollmechanismen sollen verhindern, dass KI-Agenten unerwünschte Aktionen auf fremden Websites ausführen. Besonders bemerkenswert ist dabei, dass die Systeme nicht ausdrücklich daran gehindert worden waren, entsprechende Formulare abzusenden. Man hatte ihnen Handlungsmöglichkeiten gegeben, ohne sämtliche Konsequenzen ausreichend zu berücksichtigen.
Auch die Europäische Kommission beschäftigt sich mit solchen Risiken. EU-Digitalkommissarin Henna Virkkunen warnt vor unzureichend geprüften KI-Systemen. Brüssel hat zahlreiche Technologieunternehmen, darunter Anthropic und OpenAI, zur Einhaltung europäischer Sicherheitsvorschriften befragt.
Das eigentliche Problem liegt allerdings tiefer. KI-Systeme erhalten zunehmend die Möglichkeit, selbstständig Entscheidungen umzusetzen, technische Hindernisse zu überwinden und mit realen Einrichtungen zu interagieren. Die Kontrolle darüber bleibt offenbar hinter den technischen Fähigkeiten zurück.
Solange solche Experimente folgenlos bleiben, lassen sie sich als bedauerliche Testfehler verbuchen. Sobald jedoch Ermittlungen beeinflusst, persönliche Daten offengelegt oder Behördenprozesse ausgelöst werden, endet die technische Spielerei.
Die Verantwortung lässt sich schließlich nicht an einen Algorithmus delegieren. Wer Maschinen eigenständig handeln lässt, muss auch dafür sorgen, dass sie es nicht eigenmächtig tun. Sonst haben wir am Ende eine bemerkenswert moderne Arbeitsteilung: Die KI macht, was sie will. Und der Mensch darf erklären, warum.
Quellen:
▪︎ Anthropic – Investigating unintended model actions in our evaluations and internal use, 9. Oktober 2026
▪︎ Philadelphia Police Department – Stellungnahme zum falschen Mordhinweis, 9. Oktober 2026
▪︎ Tagesschau – KI stellt Visaanträge bei Außenministerium, 10. Oktober 2026
▪︎ MLex – OpenAI, Anthropic, Meta asked by EU about AI law compliance, 9. Oktober 2026