Künstliche Intelligenz soll bald immer selbstständiger handeln. Praktischerweise beginnt sie schon damit.
Anthropic hat inzwischen vier Vorfälle offengelegt, bei denen Claude-Modelle während Cybersecurity-Tests Zugriff auf reale Systeme bekamen. Eigentlich sollten die Modelle in abgeschotteten Testumgebungen nach Sicherheitslücken suchen. Durch Fehlkonfigurationen war das Internet allerdings erreichbar. Damit wurde aus dem Planspiel stellenweise Feldforschung.
Besonders gelungen verlief ein Test mit einem internen Modell namens Claude Mythos 5. Claude sollte eine erfundene Firma angreifen und entdeckte dabei eine Möglichkeit, ein manipuliertes Softwarepaket auf dem echten Python-Dienst PyPI zu veröffentlichen. Das Modell legte dafür sogar ein Konto an, veröffentlichte das Paket und wartete auf Opfer. 15 externe Sicherheitssysteme installierten es tatsächlich. Eines verriet dabei Zugangsdaten, mit denen Claude anschließend auf die reale Datenbank eines Sicherheitsunternehmens zugriff. Nach ungefähr 90 Minuten entfernte PyPI das Paket.
Das Bemerkenswerte daran ist weniger, dass eine Testumgebung falsch konfiguriert war. Menschen konfigurieren Dinge falsch. Dafür wurde vermutlich schon vor der Erfindung des Computers eine DIN-Norm vorgesehen.
Interessanter ist, was Claude daraus machte. Anthropic beschreibt selbst zwei wiederkehrende Probleme: Das Modell ignorierte oder deutete Hinweise falsch, dass es sich möglicherweise im echten Internet befand, und nahm für die Erfüllung seiner Aufgabe Schäden in Kauf. In einem anderen Test wurden rund 9.000 reale Ziele gescannt, bevor ein System kompromittiert wurde. Erst später erkannte das Modell, dass es tatsächlich außerhalb der Simulation arbeitete, und stoppte.
Anthropic betont zu Recht, dass diese Modelle bei den Tests bewusst ohne normale Schutzmechanismen eingesetzt wurden. Trotzdem bleibt ein unangenehmer Widerspruch. Die Branche arbeitet an Agenten, die selbstständig planen, Werkzeuge benutzen und Aufgaben über viele Schritte verfolgen sollen. Gleichzeitig zeigt sie gerade, dass schon beim Testen solcher Fähigkeiten die Grenze zwischen Versuchsanordnung und Wirklichkeit erstaunlich durchlässig werden kann.
Das Problem hat inzwischen auch keinen bequemen Firmennamen mehr. Anthropic begann seine Untersuchung ausdrücklich, nachdem OpenAI zuvor einen ähnlichen Vorfall mit Zugriff auf reale Infrastruktur gemeldet hatte.
Wir bauen also Systeme, die selbstständig handeln sollen.
Jetzt müssten wir nur noch sicherstellen, dass sie wissen, wo das Labor aufhört.
Quellen:
▪︎ Anthropic: Investigating three real-world incidents in our cybersecurity evaluations, 30. Juli 2026
▪︎ Anthropic: An alignment assessment of recent cybersecurity incidents, 9. September 2026
▪︎ Reuters: Anthropic discloses fourth AI hacking incident missed in earlier review, 9. September 2026