Die gute Nachricht zuerst: Wer demnächst medizinischen Rat braucht, kann sich womöglich den Spezialisten sparen. Vorausgesetzt, die Krankheit besteht aus Multiple-Choice-Fragen.
Eine im Juni veröffentlichte Untersuchung hatte nämlich ein eher unangenehmes Ergebnis für Anbieter spezialisierter Medizin-KI. Allgemeine Sprachmodelle wie GPT-5.2, Gemini 3.1 Pro und Claude Opus 4.6 schnitten in mehreren Tests besser ab als eigens für den klinischen Einsatz entwickelte Systeme. Gemini erreichte bei einem medizinischen Fragenkatalog 97,4 Prozent, GPT 94,2 Prozent. Die spezialisierten Produkte blieben unter 90 Prozent. Auch bei anonymisierten Fragen aus dem ärztlichen Alltag lagen die Allzweckmodelle vorn.
Das ist bemerkenswert. Schließlich besteht ein Teil des Geschäftsmodells spezialisierter Software gerade darin, nicht bloß ein Chatbot mit weißem Kittel zu sein.
Anfang September kam allerdings die wissenschaftliche Gegenrede. Die verwendeten Benchmarks seien zu schmal, um daraus gleich abzuleiten, welches System Krankenhäuser kaufen, Behörden zulassen oder Ärzte einsetzen sollten. Selbst die Autoren der ursprünglichen Untersuchung räumen mögliche Überschneidungen mit Trainingsdaten und Eigenheiten der Bewertung ein. Ein Modell kann bei einer Prüfung glänzen, ohne deshalb im Behandlungszimmer plötzlich Verantwortung übernehmen zu können.
Und genau hier wird die Sache für beide Seiten lästig.
Die Hersteller spezialisierter Systeme können sich nicht mehr darauf verlassen, dass das Etikett „medizinische KI“ automatisch technische Überlegenheit bedeutet. Wenn ein allgemeines Modell denselben Test besser löst, darf man durchaus fragen, wofür der Spezialaufschlag eigentlich bezahlt wird.
Umgekehrt wäre es ähnlich kühn, aus 97,4 Prozent richtigen Antworten bereits einen digitalen Oberarzt zu machen. Medizin besteht bedauerlicherweise aus Patienten. Sie stellen Rückfragen, haben unvollständige Befunde, mehrere Erkrankungen gleichzeitig und die unangenehme Angewohnheit, nicht nach Benchmark sortiert aufzutreten.
Der Test zeigt deshalb vor allem zweierlei: Spezialsoftware ist nicht automatisch besser. Und ein Chatbot wird nicht dadurch zum Arzt, dass er den Arzt im Quiz schlägt.
Bei „Wer wird Millionär?“ wäre er damit allerdings schon ziemlich weit.
Quellen:
▪︎ Nature Medicine: General-purpose large language models outperform specialized clinical AI tools on medical benchmarks, 12. Juni 2026
▪︎ Nature Medicine: Limited benchmarks constrain the conclusions of a general-purpose versus clinical AI comparison, 3. September 2026