Model Collapse bezeichnet einen Qualitätsverlust generativer KI-Modelle, der entstehen kann, wenn neue Modelle wiederholt mit Daten trainiert werden, die überwiegend von früheren Modellen erzeugt wurden. Dabei gehen mit jeder Trainingsgeneration Teile der ursprünglichen Datenverteilung verloren. Besonders seltene Merkmale, ungewöhnliche Formulierungen oder Randfälle verschwinden zuerst.

Eine 2024 in Nature veröffentlichte Studie zeigte diesen Effekt bei unterschiedlichen generativen Modellen. Die Modelle orientieren sich zunehmend an bereits vereinfachten künstlichen Daten und entfernen sich dadurch schrittweise von der ursprünglichen menschlichen Datengrundlage. Spätere Forschung untersuchte genauer, wie schnell dieser Prozess unter verschiedenen Bedingungen auftreten kann.

Model Collapse bedeutet allerdings nicht, dass jede Verwendung synthetischer Daten automatisch schädlich ist. Entscheidend sind Auswahl, Mischung und Qualität der Trainingsdaten. Menschlich erzeugte und sorgfältig kuratierte Daten bleiben deshalb besonders wichtig.