Context Rot bezeichnet ein Problem bei KI-Systemen mit sehr langen Eingaben. Je mehr Informationen ein Sprachmodell gleichzeitig verarbeiten muss, desto schwieriger kann es werden, relevante Details zuverlässig zu erkennen und zu nutzen. Ein großes Kontextfenster bedeutet deshalb nicht automatisch, dass ein Modell sämtliche darin enthaltenen Informationen gleich gut berücksichtigt.

Chroma Research untersuchte 18 Sprachmodelle und stellte fest, dass ihre Zuverlässigkeit mit wachsender Kontextlänge abnehmen kann. Auch zusätzliche, für die Aufgabe unwichtige Informationen können die Leistung verschlechtern.

Der Begriff wird inzwischen außerdem in der KI-gestützten Softwareentwicklung verwendet. Dort können dauerhaft gespeicherte Projektanweisungen veralten, während sich der eigentliche Programmcode weiterentwickelt. Eine Untersuchung von 356 Softwareprojekten fand bei 23 Prozent veraltete Verweise in solchen Konfigurationsdateien.

Context Rot zeigt damit einen wichtigen Unterschied: Informationen verfügbar zu haben und sie zuverlässig nutzen zu können, sind zwei verschiedene Fähigkeiten.