Context Compression

Context Compression bezeichnet ein Verfahren, mit dem Informationen in KI-Systemen verdichtet werden, ohne möglichst viele wichtige Zusammenhänge zu verlieren. Es kommt insbesondere bei langen Gesprächen und komplexen Aufgaben zum Einsatz.

KI-Sprachmodelle können nur eine begrenzte Menge an Informationen gleichzeitig verarbeiten. Wird diese Grenze erreicht, lassen sich ältere Gesprächsabschnitte, Zwischenergebnisse und technische Protokolle komprimieren.

Dabei werden beispielsweise umfangreiche Unterhaltungen zusammengefasst oder wichtige Arbeitsergebnisse in einer kürzeren Darstellung gespeichert. Das Modell kann anschließend mit diesen verdichteten Informationen weiterarbeiten, ohne sämtliche ursprünglichen Inhalte erneut verarbeiten zu müssen.

Das spart Rechenaufwand und ermöglicht längere Arbeitsabläufe, etwa bei autonomen KI-Agenten.

Allerdings ist die Komprimierung nicht immer verlustfrei. Wichtige Einzelheiten können verloren gehen oder falsch gewichtet werden. Deshalb muss das Verfahren zwischen möglichst geringem Informationsumfang und ausreichender Genauigkeit abwägen.