Ein Token ist eine kleine Informationseinheit, in die KI-Modelle Texte für die Verarbeitung zerlegen. Ein Token kann einem ganzen Wort entsprechen, aber auch nur einem Wortteil, einem einzelnen Zeichen oder einem Satzzeichen. Die genaue Aufteilung hängt vom verwendeten Modell und dessen Tokenizer ab.

Bevor ein Sprachmodell eine Eingabe verarbeitet, wird der Text in solche Einheiten zerlegt. Auch die Antwort entsteht zunächst als Folge neuer Token und wird anschließend wieder als lesbarer Text ausgegeben. Deshalb entspricht die Zahl der Token nicht einfach der Zahl der Wörter.

Token spielen außerdem bei den technischen Grenzen und Kosten vieler KI-Dienste eine Rolle. Modelle können nur eine begrenzte Anzahl davon gleichzeitig verarbeiten. Bei kommerziellen Schnittstellen wird häufig nach Eingabe- und Ausgabe-Token abgerechnet.

Der Begriff ist deshalb mehr als technische Kleinarbeit: Er beschreibt die Einheiten, aus denen ein Sprachmodell seinen Text überhaupt zusammensetzt.