Ein Sprachmodell ist ein mathematisches Modell, das Muster und Zusammenhänge in Sprache erlernt. Es berechnet beispielsweise, welche Wörter oder Textbestandteile in einem bestimmten Zusammenhang wahrscheinlich aufeinander folgen. Ein Large Language Model, kurz LLM, ist ein besonders umfangreiches Sprachmodell, das mit sehr großen Textmengen trainiert wurde und zahlreiche Parameter besitzt.

Moderne LLMs beruhen meist auf neuronalen Netzwerken mit einer sogenannten Transformer-Architektur. Bei einer Texteingabe zerlegt das Modell den Inhalt in kleinere Einheiten, sogenannte Tokens. Anschließend berechnet es schrittweise, welches Token wahrscheinlich als Nächstes folgen sollte. Auf diese Weise entstehen Antworten, Zusammenfassungen, Übersetzungen oder auch Programmcode.

Dass die erzeugten Texte häufig überzeugend und verständlich wirken, bedeutet jedoch nicht, dass ein Sprachmodell Wissen oder Sprache genauso versteht wie ein Mensch. Es arbeitet mit während des Trainings erlernten statistischen Zusammenhängen. Deshalb kann ein LLM auch falsche Informationen erzeugen, Zusammenhänge verwechseln oder sehr überzeugend klingende Fehler produzieren.

LLMs sind heute eine wichtige Grundlage generativer KI. Sie können für viele unterschiedliche sprachbezogene Aufgaben eingesetzt werden, ohne für jede einzelne Aufgabe von Grund auf neu programmiert werden zu müssen. Genau diese Vielseitigkeit unterscheidet moderne große Sprachmodelle von vielen früheren spezialisierten Sprachsystemen.

Quellen:
▪︎ Stanford Institute for Human-Centered Artificial Intelligence: What is a Large Language Model (LLM)?
▪︎ Stanford CRAFT: What are Large Language Models (LLMs)?
▪︎ IBM: What Are Large Language Models (LLMs)?