Eine Mixture-of-Experts-Architektur, kurz MoE, teilt ein KI-Modell in mehrere spezialisierte Teilnetze auf, die als „Experten“ bezeichnet werden. Bei einer Eingabe entscheidet ein sogenannter Router, welche dieser Experten tatsächlich benötigt werden. Dadurch muss nicht für jede Anfrage das gesamte Modell aktiviert werden. Das ermöglicht Modelle mit sehr vielen Parametern, ohne dass der Rechenaufwand im gleichen Verhältnis wächst. Besonders bei großen Sprachmodellen wird dieses Verfahren genutzt, um Leistung und Rechenbedarf besser auszubalancieren. Die Architektur hat allerdings auch Nachteile: Das Training ist komplexer, die Experten müssen möglichst gleichmäßig ausgelastet werden, und trotz weniger aktiver Parameter kann ein hoher Speicherbedarf entstehen.