Mixture of Experts

Architektur mit vielen Teilnetzen, von denen je Token nur eine Auswahl aktiviert wird.

Ausführlich im Dossier: Wie große Sprachmodelle wirklich funktionieren