Mixture of Experts (MoE)
Architektur, die nur Teile des Modells aktiviert.
Mixture of Experts teilt ein Modell in viele Teilnetze („Experten“) auf, von denen pro Anfrage nur wenige aktiv werden. Das erlaubt sehr große Modelle bei moderaten Kosten je Anfrage.