Mixture of Experts (MoE)

Mixture of Experts teilt ein Modell in viele Teilnetze (Experten) auf, von denen pro Anfrage nur wenige aktiv werden. Ein Router entscheidet, welche Experten zuständig sind. So lassen sich sehr große Modelle bauen, deren Kosten je Anfrage moderat bleiben, weil nie alle Teile gleichzeitig rechnen.