Sparse-Modell
Modell, bei dem nur wenige Teile aktiv sind.
Ein Sparse-Modell aktiviert für eine Anfrage nur einen kleinen Teil seiner Parameter, statt das gesamte Netz zu nutzen. Dadurch lassen sich sehr große Modelle mit vertretbarem Rechenaufwand betreiben. Mixture-of-Experts-Architekturen sind ein bekanntes Beispiel dieses Prinzips.