KI SpotlightNews
KI-Lexikon
Verfahren
Distillation
Übertragung des Wissens eines großen Modells auf ein kleines.
Bei der Wissensdestillation (Distillation) bringt ein großes, leistungsfähiges Modell (Lehrer) einem kleineren Modell (Schüler) bei, seine Ausgaben nachzuahmen. Das kleinere Modell wird dadurch günstiger und schneller im Betrieb, behält aber viel von der Leistung. Distillation ist ein wichtiger Weg, um starke Modelle auf begrenzter Hardware nutzbar zu machen.