Distillation

Bei der Wissensdestillation (Distillation) bringt ein großes, leistungsfähiges Modell (Lehrer) einem kleineren Modell (Schüler) bei, seine Ausgaben nachzuahmen. Das kleinere Modell wird dadurch günstiger und schneller im Betrieb, behält aber viel von der Leistung. Distillation ist ein wichtiger Weg, um starke Modelle auf begrenzter Hardware nutzbar zu machen.