Quantisierung

Quantisierung senkt den Speicher- und Rechenbedarf eines Modells, indem seine Zahlenwerte mit geringerer Genauigkeit dargestellt werden, etwa als 8- statt 16-Bit-Werte. So laufen große Modelle auch auf schwächerer Hardware, meist mit nur geringem Qualitätsverlust.