RMSNorm
Effiziente Normierung in modernen Modellen.
RMSNorm ist eine vereinfachte, recheneffiziente Variante der Schichtnormierung, die die Zwischenwerte eines Netzes anhand ihrer Größenordnung stabilisiert. Sie wird in vielen aktuellen Sprachmodellen eingesetzt, weil sie ähnlich gut wirkt wie ältere Verfahren, aber weniger Rechenaufwand erfordert.