KI SpotlightNewsGELU
Sanfte Aktivierungsfunktion in Transformern.
GELU ist eine Aktivierungsfunktion, die kleine Werte weich abschwächt statt hart abzuschneiden. Sie wird in vielen Transformer-Modellen anstelle von ReLU verwendet und trägt dort oft zu etwas besserem Trainingsverhalten bei.