KI SpotlightNewsVanishing Gradient
Verschwindende Lernsignale in tiefen Netzen.
Das Problem des Vanishing Gradient tritt auf, wenn die Lernsignale beim Rückwärtsrechnen durch viele Schichten immer kleiner werden, sodass frühe Schichten kaum noch lernen. Techniken wie ReLU, Normalisierung und Skip-Verbindungen wurden entwickelt, um dem entgegenzuwirken.