Residualverbindung
Abkürzung, die sehr tiefe Netze ermöglicht.
Eine Residualverbindung (Skip Connection) leitet das Eingangssignal einer Schicht zusätzlich unverändert an deren Ausgang weiter. Das erleichtert das Training sehr tiefer Netze, weil Lernsignale ungehindert durchfließen können. Sie war ein Schlüssel zum Erfolg tiefer Architekturen und auch der Transformer.