Residualverbindung

Eine Residualverbindung (Skip Connection) leitet das Eingangssignal einer Schicht zusätzlich unverändert an deren Ausgang weiter. Das erleichtert das Training sehr tiefer Netze, weil Lernsignale ungehindert durchfließen können. Sie war ein Schlüssel zum Erfolg tiefer Architekturen und auch der Transformer.