Cross-Attention

Cross-Attention lässt die Elemente einer Sequenz gezielt auf die einer anderen zugreifen, etwa den Decoder auf die Eingabe des Encoders. Sie ist wichtig, damit eine erzeugte Ausgabe eng an der Vorlage bleibt, und spielt auch in multimodalen Modellen eine Rolle.