KI SpotlightNewsSelf-Attention
Bezugnahme der Wörter eines Textes aufeinander.
Self-Attention lässt jedes Element einer Sequenz gewichten, wie stark es sich auf alle anderen Elemente desselben Textes bezieht. So erfasst ein Transformer, welche Wörter zusammengehören, auch über große Abstände hinweg. Sie ist das Herzstück der Transformer-Architektur.