Attention

Der Attention-Mechanismus (Aufmerksamkeit) erlaubt einem Modell, beim Verarbeiten eines Elements gezielt auf andere, besonders relevante Teile der Eingabe zu schauen. Die 2017 vorgestellte Selbstaufmerksamkeit (Self-Attention) bildet das Herzstück der Transformer-Architektur und damit fast aller modernen Sprachmodelle. Attention macht es möglich, Zusammenhänge über lange Textpassagen hinweg zu erfassen.