Transformer

Der Transformer ist die 2017 vorgestellte Netzarchitektur, die dank des Attention-Mechanismus Zusammenhänge über lange Textabschnitte hinweg erfasst und dabei stark parallel rechnet. Er löste rekurrente Netze ab und bildet die Grundlage nahezu aller heutigen großen Sprach- und multimodalen Modelle.