Multi-Head Attention

Multi-Head Attention führt die Attention mehrfach parallel mit unterschiedlichen Blickwinkeln aus und fügt die Ergebnisse zusammen. So kann ein Modell verschiedene Arten von Zusammenhängen zugleich erfassen, etwa grammatische und inhaltliche. Sie ist ein Kernbaustein des Transformers.