KI SpotlightNewsAttention-Kopf
Einzelner Aufmerksamkeitskanal im Transformer.
Ein Attention-Kopf ist eine einzelne Recheneinheit der Multi-Head Attention, die einen bestimmten Aspekt der Beziehungen zwischen Token erfasst. Mehrere Köpfe arbeiten parallel und ergänzen sich. Ihre Analyse gibt Hinweise darauf, welche sprachlichen Muster ein Modell gelernt hat.