KI SpotlightNewsPositional Encoding
Kodierung der Wortreihenfolge für Transformer.
Positional Encoding gibt einem Transformer die Information über die Reihenfolge der Token, da dessen Attention-Mechanismus die Position sonst nicht kennt. Ohne diese Positionsinformation könnte das Modell Satzbau und Reihenfolge nicht korrekt verarbeiten.