Rotary Embeddings (RoPE)
Positionskodierung durch Drehung.
Rotary Embeddings kodieren die Position von Token, indem sie deren Vektoren um einen positionsabhängigen Winkel drehen. Dieses Verfahren geht besonders gut mit langen Sequenzen um und ist in vielen modernen Sprachmodellen zur Standardmethode der Positionskodierung geworden.