FlashAttention
Speichereffiziente Berechnung der Attention.
FlashAttention ist ein Verfahren, das die Attention in Transformern deutlich schneller und speichersparender berechnet, indem es die Rechenschritte geschickt anordnet. Es ermöglicht längere Kontextfenster und senkt die Kosten von Training und Inferenz, ohne das Ergebnis zu verändern.