TileMix: Präzisions-Routing für schnellere LLM-Inference bei langen Kontexten

TileMix: Score-Tiles mit FP16 oder INT8 routen

TileMix ist eine neue Methode zur Beschleunigung der LLM-Inference, die gezielt die Prefill-Phase bei langen Kontexten adressiert. In dieser Phase entsteht erhebliche Rechen- und Speicherlast, weil dichte Selbstaufmerksamkeit quadratisch viele Query-Key-Scores berechnet. TileMix routet Attention-Score-Tiles innerhalb der fused dense attention auf gemischte FP16- oder INT8-Präzision. Dadurch wird der Prefill-Durchsatz erhöht und gleichzeitig die Genauigkeit für lange Kontexte wiederhergestellt – ohne Retraining. Die Tiles sind hardware-aligned, das heißt an die Verarbeitungseinheiten der Beschleuniger angepasst, was eine effiziente Ausführung auf GPUs und anderen Inferenzplattformen ermöglicht. Die räumliche Präzisions-Routierung über diese Tiles ist der Kern der Methode: Statt alle Scores einheitlich mit niedriger Präzision zu verarbeiten oder nur bestimmte Token-Interaktionen auszuwählen, entscheidet TileMix pro Tile, welche Präzision angemessen ist. So bleiben rechenintensive FP16-Operationen dort erhalten, wo sie für die Genauigkeit kritisch sind, während weniger sensitive Bereiche mit INT8 effizienter ausgeführt werden. Das Verfahren kommt ohne erneutes Training aus und lässt sich in bestehende fused-attention-Kernel integrieren, was die praktische Anwendbarkeit erhöht. Die hardware-aligned Tiles sorgen zudem dafür, dass die gemischte Präzision die Speicherzugriffsmuster nicht stört und die Recheneinheiten optimal ausgelastet bleiben.

Bisherige Ansätze: einheitliche Low-Precision oder Token-Selektion

Bisherige Ansätze zur Beschleunigung der Attention bei langen Kontexten verfolgen im Wesentlichen zwei Strategien. Die erste nutzt einen einheitlichen Low-Precision-Pfad, bei dem alle Attention-Scores mit reduzierter Genauigkeit – etwa durchgängig FP16 oder INT8 – berechnet werden. Das spart Rechenzeit und Speicherbandbreite, kann aber bei langen Kontexten zu Genauigkeitsverlusten führen, weil wichtige Score-Unterschiede verloren gehen und die Modellqualität leidet. Die zweite Strategie selektiert Token-Interaktionen, etwa durch Sparsity-Muster oder approximative Auswahl, und berechnet nur einen Teil der Scores vollständig. Auch hier fehlt eine räumliche Kontrolle über die Präzision auf Ebene der hardware-aligned Tiles. Eine Präzisions-Routierung, die innerhalb der fused Attention entscheidet, welche Score-Tiles mit FP16 und welche mit INT8 verarbeitet werden, war bislang nicht abgedeckt. TileMix füllt diese Lücke, indem es die räumliche Struktur der Tiles nutzt, um Genauigkeit und Durchsatz gezielt auszubalancieren. Die Methode unterscheidet sich damit grundlegend von bisherigen Verfahren, die entweder global die Präzision festlegen oder die Token-Auswahl unabhängig von der Hardware-Struktur treffen.

FlashAttention: Tiles, Speicherzugriffe und gemischte Präzision

FlashAttention hat die Berechnung von Attention auf GPUs grundlegend verändert, indem es den Speicherverkehr drastisch reduziert. Der Ansatz zerlegt die Attention-Scores in kleine Tiles, berechnet jedes Tile, verwendet es unmittelbar und verwirft es anschließend wieder. Dadurch sieht jedes Tile nur einen Teil der Attention-Scores, und es müssen nicht alle Scores gleichzeitig im Speicher gehalten werden. Konkret bedeutet das: Anstatt die gesamte Score-Matrix zu materialisieren, werden die Query- und Key-Blöcke in den schnellen On-Chip-Speicher geladen, die Scores für ein Tile berechnet, softmax-normalisiert und mit den Value-Blöcken multipliziert – und das Ergebnis wird direkt in den Ausgabespeicher geschrieben. Die Zwischenergebnisse werden verworfen, sodass der teure HBM-Zugriff minimiert wird. FlashAttention wird inzwischen von den meisten Bibliotheken zur Beschleunigung von Transformer-Modellen genutzt und hat zu einer massiven Erhöhung der LLM-Kontextlänge beigetragen – von 2–4K bei GPT-3 und OPT auf 128K bei GPT-4 oder sogar 1M bei Llama 3. Zudem unterstützt FlashAttention gemischtes Präzisionstraining, bei dem verschiedene Teile der Berechnung mit unterschiedlicher Genauigkeit ausgeführt werden können. Diese Eigenschaften bilden die technische Grundlage für TileMix: Die Tiles sind bereits vorhanden und hardware-aligned, und die Infrastruktur für gemischte Präzision ist etabliert. TileMix erweitert dieses Prinzip, indem es die Präzision pro Tile zur Laufzeit routet, statt sie global festzulegen. So kann die fused dense attention die Vorteile von FP16 und INT8 kombinieren, ohne die speichereffizienten Zugriffsmuster von FlashAttention aufzugeben. Die tile-zentrierte Verarbeitung ermöglicht es, die Präzisionsentscheidung genau dort zu treffen, wo die Hardware die Daten verarbeitet, und so den Durchsatz zu maximieren.

Lange Kontexte und Benchmarks: Prefill-Durchsatz im Fokus

Die Relevanz von TileMix wird durch aktuelle Benchmark-Entwicklungen unterstrichen. MLPerf Inference v5.0 befasst sich mit LLM-Benchmarks und niedriger Latenz beim Serving. Die LLM-Task-Force wurde eingerichtet, um sicherzustellen, dass die Benchmarks die sich wandelnden Anforderungen von LLMs und Low-Latency-Serving in realen Anwendungen adressieren. Dabei werden drei Aspekte fokussiert: erstens das Benchmarking der Inferenzleistung auf neuen offenen LLMs, zweitens die Unterstützung erhöhter Kontext- und Ausgabelängen, wie sie für Retrieval-Augmented Generation (RAG), agentische KI und fortgeschrittenes Reasoning erforderlich sind, und drittens die Berücksichtigung niedriger Latenz. Diese längeren Kontexte erhöhen den Rechenaufwand in der Prefill-Phase erheblich, da die gesamte Eingabe verarbeitet werden muss. LLM-Inference-Bench ist eine umfassende Benchmarking-Suite zur Bewertung der Hardware-Inferenzleistung von LLMs und misst unter anderem Durchsatz und Latenz. Zudem akzeptieren LLMs inzwischen längere Eingaben, und die besten Modelle können diese effektiver nutzen. Das bedeutet, dass die Prefill-Phase bei langen Kontexten zu einem Engpass wird. TileMix zielt genau auf diesen Engpass: Durch die gemischte Präzision der Score-Tiles lässt sich der Prefill-Durchsatz steigern, ohne die Genauigkeit für lange Kontexte zu opfern. Damit adressiert die Methode eine Anforderung, die in aktuellen Benchmarks und realen Anwendungen zunehmend an Bedeutung gewinnt. Insbesondere bei niedriger Latenz und langen Eingaben ist ein hoher Prefill-Durchsatz entscheidend, um die Gesamtlatenz zu begrenzen und die Hardware effizient auszulasten.