KI SpotlightNewsBatch statt Serie: Energie- und Latenz-Unterschiede bei Test-Time-Scaling
Studie zeigt: Bei gleicher Kandidatenzahl verursachen sequenzielle LLM-Aufrufe ein Vielfaches an GPU-Energie und Latenz gegenüber einem Batch-Aufruf.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Test-Time-Scaling kann das Reasoning von LLMs verbessern, indem mehrere Kandidatenantworten generiert und kombiniert werden; bei sampling-basierten Methoden wird das Inferenzbudget oft über die Anzahl der generierten Kandidaten N beschrieben.
- Die Studie verwendete Phi-3-mini und Qwen2.5-1.5B auf 500 GSM8K-Prompts. Eine Erhöhung von N von 1 auf 8 verbesserte die Genauigkeit um 8,4 Prozentpunkte für Phi-3-mini und 18,4 Punkte für Qwen2.5-1.5B.
- Bei fixiertem N=8 wurden vier Generierungs-Schedules verglichen: 1x8, 2x4, 4x2 und 8x1, wobei axb a Generierungsaufrufe mit b Kandidaten pro Aufruf bedeutet.
- Gemessen wurden Latenz, Durchsatz, GPU-Stunden und Brutto-GPU-Device-Energie.
- Auf A100-GPUs verbrauchen acht serielle Aufrufe 4,64–4,86x so viel Brutto-GPU-Device-Energie und haben 5,77–6,12x die P95-Latenz eines einzelnen Batch-Aufrufs mit acht Kandidaten.
- Das gleiche Muster zeigte sich über drei unabhängig geplante A100-Nodes pro Modell sowie in Kurzoutput-SciQ/V100-Experimenten.
Batch statt Serie: Energie- und Latenz-Unterschiede bei Test-Time-Scaling
Bei Test-Time-Scaling von Sprachmodellen zählt nicht nur, wie viele Kandidatenantworten generiert werden, sondern auch, wie sie ausgeführt werden. Eine neue Studie zeigt: Bei fixierter Kandidatenzahl N=8 verursachen acht sequenzielle Aufrufe (8x1) auf A100-GPUs das 4,64- bis 4,86-Fache der Brutto-GPU-Device-Energie eines einzelnen Batch-Aufrufs mit acht Kandidaten (1x8). Die P95-Latenz liegt um den Faktor 5,77 bis 6,12 höher. Der Unterschied entsteht, weil ein Batch-Aufruf die acht Kandidaten gemeinsam verarbeitet, während acht serielle Aufrufe dieselbe Kandidatenzahl in getrennten Durchläufen erzeugen. Damit ist die Ausführungsstrategie ein eigenständiger Hebel für Energieverbrauch und Antwortzeit – unabhängig von der reinen Kandidatenzahl.
Methodik: Phi-3-mini und Qwen2.5-1.5B auf GSM8K
Für die Messungen nutzten die Forscher die Modelle Phi-3-mini und Qwen2.5-1.5B auf 500 Prompts des GSM8K-Datensatzes. Eine Erhöhung der Kandidatenzahl N von 1 auf 8 verbesserte die Genauigkeit um 8,4 Prozentpunkte für Phi-3-mini und 18,4 Punkte für Qwen2.5-1.5B. Anschließend wurde N=8 fixiert und vier Generierungs-Schedules verglichen: 1x8, 2x4, 4x2 und 8x1. Dabei bedeutet axb a Generierungsaufrufe mit b Kandidaten pro Aufruf. Erfasst wurden Latenz, Durchsatz, GPU-Stunden und Brutto-GPU-Device-Energie. So lässt sich trennen, welcher Anteil des Mehrverbrauchs auf die reine Kandidatenzahl und welcher auf die Aufrufstruktur zurückgeht.
Reproduzierbarkeit und praktische Konsequenzen
Das Muster bestätigte sich über drei unabhängig geplante A100-Nodes pro Modell sowie in Kurzoutput-Experimenten mit SciQ auf V100-GPUs. Für Entwickler und Betreiber von LLM-Inferenzsystemen bedeutet das: Wer Energie und Latenz optimieren will, muss nicht nur das Inferenzbudget über die Kandidatenzahl steuern, sondern auch die Generierungsstrategie – also die Aufteilung in Batch- und Serienaufrufe – berücksichtigen. Ein einzelner Batch-Aufruf kann bei gleicher Kandidatenzahl deutlich effizienter sein als mehrere sequenzielle Aufrufe.
