Continuous Batching

Dynamisches Zusammenfassen laufender Inferenzanfragen für höhere Hardwareauslastung.

Ausführlich im Dossier: KI-Systemarchitektur verständlich erklärt