KI SpotlightNewsLatenz
Zeit bis zur ersten Antwort eines KI-Systems.
Latenz ist die Verzögerung zwischen einer Anfrage und der Antwort eines Systems. Bei KI-Diensten entscheidet die Latenz stark über das Nutzererlebnis: Lange Wartezeiten stören, besonders bei interaktiven Anwendungen. Sie hängt von Modellgröße, Hardware und Kontextlänge ab.