Inferenz
Der Betrieb eines fertig trainierten Modells.
Inferenz ist die Anwendung eines bereits trainierten Modells, also das Erzeugen von Vorhersagen oder Antworten. Im Unterschied zum einmaligen, rechenintensiven Training fällt Inferenz bei jeder Nutzung an und bestimmt damit maßgeblich die laufenden Kosten und die Antwortgeschwindigkeit eines KI-Dienstes.