Latenz ist der Taktgeber der Nutzerakzeptanz: Sie misst, wie viele Sekunden vergehen, bis ein Ergebnis vorliegt. Sie setzt sich aus Netzwerkwegen, Warteschlangen, der Zeit bis zum ersten Wort (Time to First Token) und der Generierungsdauer zusammen.

Im Betriebsalltag ist Latenz oft entscheidender als das letzte Prozent an Modellgenauigkeit: Wenn ein Support-Mitarbeiter im Telefonat fünfzehn Sekunden auf einen Vorschlag warten muss, ignoriert er das Tool und tippt selbst. In mehrstufigen Workflows summiert sich jede Sekunde schnell zu untragbaren Wartezeiten.

Latenz lässt sich aktiv steuern: Durch Streaming-Antworten (Wort-für-Wort-Ausgabe), den Einsatz kompakterer Modelle für Standardaufgaben und das parallele Ausführen unabhängiger Arbeitsschritte bleibt die Anwendung flüssig und alltagstauglich.