Heartbeat Thinking: Sprachagenten bereiten Tool-Aufrufe schon während der Eingabe vor

Neue Thinker-Aufrufe bei jedem Sprachupdate, ohne Abbruch

Das Paper „Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents“ stellt einen spekulativen Reasoning-Ansatz im Heartbeat-Stil vor. Sprachagenten mit Tool-Nutzung bereiten demnach Tool-Aufrufe schon vor, während der Nutzer noch spricht. Die Arbeit ist auf der Paper-Seite von Hugging Face veröffentlicht.

Das Problem, auf das die Autoren zielen, ist alltäglich. Nutzer warten nach Sprachende auf die Antwort, obwohl handlungsrelevante Informationen oft schon früher in der Äußerung fallen. Bestehende spekulative Verfahren arbeiten zwar bereits während der Sprache. Begrenzen sie die Generierung jedoch auf Chunks oder brechen sie bei jedem Update ab, kann ein Tool-Aufruf unterbrochen werden, bevor seine Argumente vollständig sind. Die Rechenzeit hängt dann an den Sprachupdates, und die im Voraus erledigte Arbeit fällt geringer aus.

Heartbeat Thinking setzt hier an. Jedes Update der Eingabe startet eine neue Thinker-Invocation. Laufende Invocations und bereits abgesendete Tools dürfen zu Ende laufen. Periodische Invocations lesen das aktuelle Teiltranskript und ein gemeinsames Protokoll abgeschlossener Überlegungen und Tool-Ergebnisse. So lassen sich fehlende Argumente ergänzen und abhängige Aufrufe starten. Die Vorbereitung kann über mehrere Sprachupdates hinweg fortschreiten, statt bei jeder Änderung neu zu beginnen.

FDBench v3: 16 Prozentpunkte mehr Tool-Abdeckung, 36.4 Prozent weniger Latenz

Die Autoren testen den Ansatz auf SpeechFCEval, FDBench v3 und AudioCRAG. Vergleichsbasis ist eine gefensterte Baseline im SHANKS-Stil. Nach Angaben der Autoren steigt damit der aggregierte Anteil spekulativer Tool-Abdeckung beziehungsweise die Wiederverwendung von Retrieval. Auf FDBench v3 wächst die Tool-Abdeckung um 16 Prozentpunkte, die mittlere Latenz der finalen Antwort sinkt um 36.4 Prozent. Dies sind Angaben der Autoren, keine unabhängig geprüften Messwerte.

Bei der Qualität des Endergebnisses ist das Bild uneinheitlich. Die Effekte auf die finale Aufgabenqualität hängen vom Benchmark ab. Einen pauschalen Qualitätsgewinn lassen die Angaben daher nicht zu.

Dass das Heartbeat-Paradigma, also die Erhaltung laufender Berechnung über Sprachupdates hinweg, der richtige Ansatz ist, ist die Selbsteinschätzung der Autoren. Das vorliegende Abstract ist zudem abgeschnitten. Eine Prüfung des Volltexts und eine unabhängige Replikation der Ergebnisse stehen aus.

Relevant wäre der Ansatz vor allem für Entwickler und Betreiber tool-nutzender Sprachagenten, bei denen Nutzer nach Sprachende auf die Antwort warten. Welche Branchen oder Anbieter betroffen wären und ob der EU-Raum konkret betroffen ist, geht aus dem Material nicht hervor.

Zum Vergleich: Latenzwerte einer kaskadierten Streaming-Pipeline

Zur Orientierung: Ein arXiv-Tutorial beschreibt einen selbst gebauten Enterprise-Voice-Agenten aus Deepgram, vLLM und ElevenLabs. Der P50-Wert bis zum ersten Audio liegt bei 947 Millisekunden, der Bestwert bei 729 Millisekunden. Native Speech-to-Speech-Modelle wie Qwen2.5-Omni waren dort mit 13 Sekunden zu langsam. OpenAI bietet mit GPT-Live, der Realtime API und einer verketteten Voice-Pipeline mehrere Architekturen für Sprachagenten an.

Ein Vergleich mit Heartbeat Thinking ist daraus nicht zulässig. Das Tutorial misst die Zeit bis zum ersten Audio, das Paper die Latenz der finalen Antwort. Dass die genannten Anbieter Heartbeat nutzen oder Handlungsbedarf hätten, geht aus dem Material nicht hervor.