ElevenLabs startet Eleven Realtime: Verwaltete Sprachagenten-Modelle ersetzen den Eigenbau-Stack

v1 Mini für günstige Gespräche, v1 Max für mehrstufige Aufgaben

ElevenLabs hat Eleven Realtime am Dienstag, 20. Oktober 2026, gestartet. Das Angebot umfasst zwei verwaltete Sprachagenten-Modelle. Sie sollen den bisher selbst zusammengesetzten Stack aus Spracherkennung, Turn-Taking, Sprachmodell und Sprachsynthese ersetzen. Entwickler müssen dann nicht mehr einzelne Komponenten auswählen und aufeinander abstimmen. Der Hersteller selbst beschreibt diese Eigenarbeit als eigenes Projekt, das viel Testen und Tuning verlangt.

Laut ElevenLabs ist v1 Mini für natürliche Gespräche zu niedrigen Kosten gedacht, etwa für Assistenten, Tutoren und interaktive Charaktere. Das Modell reiche für die meisten Anwendungsfälle aus. v1 Max richtet sich an komplexere Aufgaben wie Kundensupport, Lead-Qualifizierung und mehrstufige Workflows mit Tool-Aufrufen. Dort muss der Agent einem Prozess folgen und Schritte durchdenken.

Beide Modelle unterstützen nach Herstellerangaben mehr als 90 Sprachen und können jede Stimme der ElevenLabs-Bibliothek nutzen. Die Zahl der Stimmen weicht je nach Quelle ab. Die Ankündigung nennt über 17.000, die Produktseite über 17.500.

Zugang gibt es auf zwei Wegen. In ElevenAgents, der gehosteten Agentenplattform, wählen Nutzer das Modell per Dropdown. Der Agent lässt sich dann unter anderem über Telefon, Web-Widget, WhatsApp, Zendesk und Genesys einsetzen, mit Wissensbasis, Guardrails, Tests und Monitoring. Daneben steht eine Realtime-API bereit.

Gleiches Protokoll wie bei OpenAI: Der Wechsel betrifft Endpunkt und Modellname

Die Realtime-API spricht das Realtime-Protokoll von OpenAI. ElevenLabs verweist auf Kompatibilität bei Protokoll und SDK. Die Firma formuliert es so: Man ändere Endpunkt und Modellname und behalte den übrigen Code. Das ist eine Herstellerangabe. Ein unabhängiger Fund im Code stützt sie allerdings.

Ein Pull Request für das LiveKit-Plugin bildet ElevenLabs als Unterklasse der OpenAI-Realtime-Engine ab. Der Endpunkt lautet wss://api.elevenlabs.io/v1/convai/realtime. Die Authentifizierung läuft über den Header xi-api-key. Einen Modell-Parameter in der URL gibt es nicht. Die Unterklasse zeigt, dass der Server das OpenAI-Protokoll im Kern versteht. An einigen Stellen gelten aber eigene Regeln, dazu im nächsten Abschnitt.

Für Teams mit bestehender OpenAI-Realtime-Integration heißt das: Ein Test mit ElevenLabs-Modellen lässt sich im Prinzip ohne Neuentwicklung aufsetzen. Wie hoch der Aufwand im Einzelfall ausfällt und was ein Gespräch kostet, geht aus dem Material nicht hervor. Das gemeinsame Protokoll macht Anbieter zugleich leichter austauschbar, in beide Richtungen.

Turn-Detection und Orchestrierung abgegeben: Was sich einstellen lässt und was gesperrt bleibt

Mit Realtime übernimmt ElevenLabs, was The New Stack als „Voice-Agent-Harness“ bezeichnet: Turn-Detection, Unterbrechungsbehandlung und Orchestrierung. Das senkt den Aufwand für Bau und Wartung. Gezielt Fehler zu suchen oder Komponenten auszutauschen, fällt dagegen schwerer. Die zugrunde liegenden Einzelmodelle sind nicht wählbar.

Konfigurierbar bleiben Prompts, Stimmen, Tools, Wissensbasen und Turn-Taking-Einstellungen wie Eagerness, Timeouts und Unterbrechungsverhalten. Entwickler behalten also die Kontrolle über das Verhalten des Agenten, nicht über die Modelle dahinter.

Der LiveKit-Pull-Request nennt weitere Grenzen auf Serverseite. Stimme, Modell, Sprache und Turn-Detection sind nach Gesprächsbeginn gesperrt. Spätere Änderungen verwirft das Plugin mit einer Warnung. Noise-Reduction und Speed-Einstellung fehlen, ebenso Truncation- und Reasoning-Parameter. Der Server wartet höchstens 20 Sekunden auf Ergebnisse von Tool-Aufrufen. Trifft ein Ergebnis später ein, würde es laut PR das nächste response.create verschlucken. Deshalb verwirft es das Plugin. Keepalive-Frames verhindern, dass die Verbindung nach 60 Sekunden Leerlauf schließt, etwa bei stummgeschaltetem Nutzer. Audio-Tags wie [cheerful] entfernt der Server aus Transkripten, die er ausliefert.

Wichtig zur Einordnung: Realtime ersetzt die bisherige ElevenAgents-Architektur aus ASR, frei wählbarem LLM, TTS und eigenem Turn-Taking-Modell nicht. Es ergänzt sie. Der Custom-Modus mit freier Modellwahl und Pipeline-Konfiguration bleibt bestehen.

Speech-to-Speech oder Kaskade? Hersteller und The New Stack widersprechen sich

ElevenLabs bezeichnet Eleven Realtime als „neue Klasse von Speech-to-Speech-Modellen“. Spracherkennung, Turn-Taking, LLM und Stimme seien „end-to-end optimiert als ein System“. Jedes Modell sei ein vollständiger Sprachagent. Das klingt nach einem durchgehenden Audio-Modell.

The New Stack berichtet dagegen, beide Modelle nutzten eine kaskadierte Architektur. Die Einzelmodelle ließen sich aber weder auswählen noch getrennt konfigurieren. Wie der Bericht zu dieser Einschätzung kommt, ist im vorliegenden Material nicht ersichtlich.

Die Aussagen müssen sich nicht ausschließen. „Speech-to-Speech“ kann die Schnittstelle meinen: Audio geht hinein, Audio kommt heraus. „End-to-end optimiert“ kann die gemeinsame Abstimmung der Teile beschreiben. Beides lässt sich mit einer internen Kaskade vereinbaren. Das ist eine mögliche Lesart, kein Beleg.

Eine technische Primärquelle fehlt im Material, etwa eine Architekturdokumentation oder ein Whitepaper. Solange sie fehlt, bleibt offen, ob hinter der Schnittstelle ein einziges Modell oder mehrere gekoppelte Komponenten arbeiten. Gesichert ist nur, dass Entwickler die Teile nicht einzeln sehen oder austauschen können.

Unter 0,6 Sekunden, aber weniger Aufgaben erledigt: Was die Messungen zeigen und was nicht

Laut mehreren Berichten misst Artificial Analysis: Max beginnt im Schnitt nach 0,57 Sekunden zu sprechen, Mini nach 0,62 Sekunden. Zum Testprofil gehört unter anderem Big Bench Audio, ein Test mit 1.000 Fragen zum gesprochenen Schlussfolgern. Ein Bericht wertet das als Spitzenwert bei Genauigkeit und Antwortzeit zugleich.

i-scoop zeichnet ein anderes Bild. In unabhängigen Tests erledigten die Modelle weniger Aufgaben als Grok Voice 3.0 und Gemini 3.8 Live. Beide Befunde lassen sich vereinbaren, wenn sie Verschiedenes messen. Ein Spoken-Reasoning-Benchmark prüft, ob ein Modell gesprochene Fragen richtig beantwortet. Aufgabenabschluss in Agenten-Szenarien prüft, ob ein mehrstufiger Vorgang mit Tools gelingt. Das ist eine Vermutung. Die Rohdaten von Artificial Analysis liegen nicht vor, und welche Tests i-scoop heranzieht, geht aus dem Material nicht hervor.

Bei Latenzzahlen ist Vorsicht geboten. ElevenLabs legt offen, dass seine veröffentlichten Werte serverseitige Mediane ohne Netzwerk und Anwendungsschritte sind. Die erlebte Latenz liegt also höher. Diese Angabe steht jedoch auf der Modelle-Seite und betrifft ausdrücklich TTS und Scribe, nicht Realtime. Ob sich die Messung von Artificial Analysis genauso lesen lässt, ist daraus nicht abzuleiten.

Ungeprüft bleibt auch die Aussage des Herstellers, Mini genüge für die meisten Anwendungsfälle. Dafür bräuchte es eigene Praxistests oder unabhängige Benchmarks zum Aufgabenabschluss.

Schneller Start mit wenig Tuning, Custom-Modus für Nachprüfbarkeit: Für wen sich Realtime eignet

Profitieren dürften Teams, die wenig Zeit in Tuning investieren wollen, sowie solche, die bereits eine OpenAI-Realtime-Integration betreiben. Sie können ein verwaltetes Modell vergleichsweise leicht ausprobieren, weil sich nur Endpunkt und Modellname ändern.

Schwieriger wird es für Teams, die Modelle wählen, Komponenten einzeln debuggen oder Compliance auf Transkriptbasis absichern müssen. Sie müssen die Einschränkungen hinnehmen oder auf den Custom-Modus ausweichen, der die Pipeline offenhält. Laut TechTimes geht mit Realtime auch das Textprotokoll verloren, auf dem viele Compliance-Werkzeuge aufbauen. Laut LiveKit-PR liefert der Server dagegen Transkripte mit, entfernt daraus aber Audio-Tags. Ob diese Transkripte für transkriptbasierte Compliance genügen, ist ungeklärt.

Bei Zertifizierungen ist Vorsicht geboten. Für ElevenAgents Enterprise nennt ElevenLabs SOC 2 Type II, ISO 27001, HIPAA, PCI DSS L1 und GDPR. Dazu kommen Zero Retention, VPC-Deployment und Datenresidenz in den USA, der EU und Indien. Ob das auch für die Realtime-Modelle gilt, weist das Material nicht aus. Dasselbe gilt für die Deutsche Telekom, die als ElevenAgents-Referenz genannt wird. Ein Bezug zu Realtime ist nicht belegt. Wie stark der Wettbewerb um Sprachagenten das Angebot antreibt, lässt sich aus den Belegen nur insoweit ablesen, als i-scoop Grok Voice 3.0 und Gemini 3.8 Live beim Aufgabenabschluss vorn sieht.