Deepgram bringt Nova-3 auf AWS Trainium2

Nova-3 läuft auf Trainium2: 11 bis 70 Prozent mehr Audio pro Dollar

Deepgram hat sein Speech-to-Text-Modell Nova-3 zusammen mit dem AWS Forward Deployed Engineering Team auf den Beschleuniger Trainium2 gebracht. Für Offline-Batch-Workloads wie Contact-Center-Analytik und medizinische Transkription läuft es dort nun. So steht es in einem AWS-Beitrag vom 19. Oktober.

Laut diesem Beitrag verarbeitet das Setup 11 bis 70 Prozent mehr Audio pro Dollar als die Compute-Optionen, die Deepgram bisher nutzte. Welche Optionen die Baseline bilden, lässt sich im vorliegenden Beleg nicht erkennen, der Satz ist abgeschnitten. Die große Spanne deutet darauf hin, dass das Ergebnis stark vom Workload abhängt. Das ist eine Schlussfolgerung aus der Spannbreite; erklärt wird sie im Beleg nicht. Die Zahl stammt aus dem AWS-Beitrag, also von den beteiligten Anbietern. Eine unabhängige Überprüfung liegt nicht vor.

Der Beitrag behandelt ausschließlich Nova-3 für Speech-to-Text. Deepgrams Text-to-Speech-Modelle und Voice Agents sind nicht Gegenstand der Portierung.

Mehrere Monate Portierung: Acht Replikate auf einer trn2.3xlarge

Den Anfang machte laut AWS-Beitrag Deepgram selbst. Das Unternehmen lieferte Nova-3 als Standard-PyTorch-Code. Danach portierten Deepgram und das AWS-Team das Modell über mehrere Monate in eine PyTorch-Rekonstruktion für Trainium2 und stimmten es auf die Hardware ab.

Die finale Konfiguration betreibt acht Modell-Replikate auf einer einzelnen EC2-Instanz vom Typ trn2.3xlarge. Die Zusammenfassung des Beitrags nennt außerdem die Portierung auf den AWS-Neuron-Stack, Kernel-Tuning sowie eine datenparallele Rust-Runtime. Ebenfalls erwähnt werden Durchsatz- und Kostenergebnisse bei der Batch-Transkription. Details dazu liegen in den vorliegenden Belegen nicht vor.

Dass die Arbeit mehrere Monate dauerte und ein AWS-Spezialteam einbezog, spricht dafür, dass eine solche Portierung kein Routineprojekt ist.

Strategische Partnerschaft mit AWS: Was Deepgram selbst über Nova-3 sagt

Deepgram und AWS schlossen am 19. August 2025 ein mehrjähriges Strategic Collaboration Agreement. Es umfasst Co-Selling, Go-to-Market und tiefere Integration. Deepgram ist Generative AI Competency Partner im AWS Partner Network. Nova-3 ist über den AWS Marketplace erhältlich, Käufe dort lassen sich auf bestehende AWS-Commitments anrechnen. Außerdem ist Deepgram in Amazon Connect integriert.

Die Aussagen dazu stammen aus Marketing und sind Herstellerangaben ohne unabhängige Prüfung. Demnach erreiche Nova-3 in Amazon Connect im Schnitt eine um 30 Prozent bessere Wortfehlerrate als alternative Optionen. Deepgram werbe zudem mit Latenzen unter 250 Millisekunden. Ob Deepgram mögliche Kosteneinsparungen durch Trainium2 an Kunden weitergibt, geht aus den Belegen nicht hervor.