Deepgram erweitert SageMaker AI um Usage- und Engine-Metriken

Deepgram bringt Usage- und Billing-Metriken direkt in CloudWatch

Deepgram hat für seine auf Amazon SageMaker AI bereitgestellten Sprachmodelle eine neue Funktion namens Deepgram Enhanced Metrics eingeführt. Sie veröffentlicht Usage- und Billing-Metriken direkt in das CloudWatch-Konto des Kunden – ohne Agent, Sidecar oder zusätzliche IAM-Berechtigungen. Die Metriken entsprechen den gleichen "consumed-unit"-Werten, die auch für das AWS Marketplace metered billing verwendet werden. Dadurch lässt sich die AWS-Rechnung mit dem tatsächlichen Traffic abgleichen, bis hinunter auf Modell- und Transportebene. Technisch werden die Metriken als CloudWatch Embedded Metric Format (EMF) über den Container-stdout ausgegeben. SageMaker leitet die Container-Ausgabe an die CloudWatch-Log-Gruppe des Endpoints weiter, und CloudWatch Logs extrahiert die Metriken automatisch. Es werden zwei CloudWatch-Namespaces veröffentlicht: einer für Billing-Metriken (Deepgram/SageMakerInference) und einer für Engine-Metriken. Die Billing-Metriken werden pro abgeschlossener Anfrage emittiert, also für jede Streaming-Sitzung sowie jede vorab aufgezeichnete oder TTS-Anfrage. Die Dimensionen sind niedrigkardinal und in drei Sets verfügbar – nach Kategorie, nach Kategorie und Modell sowie nach Kategorie, Modell und Transport –, sodass Abfragen auf unterschiedlichen Granularitätsstufen möglich sind. Damit schließt Deepgram nach eigenen Angaben eine Lücke: Bisher blieben Abrechnungs- und Nutzungsdaten im Container verborgen.

Engine-Level-Metriken via Prometheus/OpenTelemetry

Zusätzlich unterstützt Deepgram Engine-Level-Prometheus-Metriken über die detaillierte Observability von SageMaker. Dabei läuft auf jeder Instanz, die den Endpoint trägt, ein von AWS verwalteter OpenTelemetry-Collector. Dieser Collector sammelt per-GPU-Beschleuniger-Metriken, Host-System-Metriken und Prometheus-Metriken, die aus dem Modell-Container gescraped werden, und exportiert sie nach CloudWatch. Dort lassen sie sich mit PromQL abfragen. Die Funktion muss in der Endpoint-Konfiguration aktiviert werden. Sie liefert feinere Sichtbarkeit als die Standard-CloudWatch-Metriken, etwa die GPU-Auslastung auf Multi-GPU-Instanzen und direkt vom Deepgram-Engine emittierte Metriken. Jede Metrikreihe trägt SageMaker-Ressourcenlabels wie Endpoint-Name, Variantenname und Instanz-ID, sodass sich Daten über eine skalierte Flotte hinweg filtern und gruppieren lassen. Die Metriken funktionieren auch mit AWS-Marketplace-Deployments, da der Collector auf dem Host außerhalb des Modell-Containers läuft und von der Netzwerkisolation der Marketplace-Modellpakete nicht betroffen ist.

Verfügbarkeit, Datenschutz und Netzwerkisolation

Beide Funktionen sind ab sofort auf Deepgram-SageMaker-AI-Deployments verfügbar. Die Enhanced Metrics enthalten keine personenbezogenen Daten, keine Transkripte, keine TTS-Eingaben und keine Request-IDs. Sie funktionieren auch in netzwerkisolierten AWS-Marketplace-Deployments, da die Metriken über den Container-stdout ausgegeben werden und keine ausgehenden Verbindungen benötigen. Für eine vertiefende Betrachtung der Überwachung von KI-Systemen sei auf die weiterführende Berichterstattung verwiesen.