KI SpotlightNewsTogether AI startet Public Preview für preemptible GPU-Compute auf Kubernetes-Clustern
Preemptible Nodes ergänzen Standard-Nodes als zweiten Compute-Typ – 50 Prozent Rabatt und sub-hourly Abrechnung
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Together AI hat eine Public Preview für preemptible GPU-Compute auf Kubernetes-Clustern gestartet.
- Preemptible Compute ist für Kubernetes GPU-Cluster in allen Regionen verfügbar.
- Preemptible Nodes werden zu einem festen Rabatt von 50% gegenüber dem On-Demand-Preis abgerechnet.
- Die Abrechnung erfolgt sub-hourly, wobei die Nutzung alle ein bis zwei Minuten gemessen wird.
- Preemptible Nodes nutzen dieselbe NVIDIA-Beschleuniger-Hardware wie Standard-Nodes und werden aus ungenutzter Kapazität bereitgestellt.
- Wenn ein preemptible Node zurückgefordert wird, wird er cordoned, ein Kubernetes-Event 'TogetherPreempted' ausgelöst und die Pods erhalten SIGTERM mit einer Grace Period von bis zu 300 Sekunden (5 Minuten).
Together AI startet Public Preview für preemptible GPU-Compute auf Kubernetes-Clustern
Together AI startet Public Preview für preemptible GPU-Compute
Together AI hat eine Public Preview für preemptible GPU-Compute auf Kubernetes-Clustern gestartet. Das Angebot ist nach Angaben des Anbieters in allen Regionen verfügbar und richtet sich an unterbrechungstolerante Workloads wie kurze Experimente, Inference-Bursts oder Batch-Jobs. Preemptible Nodes ergänzen die bestehenden Standard-Nodes als zweiten Compute-Typ. Sie werden aus ungenutzter Kapazität bereitgestellt und können bei Bedarf zurückgefordert werden. Für solche Workloads ist die Ersparnis besonders attraktiv: Da sie nicht dauerhaft laufen müssen, können sie Unterbrechungen verkraften, ohne dass kritische Prozesse verloren gehen. Die Flexibilität, Kapazität nur dann zu nutzen, wenn sie verfügbar ist, und bei Rückforderung automatisch Ersatz zu erhalten, senkt die Infrastrukturkosten erheblich, ohne dass Teams auf die gewohnte GPU-Leistung verzichten müssen. Nutzer können die vergünstigte Kapazität zu neuen oder bestehenden Clustern hinzufügen. Die Public Preview ist ab sofort verfügbar.
50 Prozent Rabatt und sub-hourly Abrechnung
Preemptible Nodes werden zu einem festen Rabatt von 50 Prozent gegenüber dem On-Demand-Preis abgerechnet. Anders als bei Spot-Märkten bleibt der Preis konstant und schwankt nicht mit der Nachfrage. Der feste Rabatt macht die Kosten planbar, da keine Spot-Preisschwankungen auftreten. Die Abrechnung erfolgt sub-hourly: Die Nutzung wird alle ein bis zwei Minuten gemessen, sodass nur die tatsächlich genutzte Zeit berechnet wird. Da die Messung in kurzen Intervallen von ein bis zwei Minuten erfolgt, wird die abgerechnete Zeit fast exakt auf die tatsächliche Laufzeit der Jobs heruntergebrochen, was besonders bei sehr kurzen Jobs zu einer präzisen Kostenabrechnung führt. Die Hardware ist identisch mit der der Standard-Nodes – es handelt sich um dieselben NVIDIA-Beschleuniger, die aus ungenutzter Kapazität stammen. Dadurch sollen sich insbesondere kurze, unregelmäßige Workloads kostengünstig ausführen lassen.
Automatisches Replacement nach Preemption mit 5-Minuten-Fenster
Wird ein preemptible Node zurückgefordert, folgt ein definierter Ablauf: Der Node wird zunächst cordoned, also von der Zuteilung neuer Pods ausgeschlossen, und ein Kubernetes-Event namens "TogetherPreempted" wird ausgelöst. Die laufenden Pods erhalten ein SIGTERM-Signal mit einer Grace Period von bis zu 300 Sekunden – also fünf Minuten –, um Checkpoints zu schreiben und sauber zu beenden. Nach Ablauf dieser Frist wird der Node entfernt. Der Cluster behält sein konfiguriertes preemptibles Ziel bei und füllt automatisch Ersatzkapazität auf, sobald wieder ungenutzte Kapazität verfügbar ist. Nutzer können das Ziel (num_preemptible_gpus) beim Erstellen oder Aktualisieren eines Clusters über Konsole, CLI oder API festlegen.
