Live Cambridge Dictionary kürt „human“ zum Wort des Jahres 2026
↘

Together AI legt jedem GPU-Cluster einen Lese-Cache bei

Der Together Storage Accelerator hält Daten aus S3-Speichern und dem Hugging Face Hub auf lokaler NVMe vor. Die Leistungsangaben stammen allein von Together.

· Veröffentlicht: 22.11.2026 ·3 Min Lesezeit
Together AI legt jedem GPU-Cluster einen Lese-Cache beiMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • Together AI hat TSA am 19. November 2026 vorgestellt.
  • TSA ist eine verteilte Caching-Schicht für Together GPU Clusters ohne zusätzliche Kosten.
  • Unterstützte Quellen sind Hugging Face Hub, Amazon S3, Cloudflare R2 und Togethers Object Storage T4.
  • T4 befindet sich in einer Limited Preview und läuft im eigenen Rechenzentrum.
  • Gleichzeitige Anfragen nach demselben nicht gecachten Objekt werden zu einem einzigen Ursprungsabruf zusammengefasst.

Together legt jedem GPU-Cluster einen Lese-Cache ohne Aufpreis bei

Together AI hat am 19. November 2026 den Together Storage Accelerator (TSA) vorgestellt. Der Dienst ist ein verteilter Lese-Cache auf der lokalen NVMe jedes GPU-Knotens eines Together GPU Clusters. Er soll verhindern, dass dieselben Daten immer wieder über das Weitverkehrsnetz aus Object Storage oder vom Hugging Face Hub geladen werden. Laut Together ist TSA in jedem Cluster ohne zusätzliche Kosten enthalten.

Unterstützt werden der Hugging Face Hub, Amazon S3, Cloudflare R2 und Togethers eigener S3-kompatibler Object Storage T4. T4 befindet sich noch in einer Limited Preview. Pro Cluster sind bis zu drei S3-kompatible Backends und ein Hugging-Face-Token möglich. Den Launch-Beitrag verfassten Pavneet Ahluwalia und Vinamra Jain.

Blöcke wandern zwischen Knoten, gleichzeitige Anfragen werden gebündelt

Laut Togethers Dokumentation läuft auf jedem GPU-Knoten eine Cache-Instanz im Namespace „tsa“. Ein Dienst innerhalb des Clusters leitet jeden Pod zur Instanz auf dessen eigenem Knoten. Die Instanzen teilen sich einen clusterweiten Cache. Objekte werden in Blöcke fester Größe zerlegt, und jeder Block liegt auf einem Knoten. Andere Knoten holen ihn von diesem Peer statt vom Ursprung. So wird ein Objekt pro Cluster nur einmal vom Ursprung geladen.

Fordern mehrere Pods gleichzeitig ein nicht gecachtes Objekt an, bündelt TSA die Anfragen zu einem einzigen Ursprungsabruf. Ein gleichzeitiger Start vieler Pods soll den Ursprung damit nicht überlasten. Jede Instanz nutzt einen festen Anteil der lokalen NVMe. Ist der Cache voll, verdrängt TSA die „am wenigsten wertvollen“ Blöcke und holt sie bei Bedarf neu. Geschützte Hugging-Face-Repositories bedient der Dienst über das hinterlegte Kundentoken.

Schreibzugriffe landen nicht im Cache. PUT und DELETE gehen mit den Zugangsdaten des Backends direkt an den Ursprung. Multipart-Uploads werden nicht unterstützt. Clients müssen auf einen Endpunkt im Cluster zeigen. Nach Angaben von Together laufen boto3-, transformers- und CLI-Code unverändert.

Die Messwerte stammen von Together selbst, Lesezugriffe von Peers wurden nicht gemessen

Alle Leistungszahlen stammen vom Hersteller. Unabhängige Tests sind nicht bekannt. Together misst auf einem H100-Knoten im Einzelstrom: Ein 2-GiB-Objekt lässt sich aus dem warmen Cache mit 3,0 bis 3,4 GB/s lesen, direkt aus Cloudflare R2 dagegen mit 143 bis 169 MB/s. Das entspricht etwa dem 20-Fachen. Kleine Objekte brauchen warm 5 beziehungsweise 8 Millisekunden statt 320 und 680. Der erste Zugriff liegt laut Together innerhalb von etwa fünf Prozent eines direkten Downloads. Die Tests fanden nach Angaben des Unternehmens am 28. Oktober in us-central statt. Die Prüfsummen wurden per MD5 verifiziert.

Einschränkungen nennt das Unternehmen zum Teil selbst. Lesezugriffe von Peer-Knoten wurden im Preview-Test nicht gemessen; die Werte gelten für den Zugriff auf dem eigenen Knoten. Die Beschleunigung hängt vom Standort ab: Ein Hugging-Face-Download lief aus us-central fünfmal schneller als aus ca-west. Wer Daten nur einmal liest oder vor allem Checkpoints schreibt, profitiert nach der Beschreibung nicht. Auch das Egress-Beispiel ist ein Rechenbeispiel von Together: Ein 70-GB-Checkpoint, den 200 Knoten statt 200-mal nur einmal laden, bei AWS-Egress von bis zu 0,09 US-Dollar pro GB.

Unklar bleibt die Aktivierung. Laut dataphoenix.info verlangt die Dokumentation eine Freischaltung für die Organisation. Der Launch-Beitrag nennt dagegen die Aktivierung über die Cluster-Settings. Ob beides zusammengehört, ist offen. Offen ist auch, wie viel Aufwand der Wechsel auf den Cluster-Endpunkt tatsächlich bedeutet. Kunden sollten mit eigenen Workloads nachmessen.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel