Databricks streamt Unity-Catalog-Tabellen direkt an PyTorch-GPUs
UCDataset ist als Beta auf der AI Runtime verfügbar. Der Faktor 10 gegenüber einer Parquet-Kopie stammt aus einem Hersteller-Benchmark auf simulierten Workloads.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Databricks veröffentlicht UCDataset als Beta auf der AI Runtime, einen nativen PyTorch-DataLoader.
- UCDataset streamt Unity-Catalog-Tabellen direkt an jede GPU eines Trainingsjobs, ohne Exporte oder Kopien.
- Nutzer beschreiben Tabelle, Spalten und Zeilenfilter; UCDataset liefert trainingsfertige Batches an jede GPU.
- Laut Databricks-Doku werden Tabellen in der AI Runtime über Spark Connect oder UCDataset gestreamt.
- Die AI Runtime ist laut Databricks allgemein verfügbar; nur UCDataset ist Beta.
UCDataset streamt Unity-Catalog-Tabellen ohne Export an jede GPU
Databricks hat den Unity Catalog Dataset (UCDataset) als Beta auf der AI Runtime veröffentlicht. Der Dienst ist ein nativer PyTorch-DataLoader. Er streamt Tabellen aus dem Unity Catalog direkt an jede GPU eines Trainingsjobs, ohne Export, ohne Kopie und ohne eigenen Loader-Code. Nutzer legen fest, was gelesen werden soll: eine Tabelle, die benötigten Spalten und einen Zeilenfilter. Daraus erzeugt UCDataset trainingsfertige Batches für jede GPU.
Nur UCDataset befindet sich in der Beta. Die AI Runtime selbst, also die verwaltete GPU-Infrastruktur innerhalb von Databricks, sei laut Hersteller allgemein verfügbar.
Als Grund nennt Databricks den Aufwand der bisherigen Wege. Jede GPU und jeder Worker braucht einen eigenen, ausbalancierten Datenausschnitt. Wer das von Hand baut, riskiert nach Darstellung des Unternehmens subtile Fehler: Ein Modell trainiert dann auf doppelten oder übersprungenen Zeilen, und niemand bemerkt es. Angaben zu API, Formaten und Voraussetzungen liegen bislang nicht vor.
Zehnfach schneller als Parquet-Kopie: Zahl stammt aus Databricks' eigenem Benchmark
Databricks gibt an, UCDataset habe auf simulierten Produktions-Workloads die Trainingszeit um den Faktor 10 gesenkt. Verglichen wurde mit dem Lesen einer exportierten Parquet-Kopie derselben Daten. Es handelt sich um eine Herstellerzahl aus einem eigenen Benchmark. Welche Hardware und welches Setup zugrunde lagen, nennt das Unternehmen im vorliegenden Material nicht. Unabhängige Messungen gibt es bislang nicht.
Auch die Rahmung stammt vom Anbieter. UCDataset mache Unity-Catalog-Tabellen zur „first-class data source“ für verteiltes PyTorch-Training. Der Datentransport zur GPU sei der häufigste Engpass, nicht das Modell, weshalb die meisten Teams ihre GPUs nicht auslasten könnten. Beides sind Positionen von Databricks. Unabhängig belegt sind sie nicht.
Mosaic Streaming braucht Konvertierung, Petastorm ist veraltet
Die Databricks-Dokumentation nennt zwei bisherige Wege. Mosaic Streaming verlangt, die Rohdaten zuerst in ein Streaming-Format zu überführen: MDS, CSV/TSV oder JSONL. Die Bibliothek unterstützt beliebige Datentypen, von Bildern bis zu multimodalen Daten, und mehrere Cloud-Speicher, darunter UC Volumes. Ab Databricks Runtime 15.2 ML ist sie vorinstalliert.
Petastorm ist in der Doku als veraltet markiert. Als Ersatz empfiehlt Databricks Mosaic Streaming. Der Spark-Converter materialisiert den DataFrame zunächst als Parquet-Cache.
Aus dem Material lässt sich nur ableiten, dass UCDataset solche Pipelines womöglich ersetzen könnte, weil der Konvertierungsschritt entfiele. Vergleichswerte zu Mosaic Streaming oder Petastorm liegen nicht vor.
Azure-Doku erwähnt UCDataset bisher nicht
Die Dokumentation unterscheidet sich je nach Quelle. Die Databricks-Doku nennt für Unity-Catalog-Tabellen in der AI Runtime Spark Connect oder, in der Beta, das Streaming per UCDataset. Die Microsoft-Learn-Seite zum selben Thema führt für Tabellen nur Spark Connect auf und erwähnt UCDataset nicht.
Die Ursache ist ungeklärt. Denkbar sind ein zeitlicher Versatz in der Azure-Doku oder eine fehlende Verfügbarkeit auf Azure Databricks. Das Material lässt beides offen. Unabhängig davon gilt laut Doku: Tabellen und Volumes müssen im Unity Catalog registriert und für den jeweiligen Nutzer oder Service Principal zugänglich sein.



