KI SpotlightNewsHugging Face bindet Googles TPUs über TorchTPU ein – PyTorch/XLA wird archiviert
Optimum TPU entfällt laut Hugging Face für Transformers und Diffusers, PyTorch/XLA soll am 15. November 2026 archiviert werden. Googles Kompatibilitätszahl von rund 69 Prozent lässt eine Lücke.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Google entwickelt TorchTPU als Open-Source-Backend für natives PyTorch auf TPUs.
- Laut Hugging Face laufen Transformers, Diffusers und Kernels nativ auf TPUs.
- Laut Hugging Face ist Optimum TPU für Transformers und Diffusers nicht mehr erforderlich.
- Google nennt als Ziel, bestehende PyTorch-Workloads mit minimalen Codeänderungen zu migrieren.
- Die Roadmap nennt für den Rest von 2026 ein öffentliches GitHub-Repository sowie vLLM- und TorchTitan-Integrationen.
Hugging Face schickt Hub-Modelle per „tpu“ auf Googles Beschleuniger
Hugging Face bindet Googles Tensor Processing Units (TPUs) über TorchTPU ein, ein natives PyTorch-Backend von Google. Laut Hugging Face ist die TPU damit „just another device“. Man wählt ein Modell vom Hub und schickt es an „tpu“: „and you're done“. Diese Zusage stammt von Hugging Face selbst. Unabhängig geprüft ist sie nicht.
Transformers, Diffusers und Kernels sollen nativ auf der TPU laufen. Optimum TPU, das Hugging Face für Inferenz und Training auf TPUs entwickelt hatte, braucht es für Hugging-Face-Modelle mit Transformers und Diffusers laut eigener Aussage nicht mehr.
TPUs sind Googles eigene KI-Beschleuniger. Sie laufen über Google Cloud, vom einzelnen Chip bis zu Pods mit Tausenden Chips. PyTorch lief darauf bislang über PyTorch/XLA (torch_xla). Hugging Face nennt dabei Eigenheiten: lazy Tensoren führen Code nicht immer dann aus, wenn man es erwartet. Schon kleine Änderungen lösen Neukompilierungen aus, und das Debugging ist schwer nachzuvollziehen.
Google stellt TorchTPU als Open Source vor und beziffert die Lücke auf rund 69 Prozent
Google hat TorchTPU technisch vorgestellt. Entwickelt hat es das Google-Engineering-Team. Ziel ist, bestehende PyTorch-Workloads mit minimalen Codeänderungen zu migrieren, oft laut Google nur durch Anpassen der Initialisierung auf „tpu“. Unterstützt werden die verteilten PyTorch-APIs DDP, FSDPv2 und DTensor. Für den Rest von 2026 plant Google den Start eines öffentlichen GitHub-Repositorys sowie tiefe Integrationen mit vLLM und TorchTitan.
Die Leistungsangaben sind Herstellerangaben aus Googles eigenen Tests. Unabhängig nachgeprüft hat sie niemand. Demnach liefert der Modus „Fused Eager“ 50 bis über 100 Prozent mehr Leistung als „Strict Eager“. Die Skalierung bis zu einem vollen 256-Chip-Ironwood-Torus sei „perfekt linear“ validiert worden. Nahezu 69 Prozent der Top-4.300-Hugging-Face-Modelle sollen ohne Anpassung auf der TPU laufen.
Hier klafft ein Widerspruch. Hugging Face spricht pauschal von nativer Lauffähigkeit. Googles Zahl lässt dagegen rund ein Drittel der Modelle offen. Ungeklärt ist, ob die 69 Prozent die Hugging-Face-Integration abbilden oder nur Googles eigene Tests. Ebenso fehlt die Antwort, welche Modelle scheitern. Unabhängige Benchmarks und Erfahrungsberichte aus der Community liegen bislang nicht vor.
PyTorch/XLA wird am 15. November 2026 archiviert: Was Nutzer jetzt tun sollten
Das PyTorch/XLA-Repository nennt TorchTPU als Nachfolger und ist als veraltet markiert. Das Repo soll am 15. November 2026 archiviert werden. Neue PyTorch-TPU-Workloads sollen mit TorchTPU starten, bestehende sollen migrieren.
Betroffen sind damit Nutzer von PyTorch/XLA und Optimum TPU. Auch Betreiber von vLLM und llm-d auf TPU sollten genau hinsehen. Laut llm-d-Dokumentation läuft vLLM auf TPU über Torch TPU. Die Dokumentation nennt dafür die Hardware-Varianten v6e und TPU7x.
