gpt-oss-120b: Bei niedriger Auslastung ist die API laut mehreren Rechnungen meist günstiger

Bürozeiten-Auslastung macht Self-Hosting etwa doppelt so teuer

Wer gpt-oss-120b auf gemieteten H100-Karten betreibt und nur zu Bürozeiten Last hat, zahlt laut einer Analyse auf beri.net grob das Doppelte dessen, was Together AI oder Amazon Bedrock für dasselbe Modell verlangen. Die Begründung ist einfach. Wer die Stundenmiete einer GPU durch den Benchmark-Durchsatz teilt, unterstellt eine Karte, die jede Stunde des Monats ausgelastet ist. Interner Verkehr, der abends abbricht, erreicht diesen Wert nie.

Die Beispielrechnung setzt eine Lambda H100 SXM mit 4,29 $ pro GPU-Stunde an. Als Traffic-Profil dient eine Einzelrunden-Chat-Anfrage mit 8.000 Input- und 1.000 Output-Tokens. Zum Together-Listenpreis ergibt sich nach Angaben der Analyse ein Mischpreis von 0,20 $ pro 1M Tokens. Das Fazit lautet: die API nutzen, außer bei Anforderungen an Residency, Air-Gap oder Kontrolle, oder bei Batch-Last, die die Karten nachts füllt.

Cohorte liefert eine unabhängige Gegenprobe mit ähnlichem Ergebnis. Zwei gemietete H100 kosten dort 6.117 $ im Monat. Selbst wenn die Karten in allen Arbeitsstunden ausgelastet sind, ergeben sich 1,28 $ pro 1M Output-Tokens. Together verlangt 0,60 $. Auch hier liegt Self-Hosting also etwa beim Doppelten.

Zwei Einschränkungen gelten. Urheber und vollständige Methodik der beri.net-Analyse ließen sich nicht klären. Die Kernaussage ist zudem nicht neu. Sie findet sich in ähnlicher Form in mehreren weiteren Quellen. Neu ist allenfalls die Zuspitzung auf Bürozeiten und der Vergleich mit Together AI und Bedrock.

Eine H100 reicht zum Laden, Cohorte kalkuliert mit zwei

gpt-oss-120b ist ein Open-Weight-Reasoning-Modell von OpenAI unter Apache-2.0-Lizenz. Es erschien am 5. August 2025. Das Modell hat 117 Milliarden Parameter, von denen pro Token 5,1 Milliarden aktiv sind. Nativ liegt es in MXFP4 vor, die Gewichte belegen rund 60 GB. Damit passt es auf eine 80-GB-GPU.

Mehrere Quellen bestätigen das. GitLab dokumentiert das Modell als vLLM-Beispiel und schreibt, dass es wegen der Mixture-of-Experts-Architektur auf eine einzelne H100 mit 80 GB passt. Runpod nennt ebenfalls eine einzelne 80-GB-Karte. Startupik rechnet vor: Bei 95 Prozent Speichernutzung stehen 76 GB bereit, davon rund 61 GB für die Gewichte. Der Rest entfällt auf Framework-Overhead und KV-Cache.

Cohorte kalkuliert trotzdem mit zwei H100 für 6.117 $ im Monat. Das Material erklärt nicht, warum. Denkbar wären Speicher für den KV-Cache bei vielen parallelen Anfragen, mehr Durchsatz oder Redundanz. Belegt ist keine dieser Begründungen. Sicher ist nur: Eine Karte genügt zum Laden, zwei sind eine Kapazitätsentscheidung. Sie verdoppelt die Fixkosten in der Rechnung und verschiebt das Ergebnis damit erheblich.

Bei Vollauslastung dreht sich die Rechnung, aber nur um wenige ×

Die Gegenposition rechnet mit Dauerlast. Startupik nennt für eine H100 mit gpt-oss-120b 0,068 bis 0,248 $ pro 1M Tokens, je nachdem, bei welchem Anbieter die GPU gemietet wird. Das gilt bei 100 Prozent Auslastung, rund um die Uhr. Verglichen wird mit dem günstigsten serverlosen Tarif für ein vergleichbares offenes Modell, 0,073 $ pro 1M Tokens im Mischpreis. Am oberen Ende der Spanne liegt Self-Hosting deutlich darüber, am unteren nur knapp darunter. Je nach GPU-Anbieter kann der Vorteil verschwinden.

LeanLM kommt für Preise im Juli 2026 auf rund 0,10 $ Roh-GPU-Kosten pro 1M Tokens bei hoher Parallelität. Gehostete Endpunkte verlangen für dasselbe Modell 0,60 $ pro 1M Output-Tokens, teils nur 0,17 $. Bei perfekter Auslastung beträgt der Abstand also wenige ×. Reine Stundenmiet-Arithmetik legt laut LeanLM einen Faktor von etwa 100 nahe. Bei 10 Prozent Auslastung wird jede Selbstbetriebszahl zehnmal schlechter. Mit Engineering-Aufwand liegen die Gesamtkosten laut LeanLM das Drei- bis Fünffache über der GPU-Rechnung.

Zusammen mit der Büro-Rechnung ergibt sich ein Muster: Pro Output-Token ist Self-Hosting bei Vollauslastung günstiger, bei Büro-Auslastung etwa doppelt so teuer. Startupik und LeanLM nutzen allerdings unterschiedliche Vergleichsgrößen. Startupik vergleicht mit einem vergleichbaren Modell und einem Mischpreis, LeanLM mit dem identischen Modell und dem Output-Preis. Die Zahlen lassen sich deshalb nicht direkt gegeneinanderlegen.

Warum die Break-even-Schwellen so weit auseinanderliegen

Die Streuung hat mehrere Ursachen. Erstens der GPU-Mietpreis: Startupik nennt für dieselbe H100 2,20 $ pro Stunde bei DeepInfra und 8,00 $ bei Fireworks, ein Faktor von 3,6 auf identischer Hardware. In der beri.net-Rechnung kostet die Lambda-Karte 4,29 $, die Together-Karte 3,49 $.

Zweitens die Vergleichsgröße. Output-Preis und Mischpreis liegen weit auseinander, 0,60 $ gegen 0,20 $ bei Together. Hinzu kommt, ob man mit demselben Modell oder nur mit einem vergleichbaren vergleicht. Cohorte macht das sichtbar: Gegen Claude Sonnet 5 zu 10 $ pro 1M Output-Tokens amortisieren sich zwei H100 ab 612 Millionen Output-Tokens im Monat. Gegen dieselben offenen Gewichte bei einem Drittanbieter liegt die Schwelle bei 10,2 Milliarden. Veröffentlichte Schwellen reichen laut Cohorte von dreißig Millionen bis drei Milliarden, weil jede stillschweigend eine Seite wählt. LeanLM beziffert die Streuung auf etwa den Faktor 50.

Drittens zählt die Zahl der GPUs, eins oder zwei. Viertens kommen Traffic-Profil und Batch-Tiefe hinzu. Wer tief batcht, senkt die Kosten pro Token, nimmt dafür aber höhere Latenz in Kauf.

Auch die Anbieterpreise weichen stark ab. Runpod verlangt für seinen gehosteten gpt-oss-120b-Endpunkt 10,00 $ pro 1M Tokens und verweist darauf, dass sich Self-Hosting abhängig vom Monatsvolumen lohnt. Die offiziellen Preisseiten von Together und Bedrock lieferten im Material keine auslesbaren Zahlen. Die Preise stammen deshalb aus Drittquellen.

Wann ein Aufpreis fürs Self-Hosting vertretbar ist

Für Teams mit schwankendem oder auf Bürozeiten begrenztem Verkehr spricht die Rechnung für die API. Wer dagegen Residency, Air-Gap oder volle Kontrolle braucht oder nachts Batch-Last hat, die die Karten füllt, sollte den Aufpreis einplanen. Als Ersparnis darstellen sollte er ihn nicht. Together AI wirbt für gpt-oss-120B bei Organisationen, die vollständige Datensicherheit und Datenschutzkontrolle verlangen. Das ist eine Herstellerangabe.

Der Betriebsaufwand gehört in jede Rechnung. Together betreibt für seine GPU-Cluster und die eigene Inferenzplattform eine automatische Knotenreparatur, weil Hardwarefehler im Clusterbetrieb real sind. Wer selbst hostet, trägt dieses Thema selbst.

Bedrock bewirbt für ausgewählte Modelle 50 Prozent Nachlass bei Batch-Inferenz. Ob das für gpt-oss-120b gilt, ist nicht belegt. Together bietet Serverless, Provisioned Throughput, Dedicated Inference und GPU-Cluster an. Zwischen reiner API und eigenem Betrieb gibt es damit Zwischenstufen.

Zu beachten ist schließlich das Interesse der Quellen. Anbieter von GPU-Miete und Self-Hosting-Werkzeugen verdienen an der Gegenposition. Aussagen zu Folgen für Unternehmen in Deutschland oder der EU lassen sich aus dem Material nicht ableiten.