KI SpotlightNewsServerless 2.0: Drei Modi steuern das Inferenzverhalten
Fireworks AI kündigt Serverless 2.0 an, das drei verschiedene Inference-Modi (Fast, Consistent, Best Effort) über eine einheitliche API ohne Kapazitätsreservierung bereitstellt.
Mit KI erstelltDrei Modi steuern das Inferenzverhalten
Die serverlose Plattform wurde um zwei weitere Modi erweitert, sodass nun insgesamt drei Betriebsmodi zur Verfügung stehen: Fast, Consistent und Best Effort. Der Standardmodus Fast nutzt eine elastische, gemeinsam genutzte Infrastruktur. Unter hoher Last können Anfragen hier in eine Warteschlange gestellt oder abgelehnt werden. Der Modus Consistent garantiert keine Kaltstarts und keine Warteschlangen. Der dritte Modus Best Effort erhält die niedrigste Priorität und ist die günstigste Option. Auch hier kann es zu Warteschlangen oder Ablehnungen kommen, wenn die Ressourcen knapp sind. Die drei Modi werden über das Konzept des Serving Intent beschrieben – ein Steuerungsmechanismus, der kein expliziter Parameter ist, sondern die zugrunde liegende Ressourcenlogik abbildet.
Einheitliche API ohne Kapazitätsreservierung
Bisher bot die serverlose Plattform nur einen einzigen Modus an. Der einzige Upgrade-Pfad für höhere Anforderungen war eine dedizierte Bereitstellung mit reservierten GPUs. Mit Serverless 2.0 ändert sich das grundlegend: Alle drei Modi – Fast, Consistent und Best Effort – werden über dieselbe API-Schnittstelle angesprochen. Keiner der Modi erfordert eine vorherige Reservierung von GPU-Kapazitäten. Anwender senden ihre Inferenzanfragen einfach an die gemeinsame API, und die Plattform übernimmt das gesamte Flottenmanagement. Die Abrechnung erfolgt ausschließlich pro verarbeitetem Token, unabhängig vom gewählten Modus. Es sind keine Mindestabnahmen oder langfristigen Verpflichtungen nötig; die Kosten entstehen nur für die tatsächlich genutzten Tokens. Das Konzept des Serving Intent, das die Modi unterscheidet, ist kein explizit zu setzender Parameter, sondern eine interne Steuerungslogik, die das Laufzeitverhalten bestimmt. So können Entwickler ohne Vorabreservierung flexibel zwischen elastischer Skalierung, garantiertem Durchsatz und kostengünstiger Hintergrundverarbeitung wählen – alles über eine einheitliche API.
