Live ChatGPT verweigert Tool-Calls für app-only MCP-Tools
Dossier

Kosten, Infrastruktur und Betrieb

Was KI-Systeme wirklich kosten — Rechenleistung, Betrieb, Skalierung und Steuerung.

· Stand: 28.07.2026 ·113 Min Lesezeit ·

Was KI-Systeme wirklich kosten — Rechenleistung, Betrieb, Skalierung und Steuerung. Vollständige, faktenbasierte Fassung mit Belegen und Quellenregister.

Auftrag, Reichweite und Kernbegriffe

AUFTRAG: Untersucht werden die tatsächlichen Kosten einer KI-Anwendung vom ersten Modellaufruf bis zu Betrieb, Wartung und Stilllegung. Gegenstand sind API-Modelle, Managed Services, Open-Weight-Modelle, Cloud- und lokale Infrastruktur, Datenbanken, Vektorsuche, Storage, Netzwerk, Observability, Security, Personal, Compliance und Ausfallvorsorge. [S-068] [S-073] [S-092]

Systemgrenze

Die Rechengrenze beginnt beim fachlichen Vorgang und endet beim verwertbaren Ergebnis. Eingeschlossen sind alle wiederholten Modellaufrufe, Toolpfade, Datenoperationen, manuelle Prüfungen und Ressourcen, die den Vorgang ermöglichen. Ein isolierter Modellpreis ist nur eine Teilmenge. [S-069] [S-070] [S-099]

*Tabelle 1: Vollständige Kostenblöcke einer produktiven KI-Anwendung*

KostenblockTypische PositionenPrimärer Mengentreiber
Modell und ToolsInput, Cache, Cache Write, Output, Reasoning, Search, OCR, Audio, Bild, GuardrailsToken, Requests, Seiten, Minuten, Bilder
Daten und RetrievalParsing, Embeddings, Vektorsuche, Datenbank, Storage, Backups, EgressDokumente, Vektoren, GB, I/O, Queries
Plattform und ComputeServerless, VM, GPU, Queue, Netzwerk, Managed AI, ReservierungSekunden, Stunden, Instanzen, Kapazität
Qualität und BetriebEvaluation, Review, Monitoring, Incident, Support, MigrationStunden, Releases, Tickets, Vorfälle
Governance und RisikoSecurity, Datenschutz, Dokumentation, Audit, Reserve, DRRisikoklasse, SLO, Regionen, Prüfzyklen

Arbeitsdefinition der Wirtschaftlichkeit

ARBEITSFORMEL: Wirtschaftlich ist eine Architektur nur, wenn sie bei erforderlicher Qualität, Sicherheit und Verfügbarkeit geringere Vollkosten oder einen höheren belegbaren Wert als die beste realistische Alternative erzeugt.

Die Formel schließt ausdrücklich ein, dass klassische Software, ein Formular, eine Suche, ein Regelwerk oder der unveränderte Prozess die bessere Option sein können. [S-119] [S-069] [S-073]

Belegstufen

StufeQuelleVerwendung
AGesetz, Standard, offizielle Preis-/Produktdokumentation, OriginalstudieDirekte Aussage mit Stichtag und Kontext
BOffizielle technische Dokumentation eines Open-Source-ProjektsFunktions- und Betriebsbeschreibung; keine unabhängige Wirksamkeitsgarantie
CEigene ModellrechnungTransparente Annahme; kein Marktpreis oder Erfolgsversprechen
UNKLARKeine belastbare Quelle oder nicht vergleichbare AngabenNicht schätzen; offene Frage oder Prüfauftrag

Management Summary

  1. Tokenpreise sind selten der größte Block — Bei kleinen und mittleren Anwendungen dominieren häufig Entwicklung, Datenpflege, Review, Support und Governance. [S-068] [S-089]
  2. Der Nenner entscheidet — Kosten müssen durch fachlich erfolgreiche Ergebnisse geteilt werden; reine Request- oder Tokenmetriken verschleiern Fehlversuche. [S-069] [S-165]
  3. Ausgabe ist oft teurer als Eingabe — Aktuelle Preislisten weisen häufig deutlich höhere Outputpreise aus. Antwortlänge ist deshalb ein unmittelbarer Hebel. [S-001] [S-007] [S-014]
  4. Caching ist kein Pauschalrabatt — Nur wiederverwendbare Eingaben profitieren; Schreib-, Speicher- und Invalidierungskosten bleiben. [S-002] [S-009] [S-015]
  5. Batch und Flex brauchen passende Deadlines — Rabatte werden mit asynchroner Verarbeitung oder geringerer Kapazitätsgarantie erkauft. [S-004] [S-003] [S-016]
  6. Agenten brauchen ein Laufbudget — Mehrstufige Tool- und Modellschleifen können Kosten und Seiteneffekte vervielfachen. [S-098] [S-099]
  7. RAG ist eine Datenpipeline — Ingestion, Embeddings, Index, Retrieval, Re-Ranking, Kontext und Pflege gehören in dieselbe Rechnung. [S-053] [S-121]
  8. Self-hosting lohnt nur bei Auslastung und Fähigkeit — Eigene Modelle ersetzen Tokenpreise durch Hardware, Engineering, Betrieb und Risiko. [S-080] [S-100] [S-107]
  9. Observability kann teuer werden — Logs, Traces und hochkardinale Metriken wachsen mit jedem Lauf; Sampling ist ein Qualitätskompromiss. [S-064] [S-060] [S-061]
  10. Verfügbarkeit ist eine finanzierte Leistung — Replikate, Puffer, Multi-Region und Bereitschaft sind bewusst bezahlte Risikoreduktion. [S-170] [S-117]
  11. Einführungspreise und Modellabschaltungen gehören ins Budget — Preisgültigkeit und Migrationsfenster können innerhalb eines Jahres wechseln. [S-007] [S-011]
  12. Routing kann sparen, muss aber getestet werden — Kaskaden konzentrieren starke Modelle auf schwierige Fälle; Fehlrouting kann den Nutzen aufheben. [S-077] [S-078]
  13. Sicherheit begrenzt finanziellen Schaden — Quoten, Rate Limits, Secrets und Kill Switches schützen zugleich vor Missbrauchsausgaben. [S-098] [S-167]
  14. Preisvergleiche brauchen Servicegleichheit — Direkt-API, Bedrock, Vertex und Azure liefern unterschiedliche Regionen, Plattformfunktionen und Verträge. [S-019] [S-017] [S-020]
  15. Weniger KI ist häufig die beste Optimierung — Deterministische Schritte sollten aus dem LLM-Pfad entfernt werden. [S-119] [S-073]

Abbildung 1: Illustrative Vollkostenstruktur einer KI-Anwendung – im PDF und DOCX eingebettet.

*Eigene Darstellung. Prozentwerte sind bewusst illustrative Annahmen, keine Marktstatistik.*

Kostenmodell, Formeln und Preis-Snapshot

Kernformeln

FormelDefinition
Direkte ModellkostenC_model = (T_in_uncached × P_in + T_in_cached × P_cache + T_cache_write × P_write + T_out × P_out) / 1.000.000 + Tools + Medien
VollkostenTCO = C_model + C_data + C_platform + C_observability + C_people + C_security + C_reliability + C_compliance + C_migration + C_reserve
Erfolgreiche ErgebnisseN_success = N_cases × Success_Rate
StückkostenCost_per_success = TCO / N_success
Self-hostingC_self = GPU_hours + CPU/RAM + Storage + Network + Orchestration + Operations + Quality + Reserve
Break-evenN_break_even = Fixed_cost_difference / Variable_cost_saving_per_success; nur gültig, wenn Qualität und SLO vergleichbar sind.
REGEL: Jede Formel benötigt Messdaten für Volumen, Tokenverteilung, Erfolgsquote, Nacharbeit und Lastform. Ein Preisrechner ohne diese Größen ist nur eine grobe Oberflächenrechnung.

Preis-Snapshot ausgewählter Modelle und Spezialdienste

*Tabelle 2: Öffentliche Listenpreise am 08.08.2026; keine Angebots- oder Vertragszusage*

Modell/DienstInput USD/Mio.Output USD/Mio.Cache/SpezialeinheitHinweis und Quelle
OpenAI gpt-5.6-sol5,0030,000,50 Cache-Lesen; 6,25 Cache-SchreibenKurzkontext, Standard [S-001]
OpenAI gpt-5.6-terra2,0012,000,20 Cache-Lesen; 2,50 Cache-SchreibenKurzkontext, Standard [S-001]
OpenAI gpt-5.6-luna0,201,200,02 Cache-Lesen; 0,25 Cache-SchreibenKurzkontext, Standard [S-001]
Anthropic Claude Fable 510,0050,00separate Cache-LogikDirekt-API [S-007] [S-008]
Anthropic Claude Opus 55,0025,00separate Cache-LogikDirekt-API [S-007] [S-008]
Anthropic Claude Sonnet 53,0015,00Einführung: 2,00 / 10,00 bis 31.08.2026Direkt-API; zeitlich begrenzter Aktionspreis [S-007] [S-012]
Anthropic Claude Haiku 4.51,005,00separate Cache-LogikDirekt-API [S-007] [S-008]
Google Gemini 3.6 Flash1,507,500,15 Cache-Lesen + 1,00 je Mio. Token-StundeStandard; Output inklusive Thinking-Token [S-014]
Google Gemini 3.6 Flash Batch/Flex0,753,750,075 Cache-Lesen + 1,00 je Mio. Token-Stundeasynchron beziehungsweise flexible Kapazität [S-014] [S-016]
Mistral Medium 3.51,507,50Batch -50 %; Cache-Eingabe -90 %Listenseite; Rabatt nur bei passender Verarbeitung [S-018]
Mistral Small 40,150,60Batch -50 %; Cache-Eingabe -90 %Listenseite [S-018]
Mistral OCR 44,00 USD je 1.000 Seitenseitenbasierte Spezialabrechnung [S-018]
SCHNELL VERALTEND: Diese Tabelle muss vor jeder Veröffentlichung, Beschaffung oder Kalkulation erneut gegen die Anbieterpreise geprüft werden. Besonders kritisch sind Aktionspreise, Service-Tier-Namen, Langkontext, regionale Verarbeitung und Freikontingente.

Warum Outputlänge wirtschaftlich relevant ist

Abbildung 2: Listenkosten je 1.000 Anfragen bei wachsender Ausgabe – im PDF und DOCX eingebettet.

*Eigene Berechnung mit 1.500 Eingabetoken und den im Dossier dokumentierten Preis-Snapshots; keine Qualitätsaussage.*

Lastform und Kapazität

Abbildung 3: Gleicher Tagesverbrauch, unterschiedliche Kapazitätsanforderung – im PDF und DOCX eingebettet.

*Eigene illustrative Lastprofile. Die Flächen sind ähnlich; Peak- und Queuebedarf unterscheiden sich.* Eine Monatsmenge allein zeigt weder benötigte Parallelität noch Cold Starts, Queuealter oder Kapazitätspuffer. Für API- und Self-hosting-Entscheidungen sind P95/P99-Last und Deadline erforderlich. [S-104] [S-105] [S-106]

81 belastbare Kernaussagen

A. Die richtige Recheneinheit

Preis ist nicht Vollkosten

Der API-Preis bildet nur die unmittelbar abgerechnete Modellnutzung ab. Für eine belastbare Entscheidung gehören Datenhaltung, Integration, Tests, Telemetrie, Support, Sicherheit, Ausfallvorsorge, Migration und Personal in dieselbe Rechnung. Ein Modell kann pro Token billig und als Gesamtsystem dennoch teuer sein. [S-067] [S-068] [S-072] [S-074]

Das wirtschaftliche Ziel ist ein Ergebnis, kein Token

Token sind eine technische Verbrauchseinheit. Für Führung und Produktsteuerung sind Kosten pro gelöstem Fall, freigegebenem Dokument, qualifiziertem Lead, erledigtem Auftrag oder vermiedener Bearbeitungsminute aussagekräftiger. FinOps empfiehlt den Übergang von Ressourcenmetriken zu geschäftsbezogenen Einheiten. [S-069] [S-070] [S-068]

Erfolgsquote gehört in den Nenner

Eine scheinbar günstige Anfrage wird teuer, wenn nur ein Teil der Antworten verwertbar ist. Daher muss die Kennzahl auf erfolgreiche, nach Qualitätskriterien akzeptierte Ergebnisse bezogen werden. Fehlversuche, manuelle Nacharbeit und eskalierte Fälle bleiben sonst unsichtbar. [S-165] [S-166] [S-112]

Fixe und variable Kosten müssen getrennt werden

API-Nutzung ist überwiegend variabel, während Self-hosting, reservierte Kapazität, Mindestgebühren und Betriebsteams hohe Fixanteile erzeugen. Die Trennung zeigt, ab welchem Volumen eine Architektur überhaupt auslastungsfähig ist. Ohne sie wird ein vermeintlicher Break-even aus Monatswerten abgeleitet, die nicht vergleichbar sind. [S-024] [S-026] [S-021] [S-069]

Die Lastkurve ist wichtiger als die Monatssumme

Zwei Systeme mit gleichem Tokenverbrauch können völlig andere Kapazitätskosten haben. Gleichmäßige Batchlast lässt Hardware gut auslasten; kurze Spitzen erfordern Überkapazität, Queueing oder teure Prioritätsklassen. Planung benötigt daher Verteilung, Parallelität, Saisonalität und Latenzziel. [S-104] [S-105] [S-106] [S-073]

Goodput schlägt Rohdurchsatz

Rohdurchsatz zählt alle erzeugten Token oder Requests. Goodput betrachtet nur Ergebnisse, die innerhalb der vereinbarten Zeit und Qualität tatsächlich nutzbar sind. Eine aggressive Optimierung, die mehr Antworten produziert, aber Fehlerquote oder Timeout-Rate erhöht, kann die Stückkosten verschlechtern. [S-080] [S-149] [S-157]

Kosten brauchen Bandbreiten statt Punktwerte

Vor Produktionsstart sind Tokenlänge, Trefferquote, Wiederholungen, Toolaufrufe und Wachstum unsicher. Eine Planung mit Basis-, Belastungs- und Stressszenario ist belastbarer als ein einzelner Monatsbetrag. Die Bandbreite muss die Annahmen offen ausweisen. [S-158] [S-072] [S-074]

Währungs-, Steuer- und Vertragsfaktoren sind separat

Öffentliche Listenpreise sind häufig in US-Dollar und ohne Umsatzsteuer, individuelle Rabatte, Mindestabnahmen oder Supportpakete angegeben. Ein deutscher Business Case benötigt Wechselkursannahme, Netto-/Bruttologik und Vertragskonditionen. Diese Faktoren dürfen nicht stillschweigend in die technische Verbrauchsrechnung gemischt werden. [S-071] [S-067] [S-018]

Kostenallokation beginnt bei Identität und Metadaten

Ohne Projekt-, Mandanten-, Team-, Modell- und Use-Case-Kennzeichnung lassen sich Rechnungen nur nachträglich schätzen. Kostenstellen, Tags und korrelierbare Request-IDs müssen bereits im Design verankert sein. FOCUS zielt auf eine normalisierte Kosten- und Nutzungsstruktur über Anbieter hinweg. [S-071] [S-099] [S-065]

Die Nullvariante ist Teil jeder Rechnung

Ein KI-System ist nur wirtschaftlich, wenn es gegen eine reale Alternative gewinnt: bestehender Prozess, klassische Suche, Regelwerk, Formular, SQL-Abfrage, OCR ohne LLM oder gar keine Automatisierung. Ohne Nullvariante wird lediglich zwischen KI-Architekturen optimiert, obwohl KI selbst die falsche Lösung sein kann. [S-069] [S-073] [S-119]

B. Modell-, Token- und API-Kosten

Eingabe und Ausgabe haben unterschiedliche Preise

Aktuelle Anbieter rechnen Eingabe- und Ausgabetoken getrennt ab; Ausgabe ist häufig deutlich teurer. Deshalb kann eine kurze, präzise Antwort mehr sparen als eine kleine Kürzung des Eingabekontexts. Die Preisrelation ist modell- und serviceabhängig und muss aus der aktuellen Tabelle übernommen werden. [S-001] [S-007] [S-014] [S-018]

Ausgabelänge ist ein steuerbarer Kostentreiber

Maximale Ausgabetoken, strukturierte Schemata und klare Abbruchbedingungen begrenzen Kosten und Latenz. Eine pauschale Aufforderung zu ausführlichen Antworten erzeugt dagegen unkontrollierte Streuung. Die Grenze muss so gewählt werden, dass sie fachliche Vollständigkeit nicht zerstört. [S-001] [S-147] [S-014]

Reasoning- und Thinking-Token können abrechnungsrelevant sein

Bei Modellen mit internem Denken kann die Abrechnung nicht allein aus dem sichtbaren Antworttext abgeleitet werden. Anbieter weisen Thinking- oder Reasoning-Verbrauch unterschiedlich aus. Kostenmessung muss deshalb die tatsächlichen Usage-Felder der API und nicht nur Zeichen im Ergebnis erfassen. [S-014] [S-001] [S-007]

Langer Kontext kann eine neue Preisstufe auslösen

Einige Preistabellen unterscheiden Kurz- und Langkontext oder ändern Preise oberhalb definierter Schwellen. Dadurch kann ein kleiner Kontextzuwachs die gesamte Anfrage verteuern. Budgetwächter müssen die jeweils gültige Preisstufe kennen. [S-001] [S-017] [S-008]

Tokenisierung ist nicht über Anbieter hinweg identisch

Dasselbe Dokument kann je nach Tokenizer, Sprache und Format unterschiedlich viele Token erzeugen. Zeichen- oder Wortzählungen sind nur grobe Vorabschätzungen. Für belastbare Prognosen sind anbieterspezifische Tokenzähler oder gemessene API-Nutzungsdaten erforderlich. [S-005] [S-014] [S-007]

Freikontingente sind kein Produktionspreis

Kostenlose Stufen helfen beim Experimentieren, können aber andere Rate Limits, Datenbedingungen oder Funktionsgrenzen besitzen. Eine Produktionsrechnung muss den bezahlten Tarif und das erwartete Volumen zugrunde legen. Sonst kippt der Business Case beim Übergang aus dem Prototyp. [S-014] [S-022] [S-023]

Batch ist günstig, aber nicht interaktiv

Batchangebote senken bei mehreren Plattformen die direkte Modellrechnung, verlangen jedoch asynchrone Verarbeitung und tolerierte Wartezeit. Sie eignen sich für Backfills, nächtliche Extraktion, Evaluationsläufe oder Massenklassifikation. Für Echtzeitdialoge sind sie kein Ersatz. [S-004] [S-016] [S-018] [S-019]

Flexible Kapazität tauscht Preis gegen Planbarkeit

Flex- oder vergleichbare Servicestufen nutzen verfügbare Restkapazität und können billiger sein. Dafür sind längere Laufzeiten, geringere Verfügbarkeit oder Ressourcenknappheit möglich. Der Use Case muss Verzögerung und Wiederanlauf verkraften. [S-003] [S-014] [S-017] [S-019]

Prioritätsklassen sind eine bewusste Versicherung

Priority- oder Fast-Angebote erhöhen den Preis, um Latenz und Kapazitätszugang zu verbessern. Sie sind nur wirtschaftlich, wenn ein langsames Ergebnis messbar mehr Schaden verursacht als der Aufpreis. Ein pauschaler Einsatz für alle Anfragen verschwendet Budget. [S-001] [S-014] [S-017]

Regionale Verarbeitung kann einen Aufschlag auslösen

Datenresidenz und regionale Endpunkte können technisch oder vertraglich erforderlich sein, sind aber nicht immer preisneutral. Die Kalkulation muss konkrete Region, Endpoint-Typ und Anbieterhinweise berücksichtigen. Datenschutzanforderungen sind damit zugleich Kosten- und Architekturtreiber. [S-001] [S-006] [S-017] [S-018]

Cloud-Marktplätze können vom Direktpreis abweichen

Dasselbe Modell kann über Direkt-API, Bedrock, Vertex AI oder Azure andere Preise, Regionen, SLAs, Mindestmengen und Zusatzdienste haben. Ein Vergleich nur nach Modellname ist daher unvollständig. Entscheidend ist der tatsächlich bezogene Service. [S-019] [S-017] [S-020] [S-007]

Zeitlich begrenzte Einführungspreise sind kein Dauerbudget

Aktionspreise müssen mit Enddatum und künftigem Normalpreis dokumentiert werden. Ein Beispiel ist der für Claude Sonnet 5 ausgewiesene Einführungspreis bis zum 31. August 2026. Jahresbudgets sollten danach mindestens den regulären Listenpreis simulieren. [S-007] [S-012]

Modellabschaltungen erzeugen Migrationskosten

Preise sind nicht die einzige veränderliche Größe. Anbieter nehmen Modelle aus dem Betrieb, ändern Aliasse oder führen neue Versionen ein. Regressionstests, Promptanpassung und Freigabe der Nachfolgeversion gehören deshalb in die laufenden Kosten. [S-011] [S-138] [S-139] [S-141]

C. Kontext, Caching, Retrieval und Daten

Prompt Caching rabattiert nur wiederverwendbare Teile

Caching reduziert nicht automatisch den gesamten Eingabepreis. Nur ein identischer oder nach Anbieterregeln wiederverwendbarer Präfix profitiert. Dynamische Inhalte, wechselnde Reihenfolge oder geringe Wiederholung senken die Trefferquote. [S-002] [S-009] [S-015] [S-018]

Cache-Schreiben und -Speicherung können kostenpflichtig sein

Einige Plattformen unterscheiden Lesen, Schreiben und zeitabhängige Speicherung. Ein Cache lohnt sich daher erst bei ausreichender Wiederverwendung innerhalb des Gültigkeitsfensters. Reine Aktivierung ohne Hit-Rate-Messung kann Mehrkosten erzeugen. [S-001] [S-009] [S-015]

Semantisches Caching ist eine Qualitätsentscheidung

Ein semantischer Cache beantwortet ähnliche, nicht identische Anfragen aus früheren Ergebnissen. Das kann Modellaufrufe vermeiden, birgt aber Risiken bei Aktualität, Berechtigung und Bedeutungsabweichung. Schwellenwert, Mandantentrennung und Invalidierung müssen getestet werden. [S-165] [S-093] [S-090]

Kontextwachstum entsteht oft schleichend

Chatverläufe, Systemregeln, Toolbeschreibungen, Dokumente und Zwischenergebnisse werden bei jeder Runde erneut übertragen. Ohne Kompaktierung steigt die Eingabe mit der Sitzungsdauer. Das belastet Preis, Latenz und gegebenenfalls Antwortqualität. [S-001] [S-148] [S-002]

Mehr Kontext ist nicht automatisch mehr Qualität

Forschung zu langen Kontexten zeigt, dass relevante Information je nach Position schlechter genutzt werden kann. Eine große Kontextgrenze ersetzt daher keine Retrieval-, Auswahl- und Anordnungslogik. Ungefilterter Kontext kann zugleich Kosten und Fehlerrisiko erhöhen. [S-148] [S-123]

RAG hat Kosten vor und während jeder Anfrage

Retrieval-Augmented Generation verursacht Ingestion, Parsing, Chunking, Embeddings, Indexspeicher, Abfragen, Re-Ranking und zusätzlichen Modellkontext. Nur die Embeddingrechnung zu betrachten unterschätzt den Betrieb. Auch Neuindizierung und Löschung gehören dazu. [S-053] [S-056] [S-057] [S-059]

Embeddings sind oft klein, Reindexierung aber nicht kostenlos

Bei Text-RAG sind Embeddings häufig günstiger als Generierung. Große Bestände, häufige Aktualisierung, mehrere Modelle oder Dimensionswechsel können jedoch wiederholte Vollindizierung auslösen. Der Datenlebenszyklus muss deshalb als Pipeline geplant werden. [S-053] [S-059] [S-121]

Vektordatenbanken besitzen eine Grundlast

Managed Vector Stores rechnen nicht nur Suchanfragen ab, sondern je nach Produkt Kapazität, Speicher, Read/Write Units, Replikate oder Mindestpakete. Kleine Projekte können dadurch stärker von Mindestkosten als vom tatsächlichen Suchvolumen geprägt sein. [S-052] [S-055] [S-057] [S-059]

Chunking beeinflusst zugleich Qualität und Rechnung

Kleine Chunks erhöhen Anzahl und Metadaten; große Chunks übertragen mehr irrelevanten Text. Overlap vervielfacht gespeicherte und eingebettete Token. Die optimale Einstellung muss anhand echter Fragen, Treffer und Kosten gemessen werden. [S-165] [S-053] [S-119]

Re-Ranking kann Kontext sparen

Ein zusätzlicher Ranking-Schritt kostet selbst Rechenleistung, kann aber die Zahl der an das teure Generierungsmodell gesendeten Passagen reduzieren. Wirtschaftlich ist die Kombination, wenn der eingesparte Kontext und die bessere Trefferqualität den Re-Ranker übersteigen. [S-069] [S-078] [S-165]

Datenbereinigung ist Personalkosten, nicht Nebensache

Duplikate, veraltete Dateien, schlechte Scans, unklare Rechte und inkonsistente Metadaten erhöhen Fehlantworten und Nacharbeit. Der Aufwand fällt häufig außerhalb der API-Rechnung an. Er muss als Aufbau- und laufende Pflegeposition erfasst werden. [S-089] [S-119] [S-093]

Speicheroperationen und Egress zählen

Objektspeicher wird nach Kapazität, Operationen, Abrufklasse und Datenübertragung abgerechnet. Eine billige Gigabyte-Rate kann durch sehr viele kleine Zugriffe oder Cloud-Wechsel relativiert werden. Der Datenfluss ist deshalb konkreter als nur in Gigabyte pro Monat zu modellieren. [S-040] [S-041] [S-042] [S-043]

D. Agenten, Tools und multimodale Verarbeitung

Agenten vervielfachen Modellaufrufe

Ein Agentenlauf kann Planungs-, Tool-, Prüf- und Reparaturschritte enthalten. Die Kosten pro Nutzeraktion sind daher die Summe aller Modell- und Toolaufrufe, nicht der sichtbaren Endantwort. Maximalzahl, Zeitbudget und Tokenbudget je Lauf sind Pflicht. [S-098] [S-099] [S-001]

Toolschleifen brauchen harte Grenzen

Fehlerhafte Zustände oder unklare Abbruchkriterien können wiederholte Suche, Browseraufrufe oder API-Schritte auslösen. Neben Kosten entstehen Seiteneffekte und Belastung fremder Systeme. Loop-Counter, Idempotenz und Circuit Breaker reduzieren das Risiko. [S-098] [S-153] [S-146]

Websuche kann pro Suchvorgang berechnet werden

Grounding- und Suchdienste besitzen neben Tokenpreisen eigene Requestpreise. Eine Nutzerfrage kann mehrere Suchanfragen erzeugen. Kostenplanung muss zwischen Nutzeranfrage, Modellaufruf und tatsächlicher Zahl externer Suchen unterscheiden. [S-014] [S-001] [S-019]

Dokumenten-OCR hat eigene Einheiten

OCR- und Document-AI-Angebote rechnen beispielsweise pro Seite statt pro Texttoken. Danach können weitere Modellkosten für Klassifikation, Extraktion oder Prüfung anfallen. Ein Seitenpreis allein beschreibt daher nicht die gesamte Dokumentpipeline. [S-018] [S-019] [S-017]

Audio wird nach Minute, Token oder Zeichen abgerechnet

Transkription, Sprachverständnis und Sprachausgabe verwenden je nach Dienst verschiedene Einheiten. Pausen, Mehrkanalton, Echtzeitbetrieb und erneut erzeugte Sprache verändern die Rechnung. Sprachsysteme benötigen deshalb eine eigene Mengenlogik. [S-018] [S-014] [S-001]

Bilder und Video sind keine Textkosten

Vision-, Bildgenerierungs- und Videoangebote berechnen Auflösung, Dauer, Qualitätsstufe oder medienspezifische Token. Eine Umrechnung in Texttoken ist nur dann zulässig, wenn der Anbieter sie ausdrücklich definiert. Für Budgets sind Medienart und Qualitätsprofil separat zu führen. [S-001] [S-014] [S-017]

Human-in-the-Loop kostet Zeit und verhindert Schaden

Freigaben, Stichproben und Eskalation erhöhen zunächst Bearbeitungskosten. Bei rechtsrelevanten, finanziellen oder reputationskritischen Vorgängen können sie jedoch Fehlentscheidungen und teure Rückabwicklung verhindern. Die richtige Kennzahl ist daher Gesamtverlust, nicht maximale Automatisierungsquote. [S-090] [S-091] [S-094]

Dauerhafte Zustände vermeiden teure Wiederholungen

Queues, Checkpoints und idempotente Schritte erlauben Wiederaufnahme nach Fehlern. Ohne sie wird ein langer Lauf vollständig neu gestartet und bezahlt. Zustandsmanagement ist damit sowohl Reliability- als auch Kostenfunktion. [S-105] [S-106] [S-150] [S-173]

Missbrauchsschutz ist Kostenkontrolle

Offene Endpunkte können durch Bots, gestohlene Schlüssel oder Prompt-Angriffe hohe Verbräuche auslösen. Authentifizierung, Quoten, Rate Limits, Ausgabenlimits und Alarmierung begrenzen nicht nur Sicherheitsrisiken, sondern den finanziellen Blast Radius. [S-098] [S-140] [S-167] [S-160]

E. API, Managed Service und Self-hosting

API ist bei kleinen und unsicheren Lasten häufig die Referenz

Nutzungsbasierte APIs vermeiden eigene GPU-Fixkosten und verkürzen den Start. Das macht sie besonders für Pilotphasen und schwankende Volumina attraktiv. Der Vorteil kann bei sehr hoher, stabiler Last oder besonderen Kontrollanforderungen abnehmen. [S-001] [S-008] [S-014] [S-068]

Managed Plattformen verkaufen mehr als Rechenzeit

Bedrock, Vertex AI, Azure und andere Plattformen bündeln Identität, Regionen, Monitoring, Netzwerkoptionen und Unternehmensverträge. Ein Preisaufschlag kann wirtschaftlich sein, wenn dadurch Integrations- oder Governanceaufwand sinkt. Vergleichbar ist nur der vollständige Serviceumfang. [S-019] [S-017] [S-020] [S-073]

Self-hosting verschiebt Kosten statt sie zu löschen

Open-Weight-Modelle beseitigen den Tokenpreis eines externen APIs, erzeugen aber GPU-, Speicher-, Netzwerk-, Orchestrierungs-, Update-, Bereitschafts- und Fachpersonalkosten. Auch ungenutzte Kapazität wird bezahlt. Open Source bedeutet daher nicht kostenloser Betrieb. [S-100] [S-102] [S-107] [S-024]

Auslastung entscheidet über Self-hosting

Eine GPU-Instanz wird pro Zeit oder reservierter Kapazität bezahlt, unabhängig davon, wie viele verwertbare Antworten entstehen. Hohe, gleichmäßige Auslastung verteilt Fixkosten; Burstlast lässt Hardware leer oder zwingt zu Überprovisionierung. Gemessene Tokens pro GPU-Sekunde und P95-Latenz sind zentrale Größen. [S-080] [S-038] [S-039] [S-024]

Modellgröße ist eine Kapazitätsgrenze

Gewichte, KV-Cache, Aktivierungen und Parallelität beanspruchen Speicher. Ein Modell, das technisch auf eine GPU passt, kann unter langen Kontexten oder parallelen Anfragen dennoch aus dem Speicher laufen. Kapazitätsplanung muss Lastprofil und Servingverfahren gemeinsam betrachten. [S-080] [S-087] [S-100]

Batching tauscht Latenz gegen Effizienz

Dynamisches Batching bündelt Anfragen und erhöht die Hardwarenutzung. Es kann jedoch Wartezeit und Tail-Latenz erhöhen. Für interaktive Anwendungen braucht es Grenzen, für Offlineverarbeitung darf die Batchgröße größer sein. [S-038] [S-080] [S-106]

Quantisierung ist kein kostenloser Schalter

Weniger Bit reduzieren Speicher und können Durchsatz verbessern, beeinflussen aber je nach Modell, Aufgabe und Hardware die Qualität. Die Wirkung muss auf dem eigenen Evaluationssatz geprüft werden. Außerdem entstehen Konvertierungs-, Kompatibilitäts- und Wartungsaufwände. [S-085] [S-084] [S-086] [S-165]

Serving-Software kann den Durchsatz deutlich verändern

PagedAttention, optimierte Attention-Kernels, Speculative Decoding und spezialisierte Server adressieren Speicher- und Decodingengpässe. Veröffentlichte Gewinne gelten jedoch nur für die jeweiligen Tests. Eine eigene Lastmessung bleibt notwendig. [S-080] [S-081] [S-082] [S-083]

Spot-Kapazität ist billig, aber unterbrechbar

Cloud-Spotangebote können gegenüber On-Demand erheblich günstiger sein, dürfen jedoch entzogen werden. Sie passen zu fehlertoleranten Batchjobs, Training oder replizierten Workern. Ein einzelner interaktiver Produktionsserver ohne Checkpointing ist dafür ungeeignet. [S-025] [S-105] [S-150]

Reservierung lohnt nur bei belastbarer Grundlast

Kapazitätsblöcke, Commitments und reservierte Instanzen reduzieren Unsicherheit oder Einheitspreise, binden aber Budget. Vor Abschluss müssen Grundlast, Wachstumsband und Migrationsrisiko bekannt sein. Sonst wird ein Rabatt zur Leerkostenquelle. [S-026] [S-072] [S-074] [S-075]

Lokaler Betrieb ist nicht automatisch datenschutzkonform

On-Premises oder Edge verringern bestimmte Datenflüsse, ersetzen aber weder Rechtsgrundlage noch Zugriffsschutz, Löschung, Protokollierung und Sicherheitsbetrieb. Die Organisation übernimmt mehr Verantwortung selbst. Datenschutz und Sicherheit müssen als Betriebsaufwand kalkuliert werden. [S-093] [S-090] [S-163]

Lizenzbedingungen können die Architektur bestimmen

Verfügbare Gewichte sind nicht zwingend Open Source. Modell-, Code- und Datenlizenzen können Einsatzgebiet, Weitergabe, Copyleft oder kommerzielle Nutzung regeln. Vor Self-hosting ist eine konkrete Lizenzprüfung erforderlich. [S-107] [S-108] [S-109] [S-018]

Hardwarepreise und Generationen ändern den Break-even

GPU-Preise, neue Instanztypen und Leistungssteigerungen verschieben die wirtschaftliche Grenze fortlaufend. Ein einmal berechneter Break-even ist daher keine dauerhafte Wahrheit. Refresh-Zyklen und Restwert beziehungsweise Mietflexibilität gehören in das Modell. [S-029] [S-027] [S-028] [S-032]

Portabilität hat einen Optionswert

Ein Providerwechsel ist leichter, wenn Modellaufrufe, Evaluationsdaten, Prompts, Telemetrie und Toolverträge getrennt verwaltet werden. Diese Abstraktion kostet initial, kann aber spätere Preis- oder Lebenszyklusänderungen abfedern. Vollständige Austauschbarkeit ist wegen unterschiedlicher Fähigkeiten selten erreichbar. [S-011] [S-138] [S-099] [S-115]

F. Datenbank, Observability und Reliability

Datenbanken kosten mehr als Speicherplatz

Managed PostgreSQL und ähnliche Dienste berechnen Compute, Storage, I/O, Backups, Hochverfügbarkeit und Netzwerk. Replikate oder Multi-Zone-Betrieb verdoppeln nicht nur Sicherheit, sondern oft wesentliche Kostenblöcke. Die Datenbank ist deshalb als Dienstprofil zu kalkulieren. [S-045] [S-047] [S-049] [S-050]

Veraltete Datenbankversionen können Aufschläge erzeugen

Managed Anbieter berechnen für verlängerten Support älterer Versionen teilweise Zusatzgebühren. Aufgeschobene Upgrades sind damit kein kostenfreier Zustand. Migration, Test und Upgradefenster müssen in der Roadmap stehen. [S-046] [S-048] [S-134]

Backups sind nur mit Restore-Test eine Absicherung

Speicher für Sicherungen ist eine Kostenposition; ungetestete Sicherungen bieten dennoch keine belastbare Wiederherstellung. Regelmäßige Restore-Übungen, Aufbewahrung und RPO/RTO erhöhen Aufwand, senken aber das Risiko existenzgefährdender Datenverluste. [S-172] [S-117] [S-150]

Telemetry kann selbst zum Großverbraucher werden

Logs, Traces, Metriken, Prompt-/Response-Metadaten und Profile wachsen mit jedem Request. Anbieter rechnen nach Hosts, Datenmenge, aktiven Zeitreihen oder Retention. Unbegrenzte Vollerfassung kann die Modellkosten überholen. [S-060] [S-061] [S-063] [S-064]

Sampling spart Geld und kann Fehler verbergen

Trace-Sampling reduziert Datenmenge, darf aber seltene, teure oder fehlerhafte Läufe nicht systematisch ausblenden. Head-, Tail- und regelbasiertes Sampling haben unterschiedliche Eigenschaften. Kosten- und Incident-Fragen benötigen gezielte Aufbewahrung. [S-064] [S-062] [S-149]

OpenTelemetry senkt nicht automatisch die Rechnung

Offene Telemetriestandards reduzieren Lock-in und vereinheitlichen Daten, erzeugen aber weiterhin Erfassungs-, Collector-, Speicher- und Analyseaufwand. Der Vorteil liegt in Kontrollierbarkeit und Portabilität, nicht in kostenfreier Beobachtung. [S-065] [S-099] [S-066]

Reliability braucht eine finanzierte Reserve

Kapazitätspuffer, Replikate, Failover und Bereitschaft wirken im Normalbetrieb wie Leerkosten. Sie kaufen jedoch Verfügbarkeit und begrenzen Ausfallschäden. Das richtige Niveau folgt aus SLO, Geschäftsfolgen und Wiederanlaufzeit. [S-170] [S-171] [S-117]

Multi-Region ist keine Gratisversicherung

Mehrere Regionen erhöhen Compute, Replikation, Datenübertragung, Tests und operative Komplexität. Sie sind nur gerechtfertigt, wenn Ausfall- oder Datenresidenzanforderungen den Aufwand tragen. Ein ungetestetes Multi-Region-Design kann trotz Mehrkosten versagen. [S-044] [S-033] [S-150]

Fehlerbudgets verbinden Zuverlässigkeit und Geschwindigkeit

SLO und Fehlerbudget machen sichtbar, wie viel Unzuverlässigkeit akzeptiert wird. Ohne diese Grenze wird entweder zu wenig abgesichert oder jede denkbare Störung mit unverhältnismäßigem Aufwand bekämpft. Die ökonomische Entscheidung braucht Wirkung und Wahrscheinlichkeit. [S-170] [S-149] [S-158]

Stilllegung verursacht Abschlusskosten

Modelle, Indizes, Secrets, Datenkopien, Verträge, Dashboards und Zugriffsrechte müssen kontrolliert entfernt oder archiviert werden. Sonst laufen Rechnungen weiter oder Daten bleiben unzulässig verfügbar. Decommissioning ist ein geplanter Lebenszyklusabschnitt. [S-110] [S-093] [S-167]

G. Menschen, Qualität, Governance und Risiko

Entwicklungszeit dominiert kleine KI-Projekte häufig

Bei niedrigen Volumina können wenige Euro Modellkosten neben vielen Stunden Integration, Datenarbeit, Tests und Fachabnahme stehen. Tokenoptimierung vor Prozessvereinfachung spart dann am falschen Ende. Arbeitszeit ist mit realistischem Vollkostensatz anzusetzen. [S-068] [S-089] [S-159]

Evaluation ist eine laufende Betriebsfunktion

Qualität muss bei Modell-, Prompt-, Daten- und Tooländerungen erneut geprüft werden. Evaluationssätze, Labeling, Review und Vergleichsläufe verbrauchen Personal und API-Budget. Ohne diese Kosten wird ein System nur scheinbar günstig betrieben. [S-165] [S-166] [S-123]

Manuelle Nacharbeit muss gemessen werden

Wenn Mitarbeitende Antworten korrigieren, Quellen suchen oder Formatfehler bereinigen, entsteht versteckte Bearbeitungszeit. Diese Zeit gehört pro Fall erfasst und mit dem Ausgangsprozess verglichen. Sonst wird Arbeit lediglich aus der Hauptaufgabe in Qualitätskontrolle verschoben. [S-112] [S-069] [S-090]

Support und Bereitschaft sind Teil der Stückkosten

Produktive Systeme benötigen Ansprechpartner, Incidentbearbeitung, Anbieterkommunikation und gelegentlich Rufbereitschaft. Der Aufwand wächst nicht linear mit Token, sondern mit Kritikalität, Nutzerzahl und Integrationsbreite. Er ist als fixe oder gestufte Kostenposition zu führen. [S-170] [S-171] [S-161]

Security ist keine einmalige Prüfung

Secrets, Abhängigkeiten, Prompt Injection, Berechtigungen und Missbrauch entwickeln sich weiter. Scans, Updates, Penetrationstests, Audit und Incident Response erzeugen laufenden Aufwand. Ein nicht finanzierter Sicherheitsbetrieb ist lediglich aufgeschobenes Risiko. [S-098] [S-097] [S-164] [S-137]

Compliance-Aufwand hängt vom Einsatz ab

Datenschutz, AI Act, Cyber Resilience Act und Branchenregeln wirken je nach Rolle, Daten und Risikoklasse unterschiedlich. Dokumentation, Verträge, Risikomanagement, Überwachung und Support können relevante TCO-Blöcke sein. Eine pauschale Prozentzahl ist nicht belastbar. [S-093] [S-094] [S-095] [S-092]

Modellmigration ist planbare Wartung

Ein Wechsel umfasst nicht nur die API-ID. Er kann Tokenisierung, Tool Calling, Ausgabeformat, Moderation, Latenz und fachliche Qualität verändern. Budget und Kalender brauchen regelmäßige Migrationsfenster. [S-011] [S-139] [S-141] [S-165]

Schattennutzung verhindert Steuerung

Wenn Teams private Schlüssel, Einzelabos oder unmarkierte Workloads verwenden, fehlen Kostenallokation, Datenschutzprüfung und gemeinsame Optimierung. Zentraler Zugang allein reicht nicht; er muss nutzbar, schnell und transparent sein. Governance soll den sicheren Weg leichter machen. [S-068] [S-092] [S-090]

Showback kommt vor Chargeback

Zunächst sollte Nutzung sichtbar gemacht werden, ohne sofort interne Rechnungen zu stellen. Showback schafft Verständnis für Treiber und Datenqualität. Chargeback ist erst sinnvoll, wenn Zuordnung und Einheit belastbar sind. [S-067] [S-069] [S-071]

Bruttomarge braucht Kosten pro erfolgreicher Einheit

Bei einem KI-Produkt genügt Umsatz pro Nutzer nicht. Modell, Plattform, Support, Zahlung, Ausfälle und variable Tools müssen dem tatsächlich gelieferten Ergebnis gegenüberstehen. Nur dann lässt sich erkennen, ob Wachstum Marge schafft oder Verlust skaliert. [S-069] [S-070] [S-068]

Kostenoptimierung ist ein Regelkreis

Preise, Modelle, Nutzungsverhalten und Qualität ändern sich laufend. Messen, Hypothese, Test, Rollout und Nachkontrolle müssen wiederholt werden. Ein einmaliger „günstigeres Modell“-Wechsel ist kein FinOps-Prozess. [S-067] [S-072] [S-074] [S-075]

Das billigste Modell ist nicht automatisch wirtschaftlich

Ein günstigeres Modell kann durch geringere Erfolgsquote, mehr Rückfragen, längere Prompts oder zusätzliche Prüfungen teurer werden. Routing und Kaskaden brauchen deshalb Qualitätsgrenzen je Aufgabentyp. Kosten werden auf das akzeptierte Ergebnis bezogen. [S-077] [S-078] [S-079] [S-165]

Weniger KI kann die beste Optimierung sein

Validierung, Sortierung, Berechnungen und Datenbankabfragen sind häufig deterministisch lösbar. Wenn klassische Software dieselbe Aufgabe zuverlässiger und billiger erledigt, sollte das LLM nur die unstrukturierte Teilaufgabe übernehmen oder ganz entfallen. Das ist Architekturdisziplin, kein Rückschritt. [S-119] [S-069] [S-073]

32 Praxisfelder der technischen Kostenrechnung

Jedes Praxisfeld wird mit Leitfrage, Messgrößen, typischen Fehlannahmen und einer Entscheidungsregel beschrieben. Die Felder bilden zusammen eine produktionsfähige Kostenanalyse. [S-067] [S-073] [S-171]

Nachfrage, Volumen und Lastform

BausteinInhalt
LeitfrageWie viele fachliche Vorgänge entstehen, wann treten sie auf und wie stark schwanken sie?
MessenVorgänge/Tag, Requests/Vorgang, Input- und Output-Token, Parallelität, P50/P95-Spitzen, Saisonfaktor, Deadline.
Typische FallenMonatssumme ohne Stundenprofil; Pilotdaten aus wenigen Nutzern; angenommene lineare Skalierung; ignorierte Wiederholungen.
EntscheidungsregelInteraktiv, Queue, Batch oder Mischbetrieb festlegen; Basis-, Peak- und Stresslast getrennt kalkulieren.
Quellen[S-104] [S-105] [S-106] [S-069]

Geschäftliche Einheit und Baseline

BausteinInhalt
LeitfrageWelche Leistung wird bezahlt oder eingespart, und was kostet der heutige Prozess?
MessenKosten pro Fall, Durchlaufzeit, Fehlerquote, Eskalation, manuelle Minuten, Umsatz- oder Risikowirkung.
Typische FallenKosten pro API-Call als Endziel; fehlende Nullvariante; Einsparung mit frei werdendem Cash gleichsetzen.
EntscheidungsregelEine Ergebniskennzahl und eine Qualitätsgrenze je Use Case schriftlich definieren.
Quellen[S-069] [S-070] [S-112]

Token- und Usage-Metering

BausteinInhalt
LeitfrageWelche tatsächlichen Verbrauchsfelder liefert jede Plattform?
MessenUncached input, cached input, cache writes, output, reasoning/thinking, Tools, Medien, Service Tier und Region.
Typische FallenZeichen als Token behandeln; nur sichtbare Antwort zählen; Providerfelder in ein gemeinsames Feld pressen.
EntscheidungsregelProvider-Rohdaten speichern und zusätzlich in ein internes, versioniertes Kostenschema normalisieren.
Quellen[S-001] [S-014] [S-008] [S-099]

Prompt- und Kontextbudget

BausteinInhalt
LeitfrageWelche Informationen müssen wirklich bei jedem Aufruf übertragen werden?
MessenSystemprompt, Tooldefinitionen, Verlauf, Retrievalpassagen und Anhänge jeweils in Token und Trefferwirkung.
Typische FallenWachsende Chats; doppelte Regeln; vollständige Dokumente statt relevanter Ausschnitte; ungenutzte Toolschemas.
EntscheidungsregelKontextobergrenze, Kompaktierung, Retrieval und statische Präfixe je Workflow festlegen.
Quellen[S-148] [S-002] [S-165]

Ausgabeformat und Antwortlänge

BausteinInhalt
LeitfrageWelche minimale Ausgabe erfüllt den Geschäftszweck?
MessenOutput-Token, Schemaerfüllung, Abbruchquote, Nachfragen, manuelle Nachformatierung.
Typische FallenUnbegrenzte Prosa; vollständige Begründung ohne Bedarf; Schema plus redundanter Fließtext.
EntscheidungsregelMax Tokens, Stoppregeln und strukturierte Ausgabe festlegen und auf Vollständigkeit testen.
Quellen[S-147] [S-001] [S-014]

Prompt- und Kontext-Caching

BausteinInhalt
LeitfrageWelche Präfixe wiederholen sich mit welcher Frequenz innerhalb der Cache-Lebensdauer?
MessenHit Rate, Read-/Write-Token, TTL, Invalidierungen, Einsparung netto nach Schreib- und Speicherkosten.
Typische FallenCache aktivieren ohne Messung; mandantenübergreifende Vermischung; dynamische Daten im Präfix; veraltete Antworten.
EntscheidungsregelNur stabile, häufig wiederverwendete Blöcke cachen; Break-even und Berechtigung explizit prüfen.
Quellen[S-002] [S-009] [S-015] [S-018]

Batch-, Flex- und Prioritätsklassen

BausteinInhalt
LeitfrageWelche Aufgaben tolerieren Verzögerung und welche benötigen garantierte Reaktionszeit?
MessenDeadline, P95-Latenz, Queue-Alter, Preis je Service Tier, Fehlerrate und Wiederanlauf.
Typische FallenBatch für Nutzerinteraktion; Priority pauschal; Flex ohne Timeout-/Retry-Plan; Rabatt ohne Kapazitätsgrenze.
EntscheidungsregelJeden Workflow einer Serviceklasse zuordnen und automatische Hoch-/Herabstufung begrenzen.
Quellen[S-004] [S-003] [S-016] [S-017]

Modellwahl, Routing und Kaskaden

BausteinInhalt
LeitfrageWelche Aufgaben benötigen ein starkes Modell und welche nicht?
MessenQualität je Aufgabentyp, Eskalationsquote, Preis, Latenz, Kontextbedarf und Fehlerkosten.
Typische FallenEin Modell für alles; Routing nur nach Promptlänge; billigere Antworten ohne fachliche Akzeptanzprüfung.
EntscheidungsregelTask-Klassen mit Evaluationsschwellen definieren; günstiges Modell zuerst nur dort einsetzen, wo Abbruch sicher ist.
Quellen[S-077] [S-078] [S-079] [S-165]

Retries, Fallbacks und Idempotenz

BausteinInhalt
LeitfrageWann darf ein Aufruf wiederholt werden, ohne Kosten oder Seiteneffekte unkontrolliert zu vervielfachen?
MessenRetry-Rate, Ursache, zusätzliche Token, doppelte Toolaktionen, Timeout-Verteilung und Erfolgsgewinn.
Typische FallenUnbegrenztes Retry; Modellwechsel ohne Qualitätsvergleich; erneuter Versand/Eintrag; Retry bei permanenten Fehlern.
EntscheidungsregelFehlerklassen, Exponential Backoff, maximale Versuche, Idempotency Keys und Dead-Letter Queue definieren.
Quellen[S-153] [S-146] [S-173]

Agenten- und Toolbudget

BausteinInhalt
LeitfrageWie viele Schritte, Tools und Modellaufrufe darf ein Vorgang verbrauchen?
MessenSchritte/Lauf, Modellwechsel, Toolaufrufe, externe Gebühren, Laufzeit, Abbruchgrund und Erfolgsquote.
Typische FallenAgent ohne Budget; rekursive Delegation; Websuche in Schleifen; unklare Fertigdefinition.
EntscheidungsregelKosten-, Zeit-, Schritt- und Seiteneffektgrenzen im Orchestrator erzwingen; Human Escalation vorsehen.
Quellen[S-098] [S-099] [S-146] [S-090]

Suche, Grounding und externe Werkzeuge

BausteinInhalt
LeitfrageWelche externen Aufrufe sind fachlich nötig und wie werden sie abgerechnet?
MessenSuchqueries/Nutzerfrage, Toolkosten, Latenz, Cachefähigkeit, Trefferqualität und Lizenzbedingungen.
Typische FallenEine Nutzerfrage mit einem Suchrequest gleichsetzen; irrelevante Suche; fehlende Deduplizierung.
EntscheidungsregelToolaufrufe pro Phase begrenzen, Ergebnisse cachen, Queryzahl protokollieren und Quellenqualität evaluieren.
Quellen[S-014] [S-001] [S-019]

OCR, Sprache, Bilder und Video

BausteinInhalt
LeitfrageWelche medienbezogene Einheit bestimmt den Preis?
MessenSeiten, Minuten, Kanäle, Auflösung, Frames, Zeichen, Medien-Token sowie Folgeaufrufe.
Typische FallenNur Textausgabe kalkulieren; leere Seiten oder Pausen ignorieren; doppelte Verarbeitung nach Fehlern.
EntscheidungsregelMedienpipeline in Erfassung, Vorverarbeitung, Modell, Validierung und Speicherung zerlegen.
Quellen[S-018] [S-014] [S-001] [S-017]

RAG-Ingestion und Aktualisierung

BausteinInhalt
LeitfrageWie gelangen Daten kontrolliert in den Suchbestand und wie oft ändern sie sich?
MessenDokumente, Seiten, Extraktionszeit, Chunks, Embeddingtoken, Aktualisierungen, Löschungen und Fehler.
Typische FallenVollindex bei jeder Änderung; fehlende Deduplizierung; nicht löschbare Kopien; keine Quellversion.
EntscheidungsregelDelta-Ingestion, Content Hashes, Versionierung, Tombstones und Reindexierungsbudget umsetzen.
Quellen[S-121] [S-053] [S-093] [S-136]

Retrieval- und Vektordatenbankbetrieb

BausteinInhalt
LeitfrageWelche Kapazität, Replikation und Suchgüte sind nötig?
MessenVektoren, Dimensionen, Metadaten, Read/Write Units, QPS, Replikate, Recall und Latenz.
Typische FallenNur Speicherpreis; Mindestgebühr übersehen; unnötig hohe Dimension; mehrere Indizes ohne Nutzen.
EntscheidungsregelManaged, PostgreSQL-Erweiterung oder eigener Dienst anhand Last, Team und Qualitätsmessung wählen.
Quellen[S-052] [S-055] [S-057] [S-059]

Datenhaltung, Retention und Löschung

BausteinInhalt
LeitfrageWelche Rohdaten, Prompts, Antworten, Embeddings und Logs müssen wie lange gespeichert werden?
MessenGB je Datenklasse, tägliches Wachstum, Retention, Backupfaktor, Löschfristen und Abrufhäufigkeit.
Typische FallenAlles dauerhaft speichern; Telemetrie mit Inhaltsdaten vermischen; nicht reproduzierbare Löschung.
EntscheidungsregelDatenklassen mit Zweck, Rechtsgrundlage, Speicherort, Retention und Löschmechanismus definieren.
Quellen[S-093] [S-040] [S-041] [S-042]

Direkt-API versus Cloud-Marktplatz

BausteinInhalt
LeitfrageWelcher Bezugsweg liefert die benötigte Region, Identität, SLA und Vertragsstruktur?
MessenTokenpreis, Aufschläge, Netzwerk, Support, Commitments, Datenresidenz und operative Integration.
Typische FallenNur Modellname vergleichen; Direktpreis mit Enterprise-Service verwechseln; Egress und Support auslassen.
EntscheidungsregelEine Service-Matrix erstellen und mindestens zwei reale Monatsrechnungen simulieren.
Quellen[S-019] [S-017] [S-020] [S-007]

Managed AI-Plattform

BausteinInhalt
LeitfrageWelche Plattformdienste reduzieren eigenen Betrieb und welche erhöhen Lock-in?
MessenIAM, Private Networking, Guardrails, Knowledge Base, Monitoring, Support, Provisionierung und Portabilität.
Typische FallenPlattformfunktion doppelt bauen; proprietäre Funktion ohne Exit; undurchsichtige Verbundrechnung.
EntscheidungsregelJede Plattformfunktion mit erspartem Eigenaufwand und Wechselkosten bewerten.
Quellen[S-073] [S-019] [S-017] [S-021]

Self-hosting und Open-Weight-Modelle

BausteinInhalt
LeitfrageRechtfertigen Kontrolle, Last oder Datenanforderung den eigenen Betrieb?
MessenGPU-Stunden, Auslastung, Tokens/s, P95-Latenz, Energie, Personal, Downtime, Upgrades und Lizenz.
Typische FallenGPU-Mietpreis als TCO; Entwicklerbereitschaft auslassen; Modellgewicht mit Open Source gleichsetzen.
EntscheidungsregelMit echter Last benchmarken und API-Referenz inklusive Personal und Reserve gegenüberstellen.
Quellen[S-100] [S-080] [S-107] [S-024]

GPU-Sizing und Serving

BausteinInhalt
LeitfrageWelche Hardware- und Servingkonfiguration erfüllt Kontext, Parallelität und Latenz?
MessenVRAM, Gewichtsspeicher, KV-Cache, Batchgröße, Tokens/s, GPU-Auslastung, Queue und Fehlerrate.
Typische FallenSingle-Request-Benchmark; maximaler Durchsatz ohne Tail-Latenz; OOM unter Langkontext.
EntscheidungsregelRepräsentativen Lasttest mit mehreren Kontextlängen und Konkurrrenzen durchführen.
Quellen[S-080] [S-087] [S-038] [S-039]

Queueing, Autoscaling und Kapazitätspuffer

BausteinInhalt
LeitfrageWie werden Spitzen abgefedert, ohne dauerhaft maximale Kapazität zu bezahlen?
MessenQueue-Länge/-Alter, Scale-up-Zeit, Mindestinstanzen, Cold Start, Abbruch und SLO-Verletzung.
Typische FallenSkalierung nur nach CPU; Scale-to-zero bei Echtzeit-SLO; keine Rückstaubegrenzung.
EntscheidungsregelFachliche Prioritäten, Backpressure, Max Queue Age und Scale Limits definieren.
Quellen[S-104] [S-105] [S-034] [S-106]

Transaktionsdatenbank und Zustandsbetrieb

BausteinInhalt
LeitfrageWelche Daten brauchen Transaktionen, Konsistenz, Hochverfügbarkeit und Wiederherstellung?
MessenCompute, Storage, IOPS, Verbindungen, Replikate, Backup, Restorezeit und Upgradeaufwand.
Typische FallenDatenbank nur als GB-Preis; unnötig Multi-AZ; fehlende Verbindungspools; alte Versionen.
EntscheidungsregelVerfügbarkeitsklasse und Restoreziel je Datenkategorie festlegen, nicht pauschal für das gesamte System.
Quellen[S-045] [S-047] [S-049] [S-172]

Objektspeicher, Abruf und Datenverkehr

BausteinInhalt
LeitfrageWo liegen Dateien und wie häufig werden sie geschrieben, gelesen, verschoben oder exportiert?
MessenGB-Monate, Class-A/B-Operationen, Retrieval, Egress, Replikation und Lifecycle-Übergänge.
Typische FallenNur GB-Monat; viele kleine Requests; Cross-Region-Verkehr; teure Wiederherstellung aus Archivklasse.
EntscheidungsregelObjektgrößen und Zugriffsprofil modellieren; Lifecycle-Regeln und Exportpfad testen.
Quellen[S-040] [S-043] [S-041] [S-044]

Logs, Metriken, Traces und Profile

BausteinInhalt
LeitfrageWelche Telemetrie wird für Kosten, Qualität, Sicherheit und Incidentbearbeitung benötigt?
MessenEvents/Request, Byte/Span, aktive Zeitreihen, Retention, Abfragevolumen und Samplingquote.
Typische FallenVollständige Promptinhalte loggen; hohe Kardinalität; unbegrenzte Retention; keine Kostenlabels.
EntscheidungsregelDatensparsame GenAI-Semantik, Tail-Sampling und getrennte Retention je Signal definieren.
Quellen[S-099] [S-064] [S-060] [S-062]

Qualitätsevaluation und Freigabe

BausteinInhalt
LeitfrageWelche Tests beweisen, dass eine günstigere Konfiguration noch ausreichend ist?
MessenTask-Erfolg, fachliche Fehler, Schemaquote, Quellenbeleg, Latenz, Kosten und Reviewer-Übereinstimmung.
Typische FallenNur Durchschnittsscore; Testset ohne schwierige Fälle; gleiche Daten für Optimierung und Abnahme.
EntscheidungsregelVersioniertes Golden Set, Regression Gate und Kosten-Qualitäts-Pareto je Release verwenden.
Quellen[S-165] [S-166] [S-123]

Sicherheit, Quoten und finanzieller Blast Radius

BausteinInhalt
LeitfrageWie viel Schaden kann ein kompromittierter Schlüssel oder eine Endlosschleife verursachen?
MessenSpend/Minute, Requests/User, Toolaktionen, Anomalien, Schlüsselalter und Sperrzeit.
Typische FallenNur Monatsbudget; gemeinsamer Schlüssel; clientseitiger API-Key; Alarm ohne automatische Begrenzung.
EntscheidungsregelMandantenquoten, harte Limits, Rate Limit, Kill Switch, Secret Rotation und Alarmkette umsetzen.
Quellen[S-098] [S-140] [S-167] [S-097]

Verfügbarkeit, Backup und Disaster Recovery

BausteinInhalt
LeitfrageWelche Ausfallzeit und welcher Datenverlust sind geschäftlich tragbar?
MessenSLO, RTO, RPO, Wiederherstellungszeit, Failoverkosten, Testfrequenz und Ausfallschaden.
Typische FallenMulti-Region ohne Übung; Backup ohne Restore; teure Hochverfügbarkeit für unkritische Funktionen.
EntscheidungsregelServiceklassen definieren und Absicherung nach Geschäftsfolgen staffeln.
Quellen[S-117] [S-170] [S-172]

Datenschutz, AI Act und Dokumentation

BausteinInhalt
LeitfrageWelche Pflichten folgen aus Daten, Rolle, Risikoklasse und Produktkontext?
MessenPrüf-, Vertrags-, Dokumentations-, Monitoring-, Schulungs- und Supportstunden.
Typische FallenPauschaler Compliance-Aufschlag; On-Prem als Rechtsgrundlage; Pflichten erst nach Launch prüfen.
EntscheidungsregelRechts- und Rollenprüfung früh durchführen und konkrete Arbeitspakete in die TCO aufnehmen.
Quellen[S-093] [S-094] [S-095] [S-092]

Team, Support und Bereitschaft

BausteinInhalt
LeitfrageWer hält das System fachlich, technisch und sicher in Betrieb?
MessenFTE-Anteile, Supporttickets, Incidentstunden, On-call, Vendor Management, Reviews und Schulung.
Typische FallenEntwicklerzeit als versunken behandeln; Einzelperson ohne Vertretung; Support erst nach Skalierung.
EntscheidungsregelRACI, Vertretung, Servicezeiten und Vollkostensätze definieren; Aufwand monatlich nachführen.
Quellen[S-171] [S-170] [S-092]

Anbieter-, Modell-, Lizenz- und Exit-Risiko

BausteinInhalt
LeitfrageWie teuer wird Preisänderung, Abschaltung, Leistungsänderung oder Providerwechsel?
MessenMigrationsdauer, Regressionstests, Abstraktionsgrad, Datenexport, Vertragsfrist und Ersatzmodelle.
Typische FallenEvergreen-Alias als stabil; proprietäre Tools ohne Export; Open Weight ohne Lizenzprüfung.
EntscheidungsregelExit-Test, Modelladapter, gespeicherte Testfälle und jährliches Migrationsbudget vorsehen.
Quellen[S-011] [S-138] [S-107] [S-115]

Budget, Forecast, Showback und Alarmierung

BausteinInhalt
LeitfrageWer sieht Verbrauch, wer trägt Verantwortung und wann wird eingegriffen?
MessenBudget/Use Case, Forecastabweichung, Kosten/Ergebnis, Anomalien, Commit-Auslastung und Reserve.
Typische FallenNur Gesamtrechnung; Alarm nach Monatsende; keine Eigentümer; Chargeback auf unsaubere Daten.
EntscheidungsregelTägliches Showback, abgestufte Warnungen, harte technische Grenzen und monatliches Review etablieren.
Quellen[S-067] [S-069] [S-071] [S-099]

Energie und Umweltwirkung

BausteinInhalt
LeitfrageWie hängen Hardwarezeit, Auslastung, Region und Softwareeffizienz mit Ressourcenverbrauch zusammen?
MessenGPU-/CPU-Stunden, Energieindikatoren, Auslastung, Datenverkehr und SCI je funktionaler Einheit.
Typische FallenModellgröße als alleinige Umweltkennzahl; Anbieterwerte ohne Systemgrenze; Effizienz ohne Qualitätsbezug.
EntscheidungsregelEine funktionale Einheit definieren und zunächst vermeidbare Rechenarbeit, Leerlauf und Wiederholungen reduzieren.
Quellen[S-076] [S-088] [S-080]

Stilllegung und Kostenabschluss

BausteinInhalt
LeitfrageWie wird ein Experiment oder Produkt vollständig beendet?
MessenAktive Ressourcen, Datenkopien, Schlüssel, Verträge, Dashboards, DNS, Backups und Restrechnungen.
Typische FallenVergessene Testinstanzen; ungekündigte Mindestpakete; nicht gelöschte Indizes; fehlender Datenexport.
EntscheidungsregelDecommission-Runbook mit Eigentümer, Frist, Löschbeleg, Export und abschließender Rechnungsprüfung verwenden.
Quellen[S-110] [S-093] [S-167]

25 Anbieter- und Technikprofile

Die Profile dienen nicht als Kaufempfehlung. Sie zeigen Abrechnungslogik, Nutzen, Risiken und die jeweils notwendige Entscheidungsregel.

OpenAI API

AspektBewertung
Was ist es?Nutzungsbasierte Modell- und Toolplattform mit getrennten Preisen für Input, Cache, Cache-Schreiben, Output, Kontextklassen und Service Tiers.
AbrechnungJe 1 Mio. Token plus modell- oder toolabhängige Einheiten; Batch, Flex und Fast besitzen eigene Preis-/Leistungsprofile.
StärkeSchneller Start, variable Kosten, breite Modell- und Toolauswahl, detaillierte Produktionsdokumentation.
RisikoPreis- und Modelllebenszyklus, Long-Context-Sprünge, Toolkosten, regionale Aufschläge und mögliche Abhängigkeit von proprietären APIs.
PraxisregelUsage-Felder vollständig speichern; Modellversion, Service Tier, Region und Toolaufrufe als Kostendimension führen.
Quellen[S-001] [S-004] [S-003] [S-006]

Anthropic Claude API

AspektBewertung
Was ist es?Direkter Zugang zu Claude-Modellen mit unterschiedlichen Leistungsstufen, Kontextgrößen, Batch- und Prompt-Caching-Mechanismen.
AbrechnungInput/Output je Mio. Token; Cache-Lesen und -Schreiben nach eigener Logik; Modellpreise und Aktionszeiträume beachten.
StärkeKlare Modellübersicht und Versionierungsinformationen; direkte Nutzung oder über Cloudplattformen möglich.
RisikoEinführungspreise enden, Modellsnapshots und Abschaltungen verlangen Regressionstests; Cloudendpunkte können anders bepreist sein.
PraxisregelAktionspreis nie als Jahresbasis verwenden; Alias/Snapshot und Abschaltdatum in Modellregister aufnehmen.
Quellen[S-007] [S-008] [S-009] [S-011]

Google Gemini Developer API

AspektBewertung
Was ist es?Developer-Plattform für Text, multimodale Verarbeitung, Grounding, Caching und mehrere Serviceklassen.
AbrechnungInput/Output einschließlich Thinking-Token; Kontextcache plus Speicherzeit; Search/Maps nach Freikontingent; Standard, Batch, Flex und Priority.
StärkeBreite multimodale Funktionen und klar ausgewiesene Serviceklassen.
RisikoEine Nutzeranfrage kann mehrere kostenpflichtige Suchqueries auslösen; Cache-Speicherzeit und Thinking-Token werden leicht übersehen.
PraxisregelSearchqueries, Cache-Stunden und Thinking-Usage separat messen; Paid-Tier statt Free-Tier kalkulieren.
Quellen[S-014] [S-015] [S-016]

Mistral API

AspektBewertung
Was ist es?Modell- und Spezial-APIs für Text, Coding, OCR, Sprache und Embeddings mit offenen und proprietären Modellen.
AbrechnungTokenpreise, Seitenpreise für OCR und Minuten-/Zeichenpreise für Audio; ausgewiesene Rabatte für Batch und cached input.
StärkeSehr niedrige Listenpreise einzelner Modelle und transparente Spezialpreise.
RisikoEnterprise-APIs können laut Preisseite über Listenpreis liegen; Lizenz und tatsächliche Modellgüte müssen je Aufgabe geprüft werden.
PraxisregelOffenheit des Modells, Lizenz, Direkt-API-Preis und Enterprise-Aufschlag getrennt dokumentieren.
Quellen[S-018] [S-107] [S-108]

Amazon Bedrock

AspektBewertung
Was ist es?Managed Modellzugang mit mehreren Anbietern, Serviceklassen, Knowledge Bases, Guardrails und AWS-Integration.
AbrechnungProvider- und modellabhängige Tokenpreise plus optionale Plattformfunktionen, provisionierte Kapazität, Batch oder Prioritätsklassen.
StärkeIAM, Netzwerk, Regionen, Abrechnung und Governance im AWS-Kontext.
RisikoKomplexe Verbundrechnung; derselbe Modellname ist nicht automatisch mit Direkt-API identisch; Zusatzdienste erhöhen TCO.
PraxisregelPro Komponente SKU, Region und Mengentreiber erfassen; Direktpreis nur als Vergleich, nicht als Ersatz für das echte Angebot.
Quellen[S-019] [S-073] [S-072]

Vertex AI Generative AI

AspektBewertung
Was ist es?Google-Cloud-Plattform für eigene und Partner-Modelle, Vektorsuche, Grounding und mehrere Verarbeitungsstufen.
AbrechnungToken-, Service-Tier-, Regions- und Zusatzdienstpreise; Partner-Modelle können eigene Strukturen besitzen.
StärkeIntegration in Google Cloud, Datenplattform und Unternehmens-IAM.
RisikoRegionale und globale Endpunkte, Priority/Flex/Batch sowie Partnerpreise erschweren direkte Vergleiche.
PraxisregelEndpoint-Typ und Datenregion in jeder Kalkulation festhalten; Vektorsuche und Grounding als eigene Positionen führen.
Quellen[S-017] [S-059] [S-075]

Azure OpenAI und AI Foundry

AspektBewertung
Was ist es?Microsoft-Cloud-Zugang zu Modellen, globaler/regionaler Verarbeitung, provisioniertem Durchsatz und Managed Compute.
AbrechnungToken oder provisionierte Einheiten; Managed Compute kann GPU-stundenbasiert sein; Region und Deployment-Modus relevant.
StärkeIntegration in Microsoft-Identität, Netzwerk, Verträge und Azure-Betrieb.
RisikoProvisionierte Kapazität erzeugt Fixkosten; verschiedene Preisrechner und Verträge machen Listenvergleiche unscharf.
PraxisregelNutzungsbasierten und provisionierten Betrieb mit derselben Lastkurve vergleichen; Leerlauf sichtbar ausweisen.
Quellen[S-020] [S-021] [S-074]

Hugging Face Inference Providers

AspektBewertung
Was ist es?Routing- und Abrechnungsschicht für mehrere Inference-Provider sowie Nutzung eigener Provider-Schlüssel.
AbrechnungProviderabhängige Preise, Plattformcredits oder Durchleitung; genaue Konditionen je Provider prüfen.
StärkeSchneller Vergleich und Zugriff auf verschiedene offene Modelle.
RisikoZusätzliche Vermittlungsebene, unterschiedliche Limits und mögliche Abweichungen zwischen zentraler und direkter Abrechnung.
PraxisregelProvider, Modellrevision und tatsächliche Rechnung auf Requestebene speichern; kein pauschaler „Hugging-Face-Preis“.
Quellen[S-022] [S-107]

Serverless CPU/Container

AspektBewertung
Was ist es?Ereignisbasierte Ausführung klassischer Vor-/Nachverarbeitung, APIs, Webhooks und leichter Modelle.
AbrechnungvCPU-, RAM- und Laufzeitverbrauch plus Requests und Netzwerk; Scale-to-zero möglich.
StärkeGeringe Fixkosten bei unregelmäßiger Last und einfache horizontale Skalierung.
RisikoCold Starts, Laufzeitgrenzen, hohe Kosten bei Dauerlast und begrenzte GPU-/Modelloptionen.
PraxisregelServerless für Orchestrierung und burstige Arbeit nutzen; Dauerlast gegen VM oder Containercluster rechnen.
Quellen[S-034] [S-105] [S-104]

On-Demand-GPU in der Cloud

AspektBewertung
Was ist es?Zeitbasierte GPU-Kapazität ohne langfristige Bindung für Self-hosting, Batch und Benchmarks.
AbrechnungInstanzzeit plus Storage, Netzwerk, Images und gegebenenfalls Mindestdauer.
StärkeFlexibler Start, aktuelle Hardware, kein Kapitalkauf.
RisikoLeerlauf, begrenzte regionale Verfügbarkeit, unerwartete Egress- und Volumenkosten.
PraxisregelAuto-Stop, Auslastungsmetriken und getrennte Speicherkosten verpflichtend; Stundenpreis nie allein als TCO ausgeben.
Quellen[S-024] [S-031] [S-035] [S-030]

Spot-/Preemptible-GPU

AspektBewertung
Was ist es?Überschüssige Cloudkapazität mit erheblichen Rabatten und möglicher kurzfristiger Unterbrechung.
AbrechnungDynamischer oder rabattierter Stundenpreis; Unterbrechungen können zusätzliche Wiederholungskosten erzeugen.
StärkeSehr wirtschaftlich für checkpointfähige Batchjobs, Evaluationen und elastische Worker.
RisikoKeine garantierte Verfügbarkeit; interaktive Einzelinstanzen können ausfallen; Datenverlust bei fehlendem Checkpoint.
PraxisregelNur idempotente, wiederaufnehmbare Workloads verwenden und Unterbrechungsrate in Goodput einrechnen.
Quellen[S-025] [S-105] [S-150]

Reservierte oder blockierte GPU-Kapazität

AspektBewertung
Was ist es?Vorab gesicherte Compute-Kapazität für planbare Grundlast oder zeitkritische Großläufe.
AbrechnungCommitment, Block oder Reservierung; Rabatt oder Verfügbarkeit gegen Bindung.
StärkeKapazitäts- und Budgetplanbarkeit bei stabiler Nachfrage.
RisikoLeerkosten bei Überschätzung, eingeschränkte Flexibilität bei neuer Hardware oder Modellwechsel.
PraxisregelNur den nach Messung sicheren Grundlastanteil binden; Wachstum und Exit als Bandbreite planen.
Quellen[S-026] [S-072] [S-074]

vLLM

AspektBewertung
Was ist es?Open-Source-Serving-Engine für LLM-Inferenz mit PagedAttention, kontinuierlichem Batching, Caching und verteiltem Betrieb.
AbrechnungSoftware ohne API-Tokenpreis; Kosten entstehen durch Hardware, Orchestrierung, Betrieb und Engineering.
StärkeHoher Durchsatz und breite Integration; Forschung zeigt in den jeweiligen Tests deutliche Servinggewinne.
RisikoBenchmarkgewinne sind hardware- und lastabhängig; Versions-, Kernel- und Modellkompatibilität erfordern Pflege.
PraxisregelMit eigenem Promptlängen- und Parallelitätsprofil benchmarken; Qualität, P95 und GPU-Auslastung gemeinsam betrachten.
Quellen[S-100] [S-080] [S-087]

Triton und TensorRT-LLM

AspektBewertung
Was ist es?NVIDIA-Serving- und Optimierungsstack für Batching, Modellpipelines und GPU-spezifische Inferenz.
AbrechnungOpen-Source-Komponenten beziehungsweise Hardware-/Supportkosten; Optimierung verlangt Engineeringzeit.
StärkeTiefe GPU-Optimierung, Batching und Produktionsfunktionen im NVIDIA-Ökosystem.
RisikoHardwarebindung, komplexe Builds, Kompatibilitätsaufwand und mögliche Qualitätseinflüsse durch Optimierung.
PraxisregelNur einsetzen, wenn gemessene Kapazitätskosten den zusätzlichen Betriebsaufwand tragen.
Quellen[S-038] [S-039] [S-082]

llama.cpp und Ollama

AspektBewertung
Was ist es?Werkzeuge für lokale oder kleine CPU-/GPU-basierte Modellinferenz und einfache Modellausführung.
AbrechnungKeine externe Tokenabrechnung; lokale Hardware, Energie, Speicher und Wartung bleiben.
StärkeNiedrige Einstiegshürde, Offline- und Edge-Szenarien, Kontrolle über Datenfluss.
RisikoEinfache Installation wird mit Produktionsreife verwechselt; HA, Monitoring, Updates und Sicherheitsbetrieb fehlen nicht automatisch.
PraxisregelFür Desktop, Edge und Pilot klar abgrenzen; für Produktion dieselben SLO-, Backup- und Securityanforderungen ansetzen.
Quellen[S-102] [S-103] [S-090]

Objektspeicher

AspektBewertung
Was ist es?Speicher für Dokumente, Medien, Exporte, Modelle, Backups und Rohdaten.
AbrechnungGB-Monat plus Operationen, Retrieval, Datenübertragung und Replikation; Anbieter unterscheiden Klassen.
StärkeHohe Haltbarkeit, Lifecycle-Tiering und kostengünstige Kapazität.
RisikoViele kleine Zugriffe, Egress, Archivabruf und unbegrenzte Versionierung können dominieren.
PraxisregelObjektanzahl, mittlere Größe, Reads/Writes, Retention und Exportpfad in der Rechnung ausweisen.
Quellen[S-040] [S-041] [S-042] [S-043]

Managed PostgreSQL

AspektBewertung
Was ist es?Relationale Datenbank als Dienst mit Backup, Patchen, Replikation und Hochverfügbarkeitsoptionen.
AbrechnungCompute, Storage, I/O, Backup, Datenverkehr, Replikate und gegebenenfalls Extended Support.
StärkeBewährte Transaktionen und reduzierter Infrastrukturaufwand.
RisikoOverprovisioning, Connection Limits, teure HA und Aufschläge für alte Versionen.
PraxisregelServiceklasse nach RPO/RTO wählen; Nutzung und Version quartalsweise prüfen; Restore testen.
Quellen[S-045] [S-046] [S-047] [S-049]

Supabase

AspektBewertung
Was ist es?Managed Plattform um PostgreSQL mit Auth, Storage, Realtime, Edge und Logfunktionen.
AbrechnungPlanpreis plus nutzungsabhängige Ressourcen; Preis- und Produktänderungen beachten.
StärkeSchnelle Produktentwicklung und gebündelte Backendfunktionen.
RisikoKomponenten wachsen gemeinsam; Log- und Compute-Nutzung kann nach dem Pilot steigen; Plattformkopplung.
PraxisregelJede Supabase-Komponente einzeln in die TCO aufnehmen und Exit über Standard-PostgreSQL/Dateiexport testen.
Quellen[S-050] [S-051]

Pinecone

AspektBewertung
Was ist es?Managed Vektordatenbank mit serverlosen und paketbezogenen Kostenmodellen.
AbrechnungJe nach Plan Storage, Read/Write Units, Mindestbeträge und Zusatzfunktionen.
StärkeSpezialisierter Managed Betrieb und einfache Skalierung.
RisikoMindestkosten und Workload Units werden bei kleinen Projekten unterschätzt; unkontrollierte Indizes.
PraxisregelKostenrechner mit realer Vektorzahl, Dimension, Queryrate und Replikation nutzen; Testindizes automatisch löschen.
Quellen[S-052] [S-053] [S-054]

Qdrant Cloud

AspektBewertung
Was ist es?Managed Vektorsuche auf Basis des offenen Qdrant-Projekts.
AbrechnungClusterressourcen und gewählte Cloud-/Regionkonfiguration; Billing-Dokumentation beachten.
StärkeKontrolle über Ressourcenprofil und Möglichkeit eigener Bereitstellung.
RisikoEigener Betrieb verschiebt Verantwortung; Managed Cluster können für kleine Lasten Grundkosten erzeugen.
PraxisregelCloud und Self-hosting nur mit Personal-/Backup-/Upgradekosten vergleichen.
Quellen[S-055] [S-056]

Weaviate Cloud

AspektBewertung
Was ist es?Managed Vektordatenbank mit verschiedenen Plänen und Startangeboten.
AbrechnungRessourcen- und planabhängig; Freistart ist nicht mit Produktions-TCO gleichzusetzen.
StärkeSchneller Start, integrierte Vektorsuche und verwalteter Betrieb.
RisikoKosten steigen mit Daten, Replikation und Verfügbarkeit; kostenlose Stufe kann falsche Baseline setzen.
PraxisregelProduktionsplan und erwartete Datenmenge kalkulieren; kostenlose Stufe nur als Experiment behandeln.
Quellen[S-057] [S-058]

OpenTelemetry

AspektBewertung
Was ist es?Offene Standards und Collector für Traces, Metriken und Logs einschließlich GenAI-Konventionen.
AbrechnungKeine Lizenzgebühr für Standard/Collector; Erzeugung, Transport, Speicherung und Auswertung kosten Ressourcen.
StärkePortabilität, einheitliche Telemetrie und kontrollierbare Exportpfade.
RisikoHohe Kardinalität, sensible Inhalte und ungefilterte Datenmengen; experimentelle Konventionen können sich ändern.
PraxisregelMinimalen Datensatz, Sampling und Retention definieren; Rohinhalt nur begründet erfassen.
Quellen[S-099] [S-065] [S-064] [S-066]

Kommerzielle Observability-Plattformen

AspektBewertung
Was ist es?Managed Logs, Traces, Metriken, APM und teilweise LLM-spezifische Analyse.
AbrechnungNach Hosts, Ingest, Nutzern, aktiven Metriken, Retention oder Funktionen; Anbieter unterscheiden sich stark.
StärkeSchnelle Dashboards, Alarmierung und Incidentanalyse ohne eigenen Telemetriestack.
RisikoDatenvolumen und Kardinalität treiben Kosten; sensible Prompts können Datenschutz- und Sicherheitsprobleme erzeugen.
PraxisregelPreis pro Signal und Retention rechnen; Sampling vor Ingest und Datenredaktion umsetzen.
Quellen[S-060] [S-061] [S-063] [S-062]

FinOps Framework und FOCUS

AspektBewertung
Was ist es?Organisatorischer und technischer Rahmen für Kostenverantwortung, Allokation, Unit Economics und normalisierte Abrechnungsdaten.
AbrechnungKein Cloudservicepreis; Aufwand für Datenpipeline, Prozesse, Verantwortliche und Reviews.
StärkeVerbindet Technik, Finanzen und Geschäftsergebnis; erleichtert Anbieter- und Teamvergleich.
RisikoBürokratie ohne handlungsfähige Kennzahlen; Chargeback auf fehlerhafte Tags.
PraxisregelMit wenigen Use-Case- und Ergebnisdimensionen starten, Showback etablieren und Datenqualität messen.
Quellen[S-067] [S-069] [S-071] [S-068]

Routing, Caching und Kaskaden als Optimierungsschicht

AspektBewertung
Was ist es?Anwendungslogik entscheidet dynamisch über Modell, Cache, Retrieval und Eskalation.
AbrechnungZusätzliche Router-/Evaluatoraufrufe, Entwicklung und Betrieb; Einsparung entsteht durch vermiedene teure Aufrufe.
StärkeKann Kosten senken und starke Modelle auf schwierige Fälle konzentrieren.
RisikoFehlrouting verschlechtert Qualität; Routerdrift, komplexe Tests und schwer erklärbare Kostenpfade.
PraxisregelNur mit Taskklassen, Golden Set, Fallback und laufender Kosten-Qualitätsmessung betreiben.
Quellen[S-077] [S-078] [S-079] [S-165]

12 dokumentierte Kosten- und Kapazitätslektionen

LESEHINWEIS: Forschungsergebnisse und Anbieteränderungen werden nur im dokumentierten Kontext wiedergegeben. Prozentwerte aus Benchmarks sind keine allgemeine Einspargarantie.

FrugalGPT: Kaskaden können Kosten stark senken – im jeweiligen Experiment

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?Die Forschungsarbeit FrugalGPT untersuchte Strategien, die mehrere kommerzielle LLM-APIs kombinieren und Anfragen abhängig von erwarteter Qualität routen oder kaskadieren.
BelegDie Autoren berichten für bestimmte Datensätze und Budgets sehr hohe Kostensenkungen, teils bis zu 98 Prozent, und zugleich Qualitätsgewinne gegenüber einzelnen Baselines. Diese Zahl ist ein Ergebnis der beschriebenen Versuche, kein allgemeiner Rabatt für beliebige Anwendungen.
Ursache/MechanismusAufgaben unterscheiden sich im Schwierigkeitsgrad; viele Fälle benötigen nicht das teuerste Modell. Ein abgestufter Prozess nutzt günstige Modelle zuerst und eskaliert nur bei Bedarf.
Praktische LehreRouting muss auf einem eigenen Testset kalibriert werden. Die Einsparung ist nach Routerkosten, Fehlrouting, zusätzlicher Latenz und Eskalationen zu berechnen.
GrenzenModelle, Preise und Benchmarks der Studie sind zeitgebunden; Produktionslasten und heutige Modelle können andere Ergebnisse liefern.
Quellen[S-077] [S-078] [S-165]

RouteLLM: Ein Router ist selbst ein Modell- und Evaluationsproblem

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?RouteLLM entwickelte Router, die zwischen einem stärkeren und einem schwächeren Modell wählen und dafür Präferenzdaten verwenden.
BelegDie Arbeit zeigt, dass Routing auf Benchmarkdaten Kosten-Qualitäts-Kurven verbessern kann. Der Nutzen hängt von Trainingsdaten, Modellpaar, Schwellenwert und Aufgabenverteilung ab.
Ursache/MechanismusEin statischer Modellentscheid ignoriert die unterschiedliche Schwierigkeit einzelner Prompts. Der Router versucht diese Schwierigkeit vor der teuren Antwort zu schätzen.
Praktische LehreRouter brauchen Monitoring, Driftkontrolle und einen sicheren Fallback. Eine zusätzliche Entscheidungsschicht ist nur dann wirtschaftlich, wenn eingesparte Modellkosten ihren eigenen Betrieb übersteigen.
GrenzenBenchmarkresultate beweisen keine robuste Eignung für vertrauliche oder hochkritische Unternehmensprozesse.
Quellen[S-078] [S-079] [S-123]

vLLM/PagedAttention: Serving-Software verschiebt die Hardwareökonomie

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?Die vLLM-Arbeit adressierte Speicherfragmentierung und ineffiziente KV-Cache-Verwaltung durch PagedAttention und ein darauf aufbauendes Serving-System.
BelegDie Veröffentlichung berichtet in ihren Tests einen zwei- bis vierfach höheren Durchsatz als verglichene Systeme bei ähnlicher Latenz. Das ist ein experimentelles Ergebnis für die dort verwendeten Modelle und Hardwareprofile.
Ursache/MechanismusKV-Cache belegt einen wesentlichen Teil des GPU-Speichers; ineffiziente Belegung begrenzt Parallelität und Batchgröße.
Praktische LehreDer Break-even von Self-hosting hängt nicht nur von GPU-Preis und Modellgröße ab, sondern stark vom Serving-Stack. Benchmarks müssen das eigene Kontext- und Konkurrenzprofil abbilden.
GrenzenNeue Softwareversionen, Kernel, Quantisierung und Hardware können die relative Leistung verändern.
Quellen[S-080] [S-100] [S-087]

FlashAttention: Speicherbewegung kann wichtiger sein als reine Rechenoperationen

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?FlashAttention formulierte exakte Attention als IO-bewussten Algorithmus und reduzierte Speicherzugriffe zwischen GPU-Speicherebenen.
BelegDie Arbeiten berichten beschleunigtes Training beziehungsweise Attention bei geringerem Speicherbedarf in den jeweiligen Setups. FlashAttention-2 verbessert Parallelisierung und Arbeitsaufteilung weiter.
Ursache/MechanismusAttention ist nicht nur durch Rechenoperationen, sondern durch Datenbewegung und Speicherhierarchie begrenzt.
Praktische LehreKostenoptimierung auf eigener Hardware braucht Systemwissen. Ein kleineres Modell ist nicht der einzige Hebel; Kernel und Implementierung können die nutzbare Kapazität verändern.
GrenzenNicht jede Hardware, Modellarchitektur oder Servingumgebung profitiert gleich; Integrationsaufwand bleibt.
Quellen[S-081] [S-082]

Speculative Decoding: Zusätzliche Rechenarbeit kann die Latenz senken

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?Beim speculative decoding erzeugt ein schnelleres Draft-Modell Vorschläge, die ein stärkeres Modell in Blöcken prüft.
BelegForschungsarbeiten zeigen, dass die Methode unter passenden Akzeptanzraten das Decoding beschleunigen kann, ohne die Zielverteilung zu ändern.
Ursache/MechanismusAutoregressives Decoding erzeugt normalerweise Token sequenziell und lässt parallele Hardwarepotenziale ungenutzt.
Praktische LehreDer Entwurf ist nur wirtschaftlich, wenn Draftkosten, Akzeptanzrate und Integrationskomplexität durch geringere Latenz oder höhere Kapazität aufgewogen werden.
GrenzenBei geringer Übereinstimmung oder ungünstiger Hardware kann die Zusatzarbeit wenig Nutzen bringen.
Quellen[S-083] [S-039] [S-100]

QLoRA und AWQ: Quantisierung spart Speicher, verlangt aber Qualitätsprüfung

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?QLoRA zeigte speichereffizientes Fine-Tuning quantisierter Modelle; AWQ adressiert quantisierte Inferenz anhand wichtiger Aktivierungen.
BelegDie Publikationen dokumentieren erhebliche Speicherreduktionen und gute Ergebnisse in ihren Versuchen. Sie begründen jedoch keine universelle Qualitätsgleichheit für jede Domäne.
Ursache/MechanismusWeniger Bit pro Gewicht reduzieren Speicher- und Übertragungsbedarf, können aber Information verlieren und andere Kernels erfordern.
Praktische LehreQuantisierung ist eine Kostenoption mit eigener Testmatrix. Modellgröße, Hardware, Durchsatz, Latenz und fachliche Fehler müssen zusammen bewertet werden.
GrenzenTooling, Formate und Hardwareunterstützung ändern sich; Konvertierung und Reproduktion sind Wartungsaufwand.
Quellen[S-084] [S-085] [S-086]

AWS-GPU-Preissenkung: Ein Break-even altert auch ohne Codeänderung

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?AWS kündigte 2025 Preisreduzierungen von bis zu 45 Prozent für ausgewählte NVIDIA-GPU-beschleunigte EC2-Instanzen an.
BelegDie offizielle Mitteilung zeigt, dass Cloud-Hardwarepreise durch Anbieterentscheidungen sprunghaft sinken können. Neue P5/P6-Generationen verändern zudem Leistung und Kapazität.
Ursache/MechanismusHardwaregenerationen, Auslastung und Wettbewerb verändern das Preis-Leistungs-Verhältnis.
Praktische LehreAPI-versus-Self-hosting-Rechnungen benötigen ein Refresh-Datum. Langfristige Commitments dürfen nicht nur gegen den heutigen On-Demand-Preis gerechnet werden.
Grenzen„Bis zu“ gilt nicht für jede Region und Instanz; konkrete Preise müssen im jeweiligen Rechner geprüft werden.
Quellen[S-029] [S-027] [S-028] [S-024]

Cloudflare R2: Kostenloser Egress beseitigt nicht alle Speicherkosten

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?R2 wirbt mit kostenlosem Internet-Egress, berechnet aber Speicherkapazität und Operationsklassen.
BelegDie aktuelle Preisdokumentation nennt separate Preise für GB-Monate sowie Class-A- und Class-B-Operationen und ein Freikontingent.
Ursache/MechanismusObjektspeicher besitzt mehrere Kostentreiber. Bei vielen kleinen Objekten oder häufigen Listen-/Schreibvorgängen können Operationen relevant werden.
Praktische Lehre„Kein Egress“ ist kein vollständiger Kostenvergleich. Objektanzahl, Zugriffsprofil, Regionen, Lifecycle und Vertrag sind zusätzlich zu prüfen.
GrenzenPreise sind Living Documentation und können sich ändern; andere Clouddienste im Datenpfad können weiterhin Transfer berechnen.
Quellen[S-043] [S-040] [S-041]

RDS Extended Support: Nicht migrieren kann eine direkte Rechnung erzeugen

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?AWS berechnet für bestimmte ältere Major-Versionen von RDS-Datenbanken Extended-Support-Gebühren zusätzlich zum regulären Betrieb.
BelegDie offizielle Preisdokumentation weist den Aufschlag und seine zeitliche Staffelung aus.
Ursache/MechanismusVeraltete Versionen erfordern fortgesetzte Sicherheits- und Wartungsleistungen außerhalb des normalen Supportzyklus.
Praktische LehreTechnische Schulden sind nicht nur ein abstraktes Risiko. Upgradeplanung, Tests und Datenmigration können günstiger sein als verlängerte Gebühren plus Sicherheitsrisiko.
GrenzenDie konkrete Gebühr hängt von Engine, Version, Region und Zeitraum ab.
Quellen[S-046] [S-048] [S-134]

Gemini Grounding: Eine Nutzerfrage kann mehrere kostenpflichtige Suchqueries auslösen

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?Die Gemini-Preisseite weist nach einem Freikontingent einen Preis pro 1.000 Search- oder Maps-Queries aus und erklärt, dass ein Kundenprompt mehrere Suchqueries auslösen kann.
BelegDamit ist die wirtschaftliche Einheit nicht zwingend „eine Nutzerfrage = eine Suche“. Das Verhältnis muss aus Usage- oder Telemetriedaten gemessen werden.
Ursache/MechanismusDas Modell zerlegt komplexe Informationsbedarfe gegebenenfalls in mehrere Suchanfragen.
Praktische LehreGroundingbudgets benötigen Query-Limits und einen Kostenwächter pro Agentenlauf. Cache und Wiederverwendung können doppelte Suche vermeiden.
GrenzenFreikontingente, Preise und Modellverhalten können sich ändern.
Quellen[S-014] [S-015] [S-099]

Claude Sonnet 5: Einführungspreis endet innerhalb des Budgetjahres

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?Anthropic weist für Claude Sonnet 5 einen zeitlich begrenzten Einführungspreis bis zum 31. August 2026 und einen höheren regulären Preis aus.
BelegEin im August gestarteter Business Case kann daher schon im Folgemonat einen anderen Modellpreis besitzen.
Ursache/MechanismusAktionspreise unterstützen Produkteinführungen, sind aber keine dauerhafte Vertragszusage.
Praktische LehreBudgettabellen müssen Preisgültigkeit und Normalpreis enthalten. Sensitivitätsanalyse sollte zudem einen Provider- oder Modellwechsel abbilden.
GrenzenEnterpriseverträge können abweichen; maßgeblich ist der eigene Vertrag.
Quellen[S-007] [S-012] [S-008]

Observability-Sampling: Weniger Telemetrie kann Kosten senken und Erkenntnis kosten

ElementDokumentierter Inhalt
Was wurde untersucht oder geändert?OpenTelemetry und Anbieterleitfäden unterscheiden Samplingstrategien, mit denen nur ein Teil der Traces gespeichert wird.
BelegSampling reduziert Ingest und Retention, verändert aber die beobachtete Stichprobe. Tail- oder regelbasiertes Sampling kann Fehler und langsame Vorgänge gezielter bewahren.
Ursache/MechanismusVollständige Traces wachsen linear mit Verkehr und enthalten oft redundante erfolgreiche Vorgänge.
Praktische LehreSampling ist eine Messdesign-Entscheidung. Seltene teure Agentenläufe, Fehler und Sicherheitsereignisse benötigen andere Regeln als gewöhnliche Erfolgsfälle.
GrenzenZu aggressives Sampling erschwert Ursachenanalyse und genaue Kostenallokation.
Quellen[S-064] [S-062] [S-149]

18 transparente Modellrechnungen

Alle Szenarien sind Rechenbeispiele, keine Marktangebote. Öffentliche Token-, Seiten- oder Minutenpreise stammen aus den angegebenen Preisquellen. Personal, Plattform, Storage, Auslastung, Erfolg und Reserve sind ausdrücklich bezeichnete Annahmen. Beträge sind netto in US-Dollar; Wechselkurs und Umsatzsteuer fehlen bewusst.

Kleiner FAQ-Assistent für eine Unternehmenswebsite

Ausgangslage: 10.000 Nutzerfragen monatlich; kurze Antworten; statischer Systemkontext ist teilweise cachefähig. [S-001] [S-002] [S-069] Mengen: 10.000 Requests × 800 Input × 180 Output; Cache 40 %; Batchrabatt 0 %; Retry-Faktor 1,03; Erfolgsquote 86,0 %. Modell: Economy-Textmodell [S-001] Abgerechnete Mengen nach Retry: 8.240.000 Input- und 1.854.000 Outputtoken. Direkte Inputkosten 1,05 USD; direkte Outputkosten 2,22 USD; nach Batch/Flex 3,28 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel3,28 USD
Retrieval/Storage25,00 USD
Plattform/Hosting40,00 USD
Observability20,00 USD
Betrieb: 5 h × 80 USD400,00 USD
Zwischensumme488,28 USD
Risiko-/Kapazitätsreserve 10 %48,83 USD
Vollkosten537,11 USD
ERGEBNIS: 8.600 erfolgreiche Einheiten; Vollkosten 537,11 USD; 0,062454 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,6 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Kundenservice-Assistent mit CRM-Übergabe

Ausgangslage: 100.000 Vorgänge, davon 91 Prozent nach Qualitätsregel erfolgreich; mehrere Integrationen und Eskalation. [S-014] [S-069] [S-099] Mengen: 100.000 Requests × 1.400 Input × 280 Output; Cache 55 %; Batchrabatt 0 %; Retry-Faktor 1,06; Erfolgsquote 91,0 %. Modell: Balanced-Textmodell [S-014] Abgerechnete Mengen nach Retry: 148.400.000 Input- und 29.680.000 Outputtoken. Direkte Inputkosten 112,41 USD; direkte Outputkosten 222,60 USD; nach Batch/Flex 335,01 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel335,01 USD
RAG und Datenbank280,00 USD
Integrationsplattform420,00 USD
Observability/Security260,00 USD
Betrieb: 40 h × 85 USD3.400 USD
Zwischensumme4.695 USD
Risiko-/Kapazitätsreserve 12 %563,40 USD
Vollkosten5.258 USD
ERGEBNIS: 91.000 erfolgreiche Einheiten; Vollkosten 5.258 USD; 0,057785 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 6,4 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Interner Wissensassistent mit umfangreichem RAG

Ausgangslage: Langer Retrievalkontext und höhere Qualitätsanforderung; Datenpflege dominiert gegenüber reinen Tokenkosten. [S-001] [S-053] [S-148] Mengen: 20.000 Requests × 5.500 Input × 450 Output; Cache 35 %; Batchrabatt 0 %; Retry-Faktor 1,04; Erfolgsquote 88,0 %. Modell: Premium-Textmodell [S-001] Abgerechnete Mengen nach Retry: 114.400.000 Input- und 9.360.000 Outputtoken. Direkte Inputkosten 391,82 USD; direkte Outputkosten 280,80 USD; nach Batch/Flex 672,62 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel672,62 USD
Ingestion/Vector Store650,00 USD
Datenbank/Storage300,00 USD
Observability180,00 USD
Betrieb und Datenpflege: 32 h × 85 USD2.720 USD
Zwischensumme4.523 USD
Risiko-/Kapazitätsreserve 15 %678,39 USD
Vollkosten5.201 USD
ERGEBNIS: 17.600 erfolgreiche Einheiten; Vollkosten 5.201 USD; 0,295512 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 12,9 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Nächtliche E-Mail-Klassifikation im Batch

Ausgangslage: Hohe Menge, kurze strukturierte Ausgabe, keine Interaktion; daher Batch als passende Serviceklasse. [S-018] [S-105] [S-147] Mengen: 500.000 Requests × 550 Input × 45 Output; Cache 0 %; Batchrabatt 50 %; Retry-Faktor 1,02; Erfolgsquote 97,5 %. Modell: Mistral Small 4 [S-018] Abgerechnete Mengen nach Retry: 280.500.000 Input- und 22.950.000 Outputtoken. Direkte Inputkosten 42,07 USD; direkte Outputkosten 13,77 USD; nach Batch/Flex 27,92 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel27,92 USD
Queue/Compute120,00 USD
Datenbank140,00 USD
Monitoring90,00 USD
Betrieb: 12 h × 80 USD960,00 USD
Zwischensumme1.338 USD
Risiko-/Kapazitätsreserve 8 %107,03 USD
Vollkosten1.445 USD
ERGEBNIS: 487.500 erfolgreiche Einheiten; Vollkosten 1.445 USD; 0,002964 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 1,9 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Rechnungs-OCR mit anschließender Plausibilisierung

Ausgangslage: Drei Seiten pro Dokument im Mittel; OCR-Seitenpreis und menschliche Stichprobe werden getrennt ausgewiesen. [S-018] [S-040] [S-069] Mengen: 100.000 Requests × 900 Input × 120 Output; Cache 0 %; Batchrabatt 50 %; Retry-Faktor 1,05; Erfolgsquote 94,0 %. Modell: Mistral Small 4 [S-018] Abgerechnete Mengen nach Retry: 94.500.000 Input- und 12.600.000 Outputtoken. Direkte Inputkosten 14,17 USD; direkte Outputkosten 7,56 USD; nach Batch/Flex 10,87 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel10,87 USD
OCR: 300.000 Seiten × 4 USD/1.0001.200 USD
Dokumentstorage/Transfer180,00 USD
Datenbank/Workflow450,00 USD
Qualitätssicherung: 120 h × 75 USD9.000 USD
Zwischensumme10.841 USD
Risiko-/Kapazitätsreserve 12 %1.301 USD
Vollkosten12.142 USD
ERGEBNIS: 94.000 erfolgreiche Einheiten; Vollkosten 12.142 USD; 0,129168 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,1 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Marketingtexte mit verpflichtender Redaktionsfreigabe

Ausgangslage: Das Modell ist billig gegenüber der redaktionellen Pflichtprüfung; Automatisierungsquote darf nicht mit Personaleinsparung verwechselt werden. [S-001] [S-090] [S-069] Mengen: 5.000 Requests × 1.800 Input × 900 Output; Cache 15 %; Batchrabatt 0 %; Retry-Faktor 1,12; Erfolgsquote 96,0 %. Modell: Premium-Textmodell [S-001] Abgerechnete Mengen nach Retry: 10.080.000 Input- und 5.040.000 Outputtoken. Direkte Inputkosten 43,60 USD; direkte Outputkosten 151,20 USD; nach Batch/Flex 194,80 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel194,80 USD
Projekt-/Asset-Storage60,00 USD
Workflow/Observability80,00 USD
Redaktion: 12 min × 5.000 × 50 USD/h50.000 USD
Zwischensumme50.335 USD
Risiko-/Kapazitätsreserve 5 %2.517 USD
Vollkosten52.852 USD
ERGEBNIS: 4.800 erfolgreiche Einheiten; Vollkosten 52.852 USD; 11,010737 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,4 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Interner Coding-Assistent für 50 Entwickler

Ausgangslage: API-basierter Unternehmensdienst; Erfolg bedeutet akzeptierte Hilfe, nicht lediglich erzeugten Code. [S-001] [S-165] [S-097] Mengen: 100.000 Requests × 3.200 Input × 900 Output; Cache 30 %; Batchrabatt 0 %; Retry-Faktor 1,08; Erfolgsquote 82,0 %. Modell: Premium-Textmodell [S-001] Abgerechnete Mengen nach Retry: 345.600.000 Input- und 97.200.000 Outputtoken. Direkte Inputkosten 1.261 USD; direkte Outputkosten 2.916 USD; nach Batch/Flex 4.177 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel4.177 USD
Gateway/SSO/Policy500,00 USD
Telemetry/Security420,00 USD
Evaluation und Support: 60 h × 100 USD6.000 USD
Zwischensumme11.097 USD
Risiko-/Kapazitätsreserve 15 %1.665 USD
Vollkosten12.762 USD
ERGEBNIS: 82.000 erfolgreiche Einheiten; Vollkosten 12.762 USD; 0,155635 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 32,7 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Recherche-Agent mit kostenpflichtigem Search Grounding

Ausgangslage: Annahme: durchschnittlich 2,4 Queries je Lauf, abzüglich 5.000 Freikontingent; Suchquote muss real gemessen werden. [S-014] [S-099] [S-165] Mengen: 20.000 Requests × 2.400 Input × 700 Output; Cache 20 %; Batchrabatt 0 %; Retry-Faktor 1,07; Erfolgsquote 84,0 %. Modell: Balanced-Textmodell [S-014] Abgerechnete Mengen nach Retry: 51.360.000 Input- und 14.980.000 Outputtoken. Direkte Inputkosten 63,17 USD; direkte Outputkosten 112,35 USD; nach Batch/Flex 175,52 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel175,52 USD
Search: 43.000 berechnete Queries × 14 USD/1.000602,00 USD
Storage/Workflow180,00 USD
Observability160,00 USD
Fachreview: 80 h × 85 USD6.800 USD
Zwischensumme7.918 USD
Risiko-/Kapazitätsreserve 15 %1.188 USD
Vollkosten9.105 USD
ERGEBNIS: 16.800 erfolgreiche Einheiten; Vollkosten 9.105 USD; 0,541973 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 1,9 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Transkription von 1.000 Audiostunden

Ausgangslage: Minutenbasierter Spezialpreis; Textmodellnutzung wird als separate Pauschalannahme geführt. [S-018] [S-040] [S-069]

KostenpositionMonat/Projekt
Transkription: 60.000 min × 0,003 USD180,00 USD
Storage/Transfer220,00 USD
Nachverarbeitung mit LLM160,00 USD
Qualitätsprüfung: 50 h × 70 USD3.500 USD
Zwischensumme4.060 USD
Risiko-/Kapazitätsreserve 10 %406,00 USD
Vollkosten4.466 USD
ERGEBNIS: 57.000 erfolgreiche Einheiten; Vollkosten 4.466 USD; 0,078351 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,0 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Aufbau eines RAG-Index mit einer Million Dokumenten

Ausgangslage: Einmaliges Aufbauprojekt; die größten Positionen sind als Annahmen für Datenarbeit und Indexbetrieb sichtbar. [S-053] [S-056] [S-121] [S-089] Mengen: 1.000.000 Requests × 350 Input × 20 Output; Cache 0 %; Batchrabatt 50 %; Retry-Faktor 1,03; Erfolgsquote 98,0 %. Modell: Mistral Small 4 [S-018] Abgerechnete Mengen nach Retry: 360.500.000 Input- und 20.600.000 Outputtoken. Direkte Inputkosten 54,07 USD; direkte Outputkosten 12,36 USD; nach Batch/Flex 33,22 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel33,22 USD
Parsing/Embedding/Index-Compute2.400 USD
Vector Store erste 3 Monate3.600 USD
Objektspeicher/Backups900,00 USD
Datenbereinigung: 500 h × 70 USD35.000 USD
Zwischensumme41.933 USD
Risiko-/Kapazitätsreserve 20 %8.387 USD
Vollkosten50.320 USD
ERGEBNIS: 980.000 erfolgreiche Einheiten; Vollkosten 50.320 USD; 0,051347 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,1 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Nächtliche Zusammenfassung von einer Million Datensätzen

Ausgangslage: Deadline innerhalb eines Tages; Economy-Modell und Batch halbieren die direkte Modellrechnung in dieser Annahme. [S-001] [S-004] [S-069] Mengen: 1.000.000 Requests × 1.000 Input × 180 Output; Cache 0 %; Batchrabatt 50 %; Retry-Faktor 1,02; Erfolgsquote 97,0 %. Modell: Economy-Textmodell [S-001] Abgerechnete Mengen nach Retry: 1.020.000.000 Input- und 183.600.000 Outputtoken. Direkte Inputkosten 204,00 USD; direkte Outputkosten 220,32 USD; nach Batch/Flex 212,16 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel212,16 USD
Batch-Orchestrierung350,00 USD
Storage/Export280,00 USD
Monitoring140,00 USD
Betrieb: 20 h × 80 USD1.600 USD
Zwischensumme2.582 USD
Risiko-/Kapazitätsreserve 10 %258,22 USD
Vollkosten2.840 USD
ERGEBNIS: 970.000 erfolgreiche Einheiten; Vollkosten 2.840 USD; 0,002928 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 7,5 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Vertragsprüfung mit hohem Schadenspotenzial

Ausgangslage: KI unterstützt, ersetzt aber die angenommene juristische Freigabe nicht; Tokenkosten sind ökonomisch nahezu irrelevant. [S-001] [S-090] [S-093] Mengen: 2.000 Requests × 18.000 Input × 1.800 Output; Cache 10 %; Batchrabatt 0 %; Retry-Faktor 1,05; Erfolgsquote 95,0 %. Modell: Premium-Textmodell [S-001] Abgerechnete Mengen nach Retry: 37.800.000 Input- und 3.780.000 Outputtoken. Direkte Inputkosten 171,99 USD; direkte Outputkosten 113,40 USD; nach Batch/Flex 285,39 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel285,39 USD
Dokumenten-/Rechtemanagement300,00 USD
Audit/Observability250,00 USD
Juristische Prüfung: 1,5 h × 2.000 × 180 USD540.000 USD
Zwischensumme540.835 USD
Risiko-/Kapazitätsreserve 8 %43.267 USD
Vollkosten584.102 USD
ERGEBNIS: 1.900 erfolgreiche Einheiten; Vollkosten 584.102 USD; 307,422222 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,0 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Kleine lokale Inferenz auf einer einzelnen GPU

Ausgangslage: Illustrative Mietannahme; 24/7-Betrieb trotz nur 30 Prozent mittlerer GPU-Auslastung. Kein externer Tokenpreis. [S-024] [S-100] [S-102]

KostenpositionMonat/Projekt
GPU: 2,00 USD/h × 730 h1.460 USD
CPU/RAM/Storage/Netz350,00 USD
Observability/Backup180,00 USD
Betrieb: 24 h × 90 USD2.160 USD
Modelltests/Migration monatlich500,00 USD
Zwischensumme4.650 USD
Risiko-/Kapazitätsreserve 15 %697,50 USD
Vollkosten5.348 USD
ERGEBNIS: 50.000 erfolgreiche Einheiten; Vollkosten 5.348 USD; 0,106950 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,0 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Stabile Hochlast auf vier eigenen Cloud-GPUs

Ausgangslage: Illustrative Vollauslastungsarchitektur mit vier GPUs; tatsächlicher Durchsatz muss benchmarkbasiert nachgewiesen werden. [S-080] [S-038] [S-024]

KostenpositionMonat/Projekt
4 GPU × 3,50 USD/h × 730 h10.220 USD
CPU/RAM/Storage/Netz2.800 USD
Orchestrierung/Observability1.800 USD
Betrieb: 80 h × 105 USD8.400 USD
Kapazitäts-/Ausfallreserve2.500 USD
Zwischensumme25.720 USD
Risiko-/Kapazitätsreserve 10 %2.572 USD
Vollkosten28.292 USD
ERGEBNIS: 12.000.000 erfolgreiche Einheiten; Vollkosten 28.292 USD; 0,002358 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 0,0 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Break-even-Vergleich API gegen Self-hosting

Ausgangslage: Vergleich einer stabilen Monatslast von 8 Mio. erfolgreichen Antworten; API- und Eigenbetrieb erhalten dieselben Personal- und Qualitätsgrenzen. [S-069] [S-080] [S-001]

PositionMonat
API – Modell/API3.552 USD
API – Plattform/Daten8.200 USD
API – Observability/Security3.400 USD
API – Betrieb/Qualität17.000 USD
API – Reserve 15 %4.823 USD
API – Vollkosten36.975 USD
Self-hosting – GPU-Kapazität14.500 USD
Self-hosting – Plattform/Daten9.200 USD
Self-hosting – Observability/Security4.100 USD
Self-hosting – Betrieb/Qualität24.500 USD
Self-hosting – Reserve 15 %7.845 USD
Self-hosting – Vollkosten60.145 USD

Ergebnis unter diesen Annahmen: API 36.975 USD beziehungsweise 0,004622 USD je erfolgreicher Einheit; Self-hosting 60.145 USD beziehungsweise 0,007518 USD. Die Differenz ist kein universeller Break-even, sondern folgt aus den gewählten Personal- und Kapazitätsannahmen. Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Mehrmandanten-SaaS mit 500 Unternehmenskunden

Ausgangslage: Kosten werden zusätzlich pro Tenant und erfolgreichem Vorgang ausgewiesen; Long-Tail-Kunden dürfen nicht im Mittel verschwinden. [S-001] [S-069] [S-099] Mengen: 2.500.000 Requests × 900 Input × 220 Output; Cache 50 %; Batchrabatt 10 %; Retry-Faktor 1,05; Erfolgsquote 90,0 %. Modell: Economy-Textmodell [S-001] Abgerechnete Mengen nach Retry: 2.362.500.000 Input- und 577.500.000 Outputtoken. Direkte Inputkosten 259,88 USD; direkte Outputkosten 693,00 USD; nach Batch/Flex 857,59 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel857,59 USD
Mandantenfähige Plattform/Datenbanken8.500 USD
Storage/Vector/Traffic3.200 USD
Observability/Security2.800 USD
Support/Betrieb: 220 h × 85 USD18.700 USD
Zwischensumme34.058 USD
Risiko-/Kapazitätsreserve 15 %5.109 USD
Vollkosten39.166 USD
ERGEBNIS: 2.250.000 erfolgreiche Einheiten; Vollkosten 39.166 USD; 0,017407 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 2,2 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Saisonales E-Commerce-System mit sechsfachem Peak

Ausgangslage: Monatssumme reicht nicht: sechsfacher Peak verlangt Queue, Puffer oder Priority. Reserve ist bewusst höher. [S-014] [S-105] [S-170] Mengen: 600.000 Requests × 1.100 Input × 260 Output; Cache 45 %; Batchrabatt 0 %; Retry-Faktor 1,08; Erfolgsquote 89,0 %. Modell: Balanced-Textmodell [S-014] Abgerechnete Mengen nach Retry: 712.800.000 Input- und 168.480.000 Outputtoken. Direkte Inputkosten 636,17 USD; direkte Outputkosten 1.264 USD; nach Batch/Flex 1.900 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel1.900 USD
Peak-/Queue-Infrastruktur2.200 USD
Datenbank/Storage1.300 USD
Monitoring und Bereitschaft1.800 USD
Betrieb: 70 h × 90 USD6.300 USD
Zwischensumme13.500 USD
Risiko-/Kapazitätsreserve 25 %3.375 USD
Vollkosten16.875 USD
ERGEBNIS: 534.000 erfolgreiche Einheiten; Vollkosten 16.875 USD; 0,031601 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 11,3 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Regulierter Enterprise-Betrieb mit zwei Regionen

Ausgangslage: Zwei Regionen, formalisierter Betrieb und Audit; die Kostentreiber sind Governance und Verfügbarkeit, nicht allein Tokens. [S-001] [S-094] [S-095] [S-117] Mengen: 1.000.000 Requests × 2.200 Input × 500 Output; Cache 40 %; Batchrabatt 0 %; Retry-Faktor 1,04; Erfolgsquote 93,0 %. Modell: Premium-Textmodell [S-001] Abgerechnete Mengen nach Retry: 2.288.000.000 Input- und 520.000.000 Outputtoken. Direkte Inputkosten 7.322 USD; direkte Outputkosten 15.600 USD; nach Batch/Flex 22.922 USD.

KostenpositionMonat/Projekt
Modell/API nach Tokenformel22.922 USD
Dual-Region-Plattform/Netz18.000 USD
Datenbanken/Backups/DR9.000 USD
Security/Observability/Audit8.500 USD
Betrieb/Compliance: 320 h × 110 USD35.200 USD
Zwischensumme93.622 USD
Risiko-/Kapazitätsreserve 20 %18.724 USD
Vollkosten112.346 USD
ERGEBNIS: 930.000 erfolgreiche Einheiten; Vollkosten 112.346 USD; 0,120802 USD je erfolgreicher Einheit. Anteil direkter Modellkosten: 20,4 %.

Sensitivität: Das Ergebnis muss mindestens gegen ±30 Prozent Volumen, veränderte Erfolgsquote, doppelten Output, Preisänderung und zusätzliche Reviewzeit getestet werden. Bei Self-hosting sind Auslastung und Personal der erste Prüfpunkt.

Szenarioübersicht

Nr.GrößeVollkostenKosten je Erfolg
1klein537,11 USD0,062454
2mittel5.258 USD0,057785
3mittel5.201 USD0,295512
4mittel1.445 USD0,002964
5mittel12.142 USD0,129168
6klein52.852 USD11,010737
7mittel12.762 USD0,155635
8mittel9.105 USD0,541973
9mittel4.466 USD0,078351
10groß50.320 USD0,051347
11groß2.840 USD0,002928
12klein584.102 USD307,422222
13klein5.348 USD0,106950
14groß28.292 USD0,002358
15groß36.975 USD API / 60.145 USD Self0,004622 / 0,007518
16groß39.166 USD0,017407
17mittel16.875 USD0,031601
18groß112.346 USD0,120802

Architektur- und Beschaffungsentscheidung

Abbildung 4: Illustrative Kostenkurven für API, dedizierte Kapazität und Self-hosting – im PDF und DOCX eingebettet.

*Eigene Annahmen; ausschließlich zur Darstellung der Fix-/Variabellogik.*

*Tabelle 3: Qualitative Entscheidungsmatrix; konkrete Preise bleiben use-case- und vertragsabhängig*

KriteriumNutzungsbasierte APIManaged CloudplattformSelf-hosting
Startgeschwindigkeithochmittel bis hochniedrig bis mittel
Fixkostenniedrigniedrig bis hoch je Provisionierunghoch
Variable Kostentransparent je Nutzungkomplexer Verbundniedrig bei hoher Auslastung, sonst Leerkosten
Betriebsverantwortunggering bis mittelgeteilthoch
Daten-/Netzwerkkontrolleanbieterabhängigstark integrierbarhoch, aber selbst zu sichern
Modellwechselrelativ schnell, dennoch RegressionplattformabhängigGewichte/Serving selbst zu migrieren
PeaklastAnbieter skaliert innerhalb LimitsService Tier/Provisionierungeigene Puffer und Autoscaling
GeeignetPilot, variable Last, schnelle ProduktentwicklungEnterprise-IAM, Regionen, Cloudintegrationstabile Last, Spezialkontrolle, vorhandenes Team

Entscheidungsschwellen

EntscheidungBelegbare Bedingung
API beibehaltenVolumen schwankt; Betriebsteam klein; Modellwechsel wichtig; direkte Modellkosten sind kleiner als Personal-/Plattformkosten.
Managed Kapazität prüfenRegion, IAM, Netzwerk, SLA oder feste Durchsatzgarantie haben wirtschaftlichen Wert.
Self-hosting prüfenLast ist hoch und stabil; Modell passt; Team und SLO sind finanzierbar; Benchmark zeigt Vorteil nach Vollkosten.
KI reduzierenDeterministische Software löst große Teile zuverlässiger; Output oder Agentenschritte dominieren; Erfolg bleibt niedrig.
Projekt stoppenKosten pro Erfolg überschreiten den festgelegten Wert und realistische Optimierungen schließen die Lücke nicht.

Optimierungshebel – Reihenfolge vor Radikalität

Abbildung 5: Illustrative Optimierungsleiter – im PDF und DOCX eingebettet.

*Eigene Darstellung. Restkostenindex ist kein empirischer Marktwert.*

Abbildung 6: Wirkung einer steigenden Cache-Trefferquote auf ein Beispiel – im PDF und DOCX eingebettet.

*Eigene Berechnung: 1 Mio. Anfragen, 2.000 Input, 400 Output, Balanced-Preis; Cachefaktor 0,1.*

StufeMaßnahmeÄnderungsrisikoWirkung
1. MessenUsage, Erfolg, Retry, Toolpfad und Nacharbeit erfassen.niedrigGrundlage, keine garantierte Ersparnis
2. Output begrenzenKürzere, strukturierte Antworten und Stoppregeln.niedrig bis mitteldirekter Outputhebel
3. Kontext bereinigenVerlauf kompaktieren, Tools und Dokumente selektieren.mittelweniger Input, oft geringere Latenz
4. KI-Anteil reduzierenBerechnung, Validierung und Routing deterministisch lösen.mittelweniger Modellaufrufe
5. CachingStabile Präfixe oder sichere semantische Antworten wiederverwenden.mittelabhängig von Hit Rate und Aktualität
6. Batch/FlexNicht interaktive Arbeit verschieben.niedrig bis mitteldirekter Preisnachlass, längere Laufzeit
7. ModellroutingGünstiges Modell für einfache Fälle, Eskalation für schwierige.mittel bis hochEinsparung nur bei korrektem Routing
8. RAG optimierenChunking, Filter, Re-Ranking und Kontextgröße abstimmen.mittelweniger Kontext, bessere Treffer
9. Telemetrie right-sizenSampling, Retention und Kardinalität begrenzen.mittelgeringerer Ingest, Risiko blinder Flecken
10. Infrastruktur right-sizenInstanzen, DB, Replikate und Commitments anpassen.mittelweniger Leerlauf
11. Serving optimierenBatching, Quantisierung, PagedAttention, Kernel und Decoding.hochmehr Durchsatz je GPU
12. Architektur wechselnAPI, Managed oder Self-host neu entscheiden.sehr hochgrößter möglicher Effekt, höchste Migration

56-stufiger Weg zu belastbaren KI-Betriebskosten

Phase 1 – Geschäft und Messgrenze

SchrittHandlungErgebnisQuellen
1. Geschäftsvorgang benennenEinen konkreten Fall statt „KI-Nutzung“ definieren.Ein Satz mit Start, Ende und Verantwortlichem.[S-069]
2. Nullvariante messenAktuellen Prozess mit Zeit, Kosten, Fehlern und Durchlauf erfassen.Baseline-Tabelle mit mindestens vier Wochen oder begründeter Stichprobe.[S-069] [S-112]
3. Erfolg definierenFachlich akzeptables Ergebnis und Ausschlussfehler festlegen.Prüfbare Akzeptanzregel statt subjektivem „gut“.[S-166]
4. Kosteneinheit wählenKosten je Fall, Assist, Dokument oder anderem Ergebnis festlegen.Eine technische und eine geschäftliche Unit-Metric.[S-070] [S-069]
5. Systemgrenze zeichnenNutzer, Anwendung, Modelle, Tools, Daten, Speicher und Betrieb abgrenzen.C4-/Datenfluss-Skizze mit ein- und ausgeschlossenen Kosten.[S-116] [S-115]
6. Kritikalität einstufenAusfall-, Qualitäts-, Rechts- und Reputationsfolgen bewerten.Serviceklasse und Risikostufe.[S-090] [S-158]
7. Eigentümer festlegenFach-, Technik-, Kosten- und Datenschutzverantwortung zuordnen.RACI mit Entscheidungsrechten.[S-092] [S-067]
8. Preisstichtag dokumentierenListenpreise, Region, Währung, Tarif und Gültigkeit sichern.Versionierte Preis-Snapshot-Datei.[S-001] [S-007] [S-014] [S-018]

Phase 2 – Mengen- und Qualitätsmodell

SchrittHandlungErgebnisQuellen
9. Volumen erfassenFälle pro Stunde, Tag und Monat messen oder begründet schätzen.Basis-, Peak- und Stressvolumen.[S-104] [S-105]
10. Lastform modellierenParallelität, Spitzen, Saison und Deadline abbilden.24-Stunden- und Wochenprofil.[S-106] [S-170]
11. Tokenstichprobe ziehenReale Eingabe- und Ausgabeverteilungen je Aufgabentyp messen.P50, P90 und P99 der Usage-Felder.[S-001] [S-099]
12. Toolpfade zählenSuche, OCR, Datenbank, API und Agentenschritte je Fall erfassen.Durchschnitt und obere Perzentile pro Tool.[S-014] [S-146]
13. Wiederholungen messenRetries, Nutzerneuanfragen und Reparaturrunden kennzeichnen.Retry-Faktor nach Fehlerursache.[S-153]
14. Erfolgsquote bestimmenErgebnisse gegen Golden Set oder Reviewregel prüfen.Akzeptanzquote je Modell und Task.[S-165] [S-123]
15. Nacharbeit erfassenMenschliche Korrekturzeit je Fall messen.Minuten und Vollkosten pro Ergebnis.[S-069] [S-090]
16. Unsicherheit ausdrückenFür jede Annahme Minimum, Basis und Maximum angeben.Sensitivitätsmatrix mit drei Szenarien.[S-158]

Phase 3 – Architektur- und Beschaffungsoptionen

SchrittHandlungErgebnisQuellen
17. KI-Anteil minimierenDeterministische Teile aus dem Modellpfad herauslösen.Aufgabenteilung Regelwerk/Software/LLM.[S-119] [S-073]
18. Modellkandidaten auswählenMindestens günstige, mittlere und starke Option testen.Kandidatenliste mit Kontext, Region und Lebenszyklus.[S-005] [S-007] [S-141]
19. Direkt- und Cloudzugang vergleichenDirekt-API, Bedrock, Vertex und Azure nach Serviceumfang prüfen.Service-Matrix, nicht nur Preiszeile.[S-019] [S-017] [S-020]
20. Batchfähigkeit prüfenAlle nicht interaktiven Aufgaben kennzeichnen.Batchquote und erwartete Ersparnis.[S-004] [S-016] [S-018]
21. Cachefähigkeit prüfenStatische Präfixe, Wiederholungsrate und TTL messen.Cache-Break-even und Berechtigungskonzept.[S-002] [S-009] [S-015]
22. RAG-Kosten modellierenIngestion, Index, Retrieval, Kontext und Pflege kalkulieren.Vollständige RAG-Kostenkette.[S-053] [S-056] [S-121]
23. Self-hosting benchmarkenRepräsentative Last auf realer Hardware/Serving-Software testen.Tokens/s, P95, GPU-Auslastung, OOM und Qualität.[S-080] [S-038] [S-087]
24. Lizenz und Exit prüfenModell-, Code-, Daten- und Plattformbedingungen analysieren.Lizenzfreigabe und Exit-Runbook.[S-107] [S-108] [S-109] [S-011]

Phase 4 – Vollkostenmodell und Entscheidung

SchrittHandlungErgebnisQuellen
25. Direkte Modellkosten rechnenUsage × aktuelle Preisstufe einschließlich Cache und Service Tier.Rechenblatt pro Modelloption.[S-001] [S-008] [S-014]
26. Medien- und Toolkosten addierenSearch, OCR, Audio, Bild, Guardrails und externe APIs ergänzen.Toolkosten je erfolgreichem Fall.[S-018] [S-019] [S-014]
27. Daten- und Plattformkosten addierenStorage, DB, Vector Store, Queue, Netzwerk und Backups erfassen.Monatskosten je Ressource und Skalierungsregel.[S-040] [S-045] [S-052]
28. Observability kalkulierenIngest, aktive Metriken, Traces, Retention und Nutzer berücksichtigen.Telemetriebudget und Samplingplan.[S-060] [S-061] [S-064]
29. Personal vollkostenbasiert rechnenEntwicklung, Betrieb, Review, Support, Sicherheit und Compliance ansetzen.Stunden × Vollkostensatz nach Rolle.[S-068] [S-159]
30. Risiko- und Kapazitätsreserve ansetzenAusfall, Peak, Preisänderung und Migration als transparente Reserve modellieren.Begründeter Prozentsatz oder konkrete Position.[S-158] [S-117]
31. Stückkosten berechnenGesamtkosten durch erfolgreiche Ergebnisse teilen.Kosten pro erfolgreicher Einheit und pro Kunde.[S-069] [S-070]
32. Entscheidung mit Schwellenwert treffenOptionen gegen Qualität, SLO, Risiko und Stückkosten bewerten.Architecture Decision Record mit Abbruchkriterien.[S-115] [S-157]

Phase 5 – Produktionskontrollen

SchrittHandlungErgebnisQuellen
33. Kostenmetadaten implementierenUse Case, Tenant, Modell, Version, Tier und Region an jeden Lauf hängen.Korrelierbare Request- und Cost-IDs.[S-099] [S-071]
34. Quoten und Limits setzenNutzer-, Mandanten-, Tages- und Laufbudgets technisch erzwingen.Warn-, Soft- und Hard-Limits.[S-140] [S-098]
35. Agentenbudgets erzwingenSchritte, Tools, Zeit und Seiteneffekte begrenzen.Abbruch und Human-Eskalation.[S-098] [S-146]
36. Retry- und Idempotenzregeln umsetzenTemporäre und permanente Fehler trennen.Max-Versuche, Backoff und Idempotency Keys.[S-153] [S-173]
37. Telemetrie datensparsam erfassenUsage, Latenz, Qualität und Fehler ohne unnötige Inhalte messen.GenAI-Semantik, Redaction und Sampling.[S-099] [S-064] [S-093]
38. Budgetalarm testenKostenanstieg und kompromittierten Schlüssel simulieren.Nachgewiesene Alarm- und Sperrkette.[S-167] [S-161]
39. Restore und Wiederanlauf testenDatenbank, Index, Queue und Konfiguration wiederherstellen.Gemessene RTO/RPO statt Papierwert.[S-172] [S-150]
40. Production Readiness Review durchführenSLO, Kapazität, Support, Security und Kostenfreigabe prüfen.Unterschriebene Go-live-Checkliste.[S-171] [S-170]

Phase 6 – Laufende Steuerung und Optimierung

SchrittHandlungErgebnisQuellen
41. Tägliches Showback bereitstellenKosten und Ergebnis je Use Case sichtbar machen.Dashboard mit Datenqualitätsindikator.[S-067] [S-071]
42. Wöchentliche Anomalien prüfenSprünge in Output, Retries, Toolcalls oder Tenantverbrauch untersuchen.Kommentierte Abweichungsliste.[S-099] [S-155]
43. Monatliche Forecasts aktualisierenWachstum, Preisänderungen und Commit-Auslastung nachführen.Rolling Forecast für zwölf Monate.[S-067] [S-072]
44. Output und Kontext zuerst optimierenUnnötige Ausgabe und übertragenen Ballast reduzieren.Vorher-/Nachher-Qualität und Stückkosten.[S-001] [S-148]
45. Caching und Batch ausweitenNur gemessene, geeignete Workloads migrieren.Nettoersparnis nach Fehlern und Cachekosten.[S-002] [S-004] [S-018]
46. Routing kontrolliert einführenTaskklassen und Eskalationsschwellen testen.Kosten-Qualitäts-Pareto plus Fallback.[S-077] [S-078] [S-165]
47. Infrastruktur right-sizenInstanzen, Datenbanken, Vector Stores und Retention an Nutzung anpassen.Entfernte Leerkosten mit SLO-Nachweis.[S-072] [S-074] [S-075]
48. Optimierungserfolg verifizierenNach Rollout prüfen, ob Kosten pro Erfolg tatsächlich sanken.Messbericht ohne reine Modellpreisannahme.[S-069] [S-165]

Phase 7 – Lebenszyklus, Migration und Stilllegung

SchrittHandlungErgebnisQuellen
49. Preis- und Modellrefresh terminierenLiving Documentation regelmäßig prüfen.Quartalskalender und Verantwortlicher.[S-001] [S-011] [S-014]
50. Nachfolgemodelle vorab testenShadow- oder Offline-Evaluation vor Abschaltung durchführen.Migrationsscorecard und Rollback.[S-139] [S-165]
51. Abhängigkeiten aktualisierenServing, SDKs, Container und Datenbankversionen pflegen.SBOM, Patch- und Upgradeplan.[S-128] [S-137] [S-046]
52. Verträge und Commitments prüfenAuslastung, Laufzeit und neue Alternativen bewerten.Renewal-Entscheidung mit Gegenangebot.[S-026] [S-067]
53. Datenbestände bereinigenVeraltete Indizes, Logs, Backups und Testdaten entfernen.Lösch- und Retentionsnachweis.[S-093] [S-040]
54. Exit regelmäßig probenProvider-/Modellwechsel und Export technisch testen.Zeit, Datenverlust und Qualitätsabweichung dokumentiert.[S-011] [S-115]
55. Unwirtschaftliche Use Cases beendenStückkosten und Nutzen gegen Abbruchgrenze prüfen.Stop-, Redesign- oder Weiterentscheid.[S-069] [S-070]
56. Ressourcen vollständig stilllegenKeys, Endpunkte, Daten, Verträge und Dashboards schließen.Decommission-Protokoll und Abschlussrechnung.[S-110] [S-167]

Checklisten

Vor der ersten Kalkulation

  • ☐ Fachlichen Vorgang und Nullvariante schriftlich definiert.
  • ☐ Erfolg und unzulässige Fehler messbar festgelegt.
  • ☐ Volumen, Peak, Parallelität und Deadline erfasst.
  • ☐ Reale Token- und Toolstichprobe vorhanden.
  • ☐ Aktuelle Preislisten mit Datum, Region, Währung und Tarif gesichert.
  • ☐ Personalkostensätze und Reviewzeit vereinbart.
  • ☐ Rechts-/Risikorolle des Systems geprüft.
  • ☐ Abbruchgrenze für den Business Case festgelegt.

Für jede Monatsrechnung

  • ☐ Uncached input, cached input, cache write, output und Reasoning getrennt.
  • ☐ Retries und abgebrochene Agentenläufe enthalten.
  • ☐ Search/OCR/Audio/Bild und fremde APIs enthalten.
  • ☐ Datenbank, Storage, Vector Store, Egress und Backups enthalten.
  • ☐ Observability, Security und Support enthalten.
  • ☐ Erfolgsquote und Nacharbeit aktualisiert.
  • ☐ Reserve und Preisänderungen transparent.
  • ☐ Stückkosten pro Erfolg, Tenant und Use Case ausgewiesen.

Vor Self-hosting

  • ☐ Benchmark mit realen Kontextlängen und Parallelität.
  • ☐ P95-Latenz, Tokens/s, GPU-Auslastung und OOM gemessen.
  • ☐ Qualität gegen API-Referenz evaluiert.
  • ☐ Hardware-, Speicher-, Netzwerk- und Lizenzkosten erfasst.
  • ☐ 24/7-, Bereitschafts- und Vertretungskosten eingerechnet.
  • ☐ Backup, Update, CVE, Monitoring und Rollback geplant.
  • ☐ Peak- und Ausfallkapazität finanziert.
  • ☐ API-Rückfallpfad oder Exit definiert.

Vor Produktionsfreigabe

  • ☐ Kostenmetadaten und Requestkorrelation aktiv.
  • ☐ Mandanten- und Nutzerquoten getestet.
  • ☐ Agentenschritt-, Zeit- und Toolbudget erzwungen.
  • ☐ Secrets geschützt und Rotation getestet.
  • ☐ Budgetalarm und Kill Switch ausprobiert.
  • ☐ Golden Set und Regression Gate bestanden.
  • ☐ Restore/Rollback und Dead-Letter-Verarbeitung getestet.
  • ☐ Eigentümer, Supportzeiten und Eskalation dokumentiert.

Monatliches FinOps-Review

  • ☐ Forecast versus Ist erklärt.
  • ☐ Top-Kostentreiber nach Use Case und Tenant.
  • ☐ Erfolg, Nacharbeit und Stückkosten verglichen.
  • ☐ Output-, Kontext- und Retry-Ausreißer untersucht.
  • ☐ Cache- und Batchquote auf Nettoersparnis geprüft.
  • ☐ Commitments und ungenutzte Kapazität überprüft.
  • ☐ Preis-/Modelländerungen und Deprecations geprüft.
  • ☐ Konkrete Optimierung mit Messziel und Rollback beschlossen.

Beschaffung und Vertrag

  • ☐ Listpreis und Vertragsangebot getrennt.
  • ☐ Region, Endpoint und Datenverarbeitung festgehalten.
  • ☐ Mindestverbrauch, Laufzeit und Preisänderungsklausel geprüft.
  • ☐ SLA, Support und Incidentkommunikation bewertet.
  • ☐ Datenexport und Löschung zugesichert.
  • ☐ Modelllebenszyklus und Migrationshilfe geklärt.
  • ☐ Unterauftragsverarbeiter und Compliance geprüft.
  • ☐ Exitkosten und Restbindung in TCO aufgenommen.

Stilllegung

  • ☐ Traffic gestoppt und Nutzer informiert.
  • ☐ API-Keys, Servicekonten und Secrets widerrufen.
  • ☐ Modelle, Endpunkte, GPU, Datenbanken und Queues entfernt.
  • ☐ Vektoren, Testdaten, Logs und Backups nach Regel gelöscht.
  • ☐ Datenexport und Aufbewahrung dokumentiert.
  • ☐ Verträge, Commitments und Marketplace-Abos beendet.
  • ☐ Dashboards, Alarmwege und DNS bereinigt.
  • ☐ Abschlussrechnung und Lessons Learned erstellt.

20 Mythenprüfungen

BehauptungBewertungQuellen
„Tokenkosten sind die Betriebskosten.“Falsch. Sie sind eine direkte Verbrauchskomponente; Daten, Integration, Qualität, Security, Reliability und Personal gehören zur TCO.[S-068] [S-069]
„Das billigste Modell ist automatisch die günstigste Lösung.“Falsch. Fehlerrate, Nacharbeit, zusätzliche Prompts und Eskalationen können den Stückpreis erhöhen.[S-077] [S-078] [S-165]
„Mehr Kontext macht Antworten immer besser.“Falsch. Langer Kontext kostet mehr und relevante Information kann schlechter genutzt werden.[S-148] [S-001]
„Caching spart immer 90 Prozent.“Falsch. Rabatt gilt nur für cachefähige Eingabeteile; Schreiben, Speicherung und geringe Trefferquote können den Nutzen mindern.[S-002] [S-009] [S-015] [S-018]
„Batch ist einfach dieselbe API zum halben Preis.“Unvollständig. Batch verlangt asynchrone Verarbeitung und andere Laufzeit-/Fehlerannahmen.[S-004] [S-016] [S-018]
„Self-hosting beseitigt laufende Kosten.“Falsch. Es ersetzt Tokenpreise durch Hardware-, Energie-, Betriebs-, Personal- und Risikokosten.[S-100] [S-024] [S-107]
„Open Weight bedeutet Open Source.“Falsch. Die Lizenz muss die Open-Source-Kriterien erfüllen; Gewichtsverfügbarkeit allein reicht nicht.[S-107] [S-108] [S-109]
„Eine GPU, auf die das Modell passt, reicht für Produktion.“Falsch. KV-Cache, Parallelität, Kontext und Redundanz benötigen zusätzliche Kapazität.[S-080] [S-087]
„Spot-Instanzen sind immer die beste GPU-Option.“Falsch. Unterbrechbarkeit passt nur zu wiederaufnehmbaren Workloads.[S-025] [S-150]
„Serverless ist bei jeder Last billiger.“Falsch. Es ist stark bei unregelmäßiger Last, kann aber bei Dauerbetrieb oder hohen Ressourcen teuer werden.[S-034] [S-105]
„RAG kostet nur Embeddings.“Falsch. Parsing, Index, Speicher, Retrieval, Re-Ranking, Kontext und Pflege gehören dazu.[S-053] [S-056] [S-121]
„Vektordatenbanken kosten nur pro Gigabyte.“Falsch. Pläne können Mindestgebühren, Read/Write Units, Replikation und Kapazität enthalten.[S-052] [S-055] [S-057]
„Observability ist nur ein paar Logs.“Falsch. Traces, Metriken, Retention, Kardinalität und Nutzerlizenzen können ein großer Kostenblock sein.[S-060] [S-061] [S-063]
„Sampling ist reine Kostenoptimierung ohne Nebenwirkung.“Falsch. Nicht erfasste seltene Fehler können Incidentanalyse und Kostenaufklärung verhindern.[S-064] [S-062]
„On-Premises löst Datenschutz automatisch.“Falsch. Rechtsgrundlage, Zugriff, Löschung, Sicherheit und Governance bleiben erforderlich.[S-093] [S-090]
„Einführungspreise kann man für das Jahresbudget hochrechnen.“Falsch. Enddatum und regulärer Preis müssen in die Planung.[S-007] [S-012]
„Eine Nutzerfrage erzeugt genau einen Toolaufruf.“Falsch. Agenten und Grounding können mehrere Modell-, Such- und API-Schritte auslösen.[S-014] [S-099] [S-098]
„Hohe Automatisierungsquote bedeutet hohe Einsparung.“Falsch. Prüfung, Nacharbeit, Ausnahmen und frei werdende Zeit müssen wirtschaftlich bewertet werden.[S-069] [S-090]
„Reservierung ist immer günstiger als On-Demand.“Falsch. Nicht genutzte Bindung erzeugt Leerkosten und kann technische Flexibilität reduzieren.[S-026] [S-072]
„Wenn das System läuft, ist die Kostenfrage abgeschlossen.“Falsch. Preise, Modelle, Last, Qualität und Pflichten ändern sich; FinOps ist ein Regelkreis.[S-067] [S-011] [S-094]

20 offene Forschungs-, Markt- und Praxisfragen

Wie stabil sind Router über Modellgenerationen?

Router können auf einem Modellpaar gut funktionieren und nach Modellupdates falsch kalibriert sein. Langzeitdaten aus heterogenen Produktionssystemen bleiben begrenzt. [S-078] [S-079]

Welche Unit-Metric eignet sich branchenübergreifend?

Kosten pro Token sind vergleichbar, aber geschäftlich schwach; Kosten pro Erfolg sind sinnvoll, jedoch use-case-spezifisch. [S-069] [S-070]

Wie werden Reasoning-Token providerneutral normalisiert?

Anbieter weisen internes Denken und sichtbare Ausgabe unterschiedlich aus. FOCUS und GenAI-Semantik entwickeln sich weiter. [S-071] [S-099] [S-014]

Wie belastbar sind öffentliche Self-hosting-Benchmarks?

Hardware, Quantisierung, Kontext, Batch und Softwareversion unterscheiden sich stark. Reproduzierbare Kostenbenchmarks fehlen oft. [S-080] [S-086]

Wann schlägt semantisches Caching direkte Modellaufrufe?

Trefferquote, Aktualität, Mandantentrennung und Fehlantwortkosten bestimmen den Break-even; allgemeine Schwellen sind nicht belegt. [S-165] [S-090]

Wie viel Telemetrie ist für Agenten wirtschaftlich optimal?

Vollständige Traces sind teuer und sensibel, zu starkes Sampling verbirgt seltene Schleifen und Sicherheitsereignisse. [S-064] [S-099]

Wie verändern sehr lange Kontexte die Kosten-Qualitäts-Grenze?

Preisstufen und Modellverhalten ändern sich schnell; Retrieval kann trotz größerer Fenster weiterhin besser sein. [S-001] [S-148]

Welche Energiekennzahl ist für KI-Anwendungen praktisch genug?

Hardwareenergie allein erfasst weder Qualität noch vermiedene Arbeit. Eine funktionale Einheit ist nötig, aber schwer zu standardisieren. [S-076] [S-088]

Wie sollten menschliche Reviewkosten in Echtzeit geroutet werden?

Nicht jeder Fall braucht gleiche Prüfung; risikobasierte Stichproben benötigen robuste Fehlerprognosen. [S-090] [S-094]

Wie groß ist der langfristige Migrationsaufwand proprietärer Tools?

APIs standardisieren Text teilweise, nicht jedoch Tool Calling, Caching, Agentenstatus und Safety-Funktionen. [S-011] [S-146] [S-147]

Welche Mindestreserve ist für variable Modellpreise angemessen?

Es gibt keine universelle Quote; Vertrag, Wechseloption, Kritikalität und Budgethorizont bestimmen sie. [S-067] [S-158]

Wie verteilt man gemeinsame Plattformkosten fair auf Mandanten?

Token lassen sich zuordnen, gemeinsame Datenbanken, Bereitschaft und Basisinfrastruktur nur über nachvollziehbare Regeln. [S-069] [S-071]

Wann ist Multi-Region für KI-Komponenten wirklich erforderlich?

Geschäftsfolgen, Datenresidenz und Provider-SLA müssen den doppelten Betrieb rechtfertigen. [S-117] [S-006]

Wie bewertet man Qualitätseinbußen durch Quantisierung domänenspezifisch?

Allgemeine Benchmarks erfassen selten juristische, medizinische oder unternehmensinterne Fehlerkosten. [S-085] [S-086] [S-165]

Wie misst man Kosten von Halluzinationen vollständig?

Nacharbeit ist messbar; Reputationsschäden, Fehlentscheidungen und nicht entdeckte Fehler sind schwieriger. [S-090] [S-091]

Welche Agentenschritte sind deterministisch ersetzbar?

Viele Prüfungen, Berechnungen und Zustandsübergänge benötigen kein LLM; systematische Klassifikationen fehlen. [S-119] [S-073]

Wie wirken EU-Pflichten auf kleine Anbieter-TCO?

Die tatsächlichen Kosten hängen von Rolle, Risiko, Produkt und Umsetzungshilfen ab; pauschale Marktwerte wären unseriös. [S-094] [S-095] [S-093]

Wie zuverlässig sind automatische Kostenprognosen bei Produktwachstum?

Nutzerverhalten verändert Promptlänge, Toolpfade und Erfolgsquote; historische Linearität ist oft unzureichend. [S-067] [S-099]

Wann lohnt dedizierte Kapazität gegenüber variabler API-Abrechnung?

Der Break-even hängt von stabiler Grundlast, SLA, Hardwareentwicklung und Personalkosten ab und muss regelmäßig neu gerechnet werden. [S-026] [S-021] [S-080]

Wie verhindert man, dass Kostenoptimierung Qualität heimlich verschlechtert?

Notwendig sind versionierte Tests, Guardrails, kontrollierte Rollouts und Ergebniskennzahlen; perfekte Abdeckung bleibt offen. [S-165] [S-166] [S-157]

Glossar

Das Glossar verwendet Arbeitsdefinitionen für dieses Dossier. Anbieterbegriffe können abweichen; maßgeblich bleibt die jeweilige aktuelle Primärdokumentation.

BegriffArbeitsdefinitionQuelle
APIProgrammierschnittstelle, über die Software standardisiert Funktionen oder Daten eines anderen Systems aufruft.[S-146]
API-CallEin einzelner technischer Aufruf einer Schnittstelle; er ist nicht zwingend identisch mit einer Nutzeranfrage.[S-069]
RequestVom Client gesendete Anfrage einschließlich Eingaben, Parameter, Kontext und gegebenenfalls Tools.[S-005]
ResponseAntwort des Dienstes einschließlich Inhalt, Status, Metadaten und Nutzungsangaben.[S-005]
TokenModellspezifische Verarbeitungseinheit für Text oder andere Modalitäten; nicht identisch mit Wort oder Zeichen.[S-001] [S-014]
Input-TokenToken, die dem Modell als Prompt, Verlauf, Retrievalkontext oder Tooldefinition übergeben werden.[S-001]
Output-TokenVom Modell erzeugte Token; bei einigen Diensten umfasst die Abrechnung auch Thinking- oder Reasoning-Anteile.[S-014] [S-001]
Cached InputWiederverwendeter Eingabeteil, der nach Anbieterregeln rabattiert abgerechnet wird.[S-002] [S-009]
Cache WriteSchreiben eines wiederverwendbaren Promptteils in einen Anbieter- oder Anwendungscache; kann einen eigenen Preis besitzen.[S-001] [S-009]
Cache HitAnfrage, bei der ein gespeicherter und gültiger Eintrag wiederverwendet werden kann.[S-015]
Cache Hit RateAnteil der cachefähigen Anfragen, die tatsächlich einen Treffer erzielen.[S-015] [S-002]
TTLTime to Live; Zeitspanne, nach der ein Cacheeintrag oder Datum abläuft.[S-009] [S-015]
InvalidierungGezieltes Ungültigmachen eines Cache- oder Indexeintrags, etwa nach Datenänderung.[S-015]
KontextfensterMaximale oder unterstützte Menge an Eingabe- und gegebenenfalls Ausgabetoken einer Modellanfrage.[S-005] [S-007]
Long ContextSehr großer Kontextbereich, der je nach Anbieter eigene Preise oder Verhaltensgrenzen haben kann.[S-001] [S-148]
Reasoning-TokenAbrechnungs- oder Nutzungsanteil für internes Schlussfolgern eines Modells, abhängig von Anbieter und Modell.[S-001]
Thinking-TokenVon Google verwendete Bezeichnung für interne Denkanteile, die laut Preisseite im Outputpreis enthalten sein können.[S-014]
ModellTrainiertes statistisches System, das Eingaben verarbeitet und Ausgaben erzeugt.[S-090]
ModellfamilieGruppe verwandter Modelle mit unterschiedlichen Größen, Geschwindigkeiten oder Fähigkeiten.[S-005] [S-007]
ModellsnapshotFestgelegte Modellversion, deren Verhalten nicht als automatisch aktualisierter Evergreen-Zeiger verstanden werden soll.[S-007]
AliasBequemer Modellname, der je nach Anbieter auf eine Version oder einen Snapshot verweist.[S-007] [S-141]
DeprecationAngekündigte Ablösung einer Funktion oder eines Modells vor der Abschaltung.[S-011] [S-138]
End of LifeZeitpunkt, ab dem eine Version oder ein Dienst nicht mehr regulär unterstützt oder verfügbar ist.[S-011]
Service TierPreis- und Leistungsstufe wie Standard, Batch, Flex, Priority oder Fast.[S-001] [S-014]
BatchAsynchrone Bündelverarbeitung, bei der Ergebnisse später bereitgestellt und oft günstiger abgerechnet werden.[S-004] [S-016]
FlexServiceklasse, die niedrigere Kosten gegen geringere Kapazitäts- oder Latenzgarantie tauscht.[S-003] [S-014]
Priority/FastHöher bepreiste Serviceklasse für bevorzugte Kapazität oder geringere Latenz.[S-001] [S-014]
Rate LimitTechnische Begrenzung der Aufrufe oder Token in einem Zeitfenster.[S-140]
QuotaZugewiesenes Nutzungs- oder Kapazitätskontingent eines Kontos, Projekts oder Dienstes.[S-140]
Spend LimitFinanzielle Obergrenze oder Warnschwelle für Verbrauch.[S-001] [S-067]
RetryErneuter Versuch nach einem Fehler; er kann zusätzliche Kosten und Seiteneffekte erzeugen.[S-153]
Retry-FaktorMultiplikator, der zusätzliche Aufrufe durch Wiederholungen in einer Mengenrechnung berücksichtigt.[S-069]
Exponential BackoffWartezeitstrategie, bei der Pausen zwischen Wiederholungen schrittweise wachsen.[S-153]
TimeoutZeitgrenze, nach der ein Aufruf abgebrochen oder als fehlgeschlagen behandelt wird.[S-170]
IdempotenzEigenschaft, nach der wiederholte Ausführung denselben beabsichtigten Zustand erzeugt, ohne Wirkung zu vervielfachen.[S-173]
Idempotency KeyEindeutiger Schlüssel, mit dem doppelte Ausführung eines Vorgangs erkannt oder verhindert wird.[S-173]
Circuit BreakerMechanismus, der Aufrufe zu einem fehlerhaften Dienst vorübergehend stoppt, um Kaskaden zu verhindern.[S-153]
QueueWarteschlange, die Aufgaben puffert und von Workern verarbeitet wird.[S-105] [S-106]
Dead-Letter QueueAblage für Aufgaben, die nach definierten Versuchen nicht erfolgreich verarbeitet wurden.[S-105]
BackpressureBegrenzung oder Verzögerung neuer Arbeit, wenn nachgelagerte Komponenten überlastet sind.[S-153]
ConcurrencyZahl gleichzeitig laufender Anfragen oder Aufgaben.[S-080] [S-106]
ThroughputVerarbeitete Menge pro Zeiteinheit, etwa Requests oder Token pro Sekunde.[S-080]
GoodputAnteil des Durchsatzes, der die vereinbarten Qualitäts- und Latenzbedingungen erfüllt.[S-157] [S-149]
LatenzZeit vom Start einer Anfrage bis zu einem definierten Antwortpunkt.[S-149]
Time to First TokenZeit bis zum ersten ausgegebenen Token einer gestreamten Antwort.[S-100]
Inter-Token LatencyZeit zwischen aufeinanderfolgenden ausgegebenen Token.[S-100]
P50Median einer Verteilung; die Hälfte der Werte liegt darunter.[S-149]
P9595. Perzentil; 95 Prozent der beobachteten Werte liegen höchstens auf diesem Niveau.[S-149]
P9999. Perzentil zur Betrachtung seltener langsamer oder teurer Vorgänge.[S-149]
SLIService Level Indicator; gemessene Größe für eine Diensteigenschaft wie Erfolgsquote oder Latenz.[S-170]
SLOService Level Objective; internes Ziel für einen oder mehrere SLI.[S-170]
SLAVertragliche Servicezusage mit definierten Bedingungen und möglichen Folgen.[S-170]
Error BudgetAus einem SLO abgeleitete tolerierte Menge an Unzuverlässigkeit.[S-170]
VerfügbarkeitAnteil der Zeit oder Anfragen, in denen ein Dienst nutzbar ist.[S-117]
RTORecovery Time Objective; angestrebte maximale Wiederanlaufzeit nach einer Störung.[S-117]
RPORecovery Point Objective; angestrebter maximaler tolerierter Datenverlust in Zeit.[S-117]
HochverfügbarkeitArchitektur- und Betriebsmaßnahmen zur Reduktion von Ausfallzeiten.[S-117]
FailoverUmschalten auf eine Ersatzkomponente oder Region nach einem Fehler.[S-150]
RegionGeografischer Cloudstandort mit eigenen Preisen, Services und Datenflussmerkmalen.[S-033] [S-006]
Availability ZoneGetrennter Infrastrukturstandort innerhalb einer Cloudregion.[S-024]
Multi-RegionBetrieb in mehreren Regionen zur Resilienz, Datenresidenz oder Nähe zu Nutzern.[S-006] [S-117]
DatenresidenzAnforderung oder Eigenschaft, dass Daten in bestimmten geografischen Bereichen verarbeitet oder gespeichert werden.[S-006] [S-093]
IngressDatenverkehr in einen Dienst oder eine Cloud hinein.[S-044]
EgressDatenverkehr aus einem Dienst, einer Region oder Cloud heraus, der kostenpflichtig sein kann.[S-044] [S-043]
ObjektspeicherSpeicher für Dateien und Blobs, typischerweise mit Kapazitäts-, Operations- und Transferpreisen.[S-040] [S-041]
Storage ClassSpeicherklasse mit unterschiedlichem Preis, Zugriff, Retention und Abrufkosten.[S-040] [S-042]
Class-A-OperationBei manchen Objektspeichern höher bepreiste Schreib-, Listen- oder Verwaltungsoperation.[S-043]
Class-B-OperationBei manchen Objektspeichern niedriger bepreiste Leseoperation.[S-043]
Lifecycle PolicyRegel zum Verschieben oder Löschen gespeicherter Objekte nach Alter oder Nutzung.[S-040]
BackupZusätzliche Datenkopie für Wiederherstellung nach Verlust oder Fehler.[S-172]
RestoreWiederherstellung von Daten oder Systemzustand aus einer Sicherung.[S-172]
DatenbankSystem zur strukturierten Speicherung, Abfrage und Verwaltung von Daten.[S-173]
Relationale DatenbankDatenbankmodell mit Tabellen, Beziehungen und Transaktionen.[S-173]
TransaktionZusammengehörige Datenoperationen mit definierten Konsistenz- und Abschlussregeln.[S-173]
ReplicaZusätzliche Kopie eines Datenbestands für Lesen, Verfügbarkeit oder Wiederherstellung.[S-045]
IOPSEin-/Ausgabeoperationen pro Sekunde als Speicherleistungsgröße.[S-030] [S-045]
Connection PoolVerwaltung wiederverwendbarer Datenbankverbindungen zur Begrenzung von Aufbaukosten und Limits.[S-047]
Extended SupportKostenpflichtige Weiterunterstützung einer Datenbankversion nach regulärem Supportende.[S-046]
EmbeddingNumerische Repräsentation von Inhalt, die Ähnlichkeitssuche oder andere ML-Aufgaben unterstützt.[S-059]
VektorGeordnete Zahlenfolge; im RAG-Kontext häufig Repräsentation eines Text- oder Medienabschnitts.[S-059]
VektordatenbankDatensystem für Speicherung und Ähnlichkeitssuche in Vektoren plus Metadaten.[S-052] [S-055]
RAGRetrieval-Augmented Generation; Kombination aus Informationsabruf und generativer Antwort.[S-121] [S-053]
IngestionAufnahme, Verarbeitung und Speicherung neuer Daten in eine Daten- oder Suchpipeline.[S-121]
ChunkAbschnitt eines Dokuments, der separat gespeichert, eingebettet oder abgerufen wird.[S-053]
OverlapAbsichtliche Überschneidung benachbarter Chunks, die Kontext bewahren, aber Datenmenge erhöht.[S-053]
RetrievalAbruf relevanter Inhalte zu einer Anfrage.[S-059]
Re-RankingZusätzliche Sortierung abgerufener Kandidaten nach erwarteter Relevanz.[S-078] [S-165]
RecallAnteil relevanter Treffer, die ein Suchsystem tatsächlich findet.[S-165]
Semantic CacheCache, der ähnliche statt nur identische Anfragen zusammenführt.[S-090] [S-165]
Prompt CacheCache für wiederkehrende Promptpräfixe oder Kontextblöcke.[S-002] [S-009]
AgentSoftwarekomponente, die Modelle, Zustand und Tools zu mehrstufigen Aufgaben verbindet.[S-099] [S-090]
Tool CallVom Modell vorgeschlagener oder ausgelöster Aufruf einer externen Funktion.[S-146]
Function CallingSchnittstellenmuster, bei dem das Modell strukturierte Argumente für definierte Funktionen erzeugt.[S-146] [S-147]
GroundingAnreicherung oder Prüfung einer Antwort anhand externer Quellen oder Daten.[S-014] [S-091]
OCROptical Character Recognition; Erkennung von Text und Struktur aus Dokumentbildern oder Scans.[S-018]
STTSpeech to Text; Umwandlung von Sprache in Text.[S-018]
TTSText to Speech; Erzeugung gesprochener Ausgabe aus Text.[S-018]
MultimodalVerarbeitung mehrerer Medienarten wie Text, Bild, Audio oder Video.[S-014] [S-005]
API GatewayVorgeschaltete Komponente für Authentifizierung, Routing, Quoten und Protokollierung von APIs.[S-160]
IAMIdentity and Access Management; Verwaltung von Identitäten, Rollen und Berechtigungen.[S-160]
SecretVertraulicher Schlüssel, Token oder Zugangswert für Systeme und APIs.[S-167]
Secret RotationRegelmäßiger oder ereignisbasierter Austausch vertraulicher Zugangswerte.[S-167]
Financial Blast RadiusMaximal möglicher finanzieller Schaden eines Fehlers oder Missbrauchs innerhalb gegebener Limits.[S-098] [S-067]
KostenanomalieUngewöhnliche Abweichung im Verbrauch oder Preis gegenüber Erwartung und Muster.[S-067]
KostenallokationZuordnung gemeinsamer und direkter Kosten zu Produkten, Teams, Mandanten oder Vorgängen.[S-071] [S-069]
TaggingAnreicherung von Ressourcen oder Verbrauch mit Zuordnungsmerkmalen.[S-071]
ShowbackTransparente Anzeige verursachter Kosten ohne zwingende interne Verrechnung.[S-067]
ChargebackInterne Verrechnung von Kosten an verursachende Einheiten.[S-067]
Unit EconomicsBetrachtung von Kosten und Wert je technischer oder geschäftlicher Einheit.[S-069]
TCOTotal Cost of Ownership; Gesamtkosten über Beschaffung, Betrieb, Änderung und Stilllegung.[S-068] [S-072]
FixkostenKosten, die innerhalb eines relevanten Bereichs nicht direkt mit der Nutzungsmenge steigen.[S-069]
Variable KostenKosten, die mit Verbrauch oder Aktivität wachsen, etwa Token oder Requests.[S-069]
GrenzkostenZusätzliche Kosten einer weiteren Einheit bei gegebener Architektur.[S-069]
VollkostenDirekte und angemessen zugeordnete indirekte Kosten einer Leistung.[S-069]
Versunkene KostenBereits angefallene, nicht rückholbare Ausgaben, die eine neue Entscheidung nicht verzerren sollten.[S-067]
OpportunitätskostenWert der besten nicht gewählten Alternative, etwa gebundene Entwicklerzeit.[S-069]
BaselineGemessener Ausgangszustand als Vergleich für Veränderung.[S-069]
SzenarioKonsistente Kombination von Annahmen zu Volumen, Preis, Qualität und Betrieb.[S-158]
SensitivitätsanalysePrüfung, wie Ergebnisse auf Änderungen zentraler Annahmen reagieren.[S-158]
Break-evenPunkt, an dem sich Kosten oder Nutzen zweier Optionen ausgleichen.[S-069]
AuslastungAnteil nutzbarer Kapazität, der tatsächlich produktiv verwendet wird.[S-080] [S-024]
LeerkostenKosten ungenutzter, aber bereitgestellter Kapazität.[S-072]
OverprovisioningBereitstellung wesentlich größerer Kapazität als benötigt.[S-072] [S-074]
Right-SizingAnpassung von Ressourcen an gemessene Last und SLO.[S-072] [S-075]
AutoscalingAutomatische Anpassung der Zahl oder Größe laufender Ressourcen.[S-104] [S-105]
Scale to ZeroHerunterskalieren eines Dienstes auf keine laufende Instanz bei ausbleibender Last.[S-105] [S-034]
Cold StartZusätzliche Startzeit beim Hochfahren einer nicht laufenden Funktion oder Instanz.[S-034]
GPUGrafikprozessor, der stark parallele Berechnung und LLM-Inferenz beschleunigen kann.[S-027] [S-032]
VRAMSpeicher einer GPU für Modellgewichte, KV-Cache und Berechnungsdaten.[S-080] [S-087]
KV-CacheZwischenspeicher der Attention-Schlüssel und -Werte bereits verarbeiteter Token.[S-087] [S-080]
BatchgrößeZahl gemeinsam verarbeiteter Anfragen oder Sequenzen.[S-038] [S-080]
Continuous BatchingDynamisches Ein- und Ausschleusen von Sequenzen in laufende Batches.[S-100] [S-080]
PagedAttentionVon vLLM beschriebene Speicherverwaltung für KV-Cache in Seiten.[S-080]
FlashAttentionIO-bewusste exakte Attention-Implementierung zur Reduktion von Speicherbewegungen.[S-081] [S-082]
Speculative DecodingDecodingverfahren mit Vorschlagsmodell und Prüfung durch das Zielmodell.[S-083]
QuantisierungDarstellung von Modellwerten mit geringerer Bitbreite zur Reduktion von Speicher und gegebenenfalls Rechenaufwand.[S-086] [S-085]
LoRAParameter-effizientes Anpassungsverfahren mit niedrig-rangigen Zusatzmatrizen.[S-084]
QLoRAFine-Tuning-Verfahren, das LoRA mit quantisiertem Basismodell kombiniert.[S-084]
AWQAktivierungsbewusste Gewichtquantisierung für LLM-Kompression und Inferenz.[S-085]
InferenzAusführung eines trainierten Modells zur Erzeugung einer Ausgabe.[S-080]
Fine-TuningZusätzliche Anpassung eines vortrainierten Modells an Daten oder Aufgaben.[S-084]
Open SourceSoftware unter einer Lizenz, die die Kriterien der Open Source Definition erfüllt.[S-107]
Open WeightModell mit verfügbaren Gewichten; dies allein garantiert keine Open-Source-Lizenz.[S-107]
CopyleftLizenzmechanismus, der Weitergabe oder Netzwerkbereitstellung unter bestimmten Bedingungen an Pflichten bindet.[S-109]
Vendor Lock-inErhöhte Wechselkosten durch proprietäre APIs, Datenformate, Verträge oder Betriebsprozesse.[S-115] [S-011]
PortabilitätFähigkeit, Anwendung oder Daten mit vertretbarem Aufwand zwischen Umgebungen zu bewegen.[S-071] [S-065]
SBOMSoftware Bill of Materials; strukturierte Liste von Softwarebestandteilen und Abhängigkeiten.[S-129] [S-128]
AIBOMAuf KI-Komponenten erweiterte Bestandsbeschreibung, etwa Modelle, Daten und Abhängigkeiten.[S-130]
ObservabilityFähigkeit, internen Systemzustand aus Telemetrie und Kontext zu verstehen.[S-149] [S-065]
LogZeitlich geordneter Ereigniseintrag eines Systems.[S-168]
MetrikNumerischer Messwert über Zeit, etwa Requests, Token oder Fehler.[S-066]
TraceZusammenhängende Darstellung eines Vorgangs über mehrere Komponenten.[S-064]
SpanEin einzelner zeitlich begrenzter Arbeitsschritt innerhalb eines Trace.[S-064]
SamplingAuswahl eines Teils der Telemetrie zur Speicherung oder Auswertung.[S-064]
KardinalitätZahl unterschiedlicher Attributkombinationen einer Metrik oder Telemetriedimension.[S-066]
RetentionAufbewahrungsdauer von Daten, Logs oder Backups.[S-060] [S-061]
OpenTelemetryOffenes Projekt für Telemetrie-APIs, semantische Konventionen und Collector.[S-065] [S-099]
FinOpsKollaborative Praxis zur Maximierung des Geschäftswerts technologiebezogener Ausgaben.[S-067]
FOCUSOffene Spezifikation zur Normalisierung von Kosten- und Nutzungsdaten.[S-071]
SCISoftware Carbon Intensity; Spezifikation für Emissionen je funktionaler Einheit eines Softwaresystems.[S-076]
Model RoutingAuswahl eines Modells anhand von Aufgabe, Kosten, Qualität oder Latenz.[S-078] [S-079]
CascadeAbfolge mehrerer Modelle oder Prüfungen, bei der nur schwierige Fälle eskalieren.[S-077]
FallbackErsatzpfad bei Fehler, Unsicherheit oder nicht erreichter Qualitätsgrenze.[S-150]
EvaluationSystematische Messung von Qualität, Sicherheit, Latenz und anderen Kriterien.[S-165] [S-123]
Golden SetVersionierter Satz repräsentativer Fälle mit erwarteten oder bewerteten Ergebnissen.[S-166]
RegressionVerschlechterung einer zuvor erfüllten Eigenschaft nach Änderung.[S-165]
Human-in-the-LoopGeplanter menschlicher Prüf- oder Entscheidungsschritt innerhalb eines automatisierten Prozesses.[S-090] [S-094]
Automation RateAnteil der Fälle, die ohne definierten menschlichen Eingriff verarbeitet werden.[S-069]
Success RateAnteil der Fälle, die die festgelegten Qualitäts- und Prozesskriterien erfüllen.[S-166]
Cost per Successful OutcomeGesamtkosten geteilt durch fachlich erfolgreiche Ergebnisse.[S-069]
Budget GuardrailTechnische oder organisatorische Grenze, die unerwünschte Ausgaben verhindert oder stoppt.[S-067] [S-098]
CommitmentVertragliche Bindung an Mindestverbrauch oder Kapazität gegen Preis- oder Verfügbarkeitsvorteile.[S-026] [S-072]
On-DemandNutzung ohne längerfristige Kapazitätsbindung zu aktuellen Bedarfspreisen.[S-024]
SpotRabattierte, unterbrechbare Restkapazität eines Cloudanbieters.[S-025]
ServerlessBetriebsmodell, bei dem Plattformressourcen ereignisabhängig bereitgestellt und verbrauchsbezogen abgerechnet werden.[S-034]
Managed ServiceDienst, bei dem der Anbieter wesentliche Betriebsaufgaben übernimmt.[S-019] [S-045]
Self-hostingEigener Betrieb von Modell oder Plattform auf selbst verwalteter Infrastruktur.[S-100] [S-102]
On-PremisesBetrieb in eigener oder kontrollierter lokaler Infrastruktur statt öffentlicher Cloud.[S-090] [S-093]
EdgeVerarbeitung nahe am Gerät oder Entstehungsort der Daten.[S-102]
DecommissioningGeplante Stilllegung einschließlich Daten, Ressourcen, Zugänge und Verträge.[S-110]
Technische SchuldenKünftiger Mehraufwand durch kurzfristige technische Entscheidungen oder aufgeschobene Pflege.[S-089]
Model DriftVeränderung der Daten- oder Leistungsbeziehung, durch die frühere Qualitätsannahmen nicht mehr gelten.[S-119]
FinOps-RegelkreisWiederholte Abfolge aus Messen, Informieren, Optimieren und Verifizieren.[S-067]

Methodik, Belegmatrix und Qualitätssicherung

Recherche- und Bewertungsmethodik

Primär bevorzugt wurden offizielle Preis- und Produktdokumentationen, Standards, Gesetze und Originalarbeiten. Anbieterpreise werden als Herstellerangaben, nicht als unabhängige Leistungsbelege behandelt. Forschungsresultate werden nur im beschriebenen Setup wiedergegeben. Eigene Szenarien sind transparent als Annahmen gekennzeichnet. [S-090] [S-071] [S-123]

PrüfschrittUmsetzung
QuellenidentitätEindeutiger Herausgeber, Titel, URL und Datum oder Living-Status.
PrimärquellenPreis und Produktmerkmale direkt beim Anbieter; Forschung beim Originalpaper.
KontextRabatt, Region, Langkontext, Aktionszeitraum und Service Tier nicht verallgemeinert.
RechnungFormel, Mengen, Erfolg und alle nicht öffentlichen Annahmen offen ausgewiesen.
UnsicherheitKeine universellen Break-even-, ROI- oder Einsparversprechen.
RefreshSchnell veraltende Angaben nach Risiko priorisiert.

Belegmatrix der Kernaussagen

IDKernaussageQuellenEvidenzRefresh
K-01Preis ist nicht Vollkosten[S-067] [S-068] [S-072] [S-074]hochPreis-/Produktangaben bei Bedarf refreshen
K-02Das wirtschaftliche Ziel ist ein Ergebnis, kein Token[S-069] [S-070] [S-068]hochPreis-/Produktangaben bei Bedarf refreshen
K-03Erfolgsquote gehört in den Nenner[S-165] [S-166] [S-112]hochPreis-/Produktangaben bei Bedarf refreshen
K-04Fixe und variable Kosten müssen getrennt werden[S-024] [S-026] [S-021] [S-069]hochPreis-/Produktangaben bei Bedarf refreshen
K-05Die Lastkurve ist wichtiger als die Monatssumme[S-104] [S-105] [S-106] [S-073]hochPreis-/Produktangaben bei Bedarf refreshen
K-06Goodput schlägt Rohdurchsatz[S-080] [S-149] [S-157]hochPreis-/Produktangaben bei Bedarf refreshen
K-07Kosten brauchen Bandbreiten statt Punktwerte[S-158] [S-072] [S-074]hochPreis-/Produktangaben bei Bedarf refreshen
K-08Währungs-, Steuer- und Vertragsfaktoren sind separat[S-071] [S-067] [S-018]hochPreis-/Produktangaben bei Bedarf refreshen
K-09Kostenallokation beginnt bei Identität und Metadaten[S-071] [S-099] [S-065]hochPreis-/Produktangaben bei Bedarf refreshen
K-10Die Nullvariante ist Teil jeder Rechnung[S-069] [S-073] [S-119]hochPreis-/Produktangaben bei Bedarf refreshen
K-11Eingabe und Ausgabe haben unterschiedliche Preise[S-001] [S-007] [S-014] [S-018]hochPreis-/Produktangaben bei Bedarf refreshen
K-12Ausgabelänge ist ein steuerbarer Kostentreiber[S-001] [S-147] [S-014]hochPreis-/Produktangaben bei Bedarf refreshen
K-13Reasoning- und Thinking-Token können abrechnungsrelevant sein[S-014] [S-001] [S-007]hochPreis-/Produktangaben bei Bedarf refreshen
K-14Langer Kontext kann eine neue Preisstufe auslösen[S-001] [S-017] [S-008]hochPreis-/Produktangaben bei Bedarf refreshen
K-15Tokenisierung ist nicht über Anbieter hinweg identisch[S-005] [S-014] [S-007]hochPreis-/Produktangaben bei Bedarf refreshen
K-16Freikontingente sind kein Produktionspreis[S-014] [S-022] [S-023]hochPreis-/Produktangaben bei Bedarf refreshen
K-17Batch ist günstig, aber nicht interaktiv[S-004] [S-016] [S-018] [S-019]hochPreis-/Produktangaben bei Bedarf refreshen
K-18Flexible Kapazität tauscht Preis gegen Planbarkeit[S-003] [S-014] [S-017] [S-019]hochPreis-/Produktangaben bei Bedarf refreshen
K-19Prioritätsklassen sind eine bewusste Versicherung[S-001] [S-014] [S-017]hochPreis-/Produktangaben bei Bedarf refreshen
K-20Regionale Verarbeitung kann einen Aufschlag auslösen[S-001] [S-006] [S-017] [S-018]hochPreis-/Produktangaben bei Bedarf refreshen
K-21Cloud-Marktplätze können vom Direktpreis abweichen[S-019] [S-017] [S-020] [S-007]hochPreis-/Produktangaben bei Bedarf refreshen
K-22Zeitlich begrenzte Einführungspreise sind kein Dauerbudget[S-007] [S-012]hochPreis-/Produktangaben bei Bedarf refreshen
K-23Modellabschaltungen erzeugen Migrationskosten[S-011] [S-138] [S-139] [S-141]hochPreis-/Produktangaben bei Bedarf refreshen
K-24Prompt Caching rabattiert nur wiederverwendbare Teile[S-002] [S-009] [S-015] [S-018]hochPreis-/Produktangaben bei Bedarf refreshen
K-25Cache-Schreiben und -Speicherung können kostenpflichtig sein[S-001] [S-009] [S-015]hochPreis-/Produktangaben bei Bedarf refreshen
K-26Semantisches Caching ist eine Qualitätsentscheidung[S-165] [S-093] [S-090]hochPreis-/Produktangaben bei Bedarf refreshen
K-27Kontextwachstum entsteht oft schleichend[S-001] [S-148] [S-002]hochPreis-/Produktangaben bei Bedarf refreshen
K-28Mehr Kontext ist nicht automatisch mehr Qualität[S-148] [S-123]hochPreis-/Produktangaben bei Bedarf refreshen
K-29RAG hat Kosten vor und während jeder Anfrage[S-053] [S-056] [S-057] [S-059]hochPreis-/Produktangaben bei Bedarf refreshen
K-30Embeddings sind oft klein, Reindexierung aber nicht kostenlos[S-053] [S-059] [S-121]hochPreis-/Produktangaben bei Bedarf refreshen
K-31Vektordatenbanken besitzen eine Grundlast[S-052] [S-055] [S-057] [S-059]hochPreis-/Produktangaben bei Bedarf refreshen
K-32Chunking beeinflusst zugleich Qualität und Rechnung[S-165] [S-053] [S-119]hochPreis-/Produktangaben bei Bedarf refreshen
K-33Re-Ranking kann Kontext sparen[S-069] [S-078] [S-165]hochPreis-/Produktangaben bei Bedarf refreshen
K-34Datenbereinigung ist Personalkosten, nicht Nebensache[S-089] [S-119] [S-093]hochPreis-/Produktangaben bei Bedarf refreshen
K-35Speicheroperationen und Egress zählen[S-040] [S-041] [S-042] [S-043]hochPreis-/Produktangaben bei Bedarf refreshen
K-36Agenten vervielfachen Modellaufrufe[S-098] [S-099] [S-001]hochPreis-/Produktangaben bei Bedarf refreshen
K-37Toolschleifen brauchen harte Grenzen[S-098] [S-153] [S-146]hochPreis-/Produktangaben bei Bedarf refreshen
K-38Websuche kann pro Suchvorgang berechnet werden[S-014] [S-001] [S-019]hochPreis-/Produktangaben bei Bedarf refreshen
K-39Dokumenten-OCR hat eigene Einheiten[S-018] [S-019] [S-017]hochPreis-/Produktangaben bei Bedarf refreshen
K-40Audio wird nach Minute, Token oder Zeichen abgerechnet[S-018] [S-014] [S-001]hochPreis-/Produktangaben bei Bedarf refreshen
K-41Bilder und Video sind keine Textkosten[S-001] [S-014] [S-017]hochPreis-/Produktangaben bei Bedarf refreshen
K-42Human-in-the-Loop kostet Zeit und verhindert Schaden[S-090] [S-091] [S-094]hochPreis-/Produktangaben bei Bedarf refreshen
K-43Dauerhafte Zustände vermeiden teure Wiederholungen[S-105] [S-106] [S-150] [S-173]hochPreis-/Produktangaben bei Bedarf refreshen
K-44Missbrauchsschutz ist Kostenkontrolle[S-098] [S-140] [S-167] [S-160]hochPreis-/Produktangaben bei Bedarf refreshen
K-45API ist bei kleinen und unsicheren Lasten häufig die Referenz[S-001] [S-008] [S-014] [S-068]hochPreis-/Produktangaben bei Bedarf refreshen
K-46Managed Plattformen verkaufen mehr als Rechenzeit[S-019] [S-017] [S-020] [S-073]hochPreis-/Produktangaben bei Bedarf refreshen
K-47Self-hosting verschiebt Kosten statt sie zu löschen[S-100] [S-102] [S-107] [S-024]hochPreis-/Produktangaben bei Bedarf refreshen
K-48Auslastung entscheidet über Self-hosting[S-080] [S-038] [S-039] [S-024]hochPreis-/Produktangaben bei Bedarf refreshen
K-49Modellgröße ist eine Kapazitätsgrenze[S-080] [S-087] [S-100]hochPreis-/Produktangaben bei Bedarf refreshen
K-50Batching tauscht Latenz gegen Effizienz[S-038] [S-080] [S-106]hochPreis-/Produktangaben bei Bedarf refreshen
K-51Quantisierung ist kein kostenloser Schalter[S-085] [S-084] [S-086] [S-165]hochPreis-/Produktangaben bei Bedarf refreshen
K-52Serving-Software kann den Durchsatz deutlich verändern[S-080] [S-081] [S-082] [S-083]hochPreis-/Produktangaben bei Bedarf refreshen
K-53Spot-Kapazität ist billig, aber unterbrechbar[S-025] [S-105] [S-150]hochPreis-/Produktangaben bei Bedarf refreshen
K-54Reservierung lohnt nur bei belastbarer Grundlast[S-026] [S-072] [S-074] [S-075]hochPreis-/Produktangaben bei Bedarf refreshen
K-55Lokaler Betrieb ist nicht automatisch datenschutzkonform[S-093] [S-090] [S-163]hochPreis-/Produktangaben bei Bedarf refreshen
K-56Lizenzbedingungen können die Architektur bestimmen[S-107] [S-108] [S-109] [S-018]hochPreis-/Produktangaben bei Bedarf refreshen
K-57Hardwarepreise und Generationen ändern den Break-even[S-029] [S-027] [S-028] [S-032]hochPreis-/Produktangaben bei Bedarf refreshen
K-58Portabilität hat einen Optionswert[S-011] [S-138] [S-099] [S-115]hochPreis-/Produktangaben bei Bedarf refreshen
K-59Datenbanken kosten mehr als Speicherplatz[S-045] [S-047] [S-049] [S-050]hochPreis-/Produktangaben bei Bedarf refreshen
K-60Veraltete Datenbankversionen können Aufschläge erzeugen[S-046] [S-048] [S-134]hochPreis-/Produktangaben bei Bedarf refreshen
K-61Backups sind nur mit Restore-Test eine Absicherung[S-172] [S-117] [S-150]hochPreis-/Produktangaben bei Bedarf refreshen
K-62Telemetry kann selbst zum Großverbraucher werden[S-060] [S-061] [S-063] [S-064]hochPreis-/Produktangaben bei Bedarf refreshen
K-63Sampling spart Geld und kann Fehler verbergen[S-064] [S-062] [S-149]hochPreis-/Produktangaben bei Bedarf refreshen
K-64OpenTelemetry senkt nicht automatisch die Rechnung[S-065] [S-099] [S-066]hochPreis-/Produktangaben bei Bedarf refreshen
K-65Reliability braucht eine finanzierte Reserve[S-170] [S-171] [S-117]hochPreis-/Produktangaben bei Bedarf refreshen
K-66Multi-Region ist keine Gratisversicherung[S-044] [S-033] [S-150]hochPreis-/Produktangaben bei Bedarf refreshen
K-67Fehlerbudgets verbinden Zuverlässigkeit und Geschwindigkeit[S-170] [S-149] [S-158]hochPreis-/Produktangaben bei Bedarf refreshen
K-68Stilllegung verursacht Abschlusskosten[S-110] [S-093] [S-167]hochPreis-/Produktangaben bei Bedarf refreshen
K-69Entwicklungszeit dominiert kleine KI-Projekte häufig[S-068] [S-089] [S-159]hochPreis-/Produktangaben bei Bedarf refreshen
K-70Evaluation ist eine laufende Betriebsfunktion[S-165] [S-166] [S-123]hochPreis-/Produktangaben bei Bedarf refreshen
K-71Manuelle Nacharbeit muss gemessen werden[S-112] [S-069] [S-090]hochPreis-/Produktangaben bei Bedarf refreshen
K-72Support und Bereitschaft sind Teil der Stückkosten[S-170] [S-171] [S-161]hochPreis-/Produktangaben bei Bedarf refreshen
K-73Security ist keine einmalige Prüfung[S-098] [S-097] [S-164] [S-137]hochPreis-/Produktangaben bei Bedarf refreshen
K-74Compliance-Aufwand hängt vom Einsatz ab[S-093] [S-094] [S-095] [S-092]hochPreis-/Produktangaben bei Bedarf refreshen
K-75Modellmigration ist planbare Wartung[S-011] [S-139] [S-141] [S-165]hochPreis-/Produktangaben bei Bedarf refreshen
K-76Schattennutzung verhindert Steuerung[S-068] [S-092] [S-090]hochPreis-/Produktangaben bei Bedarf refreshen
K-77Showback kommt vor Chargeback[S-067] [S-069] [S-071]hochPreis-/Produktangaben bei Bedarf refreshen
K-78Bruttomarge braucht Kosten pro erfolgreicher Einheit[S-069] [S-070] [S-068]hochPreis-/Produktangaben bei Bedarf refreshen
K-79Kostenoptimierung ist ein Regelkreis[S-067] [S-072] [S-074] [S-075]hochPreis-/Produktangaben bei Bedarf refreshen
K-80Das billigste Modell ist nicht automatisch wirtschaftlich[S-077] [S-078] [S-079] [S-165]hochPreis-/Produktangaben bei Bedarf refreshen
K-81Weniger KI kann die beste Optimierung sein[S-119] [S-069] [S-073]hochPreis-/Produktangaben bei Bedarf refreshen

Quellenabdeckung

IDHerausgeberQuelleNennungen in Kern-/Praxisprofilen
S-001OpenAIPricing | OpenAI API18
S-014GoogleGemini Developer API pricing16
S-017Google CloudGenerative AI on Vertex AI pricing13
S-069FinOps FoundationCapability: Unit Economics12
S-165OpenAIEvaluation best practices12
S-018Mistral AIAPI pricing11
S-019Amazon Web ServicesAmazon Bedrock pricing10
S-080Kwon et al.Efficient Memory Management for Large Language Model Serving with PagedAttention9
S-099OpenTelemetryGenAI semantic conventions9
S-093Europäische UnionVerordnung (EU) 2016/679 - Datenschutz-Grundverordnung9
S-068FinOps FoundationFinOps for AI7
S-105KEDA Project / CNCFKEDA documentation7
S-007AnthropicModels overview7
S-090NISTArtificial Intelligence Risk Management Framework (AI RMF 1.0)7
S-067FinOps FoundationFinOps Framework 20266
S-072Amazon Web ServicesAWS Well-Architected Framework - Cost Optimization Pillar6
S-074MicrosoftAzure Well-Architected Framework - Cost Optimization6
S-073Amazon Web ServicesGenerative AI Lens6
S-098OWASPOWASP Top 10 for LLM Applications 20266
S-107Open Source InitiativeThe Open Source Definition6
S-024Amazon Web ServicesEC2 On-Demand Instance Pricing5
S-106Anyscale / Ray ProjectRay Serve documentation5
S-071FinOps Foundation / Linux FoundationFinOps Open Cost and Usage Specification (FOCUS)5
S-011AnthropicModel deprecations5
S-053PineconeUnderstanding cost5
S-059Google CloudVector Search overview and pricing estimate5
S-150GoogleSite Reliability Engineering — Testing for Reliability5
S-170GoogleThe Site Reliability Workbook5
S-104KubernetesHorizontal Pod Autoscaling4
S-119Google for DevelopersRules of Machine Learning4
QUALITÄTSGRENZE: Eine Quellenkennung belegt nur die Aussage, die aus ihrer Primärquelle tatsächlich folgt. Eigene Architektur- und Kalkulationsfolgerungen sind als Schlussfolgerung oder Annahme formuliert und dürfen nicht als Herstellerzitat ausgegeben werden.

Quellenregister

Das Register enthält die im Dossier verwendeten Primärquellen, offiziellen Preis- und Produktdokumentationen, Standards sowie Originalarbeiten. „Living Documentation“ bedeutet: kein belastbares statisches Veröffentlichungsdatum; der Prüfstand ist deshalb ausdrücklich angegeben. URLs wurden für den Stichtag zusammengestellt und sind erneut zu prüfen, bevor Zahlen veröffentlicht oder Verträge geschlossen werden.

A. Modell- und API-Preise

IDHerausgeber / DatumTitel / DokumenttypStatus / RefreshURL
S-001OpenAI<br>Living Documentation; geprüft 08.08.2026PricingOpenAI API<br>Offizielle Preis- und ProduktdokumentationAktuelle Preistabelle am Stichtag<br>Refresh: sehr hochLink ↗
S-002OpenAI<br>Living Documentation; geprüft 08.08.2026Prompt caching<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-003OpenAI<br>Living Documentation; geprüft 08.08.2026Flex processing<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-004OpenAI<br>Living Documentation; geprüft 08.08.2026Batch API guide<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-005OpenAI<br>Living Documentation; geprüft 08.08.2026ModelsOpenAI API<br>Offizieller ModellkatalogLiving Documentation<br>Refresh: sehr hochLink ↗
S-006OpenAI<br>Living Documentation; geprüft 08.08.2026Your data - API platform<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-007Anthropic<br>Living Documentation; geprüft 08.08.2026Models overview<br>Offizielle Modell- und PreisdokumentationAktueller Modellvergleich am Stichtag<br>Refresh: sehr hochLink ↗
S-008Anthropic<br>Living Documentation; geprüft 08.08.2026Pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-009Anthropic<br>Living Documentation; geprüft 08.08.2026Prompt caching<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-010Anthropic<br>13.03.2025Token-saving updates<br>Offizielle ProduktmitteilungVeröffentlicht<br>Refresh: mittelLink ↗
S-011Anthropic<br>Living Documentation; geprüft 08.08.2026Model deprecations<br>Offizielle LebenszyklusdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-012Anthropic<br>30.06.2026Claude Sonnet 5<br>Offizielle ProduktmitteilungVeröffentlicht<br>Refresh: hochLink ↗
S-013Anthropic<br>24.07.2026Claude Opus 5<br>Offizielle ProduktmitteilungVeröffentlicht<br>Refresh: hochLink ↗
S-014Google<br>Living Documentation; geprüft 08.08.2026Gemini Developer API pricing<br>Offizielle PreisdokumentationAktuelle Preistabelle am Stichtag<br>Refresh: sehr hochLink ↗
S-015Google<br>Living Documentation; geprüft 08.08.2026Context caching with the Gemini API<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-016Google<br>Living Documentation; geprüft 08.08.2026Batch API<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-017Google Cloud<br>Living Documentation; geprüft 08.08.2026Generative AI on Vertex AI pricing<br>Offizielle Cloud-PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-018Mistral AI<br>Living Documentation; geprüft 08.08.2026API pricing<br>Offizielle PreisdokumentationAktuelle Preistabelle am Stichtag<br>Refresh: sehr hochLink ↗
S-019Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon Bedrock pricing<br>Offizielle Cloud-PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-020Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Azure OpenAI Service pricing<br>Offizielle Cloud-PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-021Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Foundry Models pricing<br>Offizielle Cloud-PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-022Hugging Face<br>Living Documentation; geprüft 08.08.2026Inference Providers - Pricing and Billing<br>Offizielle PlattformdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-023Cohere<br>Living Documentation; geprüft 08.08.2026Pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗

B. Compute, GPU und Kapazität

IDHerausgeber / DatumTitel / DokumenttypStatus / RefreshURL
S-024Amazon Web Services<br>Living Documentation; geprüft 08.08.2026EC2 On-Demand Instance Pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-025Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon EC2 Spot Instances Pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-026Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon EC2 Capacity Blocks for ML Pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-027Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon EC2 P5 Instances<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-028Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon EC2 P6 Instances<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-029Amazon Web Services<br>05.06.2025Up to 45% price reduction for EC2 NVIDIA GPU-accelerated instances<br>Offizielle PreisänderungsmitteilungVeröffentlicht<br>Refresh: mittelLink ↗
S-030Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon EBS pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-031Google Cloud<br>Living Documentation; geprüft 08.08.2026VM instance pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-032Google Cloud<br>05.08.2026GPU machine types<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-033Google Cloud<br>05.08.2026GPU locations<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-034Google Cloud<br>Living Documentation; geprüft 08.08.2026Cloud Run pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-035Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Linux Virtual Machines pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-036Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Virtual Machine series<br>Offizielle Produkt- und PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-037Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Azure Machine Learning pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-038NVIDIA<br>Living Documentation; geprüft 08.08.2026NVIDIA Triton Inference Server<br>Offizielle Open-Source-DokumentationLiving Documentation<br>Refresh: mittelLink ↗
S-039NVIDIA<br>Living Documentation; geprüft 08.08.2026TensorRT-LLM Documentation<br>Offizielle Open-Source-DokumentationLiving Documentation<br>Refresh: hochLink ↗

C. Daten, Speicher und Observability

IDHerausgeber / DatumTitel / DokumenttypStatus / RefreshURL
S-040Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon S3 pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-041Google Cloud<br>Living Documentation; geprüft 08.08.2026Cloud Storage pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-042Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Azure Blob Storage pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-043Cloudflare<br>07.08.2026R2 pricing<br>Offizielle PreisdokumentationAktuelle Preistabelle am Stichtag<br>Refresh: sehr hochLink ↗
S-044Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Bandwidth pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-045Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon RDS for PostgreSQL pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-046Amazon Web Services<br>Living Documentation; geprüft 08.08.2026Amazon RDS Extended Support charges<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-047Google Cloud<br>Living Documentation; geprüft 08.08.2026Cloud SQL pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-048Google Cloud<br>Living Documentation; geprüft 08.08.2026Database versions and version policies - Cloud SQL for PostgreSQL<br>Offizielle LebenszyklusdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-049Microsoft Azure<br>Living Documentation; geprüft 08.08.2026Azure Database for PostgreSQL pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-050Supabase<br>Living Documentation; geprüft 08.08.2026Pricing & Fees<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-051Supabase<br>06.06.2026Developer Update - June 2026<br>Offizielle ÄnderungsmitteilungVeröffentlicht<br>Refresh: hochLink ↗
S-052Pinecone<br>Living Documentation; geprüft 08.08.2026Pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-053Pinecone<br>Living Documentation; geprüft 08.08.2026Understanding cost<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-054Pinecone<br>2026; genauer Tag in Release Notes2026 release notes - Builder plan<br>Offizielle Release NotesLiving Documentation<br>Refresh: hochLink ↗
S-055Qdrant<br>Living Documentation; geprüft 08.08.2026Qdrant Cloud pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-056Qdrant<br>Living Documentation; geprüft 08.08.2026Qdrant Cloud Billing & Payments<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-057Weaviate<br>Living Documentation; geprüft 08.08.2026Weaviate pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-058Weaviate<br>17.06.2026Weaviate Cloud is now free to start<br>Offizielle ProduktmitteilungVeröffentlicht<br>Refresh: mittelLink ↗
S-059Google Cloud<br>Living Documentation; geprüft 08.08.2026Vector Search overview and pricing estimate<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-060Datadog<br>Living Documentation; geprüft 08.08.2026Datadog pricing comparison<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-061Grafana Labs<br>Living Documentation; geprüft 08.08.2026Grafana Cloud pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-062Grafana Labs<br>Living Documentation; geprüft 08.08.2026Reduce Grafana Cloud Traces costs<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-063New Relic<br>Living Documentation; geprüft 08.08.2026New Relic pricing<br>Offizielle PreisdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-064OpenTelemetry<br>16.10.2025Sampling<br>Offizielle Spezifikations- und KonzeptdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-065OpenTelemetry<br>Living Documentation; geprüft 08.08.2026OpenTelemetry Collector<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-066OpenTelemetry<br>Living Specification; geprüft 08.08.2026Metrics Data Model<br>Offizielle SpezifikationLiving Specification<br>Refresh: hochLink ↗

D. FinOps, TCO und Unit Economics

IDHerausgeber / DatumTitel / DokumenttypStatus / RefreshURL
S-067FinOps Foundation<br>19.03.2026FinOps Framework 2026<br>Offizielles Framework-UpdateVeröffentlicht<br>Refresh: hochLink ↗
S-068FinOps Foundation<br>Living Framework; geprüft 08.08.2026FinOps for AI<br>Offizielle Framework-DokumentationLiving Documentation<br>Refresh: hochLink ↗
S-069FinOps Foundation<br>Living Framework; geprüft 08.08.2026Capability: Unit Economics<br>Offizielle Framework-DokumentationLiving Documentation<br>Refresh: hochLink ↗
S-070FinOps Foundation<br>10.05.2026Token Economics: The Atomic Unit of AI Value<br>Fachbeitrag der FinOps FoundationVeröffentlicht<br>Refresh: mittelLink ↗
S-071FinOps Foundation / Linux Foundation<br>Living Specification; geprüft 08.08.2026FinOps Open Cost and Usage Specification (FOCUS)<br>Offene SpezifikationLiving Specification<br>Refresh: hochLink ↗
S-072Amazon Web Services<br>27.06.2024AWS Well-Architected Framework - Cost Optimization Pillar<br>Offizielles ArchitekturframeworkAktuelle Ausgabe am Stichtag<br>Refresh: hochLink ↗
S-073Amazon Web Services<br>19.11.2025Generative AI Lens<br>Offizielles ArchitekturframeworkAktuelle Ausgabe am Stichtag<br>Refresh: hochLink ↗
S-074Microsoft<br>Living Documentation; geprüft 08.08.2026Azure Well-Architected Framework - Cost Optimization<br>Offizielles ArchitekturframeworkLiving Documentation<br>Refresh: hochLink ↗
S-075Google Cloud<br>Living Documentation; geprüft 08.08.2026Google Cloud Well-Architected Framework<br>Offizielles ArchitekturframeworkLiving Documentation<br>Refresh: hochLink ↗
S-076Green Software Foundation<br>Living Specification; geprüft 08.08.2026Software Carbon Intensity (SCI) Specification<br>Offene SpezifikationLiving Specification<br>Refresh: mittelLink ↗

E. Forschung zu Effizienz und Serving

IDHerausgeber / DatumTitel / DokumenttypStatus / RefreshURL
S-077Chen, Zaharia, Zou<br>10.05.2023; TMLR-Fassung 2024FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance<br>Peer-reviewte Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: mittelLink ↗
S-078Ong et al.<br>26.06.2024RouteLLM: Learning to Route LLMs with Preference Data<br>Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: mittelLink ↗
S-079Kuhn et al.<br>21.07.2025A Survey on Routing Strategies for Resource Optimisation of LLM-Based Systems<br>ForschungsübersichtVeröffentlicht<br>Refresh: mittelLink ↗
S-080Kwon et al.<br>12.09.2023Efficient Memory Management for Large Language Model Serving with PagedAttention<br>Peer-reviewte Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: mittelLink ↗
S-081Dao et al.<br>27.05.2022FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness<br>Peer-reviewte Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: niedrigLink ↗
S-082Dao<br>17.07.2023FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning<br>Peer-reviewte Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: niedrigLink ↗
S-083Yan et al.<br>02.02.2024Decoding Speculative Decoding<br>Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: mittelLink ↗
S-084Dettmers et al.<br>23.05.2023QLoRA: Efficient Finetuning of Quantized LLMs<br>Peer-reviewte Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: mittelLink ↗
S-085Lin et al.<br>02.06.2023AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration<br>Peer-reviewte Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: mittelLink ↗
S-086Zhu et al.<br>25.09.2024A Survey of Low-bit Large Language Models<br>ForschungsübersichtVeröffentlicht<br>Refresh: mittelLink ↗
S-087Jiang et al.<br>09.07.2026A Survey on System-Aware KV Cache Optimization<br>Forschungsübersicht / PreprintVeröffentlicht<br>Refresh: hochLink ↗
S-088Forschungsarbeit<br>29.01.2026Quantization, Batching, and Serving Strategies in LLM Inference<br>Forschungsarbeit / PreprintVeröffentlicht<br>Refresh: mittelLink ↗
S-089Sculley et al.<br>2015Hidden Technical Debt in Machine Learning Systems<br>Peer-reviewte ForschungsarbeitVeröffentlicht<br>Refresh: niedrigLink ↗
S-111ISO / IEC<br>2024ISO/IEC 25002:2024 — Quality model overview and usage<br>Internationaler StandardAktuelle Ausgabe<br>Refresh: niedrigLink ↗
S-112ISO / IEC<br>2023ISO/IEC 25019:2023 — Quality-in-use model<br>Internationaler StandardAktuelle Ausgabe<br>Refresh: niedrigLink ↗
S-116Simon Brown<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026The C4 model for visualising software architecture<br>Offizielle MethodendokumentationLiving Documentation<br>Refresh: mittelLink ↗
S-118Breck et al. / Google Research<br>2017The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction<br>ForschungsbeitragPublizierte Praxisforschung<br>Refresh: niedrigLink ↗
S-120Google for Developers<br>16.10.2025Production ML systems: Monitoring pipelines<br>Offizielle technische LeitlinieLiving Documentation<br>Refresh: hochLink ↗
S-121Google for Developers<br>25.08.2025ML pipelines<br>Offizielle technische LeitlinieLiving Documentation<br>Refresh: hochLink ↗
S-122Mitchell et al.<br>05.10.2018Model Cards for Model Reporting<br>Originalarbeit / arXivPeer-reviewter Beitrag 2019<br>Refresh: niedrigLink ↗
S-123Liang et al.<br>16.11.2022Holistic Evaluation of Language Models<br>Originalarbeit / arXivForschungsbenchmark<br>Refresh: mittelLink ↗
S-139Anthropic<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Model deprecations<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-141Google<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Gemini models and model versions<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-145MLflow Project / Linux Foundation<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026ML Model Registry<br>Offizielle ProjektdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-148Liu et al.<br>06.07.2023Lost in the Middle: How Language Models Use Long Contexts<br>Originalarbeit / arXivPeer-reviewter Beitrag (TACL 2024)<br>Refresh: mittelLink ↗
S-157ISO / IEC<br>2023ISO/IEC 25010:2023 — Product quality model<br>Internationaler StandardAktuelle Ausgabe<br>Refresh: niedrigLink ↗
S-165OpenAI<br>Living Documentation; geprüft 08.08.2026Evaluation best practices<br>Offizielle ProduktdokumentationAktueller Leitfaden; Evals-Plattform mit angekündigter Abschaltung zum 30.11.2026<br>Refresh: sehr hochLink ↗
S-166Anthropic<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Define success criteria and build evaluations<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-171Google<br>2018; Online-Ausgabe geprüft 08.08.2026SRE Engagement Model / Production Readiness Review<br>Offizielles FachbuchkapitelOnline-Ausgabe<br>Refresh: mittelLink ↗

F. Betrieb, Standards und Governance

IDHerausgeber / DatumTitel / DokumenttypStatus / RefreshURL
S-090NIST<br>26.01.2023Artificial Intelligence Risk Management Framework (AI RMF 1.0)<br>Behördliches FrameworkFinal<br>Refresh: mittelLink ↗
S-091NIST<br>26.07.2024NIST AI 600-1: Generative Artificial Intelligence Profile<br>Behördliches FrameworkFinal<br>Refresh: mittelLink ↗
S-092ISO/IEC<br>18.12.2023ISO/IEC 42001:2023 - Artificial intelligence management system<br>Internationaler StandardVeröffentlicht<br>Refresh: niedrigLink ↗
S-093Europäische Union<br>27.04.2016Verordnung (EU) 2016/679 - Datenschutz-Grundverordnung<br>EU-VerordnungGeltendes Recht<br>Refresh: mittelLink ↗
S-094Europäische Union<br>13.06.2024Verordnung (EU) 2024/1689 - AI Act<br>EU-VerordnungGestaffelte Geltung<br>Refresh: sehr hochLink ↗
S-095Europäische Union<br>23.10.2024Verordnung (EU) 2024/2847 - Cyber Resilience Act<br>EU-VerordnungGestaffelte Geltung<br>Refresh: hochLink ↗
S-096NIST<br>03.02.2022SP 800-218 - Secure Software Development Framework (SSDF) Version 1.1<br>Behördlicher StandardFinal<br>Refresh: mittelLink ↗
S-097NIST<br>26.07.2024SP 800-218A - Secure Software Development Practices for Generative AI and Dual-Use Foundation Models<br>Behördlicher StandardFinal<br>Refresh: mittelLink ↗
S-098OWASP<br>2026OWASP Top 10 for LLM Applications 2026<br>Offener Security-StandardAktuelle Ausgabe am Stichtag<br>Refresh: hochLink ↗
S-099OpenTelemetry<br>Living Specification; geprüft 08.08.2026GenAI semantic conventions<br>Offizielle SpezifikationTeilweise experimentell<br>Refresh: sehr hochLink ↗
S-100vLLM Project / Linux Foundation<br>Living Documentation; geprüft 08.08.2026vLLM documentation<br>Offizielle Open-Source-DokumentationLiving Documentation<br>Refresh: hochLink ↗
S-101Hugging Face<br>Living Documentation; geprüft 08.08.2026Text Generation Inference documentation<br>Offizielle Open-Source-DokumentationMaintenance mode / Living Documentation am Stichtag prüfen<br>Refresh: sehr hochLink ↗
S-102ggml-org<br>Living Repository; geprüft 08.08.2026llama.cpp<br>Offizielles Open-Source-RepositoryAktive Entwicklung<br>Refresh: hochLink ↗
S-103Ollama<br>Living Documentation; geprüft 08.08.2026Ollama documentation<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-104Kubernetes<br>Living Documentation; geprüft 08.08.2026Horizontal Pod Autoscaling<br>Offizielle Open-Source-DokumentationLiving Documentation<br>Refresh: mittelLink ↗
S-105KEDA Project / CNCF<br>Living Documentation; geprüft 08.08.2026KEDA documentation<br>Offizielle Open-Source-DokumentationLiving Documentation<br>Refresh: mittelLink ↗
S-106Anyscale / Ray Project<br>Living Documentation; geprüft 08.08.2026Ray Serve documentation<br>Offizielle Open-Source-DokumentationLiving Documentation<br>Refresh: mittelLink ↗
S-107Open Source Initiative<br>Living Definition; geprüft 08.08.2026The Open Source Definition<br>Offene DefinitionAktuelle Fassung am Stichtag<br>Refresh: mittelLink ↗
S-108Apache Software Foundation<br>Januar 2004Apache License 2.0<br>Open-Source-LizenzGeltende Lizenzfassung<br>Refresh: niedrigLink ↗
S-109Free Software Foundation<br>19.11.2007GNU Affero General Public License v3.0<br>Open-Source-LizenzGeltende Lizenzfassung<br>Refresh: niedrigLink ↗
S-110ISO / IEC / IEEE<br>2026ISO/IEC/IEEE 12207:2026 — Systems and software engineering — Software life cycle processes<br>Internationaler StandardAktuelle Ausgabe; Ausgabe 2017 zurückgezogen<br>Refresh: niedrigLink ↗
S-113DORA / Google Cloud<br>2024; Korrekturfassung v2024.3, geprüft 08.08.2026Accelerate State of DevOps Report 2024<br>Empirischer BranchenforschungsberichtRevidierte Berichtsfassung<br>Refresh: hochLink ↗
S-114DORA / Google Cloud<br>05.01.2026DORA software delivery performance metrics<br>Offizielle Forschungs-/MethodendokumentationLiving Documentation<br>Refresh: hochLink ↗
S-115Michael Nygard<br>2011Documenting Architecture Decisions<br>Technischer FachbeitragOriginalbeitrag zum ADR-Muster<br>Refresh: niedrigLink ↗
S-117ISO<br>2019ISO 22301:2019 — Security and resilience — Business continuity management systems<br>Internationaler StandardAktuelle Ausgabe am Stichtag<br>Refresh: niedrigLink ↗
S-119Google for Developers<br>25.08.2025Rules of Machine Learning<br>Offizielle technische LeitlinieAktualisierte Living Documentation<br>Refresh: hochLink ↗
S-124Kubernetes<br>18.06.2026Deployments<br>Offizielle ProjektdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-125in-toto project<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026in-toto Specification and Attestation Framework<br>Offene SpezifikationLiving Documentation<br>Refresh: hochLink ↗
S-126Sigstore project<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Sigstore Documentation<br>Offizielle ProjektdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-127SPDX / Linux Foundation<br>Living Documentation; geprüft 08.08.2026SPDX Specifications<br>Offene SpezifikationSPDX 3.0 als aktuelle Hauptversion; Status einzelner Unterversionen schnell veraltend<br>Refresh: hochLink ↗
S-128OWASP CycloneDX<br>21.10.2025CycloneDX v1.7<br>Offene SpezifikationAktuelle finale 1.x-Version<br>Refresh: hochLink ↗
S-129CISA<br>29.07.20262026 Minimum Elements for a Software Bill of Materials<br>BehördenleitlinieAktuelle Ausgabe<br>Refresh: sehr hochLink ↗
S-130CISA<br>12.05.2026Software Bill of Materials for AI — Minimum Elements<br>BehördenleitlinieAktuelle Ausgabe<br>Refresh: sehr hochLink ↗
S-131OpenSSF<br>10.10.2025Open Source Project Security Baseline — Version 2025-10-10<br>Offener Security-StandardAktuelle veröffentlichte Version am Stichtag<br>Refresh: hochLink ↗
S-132EUR-Lex<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Horizontal cybersecurity requirements for products with digital elements — summary<br>Amtliche ZusammenfassungAktueller Überblick<br>Refresh: sehr hochLink ↗
S-135Martin Fowler<br>18.05.2017Parallel Change<br>Technischer FachbeitragPraxisreferenz<br>Refresh: niedrigLink ↗
S-136Martin Fowler und Pramod Sadalage<br>2003; aktualisiert 2016Evolutionary Database Design<br>Technischer FachbeitragPraxisreferenz<br>Refresh: niedrigLink ↗
S-137OpenSSF / Google<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Open Source Vulnerabilities schema and OSV.dev<br>Offene Spezifikation und DatenbankLiving Service<br>Refresh: hochLink ↗
S-138OpenAI<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Deprecations<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-140OpenAI<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Rate limits<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-142Bundesamt für Sicherheit in der Informationstechnik (BSI)<br>27.08.2024TR-03185 — Sicherer Software-Lebenszyklus<br>Technische Richtlinie / BehördenquelleAktuelle Themenseite; Dokumentstände separat prüfen<br>Refresh: hochLink ↗
S-143Bundesamt für Sicherheit in der Informationstechnik (BSI)<br>2023CON.8 Software-Entwicklung — Edition 2023<br>IT-Grundschutz-Baustein / BehördenquelleEdition 2023; aktuelle Edition beim Refresh prüfen<br>Refresh: hochLink ↗
S-144Bundesamt für Sicherheit in der Informationstechnik (BSI)<br>2022OPS.1.1.6 Software-Tests und -Freigaben — Edition 2022<br>IT-Grundschutz-Baustein / BehördenquelleEdition 2022; Nachfolgestand beim Refresh prüfen<br>Refresh: hochLink ↗
S-146OpenAI<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Function calling<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-147OpenAI<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Structured Outputs<br>Offizielle ProduktdokumentationLiving Documentation<br>Refresh: sehr hochLink ↗
S-150Google<br>2016; Onlinefassung geprüft 08.08.2026Site Reliability Engineering — Testing for Reliability<br>Offizielles SRE-FachbuchkapitelStabile Referenz<br>Refresh: niedrigLink ↗
S-151Google<br>2016; Onlinefassung geprüft 08.08.2026Site Reliability Engineering — Postmortem Culture: Learning from Failure<br>Offizielles SRE-FachbuchkapitelStabile Referenz<br>Refresh: niedrigLink ↗
S-152Google<br>2016; Onlinefassung geprüft 08.08.2026Site Reliability Engineering — Release Engineering<br>Offizielles SRE-FachbuchkapitelStabile Referenz<br>Refresh: niedrigLink ↗
S-153Google<br>2016; Onlinefassung geprüft 08.08.2026Site Reliability Engineering — Addressing Cascading Failures<br>Offizielles SRE-FachbuchkapitelStabile Referenz<br>Refresh: niedrigLink ↗
S-154Google Testing Blog<br>22.04.2015Just Say No to More End-to-End Tests<br>Technischer FachbeitragPraxisreferenz<br>Refresh: niedrigLink ↗
S-156Principles of Chaos Engineering<br>2017; geprüft 08.08.2026Principles of Chaos Engineering<br>Offene PraxisreferenzStabile Grundprinzipien<br>Refresh: mittelLink ↗
S-158ISO / IEC / IEEE<br>2021ISO/IEC/IEEE 16085:2021 — Life cycle processes — Risk management<br>Internationaler StandardAktuelle Ausgabe<br>Refresh: niedrigLink ↗
S-159IEEE Computer Society<br>10.2024Guide to the Software Engineering Body of Knowledge — SWEBOK Guide V4.0<br>Fachstandard / Body of KnowledgeAktuelle Ausgabe am Stichtag<br>Refresh: mittelLink ↗
S-160NIST<br>26.02.2024The NIST Cybersecurity Framework (CSF) 2.0<br>BehördenrahmenwerkFinal<br>Refresh: mittelLink ↗
S-161NIST<br>03.04.2025SP 800-61 Rev. 3 — Incident Response Recommendations and Considerations for Cybersecurity Risk Management<br>Behördenstandard / Community ProfileFinal<br>Refresh: mittelLink ↗
S-162NIST<br>09.2008SP 800-115 — Technical Guide to Information Security Testing and Assessment<br>BehördenleitfadenFinal; methodische Grundlage<br>Refresh: niedrigLink ↗
S-163ISO / IEC<br>2022ISO/IEC 27001:2022 — Information security management systems — Requirements<br>Internationaler StandardAktuelle Ausgabe<br>Refresh: niedrigLink ↗
S-164OWASP<br>30.05.2025Application Security Verification Standard 5.0.0<br>Offener Security-StandardAktuelle Hauptversion<br>Refresh: hochLink ↗
S-167OWASP Cheat Sheet Series<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Secrets Management Cheat Sheet<br>Offizielle Security-LeitlinieLiving Documentation<br>Refresh: hochLink ↗
S-168OWASP Cheat Sheet Series<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Logging Cheat Sheet<br>Offizielle Security-LeitlinieLiving Documentation<br>Refresh: hochLink ↗
S-169CISA<br>17.01.2025Product Security Bad Practices<br>BehördenleitlinieFinal<br>Refresh: hochLink ↗
S-170Google<br>2018The Site Reliability Workbook<br>Offizielles FachbuchOnline-Ausgabe<br>Refresh: mittelLink ↗
S-175Europäische Union<br>23.10.2024; ABl. 20.11.2024Verordnung (EU) 2024/2847 — Cyber Resilience Act<br>EU-VerordnungIn Kraft; gestaffelte Anwendung<br>Refresh: sehr hochLink ↗

G. Reliability, Datenbetrieb und Qualität

IDHerausgeber / DatumTitel / DokumenttypStatus / RefreshURL
S-133OpenTelemetry<br>26.03.2026OpenTelemetry Profiles enters public alpha<br>Offizielle ProjektankündigungPublic Alpha am Stichtag<br>Refresh: sehr hochLink ↗
S-134PostgreSQL Global Development Group<br>25.09.2025PostgreSQL 18 Released<br>Offizielle Release-MitteilungVersion 18<br>Refresh: hochLink ↗
S-149Google<br>2016; Onlinefassung geprüft 08.08.2026Site Reliability Engineering — Monitoring Distributed Systems<br>Offizielles SRE-FachbuchkapitelStabile Referenz<br>Refresh: niedrigLink ↗
S-155Prometheus Project<br>Veröffentlichungsdatum UNKLAR; geprüft 08.08.2026Alerting rules<br>Offizielle ProjektdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-172PostgreSQL Global Development Group<br>Version 18; geprüft 08.08.2026PostgreSQL 18 Documentation — Backup and Restore<br>Offizielle ProjektdokumentationLiving Documentation<br>Refresh: hochLink ↗
S-173PostgreSQL Global Development Group<br>Veröffentlichungsdatum UNKLAR; Version 18; geprüft 08.08.2026PostgreSQL 18 Documentation: Transactions<br>Offizielle DokumentationLiving Documentation<br>Refresh: hochLink ↗
S-174PostgreSQL Global Development Group<br>Veröffentlichungsdatum UNKLAR; Version 18; geprüft 08.08.2026PostgreSQL 18 Documentation: Concurrency Control<br>Offizielle DokumentationLiving Documentation<br>Refresh: hochLink ↗

Schnell veraltend – Refresh-Plan

FrequenzZu prüfenPrimärziel
Täglich bis vor VeröffentlichungModellpreise, Aktionspreise, Service-Tier-Namen, Freikontingente, regionale Aufschläge, Search/OCR/Audio-PreiseAnbieter-Preislisten S-001 bis S-023
MonatlichModellverfügbarkeit, Deprecations, Rate Limits, Cloud-GPU-Typen und Spot-/On-Demand-PreiseModellkataloge, Deprecations, Cloudrechner
QuartalsweiseVector-DB-Pläne, Observability-Preise, Datenbanktarife, Storage-/Egresspreise, Enterprise-AufschlägeS-040 bis S-066
HalbjährlichFinOps Framework, FOCUS, OpenTelemetry-GenAI-Konventionen, Serving-Software und BenchmarksS-067 bis S-089, S-099 bis S-106
Bei Gesetzes-/StandardänderungAI Act, CRA, DSGVO-Auslegung, ISO-/NIST-Dokumente und BranchenpflichtenS-090 bis S-098 sowie Register
Vor jeder BeschaffungEigener Vertrag, Region, Währung, Support, Mindestabnahme, SLA, Datenschutz und ExitAngebot plus aktuelle Primärquelle
Vor jedem ModellwechselGolden Set, Latenz, Tool Calling, Schema, Safety, Tokenisierung und StückkostenEvaluation plus aktuelle Modellversion

Unmittelbare Refresh-Risiken am Stichtag

ThemaRisikoQuellen
Claude Sonnet 5 EinführungspreisEndet laut Modellübersicht am 31.08.2026; regulärer Preis in Jahresplanung verwenden.[S-007] [S-012]
OpenAI Service Tiers und LangkontextPreistabelle unterscheidet Kontext und Verarbeitungsmodus; Modell-/Tierbezeichnungen können sich ändern.[S-001]
Gemini Search-/Maps-GroundingFreikontingent, Querypreis und Zahl der Suchen pro Prompt beobachten.[S-014]
Mistral Batch/Cache/EnterpriseRabattlogik und ausgewiesener Enterprise-Aufschlag vor Vertragsentscheidung prüfen.[S-018]
Cloud-GPU und ReservierungRegionale Verfügbarkeit, Generation und Preissenkungen verschieben Break-even.[S-029] [S-033] [S-035]
Living StandardsOpenTelemetry-GenAI-Konventionen und Open-Source-Serving entwickeln sich weiter.[S-099] [S-100]

Schlussfolgerung

KERNERGEBNIS: KI-Kosten werden nicht durch den Modellpreis entschieden, sondern durch Architektur, Last, Erfolgsquote, Daten, Personal und die Konsequenz eines Fehlers. Die belastbare Einheit lautet: Vollkosten pro erfolgreichem Geschäftsergebnis.

Für kleine und unsichere Workloads ist eine nutzungsbasierte API häufig die wirtschaftliche Referenz. Für stabile Hochlast kann dedizierte oder eigene Kapazität sinnvoll werden, wenn Benchmark, Team, Lizenz und SLO nach Vollkosten überzeugen. Dazwischen liegen Managed Plattformen, die einen Teil der Betriebsarbeit gegen Plattformpreis und Bindung übernehmen. [S-068] [S-080] [S-019] Die risikoärmste Optimierungsreihenfolge lautet: messen, Erfolg definieren, Ausgabe begrenzen, Kontext bereinigen, deterministische Schritte auslagern, Caching und Batch nutzen, dann Routing und erst zuletzt Infrastruktur oder Provider radikal wechseln. Jede Änderung muss gegen dasselbe Golden Set und dieselbe Ergebniskennzahl geprüft werden. [S-165] [S-077] [S-072] Wann KI die falsche Lösung ist: wenn ein Regelwerk, eine Datenbankabfrage oder klassische Software die Aufgabe zuverlässiger und günstiger erfüllt; wenn Datenqualität oder Erfolgsdefinition fehlen; wenn Betrieb und Verantwortung nicht finanziert sind; oder wenn der Wert pro Erfolg die Vollkosten dauerhaft nicht deckt. [S-119] [S-069] [S-090]

Kennzahlen des Dossiers

MerkmalUmfang
Seiten83
Quellen175
Kernaussagen81
Praxisfelder32
Anbieter-/Technikprofile25
Dokumentierte Lektionen12
Modellrechnungen18
Umsetzungsschritte56
Mythenprüfungen20
Offene Fragen20
Glossarbegriffe183
Abbildungen6
Tabellen110

ENDE DES DOSSIERS

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.