KI SpotlightNewsTeuerstes LLM verliert bei BaZi-Lesungen gegen 5,8-fach günstigeres Modell
Ein Entwickler benchmarkte LLMs für personalisierte BaZi-Lesungen – das teuerste Modell verlor gegen ein 5,8-fach günstigeres.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Der Autor des dev.to-Artikels hat eine App entwickelt, die personalisierte Lesungen für BaZi (chinesische Vier-Säulen-Geburtshoroskope) generiert.
- Jede Lesung ist ein LLM-Aufruf, und jeder Aufruf kostet Geld.
- Die Domäne ist voller Fallen-Terminologie, die Modelle oft falsch wiedergeben.
- Der Autor hat vor dem Start jeden Kandidatenmodell auf seiner tatsächlichen Arbeitslast gebenchmarkt.
- Das teuerste Modell verlor gegen ein Modell, das 5,8-mal weniger kostet.
- Die Akzeptanzkriterien des Autors waren: Domänengenauigkeit, keine erfundenen Jargon, Kosten pro Lesung.
Teuerstes Modell verliert gegen 5,8-fach günstigeres bei BaZi-Lesungen
Der Autor des dev.to-Artikels, der die App entwickelt hat, hat mehrere Large Language Models für personalisierte BaZi-Lesungen getestet – chinesische Vier-Säulen-Geburtshoroskope. Jede Lesung ist ein LLM-Aufruf, jeder Aufruf kostet Geld. Das zentrale Ergebnis des Benchmarks auf der tatsächlichen Arbeitslast: Das teuerste Modell schnitt schlechter ab als ein Modell, das 5,8-mal weniger kostet. Die Ergebnisse lassen sich auf jede LLM-Anwendung in einer Nischendomäne übertragen.
BaZi-Domäne voller Fallen: Warum Domänengenauigkeit zählt
Die BaZi-Domäne enthält spezielle Terminologie, die Modelle oft falsch wiedergeben. Der Autor benchmarkte deshalb vor dem Start jedes Kandidatenmodell auf seiner tatsächlichen Arbeitslast. Seine Akzeptanzkriterien waren: Domänengenauigkeit – etwa ob 甲 als Yang Wood und nicht als Yin Wood ausgegeben wird –, keine erfundenen Jargon-Begriffe aus einem geschlossenen Vokabular sowie die Kosten pro Lesung, da ein Free-Tier existiert und jede kostenlose Lesung Marketingausgabe ist.
Erzwungenes Denken: Flaggschiff-Preview verweigert Abschaltung
Ein technisches Problem verschärft die Kostenfrage: Das Flaggschiff-Preview erlaubt nicht, das Denken auszuschalten. Hybrid-Reasoning-Modelle denken standardmäßig, und der Preview-Snapshot lehnt das Flag ab – mit der Fehlermeldung 400 InvalidParameter: The value of the enable_thinking parameter is restricted to True. Dadurch zahlt man für den inneren Monolog, ob man will oder nicht, was bei gestreamten Anfragen zusätzliche Token und Latenz erzeugt.
Preis-Leistungs-Kurve fällt: Benchmarking-Plattformen zeigen Trend
Unabhängige Quellen bestätigen einen breiten Trend: Der Preis für ein gegebenes Benchmark-Performance-Niveau ist bei Frontier-Modellen auf Wissens-, Reasoning-, Mathe- und Software-Engineering-Benchmarks schnell gefallen. Plattformen wie Artificial Analysis vergleichen LLMs auf Kosten, Latenz und Qualität. Weitere Dienste berechnen explizit Performance pro Dollar und zeigen Effizienz-Frontiers, auf denen günstigere Modelle oft besser abschneiden.
Benchmark-Audits und Evals: Qualität der Messung selbst prüfen
Auch die Messung selbst ist fehleranfällig: Automated Benchmark Auditing identifiziert kritische Probleme in über 25,7 Prozent der evaluierten Aufgaben in 168 Benchmarks, darunter mehrdeutiges Task-Design und falsche Ground Truths. Für eigene Evaluierungen existieren Tools wie das OpenAI-Evals-Framework sowie GitHub-Repositories zur Messung der Antwortlatenz von LLMs. Entwickler können damit domänenspezifische Tests aufbauen, statt sich auf generische Leaderboards zu verlassen.
Nischen-Apps profitieren: Teuer ist nicht immer besser
Die Implikationen für Entwickler von Nischen-Apps sind klar: Sie sollten auf ihrer eigenen Arbeitslast benchmarken, da teurere Modelle nicht immer besser sind. Der BaZi-Fall zeigt, dass ein 5,8-fach günstigeres Modell das Flaggschiff schlagen kann.
