KI SpotlightNewsJetBrains-Test: Caveman-Skill spart Token nur bei forcierter Aktivierung
Benchmark zeigt: 65 % weniger Ausgabe-Token nur unter Idealbedingungen erreichbar
Mit KI erstellt◆ Fakten auf einen Blick
- JetBrains führte einen gepaarten A/B-Benchmark des Caveman-Skills auf Claude Code mit der Plattform SkillsBench durch.
- Der Test ergab, dass der Caveman-Skill die Ausgabe-Token reduzieren kann, wobei die maximale Einsparung bei 65 % liegt – dies jedoch nur bei forcierter Aktivierung und nicht im üblichen Nutzungsfall.
- Die Testergebnisse deuten darauf hin, dass die Token-Ersparnis im normalen, nicht forcierten Gebrauch niedriger ausfällt als die genannten 65 %.
JetBrains unterzieht Caveman-Skill einem standardisierten Benchmark
Das JetBrains-Team hat den Caveman-Skill einem standardisierten Benchmark auf der Plattform SkillsBench unterzogen. In einem gepaarten A/B-Test mit Claude Code wurde gemessen, wie sich der Skill auf die Anzahl der Ausgabe-Token bei realistischen Agenten-Aufgaben auswirkt und ob die Antwortqualität leidet. Der Skill bringt den Agenten dazu, in stark verkürzter „Höhlenmenschen“-Sprache zu antworten – Füllwörter, Höflichkeitsfloskeln und ausführliche Erklärungen entfallen, während Code, Befehle und Fehlermeldungen unverändert bleiben. Für den Test wurde der Skill gezielt forciert, sodass der Agent durchgängig in dieser komprimierten Form kommunizierte. Unter diesen Idealbedingungen erreichte der Caveman-Skill eine maximale Einsparung von 65 Prozent bei den Ausgabe-Token. Die Tester betonen jedoch, dass dies die Obergrenze darstellt und nicht das Ergebnis im normalen, nicht erzwungenen Gebrauch. Dort antwortet der Agent flexibler, sodass die Token-Reduktion geringer ausfällt. Die Untersuchung liefert damit eine erste methodisch dokumentierte, unabhängige Evaluation und zeigt, dass die 65 Prozent nur unter forcierter Aktivierung erreichbar sind.
Herstellerangabe von 65 % weniger Token nur im Idealfall haltbar
Das GitHub-Repository des Caveman-Skills wirbt mit dem Slogan „Same answers, 65% fewer output tokens“. Die JetBrains-Messungen bestätigen, dass diese Einsparung grundsätzlich erreichbar ist – allerdings nur unter der forcierten Aktivierung, die im Test als „ceiling, not the usual-case result“ bezeichnet wird. Im typischen Einsatz, bei dem der Agent nicht permanent auf die verkürzte Sprachform festgelegt ist, fällt die Token-Reduktion geringer aus, weil der Skill nicht durchgängig aktiviert wird. Die Diskrepanz zwischen Marketingversprechen und Alltagsrealität wird dadurch deutlich, dass die 65 % nur die Obergrenze unter Idealbedingungen darstellen. Anwender sollten die Einsparung im eigenen Workflow prüfen, statt sich auf die Maximalangabe zu verlassen.
