KI SpotlightNewsKosten linear, Nutzen überraschend: Neue Perspektive auf Few-Shot-Beispiele
Warum die optimale Anzahl von Beispielen von ihrer Funktion abhängt und wie man Kosten und Nutzen abwägt
Mit KI erstellt◆ Fakten auf einen Blick
- Der dev.to-Artikel 'How many examples is two questions wearing one coat' existiert und behandelt das Thema Few-Shot-Prompting.
- Der Artikel enthält eine Beispielrechnung zu Token-Kosten für Few-Shot-Prompts.
Kosten linear, Nutzen überraschend: Neue Perspektive auf Few-Shot-Beispiele
Die Frage, wie viele Beispiele man einem Sprachmodell im Prompt mitgeben sollte, wird oft pauschal beantwortet: mehr Beispiele, bessere Ergebnisse. Ein aktueller Blogpost auf dev.to bricht mit dieser Faustregel und schlägt eine getrennte Betrachtung von Kosten und Nutzen vor. Der Autor argumentiert, dass die Kosten für jedes weitere Few-Shot-Beispiel exakt linear berechenbar sind – sie entstehen durch zusätzliche Eingabe-Token bei jedem einzelnen API-Aufruf, und das auf Dauer. Der Nutzen hingegen ist keineswegs so eindeutig. Er hängt entscheidend davon ab, welche Funktion man den Beispielen im Prompt zuschreibt. Statt blind auf eine wachsende Zahl von Beispielen zu setzen, sollten Entwickler und Prompt-Designer zunächst klären, was die Beispiele im jeweiligen Anwendungsfall tatsächlich leisten sollen – etwa die Demonstration eines Formats, die Verankerung einer Stilrichtung oder die Vermittlung von Faktenwissen.
Überraschend ist dabei, dass die publizierte Evidenz zur optimalen Beispielanzahl stark von dieser Funktion abhängt. Während die Kostenkurve mit jedem weiteren Beispiel linear steigt, ist der Nutzenzuwachs keineswegs so einfach vorherzusagen. Der Blogbeitrag plädiert daher für eine bewusste Abwägung: Nur wenn der erwartete Nutzenzuwachs die garantierten Mehrkosten rechtfertigt, lohnt sich ein zusätzliches Beispiel.
Konkrete Token-Kostenrechnung als Entscheidungshilfe
Um die Kostenfrage greifbar zu machen, liefert der Artikel eine Beispielrechnung für einen Klassifikations-Prompt. Jedes Beispiel verbraucht dort rund 180 Token (Eingabe, Label und Trennzeichen). Ohne Beispiele liegt der Prompt bei 420 Token, was bei einem Preis von 3 US-Dollar pro einer Million Token Kosten von 0,00126 Dollar pro Aufruf verursacht. Jedes weitere Beispiel verlängert den Prompt um etwa 180 Token, wodurch die Kosten pro Aufruf linear ansteigen. Bei hohen monatlichen Aufrufvolumen summieren sich diese Mehrkosten schnell zu spürbaren Beträgen.
Diese lineare Kostenstruktur lässt sich exakt vorhersagen und in die Entscheidung einbeziehen. Der Autor empfiehlt, die so ermittelten Mehrkosten dem erwarteten Nutzen gegenüberzustellen. Der erwartete Nutzen kann dabei durch systematische Tests auf einer Validierungsmenge abgeschätzt werden: Man vergleicht die Modellausgaben bei unterschiedlicher Beispielanzahl anhand aufgabenspezifischer Metriken (etwa Genauigkeit, Formatkonformität oder semantische Ähnlichkeit) und ermittelt so den tatsächlichen Leistungszuwachs pro zusätzlichem Beispiel. Nur wenn dieser Zuwachs die garantierten Mehrkosten rechtfertigt, ist ein weiteres Shot sinnvoll. Die Rechnung zeigt: Schon kleine Änderungen der Beispielanzahl haben bei hohen Aufrufvolumen spürbare finanzielle Auswirkungen – und die optimale Anzahl ist keine reine Kostenfrage, sondern eine Frage der richtigen Funktion.
