Amazon nennt Token-Verbrauch als Maßstab für KI-Nutzung „deeply flawed“

Amazon nennt Token-Verbrauch als Maßstab „deeply flawed“ und warnt vor Tokenmaxxing

Amazon ändert, wie das Unternehmen die KI-Nutzung seiner Software-Ingenieure misst. Ein Memo, das laut CNBC seit September intern kursierte, erschien am Dienstag, 27. Oktober, auf Amazons Website. Es beschreibt neu, welche Rolle Software Development Engineers und ihre Manager haben. Als Verfasser nennt das Dokument Terk Terkowitz, Vice President und Distinguished Engineer. Maßstab soll künftig die Wirkung für Kunden und Geschäft sein, nicht die Menge der KI-Nutzung.

Das Memo nennt „Tokenmaxxing“ einen Fehlanreiz. Gemeint ist der Versuch, KI möglichst intensiv einzusetzen, ohne das Ergebnis im Blick zu behalten. Wer Nutzungszahlen zum Ziel erklärt, belohnt Aktivität statt bessere Software oder bessere Kundenerlebnisse. Token-Verbrauch, die Verbreitung von KI-Werkzeugen und die Menge geänderten oder geprüften Codes gelten dem Memo deshalb als „deeply flawed“. Sie können Kosten und Komplexität treiben. Die Alternative formuliert es so: „We believe that it is best to measure, and be measured by, long-term outcomes.“ Welche Pflichten und Prüfregeln die neue Rollenbeschreibung im Einzelnen enthält, geht aus dem vorliegenden Material nicht hervor.

Interne Rangliste im Mai geschlossen, weil Beschäftigte unnötige Aufgaben an KI gaben

Dem Memo ging eine Praxis voraus, die Amazon heute selbst als problematisch einstuft. Das Unternehmen erfasste intern KI-Nutzung, Token-Verbrauch und Codezeilen. Einige dieser Zahlen nutzte es, um Teams in Ranglisten zu ordnen. Im Mai schloss Amazon eine dieser Ranglisten. Beschäftigte hatten unnötige Aufgaben an KI-Werkzeuge vergeben, um ihre Platzierung zu verbessern. KI-Anbieter rechnen meist nach Tokens ab. Solcher Leerlauf treibt also die Kosten, ohne die Produktivität zu steigern.

Amazon sagt, es habe keine Obergrenzen für den Token-Verbrauch der Beschäftigten eingeführt. Marc Brooker, Vice President und Distinguished Engineer bei AWS, sagte CNBC, Amazon beobachte die „feature velocity“. So lasse sich erkennen, ob KI Ingenieure produktiver macht. Gemessen werden etwa die Zahl der Launches und der erfolgreichen Änderungen in der Produktion. Die Praxis ist also weniger neu als die offizielle Korrektur der Messlogik.

Kennzahlen bleiben erlaubt, fehlender KI-Nutzen gilt als Befund und nicht als Versagen

Das Memo verbietet die Kennzahlen nicht. Token-Verbrauch und Codegenerierung dürfen „mit Sorgfalt und Urteilsvermögen“ neben anderen Daten einfließen. Zugleich hält es fest, dass KI nicht für jede Aufgabe taugt: „If your work does not benefit from current AI tooling, that is a finding, not a failing.“ Wer erklären kann, wo KI noch nicht hilft, zeigt demnach das geforderte Urteilsvermögen. Betroffen sind Software-Ingenieure und Engineering-Manager bei Amazon. Wer KI vor allem für bessere Platzierungen einsetzte, verliert den Anreiz dazu.

Das Leitbild „era of the Renaissance Developer“, in dem menschliches Urteil und Maschinenintelligenz zusammenwirken, beschreibt Amazon selbst. Es ist eine Erwartung des Konzerns und keine überprüfte Tatsache. Dasselbe gilt für die Aussage, KI werde künftig im Zentrum der Praxis stehen. Branchenweit ringen laut Berichten auch andere Unternehmen mit steigenden KI-Kosten. Sie fragen sich, wie sich Produktivitätsgewinne verlässlich messen lassen.