KI SpotlightNewsStudie: AGENTS.md bringt keinen signifikanten Nutzen, aber 20 Prozent höhere Kosten
ETH-Studie zeigt: Kontextdateien wie AGENTS.md steigern die Erfolgsrate nicht signifikant, erhöhen aber die Kosten um über 20 Prozent.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Die ETH Zürich und LogicStar.ai haben eine Studie zu AGENTS.md veröffentlicht.
- Die Studie kommt zu dem Ergebnis, dass Kontextdateien die Aufgabenerfolgsrate nicht signifikant verbessern.
- Die Studie zeigt, dass die Inferenzkosten durch Kontextdateien um über 20 Prozent steigen.
- Die Forscher empfehlen, LLM-generierte Kontextdateien ganz wegzulassen und menschlich geschriebene Anweisungen auf nicht ableitbare Details zu beschränken.
- Die Studie testete vier Coding-Agenten, darunter Claude Code/Claude, Codex und Qwen Code.
- Die Forscher entwickelten einen neuen Benchmark mit 138 realen Python-Aufgaben aus Nischen-Repositories.
Zentrales Ergebnis: Kein signifikanter Nutzen, aber höhere Kosten
Eine Studie der ETH Zürich und des Schweizer Startups LogicStar.ai hat untersucht, ob Kontextdateien wie AGENTS.md die Leistung von KI-Coding-Agenten verbessern. Das Ergebnis: Die Aufgabenerfolgsrate steigt durch solche Dateien nicht signifikant. Gleichzeitig erhöhen sich die Inferenzkosten um über 20 Prozent. Die Forscher führen das darauf zurück, dass jede Anfrage zusätzliche Tokens verarbeitet, ohne dass der Nutzen belegt ist. Bislang gab es keine belastbare empirische Untersuchung dazu. Damit widerspricht die Studie der verbreiteten Empfehlung, solche Dateien standardmäßig zu verwenden.
Vier Coding-Agenten und ein neuer Benchmark mit 138 Python-Aufgaben
Für die Studie testeten die Forscher vier Coding-Agenten: Claude Code von Anthropic mit Sonnet-4.5, Codex von OpenAI mit GPT-5.2, Codex von OpenAI mit GPT-5.1 mini sowie Qwen Code von Alibaba mit Qwen3-30B-Coder. Zusätzlich entwickelten sie einen neuen Benchmark mit 138 realen Python-Aufgaben aus Nischen-Repositories, um Verzerrungen durch auswendig gelernte Aufgaben zu vermeiden. Ergänzend kam der etablierte Benchmark SWE-Bench zum Einsatz. Die Agenten wurden in drei Szenarien geprüft: ohne Kontextdatei, mit LLM-generierter Datei und mit menschlich geschriebener Datei.
Forscher raten: LLM-generierte Kontextdateien weglassen
Die Autoren empfehlen, LLM-generierte Kontextdateien ganz wegzulassen. Menschlich geschriebene Anweisungen sollten auf Details beschränkt werden, die ein Agent nicht aus dem Code ableiten kann – etwa spezielle Build-Befehle oder ungewöhnliche Tooling-Vorgaben. Hintergrund ist, dass die Dateien bei jeder Anfrage Tokens verbrauchen, ohne die Erfolgsrate signifikant zu steigern. Damit stellen sie die gängige Praxis infrage, solche Dateien automatisch zu erzeugen.
