KI SpotlightNewsFireworks: Open-Source-Kombination übertrifft Claude Opus 4.7 bei Legal-Agent-Aufgaben
Zwei Systemtechniken mit GLM-5.1 und Kimi K2.6 erzielen höhere All-Pass-Scores auf dem Harvey-Benchmark – zu einem Bruchteil der Kosten.
Mit KI erstelltOpen-Source-Kombination schlägt Claude Opus 4.7
Fireworks hat zwei Systemtechniken vorgestellt, die auf dem Harvey Legal Agent Benchmark bessere Ergebnisse erzielen als das Closed-Source-Modell Claude Opus 4.7 allein – und das bei deutlich geringeren Kosten. Der Benchmark misst die Fähigkeit von KI-Agenten, komplexe juristische Aufgaben zu lösen. Während ein End-to-End-Einsatz von Claude Opus 4.7 einen All-Pass-Score von 14 von 100 Punkten bei Kosten von 954 US-Dollar erreicht, übertreffen die neuen, auf Open-Source-Modellen basierenden Ansätze diese Werte zum Teil erheblich. Fireworks kombiniert dabei geschickt verschiedene Modelle und nutzt nachträgliches Feintuning, um die Leistung zu steigern und gleichzeitig die Abhängigkeit von teuren Frontier-Modell-Aufrufen zu reduzieren.
Harness Engineering: GLM-5.1 ruft bei Bedarf Claude Opus 4.7 als Advisor
Die erste Technik, von Fireworks als „Harness Engineering“ bezeichnet, setzt auf ein quelloffenes GLM-5.1-Modell als primären Worker. Dieses Modell entscheidet selbstständig, bei welchen Teilaufgaben es das leistungsstärkere, aber teurere Claude Opus 4.7 als externen Berater hinzuzieht. Dadurch wird das Frontier-Modell nur gezielt für jene Sub-Tasks genutzt, bei denen es tatsächlich zu besseren Ergebnissen führt. Mit dieser Routing-Strategie erreicht das System einen All-Pass-Score von 18 von 100 Punkten – vier Punkte mehr als Claude Opus 4.7 allein. Gleichzeitig sinken die Kosten drastisch: Statt 954 US-Dollar fallen nur noch 368 US-Dollar an, was einer Kostensenkung um mehr als 60 Prozent entspricht.
Post-Training: Kimi K2.6 mit Fine-Tuning auf Harvey-Trajektorien
Die zweite Technik setzt auf nachträgliches Training des Open-Source-Modells Kimi K2.6. Durch überwachtes Feintuning (Supervised Fine-Tuning, SFT) auf Trajektorien des Harvey-Benchmarks erreicht das Modell einen All-Pass-Score von 15 von 100 bei Kosten von nur 84 US-Dollar. Ein anschließendes Reinforcement Fine-Tuning (RFT) verbessert den mittleren Score nach Angaben von Fireworks weiter, ohne dass konkrete Zahlen genannt werden. Beide Ansätze zeigen, dass durch geschickte Systemtechnik und domänenspezifisches Training auch mit Open-Source-Modellen Frontier-Niveau erreichbar ist – bei einem Bruchteil der Kosten.
Zwischen Margendruck und Meisterschaft
Während die Diskussion um KI im Rechtsmarkt oft zwischen Untergangsszenarien und Hype schwankt, zeigt sich in den Reaktionen ein differenzierteres Bild: opbmedia in r/legaltech sieht nicht das Ende von Legal Software, sondern das Ende überhöhter Margen – eine Entwicklung, die auch der Erfolg offener Kombinationen wie Fireworks beschleunigen könnte. Dass die Werkzeuge dabei vor allem in kundigen Händen glänzen, betont rebelSun25 in r/LocalLLaMA: „These are useful tools in hands of professionals who already know what they want.“ Und dass mehr Geschwindigkeit nicht automatisch bessere Ergebnisse bedeutet, fasst yopla in r/LocalLLaMA ironisch zusammen: „You did ship nightmares to customers back then. You just did it much slower.“
