KI SpotlightNewsSiemens Fuse: Evaluierung des EDA-Agenten anhand verifizierter Liberty-Dateien
Das Fuse-Team nutzt NeMo Gym, um erzeugte Artefakte gegen Referenzen zu prüfen. Konkrete Messwerte sind im vorliegenden Material nicht lesbar.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- NVIDIA NeMo Gym ist eine offene Bibliothek zum Evaluieren und Verbessern von Modellen und Agenten mithilfe von Umgebungen.
- Das Siemens-Fuse-Team nutzte NeMo Gym, um Evaluierungen hochzuskalieren und Liberty-(.lib)-Dateien zu prüfen.
- Siemens kündigte eine erweiterte Partnerschaft mit NVIDIA für selbstverifizierende agentische KI-Workflows in EDA an.
- NeMo Gym v0.4.0 führte eine einheitliche gym-CLI, den Analyse-Skill BLADE und einen monatlichen Release-Rhythmus ein.
- NeMo Gym v0.7.0 bringt Environment Servers, Slurm-Resume und Token-Level-Trajektorien-Erfassung für vLLM und Megatron.
Siemens Fuse prüft erzeugte Liberty-Dateien gegen verifizierte Referenzen
NVIDIA schildert, wie das Siemens-Fuse-Team die Bibliothek NeMo Gym nutzte. Ziel war, Evaluierungen des Fuse EDA AI Agent beim Aufruf von Charakterisierungs-Tools zu skalieren. NeMo Gym ist laut NVIDIA eine offene Bibliothek. Mit ihr lassen sich Modelle und Agenten in Umgebungen (Environments) evaluieren und verbessern.
Das Prinzip ist einfach: Ein domänenspezifischer Verifier prüft das Endergebnis, nicht einzelne Zwischenschritte. Bei Siemens sind das die vom Agenten erzeugten Liberty-Dateien (.lib). Sie werden mit bekannten Referenzartefakten verglichen. Vollständige Rollout-Trajektorien lassen sich zusätzlich zurückverfolgen, um Fehlerursachen zu finden. Nach eigener Darstellung hat das Fuse-Team sowohl häufige als auch seltene Fehler durch jeden Rollout verfolgt.
Die Begründung stammt von NVIDIA und ist eine Herstellerangabe. Demnach sei es „essenziell“, Agenten an verifizierten Endergebnissen statt an isolierten Zwischenschritten zu messen, wenn Automatisierung vertrauenswürdig sein soll. Ein früh im Setup unbemerkter Fehler könne sich in mehrstufigen Workflows unbemerkt durch nachgelagerte Stufen fortsetzen und im fertigen Artefakt landen. Unabhängig belegt ist diese These im vorliegenden Material nicht.
Änderungen an Skill- und MCP-Tool-Beschreibungen, aber keine lesbaren Messwerte
Aus dem Tracing folgten laut NVIDIA Änderungen an den Skill- und MCP-Tool-Beschreibungen des Agenten. Die Korrekturen setzten also nicht am Modell selbst an. Sie setzten an den Beschreibungen an, über die der Agent seine Werkzeuge kennt und aufruft.
Parallel kündigte Siemens eine erweiterte Partnerschaft mit NVIDIA an. Sie soll selbstverifizierende agentische Workflows in der Elektronikentwicklung (EDA) für Halbleiter und Leiterplatten voranbringen. Außerdem wurde das Fuse-System in Siemens' Intelligence Center X integriert. Siemens nennt als Ziele bessere Ergebnisqualität, kürzere Time-to-Results, höhere Zuverlässigkeit beim Tool-Calling und mehr Token-Effizienz. Das sind Ziele des Herstellers, keine nachgewiesenen Ergebnisse.
Wie stark die Änderungen wirkten, ist nicht überprüfbar. Der NVIDIA-Beitrag bricht im vorliegenden Material mitten im Satz über die gemessene Benchmark-Verbesserung ab. Baseline, Werte vor und nach den Änderungen und die Zahl der Läufe fehlen damit. Ob der Vergleich fair angelegt ist, lässt sich ohne diese Angaben nicht beurteilen. Auf Zahlen verzichten wir deshalb.
NeMo Gym ist nicht neu, neu ist der Einsatz für einen EDA-Agenten
Die Bibliothek gibt es schon länger, sie erscheint in einer fortlaufenden Release-Reihe. Version 0.4.0 brachte unter anderem eine einheitliche gym-CLI und etablierte einen monatlichen Release-Rhythmus. Version 0.7.0 führt Environment Servers ein, das automatische Fortsetzen von Slurm-Jobs und die Erfassung von Trajektorien auf Token-Ebene. Neu ist die Anwendung auf Siemens Fuse: ein domänenspezifischer Verifier und Rollout-Tracing zur Analyse von Fehlerursachen.
