Formaler Verifier entlarvt stille Fehler in LLM-generierten GPU-Kerneln

Symbolische Ausführung entlarvt stille Fehler in LLM-generierten GPU-Kerneln

Ein neues Forschungspapier stellt einen Contract-Grade Verifier vor, der erstmals formale Verifikation auf GPU-Kernel anwendet, die von großen Sprachmodellen (LLMs) generiert wurden. Systeme, die LLMs zur Kernel-Erzeugung nutzen, berichten hohe Korrektheitsraten – doch diese Raten basieren auf einem einzigen lockeren Test: Der Kernel wird mit wenigen zufälligen Eingaben bei einer festen Shape ausgeführt und akzeptiert, wenn die Ausgabe nahe an einer Referenz liegt. Der Verifier geht einen entscheidenden Schritt weiter. Er nutzt symbolische Ausführung, um zu prüfen, ob ein Kernel eine formale Spezifikation für alle möglichen Eingaben und Shapes erfüllt. Dadurch deckt er stille Fehler auf, die von den üblichen Zufallstests übersehen werden – etwa inkonsistente NaN- oder Unendlich-Ausgaben oder Race Conditions, die von Lauf zu Lauf unterschiedliche Ergebnisse liefern. Die Evaluierung mit einem state-of-the-art LLM für GPU-Code zeigt, dass der Verifier solche Fehler zuverlässig fängt und damit die tatsächliche Zuverlässigkeit der generierten Kernel deutlich erhöht.

Warum lockere Tests trügerische Sicherheit bieten

Die heute üblichen Testverfahren für LLM-generierte GPU-Kernel prüfen lediglich, ob der Kernel bei einer Handvoll zufälliger Eingaben und einer festen Shape eine Referenzausgabe approximiert. Ein Kernel kann diesen Test problemlos bestehen und dennoch fehlerhaft sein. Er kann beispielsweise eine gewöhnliche Zahl zurückgeben, obwohl die korrekte Antwort NaN oder Unendlich wäre. Ebenso können Race Conditions dazu führen, dass der Kernel bei gleichen Eingaben von Ausführung zu Ausführung unterschiedliche Ergebnisse produziert. Solche stillen Fehler bleiben mit lockeren Tests unentdeckt und vermitteln eine trügerische Sicherheit. In der Praxis können sie jedoch schwerwiegende Folgen haben, wenn die Kernel in rechenintensiven KI-Workloads eingesetzt werden. Der Contract-Grade Verifier schließt diese Lücke, indem er die Korrektheit nicht nur für einige Stichproben, sondern für den gesamten Eingaberaum überprüft.

So beweist der Verifier Korrektheit oder liefert Gegenbeispiele

Der Verifier setzt auf symbolische Ausführung: Statt den Kernel mit konkreten Zahlenwerten auszuführen, werden symbolische Variablen verwendet, die alle möglichen Eingaben repräsentieren. Während der Ausführung wird die Einhaltung einer formalen Spezifikation – des „Contracts“ – überprüft. Diese Spezifikation definiert das erwartete Verhalten des Kernels, etwa die korrekte Behandlung von NaN und Unendlich oder die Freiheit von Race Conditions. Hält der Kernel den Contract für alle symbolischen Pfade ein, gilt er als verifiziert. Wird eine Verletzung entdeckt, generiert der Verifier ein konkretes Gegenbeispiel – also eine spezifische Eingabe und Shape, mit der sich der Fehler reproduzieren lässt. Entwickler können so die Ursache gezielt beheben. Der Overhead, gemessen an zusätzlicher Ausführungszeit und Speicherverbrauch, ist gering und fällt gegenüber den potenziellen Kosten unentdeckter Fehler kaum ins Gewicht. Damit wird formale Verifikation erstmals praktikabel für LLM-generierte GPU-Kernel.

Blackwell-Backward und die wachsende Bedeutung zuverlässiger Kernel

Das Papier stellt außerdem einen nativen Blackwell-Backward für die Gated-Linear-Recurrence-Familie vor, der die Leistung auf Nvidias neuester GPU-Architektur optimiert. Diese Entwicklung fällt in eine Zeit massiver Investitionen in KI-Rechenzentren: Laut TechCrunch planen Nvidia und Finanzinstitute eine 500-Milliarden-US-Dollar-Investition in KI-Infrastruktur. Je höher die eingesetzten Summen, desto größer die wirtschaftlichen Risiken fehlerhafter Berechnungen. Ein stiller Fehler in einem GPU-Kernel, der in tausenden Rechenzentren läuft, kann zu falschen Trainingsergebnissen, unbrauchbaren Modellen und erheblichen finanziellen Verlusten führen. Formale Verifikation wird damit zu einem unverzichtbaren Werkzeug, um die Korrektheit generierter Kernel sicherzustellen und die Zuverlässigkeit in großem Maßstab zu gewährleisten.