PatEx-Gym: Framework für KI-Agenten in der Patentprüfung teilweise auf GitHub

PatEx-Gym bildet Recherche, Beleginspektion und Neuheitsbewertung als Agentenaufgabe ab

PatEx-Gym ist ein Framework zur Entwicklung und Bewertung von Agenten für die Patentprüfung. Die Agenten suchen iterativ nach Stand der Technik, prüfen technische Belege und erstellen Office Actions im Format des US-Patentamts USPTO. Diese Office Actions enthalten eine Neuheitsbewertung.

Das Framework besteht aus drei Teilen. PatEx-Bench umfasst laut Abstract 1.000 Prüfungsaufgaben, zwei Retrieval-Korpora (Patent-1M mit über 1 Million Patenten und Paper-52K mit wissenschaftlichen Papern) sowie eine Harness-Laufzeit für iterative Suche, Dokumentbesuche, Reasoning und die Erstellung von Office Actions. Hinzu kommt PASS, ein Verfahren zur Synthese von Suchtrajektorien ohne Annotationen. Es nutzt Dokumentbesuche als implizite Relevanzsignale und liefert den Datensatz PatEx-SynData. Der dritte Teil ist PatEx-Agent, ein Modell mit 4 Milliarden Parametern. Der Abstract nennt supervised Fine-Tuning als Trainingsmethode und bricht danach ab. Weitere Trainingsschritte und Ergebnisse sind nicht bekannt. Messwerte dazu, ob der Agent hinter oder vor Vergleichsmodellen liegt, fehlen.

Hinter dem Projekt stehen Qiyao Wang, Xinyi Chen, Hongbo Wang, Jiayuan Lu, Minghuan Tan, Yuan Lin und Min Yang von SIAT (Chinese Academy of Sciences), UCAS, der Dalian University of Technology und SUAT. Corresponding Authors sind Yuan Lin und Min Yang.

Auf GitHub liegen bisher 100 Aufgaben, Harness und Evaluationscode

Das Repository AIforIP/PatEx-Gym enthält bislang nur eine Teilveröffentlichung. Laut README vom 27. Oktober 2026 sind 100 PatEx-Bench-Aufgaben erschienen. Jede liegt als Harbor-Task vor, mit Anwendungstext, Anweisungen, Umgebung sowie Tests beziehungsweise Verifiern. Außerdem stehen der Quellcode des Codex Harness samt Gateway, ein Docker-Basisimage und der Evaluationscode bereit.

Die Aufgaben verteilen sich auf die CPC-Sektionen A bis H, jeweils mit 12 bis 13 Aufgaben. Grundlage ist das Feld Main CPC. Nicht veröffentlicht sind das Frontend, die Trainingsdaten und die Pipeline zur Aufgabenerstellung. Bewertet werden sowohl die Prüfungsqualität als auch die Entdeckung von Prior Art.

Für die Agentenforschung ist das vor allem ein reproduzierbares Testbett. Wer Suchagenten vergleichen will, kann sie auf denselben Aufgaben mit denselben Verifiern laufen lassen. Ein Praxiseinsatz oder eine Anbindung an Patentämter ist nicht belegt. Der USPTO-Bezug betrifft allein das Format der erzeugten Office Actions.

Der Anspruch „erstes Framework“ stammt von den Autoren selbst

Die Autoren bezeichnen PatEx-Gym als erstes Framework zur Entwicklung und Bewertung von Agenten für die Patentprüfung. Bisherige Benchmarks, so ihre Darstellung, stützten sich weitgehend auf statische, begrenzte Kandidatenmengen. Der gesamte Prozess aus Suche, Reasoning und Bewertung sei dagegen unerforscht geblieben. Auch die Bezeichnung der Aufgaben als „realistisch“ stammt von den Autoren. Unabhängig geprüft ist keine dieser Angaben.

Verwandte Arbeiten gibt es. FiNE-Patents umfasst 3.658 erste Patentansprüche mit merkmalsgenauen Prior-Art-Referenzen. Ein früherer Datensatz bewertet Neuheit durch den Abgleich von Anspruch und zitiertem Stand der Technik. PatExpert ist ein Multi-Agenten-Framework für Patentaufgaben. Ob und wie weit diese Arbeiten den Anspruch relativieren, ist hier nicht bewertet.

Prüfbar wäre der Anspruch über den Volltext des Papers, die Aufgabenerstellung und die Ground Truth, einen systematischen Literaturvergleich sowie Stichproben aus den veröffentlichten 100 Aufgaben.