SAIR startet Open Math Model Initiative für offene Mathematik-KI

SAIR startet Open Math Model Initiative für offene Mathematik-KI

Die Foundation for Science and AI Research (SAIR) hat die Open Math Model Initiative ins Leben gerufen. Das kollaborative Projekt soll offene KI-Systeme für mathematische Forschung und Bildung entwickeln. SAIR wurde nach eigenen Angaben im vergangenen Jahr von unabhängigen privaten Spendern gegründet und hat nach einer Finanzierungsvereinbarung mit XTX Markets seine Aktivitäten von Konferenzarbeit auf technische Entwicklung ausgeweitet.

Die Initiative adressiert ein konkretes Problem: Kommerziell getriebene KI-Systeme für Mathematik werden oft nach Marktinteressen statt nach wissenschaftlichen Anforderungen entwickelt. Dadurch fehlen transparente, gemeinschaftlich kontrollierte Alternativen, die tatsächlich auf die Bedürfnisse von Forschenden zugeschnitten sind. SAIR will diese Lücke schließen, indem es offen lizenzierte Modelle und Werkzeuge für mathematische Arbeitsabläufe bereitstellt – darunter die Interpretation komplexer Argumente, Referenzprüfung, Beispielerkundung, Codegenerierung und formale Beweiskonstruktion.

Zur Umsetzung plant SAIR den Aufbau eines globalen Netzwerks aus akademischen und industriellen Partnern. Entwicklung und Bewertungskriterien sollen von der mathematischen Gemeinschaft selbst bestimmt werden: Forschende legen Trainingsprioritäten, Benchmark-Standards und Leistungskennzahlen fest. Zudem bleibt die Datenhoheit ein grundlegendes Prinzip: Alle mathematischen Daten verbleiben unter Community-Kontrolle, und Nutzerbeiträge werden nur mit expliziter Zustimmung und transparenten Vereinbarungen verwendet.

SAIR begründet den beschleunigten öffentlichen Start mit einer gestiegenen Nachfrage nach zugänglicher wissenschaftlicher KI. Diese Nachfrage resultiert aus dem Mangel an offenen, gemeinschaftlich kontrollierten Alternativen zu proprietären Systemen, deren Entwicklungskriterien von Marktinteressen statt von wissenschaftlichen Anforderungen bestimmt werden. Die Initiative reagiert damit auf einen strukturellen Bedarf der Forschungsgemeinschaft.

Equational Theories Benchmark auf Hugging Face veröffentlicht

SAIR hat einen öffentlichen Benchmark für mathematisches Denken veröffentlicht. Der Equational Theories Benchmark ist auf Hugging Face verfügbar und umfasst 25 Modelle mit jeweils drei Läufen pro Modell-Problem-Paar. Die Verwendung mehrerer Modelle und mehrfacher Läufe pro Paar erhöht die Zuverlässigkeit der Ergebnisse, indem zufällige Schwankungen ausgeglichen werden und ein stabileres Leistungsprofil entsteht. Die Auswahl von 25 Modellen über OpenRouter – basierend auf den Arena- und OpenRouter-Rankings zum Zeitpunkt des jeweiligen Updates – stellt sicher, dass der Benchmark den aktuellen Stand der Technik widerspiegelt.

Der Benchmark ist als No-Cheatsheet-Version konzipiert und basiert auf Problemsätzen aus mehreren Schwierigkeitsstufen. Er enthält direkt vergleichbare Einstellungen unter Low-Reasoning/Low-Temperature sowie Default-Reasoning/Default-Temperature. Diese Konfigurationen testen sowohl sparsames, schnelles Schlussfolgern als auch gründliches, standardmäßiges Denken und machen so unterschiedliche Effizienz-Genauigkeits-Kompromisse sichtbar. Die Aufgaben betreffen Gleichungsimplikationen und prüfen damit logische Inferenz und das Verständnis mathematischer Strukturen.

Der Benchmark bietet der mathematischen Gemeinschaft eine offene, transparente Vergleichsgrundlage, die nicht von kommerziellen Anbietern kontrolliert wird. Er ist Teil der Initiative, deren Entwicklungskriterien gemeinschaftlich bestimmt werden. SAIR bekräftigt, dass alle mathematischen Daten unter Community-Kontrolle bleiben und Nutzerbeiträge nur mit expliziter Zustimmung und transparenten Vereinbarungen verwendet werden. Problemsätze, Benchmark-Läufe, Leaderboards und der Evaluierungs-Prompt sind auf Hugging Face öffentlich zugänglich.