NVIDIA veröffentlicht PAIR als Open-Source-Beta

NVIDIA veröffentlicht PAIR als Open-Source-Beta

Nvidia hat am 3. September die Beta des Personal AI Router (PAIR) veröffentlicht. Laut NVIDIA handelt es sich um eine freie Open-Source-Software, die auf Windows 11, Linux und macOS läuft. Die Beta unterstützt nach Herstellerangaben sowohl x64- als auch arm64-Architekturen; die Projektdokumentation bezeichnet Windows on ARM als experimentell. PAIR ist ein virtueller Inferenz-Router: Er bündelt die Inferenzkapazität mehrerer lokaler Computer über das Heimnetzwerk zu einem Cluster und verteilt KI-Anfragen automatisch auf die verfügbaren Systeme. Das Tool richtet sich vor allem an Nutzer, die mehrere Rechner mit GPUs besitzen und diese für lokale KI-Workloads gemeinsam nutzen wollen. Die Einrichtung ist über grafische oder Terminal-Schnittstellen möglich. In ersten Community-Reaktionen wird die einfache Einrichtung und die Möglichkeit, ungenutzte Hardware zu nutzen, hervorgehoben.

So bündelt PAIR lokale Rechenleistung

PAIR ist keine neue Inference-Engine, sondern arbeitet mit bestehenden lokalen Inferenzdiensten wie Ollama und LM Studio zusammen. Die Anwendung empfängt Anfragen über einen Proxy, identifiziert die benötigte Engine und das Modell und wählt einen geeigneten Knoten im Cluster aus. Dieser führt die Anfrage vollständig aus und sendet die Antwort zurück. Für die Anwendung erscheint weiterhin nur eine Verbindung; die Verteilung übernimmt PAIR im Hintergrund. Der Betrieb erfordert keine Internetverbindung, lediglich zum Herunterladen von Modellen wird ein Internetzugang benötigt. Die Einrichtung erfolgt über einen sechsstelligen Code, der auf jedem Gerät eingegeben wird. Port-Forwarding oder eine öffentliche IP-Adresse sind nicht erforderlich. Zur Absicherung der Kommunikation setzt PAIR auf Mutual Transport Layer Security (mTLS). Dabei authentifizieren sich beide Seiten gegenseitig über Zertifikate, sodass nur autorisierte Geräte im Cluster miteinander sprechen können und alle Daten verschlüsselt übertragen werden. PAIR überwacht kontinuierlich, ob die beteiligten Rechner im Leerlauf sind. Sobald ein Nutzer an einem Gerät aktiv arbeitet oder eine rechenintensive Anwendung startet, entfernt PAIR dieses Gerät automatisch aus dem Pool und gibt die GPU für lokale Aufgaben frei. Erst wenn das System wieder in den Leerlauf zurückkehrt, wird es erneut in den Cluster aufgenommen. Sollte ein Knoten nicht bereit sein, wird er bei der Anfrageverteilung übersprungen.

Hardware-Anforderungen und erste Leistungsdaten

Unterstützt werden laut NVIDIA GeForce RTX 20 Series und neuere GPUs, RTX PRO Workstation-GPUs ab Turing-Architektur, DGX Spark sowie Apple-Systeme mit M4-Chip oder neuer. Als Mindestanforderungen nennt der Hersteller 8 GB RAM und 20 GB empfohlenen Speicherplatz. In einer Demo mit Hermes Desktop, Ollama und PAIR zeigte sich nach Angaben von NVIDIA eine etwa zweifache Reduktion der Completion Time im Vergleich zur Ausführung auf einem einzelnen System.