KI SpotlightNewsNvidia startet kostenloses Beta-Tool PAIR für lokale KI-Inferenzcluster
Das quelloffene Tool bündelt mehrere Computer im Heimnetz zu einem lokalen Inferenzcluster und hält Daten privat.
Mit KI erstellt◆ Fakten auf einen Blick
- Nvidia hat PAIR (Personal AI Router) vorgestellt, ein Software-Tool zur Erstellung lokaler KI-Inferenzcluster.
- PAIR ist als Beta-Version verfügbar.
- PAIR ist kostenlos.
- PAIR unterstützt die Betriebssysteme Windows, macOS und Linux.
- PAIR unterstützt die Inferenz-Engines Ollama und LM Studio.
- PAIR entdeckt kompatible Geräte automatisch im lokalen Netzwerk.
Nvidia startet kostenloses Beta-Tool PAIR
Nvidia hat auf der IFA am 3. September das kostenlose Beta-Tool PAIR (Personal AI Router) vorgestellt. Es verbindet mehrere Computer im selben Netzwerk zu einem lokalen KI-Inferenzcluster. PAIR nutzt ungenutzte GPU-Leistung, um parallele KI-Aufgaben zu verteilen, ohne Cloud-Dienste. So wird verhindert, dass alle Anfragen auf einer Maschine landen, während andere Geräte ungenutzt bleiben. Die Software ist quelloffen, was Transparenz und Anpassbarkeit bedeutet.
Technische Eckdaten: Lokale Inferenz ohne Cloud
PAIR läuft auf Windows, macOS und Linux und erkennt kompatible Geräte automatisch. Es überwacht Knotenstatus, Engine-Verfügbarkeit, Modellverfügbarkeit und GPU-Auslastung, um Anfragen passend zu leiten. Die Kommunikation wird per mTLS verschlüsselt, was gegenseitige Authentifizierung und Abhörschutz bietet. Unterstützte Engines sind Ollama und LM Studio, die einen konsistenten Endpunkt bereitstellen. Alle Daten bleiben im lokalen Netzwerk und werden nicht an die Cloud gesendet.
