KI SpotlightNewsNvidia stellt PAIR vor: Lokale KI-Lasten im Heimnetz verteilen
Open-Source-Tool bündelt freie GPUs und Apple-Silicon-Geräte zu einem virtuellen Cluster – Beta für Windows, macOS und Linux.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- PAIR (Personal AI Router) ist ein Open-Source-Tool von Nvidia, das lokale KI-Anfragen automatisch auf alle verfügbaren Geräte im Heimnetzwerk verteilt.
- PAIR arbeitet als virtueller Router zwischen bestehenden Werkzeugen wie Ollama oder LM Studio und den Rechnern im Netzwerk, ohne dass Nutzer ihre Agenten oder Anwendungen anpassen müssen.
- PAIR leitet Anfragen an freie Rechner weiter, um eine einzelne GPU nicht zu überlasten, und bündelt die Ergebnisse für die aufrufende Anwendung.
- Unterstützt werden GeForce RTX ab der 20er-Serie, RTX-Pro-Workstations, DGX Spark und Silicon-Chips ab Apple M4.
- In einer Demo erledigte ein Drei-Geräte-Cluster eine Aufgabe mit fünf Subagenten in knapp 9 statt 18 Minuten auf einem einzelnen Laptop.
- PAIR findet kompatible Geräte im Netzwerk selbstständig und sichert den gesamten Datenverkehr zwischen den Rechnern mit MTLS-Verschlüsselung ab.
Nvidia stellt PAIR vor: Lokale KI-Lasten im Heimnetz verteilen
Nvidia hat mit PAIR (Personal AI Router) ein Open-Source-Tool veröffentlicht, das lokale KI-Inferenzanfragen automatisch auf alle verfügbaren Geräte im Heimnetzwerk verteilt. PAIR arbeitet als virtueller Router zwischen bestehenden Werkzeugen wie Ollama oder LM Studio und den Rechnern im Netzwerk, ohne dass Nutzer ihre Agenten oder Anwendungen anpassen müssen. Das Tool passt zu Nvidias Bestreben, offene KI stärker an die eigene Hardware zu binden – auch die Übernahme von Hugging Face für 12,9 Milliarden Dollar zeigt diese Ausrichtung.
Unterstützte Hardware und deutliche Beschleunigung in der Demo
Unterstützt werden GeForce RTX ab der 20er-Serie, RTX-Pro-Workstations, DGX Spark und Silicon-Chips ab Apple M4. In einer Demo erledigte ein Drei-Geräte-Cluster eine Aufgabe mit fünf Subagenten in knapp 9 statt 18 Minuten auf einem einzelnen Laptop. PAIR leitet Anfragen an freie Rechner weiter, um eine einzelne GPU nicht zu überlasten, und bündelt die Ergebnisse für die aufrufende Anwendung. Dadurch verkürzt sich die Wartezeit bei parallelen Agenten-Aufgaben, weil mehrere Geräte gleichzeitig rechnen können – ohne dass Nutzer ihre Anwendungen umstellen müssen.
Beta für Windows, macOS und Linux – mit MTLS-Verschlüsselung
Die Beta von PAIR steht für Windows, macOS und Linux bereit. Das Tool findet kompatible Geräte im Netzwerk selbstständig und sichert den gesamten Datenverkehr zwischen den Rechnern mit MTLS-Verschlüsselung ab. So lassen sich lokale KI-Cluster ohne manuelle Konfiguration aufbauen, während die Kommunikation zwischen den beteiligten Geräten verschlüsselt bleibt.
