Eine Nvidia DXG Maschine

Perplexity lässt sich jetzt lokal mit der Nvidia DGX Spark nutzen

Andreas Becker GPT-Images-2.0
Eine Nvidia DXG Maschine

Perplexity hat den »Portable Computer« veröffentlicht. Das System führt komplexe KI-Agenten vollständig lokal auf der Nvidia-Workstation DGX Spark aus. Sensible Unternehmensdaten verlassen die eigene Hardware dadurch nicht mehr.

Lokale Modelle übernehmen die Steuerung

Die gesamte Umgebung läuft – vom Agent-Harness über den Orchestrator bis zu den Subagenten – direkt auf der Maschine. Das Angebot richtet sich an Abonnenten der Pro- und Max-Tarife. Es setzt zwingend eine Nvidia DGX Spark mit GB10-Chip, 128 Gigabyte Arbeitsspeicher und mindestens einem Terabyte Speicherplatz voraus.

Nutzer setzen standardmäßig das Sprachmodell Qwen 3.8 27B als Orchestrator ein. Es liegt in einer 3-Bit-Quantisierung vor, benötigt 32 Gigabyte RAM und erfordert einen Download von 17,4 Gigabyte. Als Alternative liefert Perplexity ein eigenes, lokal installiertes PPLX-27B-Modell mit. Ein Update auf Nvidias Nemotron 3.5 Lightning (4-Bit-Quantisierung, 36 Gigabyte RAM) ist angekündigt.

Da die Modelle lokal arbeiten, fallen für die Ausführung keine Token-Kosten an. Das macht datenintensive Prozesse wie die Migration ganzer Repositories oder die stapelweise Zusammenfassung lokaler Dokumente auf eigener Hardware überhaupt erst praktikabel.

Twitter Beitrag - Cookies links unten aktivieren.

Abgeschirmte Arbeitsumgebung

In einem Praxisbeispiel liest die KI Pull-Requests auf GitHub aus, gruppiert sie nach Bearbeitungsstatus und postet eine Zusammenfassung in einen Slack-Kanal.

Code und Tools führt der Rechner dabei in einer isolierten Sandbox aus. Diese Umgebung beschränkt den Zugriff auf jene Dateien und verbundenen Anwendungen wie Gmail oder Outlook, die für den Auftrag nötig sind.

Anzeige

Cloud-Zugriff nur nach Freigabe

Wenn eine Aufgabe aktuelle Informationen aus dem Internet oder die Logik größerer Cloud-Modelle erfordert, stoppt der Orchestrator den Prozess. Die Software bittet den Anwender um Erlaubnis, bevor sie den jeweiligen Arbeitsschritt an externe Sprachmodelle wie GPT-5.6 oder Claude Fable 5 übergibt.

Dabei filtert der Orchestrator personenbezogene Daten vorab heraus und überträgt lediglich die Textanweisung an die Server. Die eigentlichen Dokumente verbleiben auf dem lokalen Laufwerk.

Insgesamt eine sehr interessante und datenschutzfreundliche Idee, ohne auf die Top-Modelle zu verzichten.

Von Menschen für Menschen

Jeder Artikel entsteht durch menschliche Ideen und sorgfältige Prüfung. KI unterstützt uns vor allem bei Recherche und Feinschliff. Wir freuen uns über jede Unterstützung.

Jeder Beitrag zählt – auch das Teilen.