Jensen Huang vor einem roten Schalter

Nvidia hat eine Lösung gegen außer Kontrolle geratene KI-Agenten

Andreas Becker GPT-Images-2.0
Jensen Huang vor einem roten Schalter

Nvidia will KI-Agenten nicht länger allein mit Software und guten Anweisungen im Zaum halten. Die neue Open Agent Safety Platform kombiniert deshalb eine abgeschottete Laufzeitumgebung mit einem unabhängigen Wächter auf dem BlueField-4-Chip. Verlässt ein Agent seine erlaubten Grenzen, kann ihn das System binnen Millisekunden unter Quarantäne stellen und stoppen.

OpenShell setzt Grenzen außerhalb des KI-Modells

Den ersten Schutzwall bildet OpenShell. Die Open-Source-Software führt jeden Agenten in einer eigenen Sandbox aus und legt per Richtlinie fest, auf welche Dateien, Netzwerke, Prozesse, Zugangsdaten und Tools er zugreifen darf. Bevor der Agent startet, prüft ein sogenannter Policy Prover, ob die Vorgaben unerwünschte Zugriffe erlauben.

Quelle: Nvidia

Damit bekommt jeder erlaubte Schritt eine technische Grenze und bleibt nicht nur eine Anweisung im Prompt.

Die Kontrollen liegen außerhalb des KI-Modells und können daher nicht einfach durch eine geschickte Eingabe oder eine eigenmächtige Aktion des Agenten umgangen werden. OpenShell läuft bevorzugt auf Nvidias Vera-CPUs, lässt sich aber auch für Plattformen von Arm und Intel erweitern. Die Software steht unter der Apache-2.0-Lizenz auf GitHub bereit.

Anzeige

Sentry überwacht Agenten im Chip

Als zweite Ebene dient Nvidia Sentry auf den BlueField-4-DPUs. Der Wächter arbeitet getrennt vom Host und überwacht fortlaufend Anfragen, Antworten, Identitäten sowie Zugriffe auf Daten, APIs und Dienste. Weil der Agent diese Instanz weder kontrolliert noch verändern kann, bleibt die Überwachung auch bei einem kompromittierten Host aktiv.

Mehr als 100 Organisationen arbeiten mit Nvidia an der Plattform. Dazu gehören Anthropic, Microsoft, Cisco, IBM, SAP, Salesforce, SpaceXAI und mehrere Sicherheitsanbieter. Anthropic bindet OpenShell und BlueField in seine Claude Managed Agents ein.

Salesforce lässt Mitarbeiter OpenShell-Anfragen nach zusätzlichen Berechtigungen direkt in Slack genehmigen oder ablehnen. SpaceXAI setzt die Plattform für Cursor-Agenten und Grok-Modelle ein.

Quelle: Nvidia

Von Menschen für Menschen

Jeder Artikel entsteht durch menschliche Ideen und sorgfältige Prüfung. KI unterstützt uns vor allem bei Recherche und Feinschliff. Wir freuen uns über jede Unterstützung.

Jeder Beitrag zählt – auch das Teilen.