Dario Amodei und Jensen Huang mit KI Agenten

Claude kontrolliert KI-Agenten gemeinsam mit Nvidia

Andreas Becker GPT-Images-2.0
Dario Amodei und Jensen Huang mit KI Agenten

Anthropic und Nvidia wollen Unternehmen mehr Kontrolle über KI-Agenten geben, die selbstständig auf Dateien, Dienste und Firmendaten zugreifen. Claude Managed Agents verwahrt dafür Zugangsdaten außerhalb der Reichweite des Agenten, während Nvidias OpenShell jeden erlaubten und blockierten Zugriff protokolliert.

Zugangsdaten bleiben für den Agenten unsichtbar

Claude Managed Agents ist eine Sammlung kombinierbarer Schnittstellen für den Aufbau und Betrieb von KI-Agenten. Die Agentenschleife läuft auf einem anderen Server als die abgeschottete Umgebung, in der der Agent seine Aufgaben erledigt. Passwörter und Zugangsschlüssel liegen zusätzlich in einem getrennten Tresor und sind für den Agenten nicht sichtbar.

Unternehmen erhalten außerdem Prüfprotokolle und können ihre bestehenden Zugriffsregeln anbinden. Die Arbeitsumgebung darf auf der eigenen Infrastruktur oder bei einem verwalteten Anbieter laufen. Lang laufende Sitzungen behalten ihren Fortschritt und ihre Ergebnisse auch dann, wenn die Verbindung zwischenzeitlich abbricht.

Anzeige

OpenShell erlaubt nur vorab festgelegte Zugriffe

Nvidias Open-Source-Software OpenShell setzt eine zweite Schutzschicht außerhalb des KI-Modells. Sie blockiert zunächst sämtliche Aktionen und gibt nur frei, was eine Regel erlaubt. Das betrifft eingesetzte Tools ebenso wie Dateien, Netzwerkverbindungen und Daten.

Jede Entscheidung wird aufgezeichnet. Teams können deshalb mit engen Berechtigungen beginnen, die Protokolle auswerten und den Zugriff auf das beschränken, was eine Aufgabe tatsächlich benötigt. Ein sogenannter Policy Prover überprüft mit mathematischen Verfahren, welche Ziele ein Agent unter den festgelegten Regeln erreichen kann.

Nvidias größere Open Agent Safety Platform ergänzt OpenShell um Sentry. Dieser unabhängige Wächter läuft auf BlueField-4-DPUs und kann einen Agenten innerhalb von Millisekunden isolieren, sobald er seine Grenzen überschreitet. OpenShell steht unter der Apache-2.0-Lizenz auf GitHub bereit. Claude Managed Agents ist ebenfalls verfügbar und unterstützt auch mehrere Agenten, die Aufgaben parallel untereinander verteilen.

Von Menschen für Menschen

Jeder Artikel entsteht durch menschliche Ideen und sorgfältige Prüfung. KI unterstützt uns vor allem bei Recherche und Feinschliff. Wir freuen uns über jede Unterstützung.

Jeder Beitrag zählt – auch das Teilen.