Paukenschlag bei Anthropic: Unabhängige KI-Prüfer dürfen jetzt fast alles

Anthropic gewährt sechs Mitarbeitern der gemeinnützigen Prüforganisation METR weitreichenden Zugang zu internen Informationen und Systemen. Das Team kann Sicherheitsrisiken untersuchen und seine Bewertungen ohne Freigabe des KI-Unternehmens veröffentlichen.

Prüfer erhalten Zugang wie eigene Mitarbeiter

Die sechs Prüfer bekommen Firmenhardware, Büroräume und interne Zugänge, die ungefähr denen von Anthropics eigenen Teams zur Risikobewertung entsprechen. Mitarbeiter sollen Informationen mit ihnen grundsätzlich so teilen wie mit Kollegen, die an der sicheren Ausrichtung von KI-Modellen arbeiten.

Dahinter steht ein Problem der KI-Kontrolle. Außenstehende sehen normalerweise weniger als der Entwickler selbst. Angaben zum Training und zur Rechenleistung können jedoch Geschäftsgeheimnisse betreffen oder Angreifern helfen. Die eingebundenen Prüfer sollen diese Informationslücke schließen, ohne sämtliche Details öffentlich zu machen.

Anthropic kann Berichte nicht stoppen

METR darf Analysen zu Risiken, Vorfällen und Sicherheitspraktiken veröffentlichen. Anthropic hat dabei kein Vetorecht, kann aber verlangen, dass Informationen aus eng definierten Kategorien geschwärzt werden. METR darf öffentlich erklären, welche Schwärzungen es für gerechtfertigt hält.

Vom regulären Informationsaustausch ausgenommen sind unter anderem Kundendaten, anwaltlich geschützte Informationen und Angaben zur Modellarchitektur. Sind Architekturdetails für eine Risikobewertung besonders relevant, will Anthropic sie nach interner Genehmigung grundsätzlich zugänglich machen.

Drei Stufen für externe Kontrollen

Anthropic entwickelt dafür ein Modell mit drei Zugangsstufen. Auf Stufe eins untersuchen Prüfer klar begrenzte Risiken und benötigen eine Freigabe zur Veröffentlichung. Stufe zwei bietet mehr Einblick und Veröffentlichungsrechte ohne vorherige Zustimmung. Auf Stufe drei kommt der mitarbeiterähnliche Zugang hinzu, den METR bereits erhält.

SecureBio arbeitet derzeit auf Stufe eins und prüft das Kapitel zu chemischen und biologischen Waffen im Risikobericht vom August. Weitere Kooperationen betreffen Accenture und Faculty. Mit Hugging Face führt Anthropic erste Gespräche. Die Einbindung externer Prüfer erfolgt freiwillig.