OpenAI kauft Sicherheits-Startup für autonome KI-Agenten

Mit der Übernahme von Promptfoo integriert OpenAI automatisierte Sicherheitstests direkt in seine neue Software-Plattform für Geschäftskunden.

Andreas Becker09.03.26 Nano Banana

Kurzfassung Quellen

OpenAI übernimmt das auf KI-Sicherheit spezialisierte Startup Promptfoo.
Die Technologie wird in die Unternehmensplattform Frontier integriert, um autonome KI-Agenten vor Schwachstellen zu schützen.
Entwickler können so Risiken wie Prompt Injections oder Datenlecks bereits vor dem produktiven Einsatz erkennen.
Die beliebte Open-Source-Version von Promptfoo soll unter der bestehenden Lizenz weitergeführt werden.

OpenAI übernimmt das auf KI-Sicherheit spezialisierte Startup Promptfoo. Die Technologie soll künftig autonome KI-Agenten in Unternehmensnetzwerken vor Cyberangriffen schützen und die Zuverlässigkeit der Systeme vor dem produktiven Einsatz systematisch prüfen.

Automatisierte Tests für KI-Agenten

OpenAI integriert die Technologie von Promptfoo direkt in seine im Februar vorgestellte Unternehmensplattform Frontier. Diese Umgebung dient Firmen dazu, autonome KI-Assistenten für den Arbeitsalltag zu entwickeln und zu verwalten. Während herkömmliche Chatbots lediglich Text generieren, führen diese neuen Agenten Aufgaben selbstständig aus und greifen dabei aktiv auf interne Datenbanken und Programme zu.

Dieser tiefere Systemzugriff erfordert neue Sicherheitskonzepte. Promptfoo testet KI-Anwendungen automatisiert auf Schwachstellen und simuliert gezielte Angriffe, ein Verfahren, das in der Branche als Red-Teaming bekannt ist. Die Software spürt dabei kritische Fehler wie Datenlecks, den Missbrauch von angebundenen Programmen oder Prompt Injections auf. Bei einer Prompt Injection versuchen Angreifer, das Sprachmodell durch raffiniert formulierte Eingaben zu unerlaubten Handlungen zu zwingen.

Unternehmen erhalten durch die Übernahme eine native Lösung, um solche Risiken bereits während der Entwicklung eines Agenten zu erkennen und zu beheben. Die Plattform protokolliert alle Tests und Änderungen am System. Das erleichtert es Firmen, interne Richtlinien sowie externe gesetzliche Vorgaben zur Compliance lückenlos zu dokumentieren.

Freie Version bleibt erhalten

Das Startup Promptfoo startete ursprünglich als reines Open-Source-Projekt. Entwickler nutzen die offene Kommandozeilen-Schnittstelle weltweit, um große Sprachmodelle systematisch zu evaluieren. OpenAI sichert ausdrücklich zu, diese frei zugängliche Version unter der aktuellen Lizenz weiterzuführen und auch künftig zu pflegen.

Gleichzeitig fließt die Expertise der beiden Promptfoo-Gründer Ian Webster und Michael D'Angelo nun direkt in die kommerziellen Produkte von OpenAI ein. Die Lösungen des Startups sind in der Industrie bereits stark verankert. Aktuell vertrauen mehr als ein Viertel der umsatzstärksten US-Unternehmen, die sogenannten Fortune 500, auf die Technologie zur Absicherung ihrer KI-Projekte.

Über die exakten finanziellen Details der Übernahme vereinbarten beide Seiten Stillschweigen. Das junge Unternehmen hatte zuletzt im Jahr 2024 in einer ersten Finanzierungsrunde rund fünf Millionen US-Dollar eingesammelt. Der formelle Abschluss der Transaktion unterliegt nun noch den üblichen rechtlichen und regulatorischen Bedingungen.