OpenAI hat seine zentrale Speicherplattform Habitat in der Programmiersprache Rust neu geschrieben. Das System verarbeitet nun die Daten von über einer Milliarde ChatGPT-Nutzern und bewältigt mehr als 70 Millionen Anfragen pro Sekunde.
Von der Bibliothek zum eigenständigen Dienst
Habitat startete Ende 2023 als einfache Python-Bibliothek. Sie sollte Produktentwicklern den Zugriff auf die Datenbank Azure Cosmos DB erleichtern, ohne dass diese sich um die technische Umsetzung kümmern mussten.
Mit der wachsenden Zahl interner Dienste stieß dieser Ansatz an seine Grenzen. Änderungen am Code erforderten die Koordination dutzender Teams. Ein fehlerhaftes Update einer einzelnen Gruppe führte schließlich zu Ausfällen.
OpenAI zog Habitat daraufhin aus den einzelnen Anwendungen ab und wandelte es in einen eigenständigen Service um. Dadurch ließen sich Updates und Sicherheitsrichtlinien über einen einzigen Knotenpunkt steuern.
Quelle: OpenAI
Python wird zum Flaschenhals
Der Betrieb als reiner Python-Dienst verbrauchte allerdings viel Rechenleistung. Die Sprache eignet sich durch ihre Architektur nur bedingt für parallele Hintergrundaufgaben wie Datenkomprimierung oder Verschlüsselung.
Das führte bei hoher Last zu Verzögerungen. Eingehende Datenbankabfragen stauten sich im System, was die Ladezeiten für Endnutzer spürbar verlängerte.
Auch die nachgelagerten Datenbanken wurden durch das ineffiziente Verbindungsmanagement von Python überlastet. Die Entwickler mussten den Datenverkehr über die Proxy-Software Envoy bündeln, um die Anzahl der gleichzeitigen Verbindungen zu reduzieren.
Anzeige
Umbau im laufenden Betrieb
Um diese Architekturprobleme endgültig zu lösen, programmierte OpenAI Habitat im zweiten Quartal 2026 um. Zwei Entwickler übersetzten den Code mithilfe der hauseigenen Sprachmodelle Codex und GPT-5.5 vollständig in Rust.
Die neue Architektur arbeitet sechsmal CPU-effizienter als die vorherige Python-Version. Der Bedarf an Arbeitsspeicher sank um das Fünfzehnfache, während gleichzeitig die Latenzen zurückgingen.
Aktuell wickelt die Rust-Umgebung 95 Prozent des produktiven Datenverkehrs für rund 500 Petabyte an Daten ab. Die verbliebene Python-Infrastruktur schaltet OpenAI in den kommenden Wochen vollständig ab.
