OpenAI Codex lernt Abläufe durch einmaliges Zusehen
Record & Replay automatisiert wiederkehrende Aufgaben völlig ohne lange Prompts. Du musst es der Codex-App nur einmal vormachen.
OpenAI hat für seine Codex-App die neue Funktion »Record & Replay« veröffentlicht. Nutzer können Codex auf dem Mac einen Arbeitsablauf einmal vormachen, woraus das KI-Modell einen wiederverwendbaren Ablauf generiert. Damit entfällt das Schreiben langer Prompts für wiederkehrende Klick-Aufgaben.
Von der Aufzeichnung zum eigenen Skill
Die neue Funktion zielt auf Aufgaben ab, die sich leichter zeigen als beschreiben lassen. Dazu gehören laut OpenAI das Einreichen von Spesen, das Buchen von Parkplätzen oder das Herunterladen standardisierter Reports.
Der Anwender startet die Aufnahme in der Codex-App und führt die Aufgabe normal auf seinem Mac aus. Codex beobachtet dabei die getätigten Aktionen sowie die Fensterinhalte.
Nach Beendigung der Aufnahme analysiert das KI-Modell den Arbeitsablauf und erstellt daraus einen sogenannten Skill. Dieser beschreibt, welche Eingaben benötigt werden, welche Schritte folgen und wie das Ergebnis überprüft wird.
Der Nutzer kann diesen Skill anschließend weiter verfeinern. So lassen sich versteckte Präferenzen wie Dateinamenskonventionen oder Standardwerte für bestimmte Felder dauerhaft festlegen.
Anzeige
Codex übernimmt Maus und Tastatur
Um den gelernten Skill später abzurufen, reicht ein kurzer Befehl in einem neuen Chat-Verlauf. Der Nutzer übergibt Codex lediglich die abweichenden Werte für den neuen Durchlauf, etwa eine andere Videodatei oder einen neuen Zeitraum für einen Bericht.
Codex greift dann auf die Berechtigung »Computer Use«, Browser-Aktionen oder installierte Plugins zurück, um die Aufgabe eigenständig abzuarbeiten. In einem Begleitvideo demonstriert OpenAI den Ablauf am Beispiel eines Video-Uploads.
Codex sucht sich dort selbstständig die passenden Metadaten aus einer Tabelle und überträgt Titel sowie Beschreibung. Im Anschluss fügt es das Vorschaubild hinzu, lädt das Video hoch und setzt den Status auf privat.
Einschränkungen zum Start
OpenAI empfiehlt, für »Record & Replay« möglichst kurze und in sich geschlossene Workflows mit klaren Erfolgskriterien zu wählen. Sensible Daten sollten bei der initialen Demonstration ausgespart werden.
Wer komplexe Automatisierungen für ganze Teams verteilen will, soll laut technischer Dokumentation weiterhin eigenständige Plugins programmieren. »Record & Replay« dient in erster Linie der schnellen Automatisierung für den Einzelnutzer.
Wie bei vielen neuen Funktionen müssen sich Anwender in Europa noch gedulden. Die Europäische Union, Großbritannien und die Schweiz sind von der initialen Veröffentlichung ausgeschlossen. Zudem setzt die Funktion zwingend voraus, dass »Computer Use« in den Einstellungen der App aktiviert und für das jeweilige Konto freigeschaltet ist.
Zudem ist »Record & Replay« zum Start exklusiv für macOS verfügbar.
