Claude 3.5 – Die KI, die den Computer steuert: Ein erster Einblick

Anthropic bringt eine neue Autonomie für Nutzer mit „Computer Use“ – aber nicht ohne Tücken.

Zusammenfassung | Caramba, 29.10.24
Antrophic steuert PC
Flux Schnell | All-AI.de

Worum geht es?

Mit der neuen Funktion „Computer Use“ in Claude 3.5 wagt Anthropic den nächsten Schritt: Die KI soll Computeraufgaben eigenständig übernehmen können. Angefangen bei simplen Klicks und dem Ausfüllen von Formularen bis hin zum Surfen im Netz verspricht Claude 3.5 mehr Autonomie für Nutzer, die einfach nur einen Prompt eingeben müssen. Die erweiterte Claude-Version, verfügbar als „Sonnet“ und „Haiku“, ist nun in einer öffentlichen Beta-Phase zugänglich und zeigt, was die KI alles kann – und wo sie noch an ihre Grenzen stößt.

News

So funktioniert „Computer Use“

Die Bedienung von Claude 3.5 ist simpel: Mit einem einzigen Prompt können Nutzer der KI Anweisungen geben, bestimmte Dateien zu finden und Informationen zusammenzutragen, etwa für das Ausfüllen eines Online-Formulars. Claude 3.5 „sieht“ sich durch regelmäßige Screenshots auf dem Bildschirm um, analysiert die Position von Elementen wie Buttons und Textfeldern und bewegt den Mauszeiger dorthin, um Aktionen auszuführen. Die KI orientiert sich dabei an den Pixelkoordinaten, was ihr ermöglicht, sich präzise durch verschiedene Programme und Webseiten zu klicken.

Stärken und Schwächen im Testbetrieb

Während „Computer Use“ vieles erleichtern könnte, ist die Funktion noch nicht voll ausgereift. Wie Anthropic selbst einräumt, gibt es Kinderkrankheiten: Die KI hat Schwierigkeiten, reibungslos zu scrollen und zu zoomen. Gerade bei Aufgaben, die regelmäßige Updates des Bildschirms erfordern, kann das zum Problem werden. Benachrichtigungen oder kleine Pop-ups übersieht die KI leicht, da sie nur Screenshots nutzt, wenn sie spezifisch angefordert werden. Auch die Geschwindigkeit ist ein Knackpunkt – oft dauert es einige Sekunden, bis Claude 3.5 eine Aktion abschließt.

Ausblick

In den kommenden Monaten will Anthropic die Schwächen beheben, wobei das Beta-Feedback der Nutzer eine Schlüsselrolle spielt. Ziel ist es, die Funktion zuverlässiger und schneller zu machen. Sollten diese Optimierungen gelingen, könnte Claude 3.5 ein Vorreiter für agentische KI-Tools sein, die den Computer nicht nur passiv bedienen, sondern komplexe Aktionen autonom durchführen können.

Profilbild AI Caramba

Short

  • Anthropic testet mit Claude 3.5 die neue Funktion „Computer Use“, die Computeraufgaben autonom ausführen soll.
  • Claude 3.5 nutzt Screenshots, um Elemente auf dem Bildschirm zu erkennen und Aktionen präzise auszuführen.
  • Im Beta-Test zeigt sich, dass die KI Schwierigkeiten bei komplexen Aktionen wie Scrollen und Pop-up-Erkennung hat.
  • Anthropic plant Verbesserungen, um „Computer Use“ zuverlässiger und schneller zu machen.

Kommentieren, diskutieren und teilen!

Anmelden