Claude-Agenten tauschen Bücher und treffen den Geschmack nicht wirklich

Für »Project Swap« ließen 201 Mitarbeiter von Anthropic ihre Claude-Agenten Bücher tauschen. Jeder brachte ein Buch mit und erzählte seinem Agenten in einem kurzen Gespräch, was er gern lesen würde. Danach suchten die Agenten auf einem digitalen Tauschplatz selbstständig neue Bücher für ihre Auftraggeber.

Claude schätzt die Vorlieben der Leser

Aus den Gesprächen erstellte Claude für jeden Teilnehmer eine Rangliste von passenden Büchern. 188 Teilnehmer ordneten außerdem selbst jeweils zehn Bücher nach ihrem Geschmack. So konnten die Forscher vergleichen, ob Claude ihre Vorlieben richtig eingeschätzt hatte.

Bei 61 Prozent aller Buchpaare stimmten Claudes Reihenfolge und die des jeweiligen Teilnehmers überein. Zufälliges Raten hätte 50 Prozent erreicht. Die Agenten gingen also mit einer brauchbaren, aber trotzdem fehlerhaften Vorstellung von den Wünschen ihrer Auftraggeber in den Tausch-Handel.

Der größte Verlust entstand vor dem Handel

Auf dem Tauschplatz suchten die Agenten passende Bücher, verhandelten miteinander und organisierten auch Tausche zwischen mehreren Teilnehmern. Am Ende landeten die ertauschten Bücher auf den Wunschlisten ihrer Leser im Schnitt ungefähr auf Platz fünf von zehn.

Für den Vergleich rechnete Anthropic die Platzierungen in einen Wert zwischen null (0%) und eins (100%) um. Mit den tatsächlichen Vorlieben der Teilnehmer wäre höchstens 0,89 erreichbar gewesen. Der wirkliche Handel kam nur auf 0,55.

Eine optimale Verteilung auf Grundlage von Claudes geschätzten Vorlieben hätte aus Sicht der Teilnehmer nur 0,60 erzielt. Damit gingen 85 Prozent des Rückstands auf die ungenaue Einschätzung ihrer Wünsche zurück. Auf die Verhandlungen zwischen den Agenten entfielen die übrigen 15 Prozent.

Opus verhandelt erfolgreicher als Haiku

Anthropic wiederholte die Tauschrunden mit verschiedenen Claude-Modellen. Gemessen an Claudes eigenen Buchranglisten erreichten reine Haiku-Gruppen 0,75 und reine Opus-Gruppen 0,88. In gemischten Gruppen schnitten Opus-Agenten besser ab als Haiku-Agenten. Diese Modellvergleiche beruhen auf Claudes Schätzungen, während Anthropic den Rückstand von 85 Prozent anhand der Wunschlisten der Teilnehmer berechnete.

In einer späteren Umfrage gaben die Teilnehmer ihren Büchern durchschnittlich 7,2 von 10 Punkten. Geantwortet hatten 59 Prozent.