OpenRouter verteilt KI-Anfragen nicht mehr vorrangig an den günstigsten Anbieter. Der neue Standard berücksichtigt auch Geschwindigkeit, Ausfälle und die Qualität von Tool-Aufrufen. Nutzer müssen dafür nichts an ihrem Code ändern.
Gute Antworten statt niedrigster Listenpreis
Der Router berechnet für jede Anfrage, was eine brauchbare Antwort tatsächlich kostet. Dazu zählt neben dem Preis auch, wie lange ein Anbieter bis zum ersten Token braucht, wie schnell er die restliche Antwort ausgibt und wie oft Anfragen scheitern.
Auch die realen Kosten fließen ein. OpenRouter berücksichtigt unter anderem das Verhältnis von Eingabe- und Ausgabe-Token sowie Treffer im Prompt-Cache. Dadurch kann ein Anbieter nicht mehr allein mit einem niedrigen Preis für Eingabe-Token einen großen Teil des Datenverkehrs gewinnen.
Fällt ein Endpunkt durch Fehler oder Kapazitätsprobleme auf, erhält er vorübergehend weniger Anfragen. Eine laufende Unterhaltung bleibt jedoch beim ursprünglichen Anbieter, solange der Prompt-Cache aktiv ist. Das verhindert unnötige Cache-Verluste.
Anzeige
17 Prozent schneller bis zum ersten Token
OpenRouter verglich den alten und den neuen Router eine Woche lang mit mehr als 24 Millionen Anfragen und 103 Milliarden Eingabe-Token. Der Median bis zum ersten Token sank von 1.007 auf 837 Millisekunden. Gleichzeitig stieg der Durchsatz um 16 Prozent und die vollständige Antwort war im Median 19 Prozent schneller.
Der Anteil der Anfragen mit mindestens einem Kapazitätsfehler fiel von 7,1 auf 3,8 Prozent. Das entspricht einem Rückgang um 46 Prozent. Die Kosten pro 1.000 Anfragen stiegen allerdings um sechs Prozent.
Preis-Routing bleibt als Option erhalten
Die neue Auswahl greift automatisch, wenn ein Nutzer keinen Anbieter und keine Sortierung vorgibt. Wer weiterhin nur nach dem niedrigsten Preis routen möchte, kann die Sortierung auf »price« setzen oder dem Modellnamen den Zusatz »:floor« anhängen. Vorgaben für bestimmte Anbieter umgehen den neuen Standard ebenfalls.
