ByteDance zeigt eine völlig neue KI für flüssige Gespräche
Das Modell SeedRealtime verarbeitet Video und Ton gleichzeitig. So gehören nervige Pausen der Vergangenheit an.
ByteDance hat mit SeedRealtime ein neues KI-Modell veröffentlicht, das Audio-, Video- und Textdaten ohne Zeitverzögerung in einer einzigen Architektur verarbeitet. Es kann dadurch gleichzeitig sehen, hören und sprechen. Das ermöglicht fließende Unterhaltungen ohne lästige Pausen.
Schluss mit abgehackten Dialogen
Bisherige Ansätze verarbeiten Spracherkennung, visuelle Analyse und Sprachausgabe strikt nacheinander. Das erzeugt Latenzen und der Kontext geht oft verloren. SeedRealtime vereint diese Schritte dagegen direkt in einer einzigen Architektur.
Dadurch entscheidet das Modell selbstständig über den passenden Gesprächsrhythmus. Statt auf simple Regeln zur Erkennung von Sprachaktivität zu warten, analysiert SeedRealtime das gesamte Umfeld. Es erfasst Sprecher, Pausen sowie Hintergrundgeräusche und wählt so den richtigen Moment für eine Antwort.
Quelle: Bytedance
Visueller Kontext statt starrer Befehle
Ein entscheidender Vorteil ist die tiefe Einbindung von Bildinformationen. Das Modell nutzt den visuellen Kontext direkt, um gleichklingende Wörter zu unterscheiden oder unpräzise Angaben zu verstehen. Sagt ein Nutzer einfach »dieses«, verknüpft SeedRealtime das Wort sofort mit der entsprechenden Geste im Kamerabild.
Das Modell agiert bei Bedarf auch proaktiv. In einer Demonstration korrigiert SeedRealtime einen Nutzer bei der Bedienung einer Espressomaschine. Füllt er ganze Bohnen in den Siebträger, greift es unaufgefordert ein und erklärt, dass diese vorher gemahlen werden müssen.
Anzeige
Bessere Leistung bei Hintergrundlärm
Selbst in lauten Umgebungen wie Flughäfen oder Restaurants funktioniert das Modell zuverlässig. Während eines Abendessens mit mehreren Personen ordnet es Namen und Stimmen den jeweiligen Gesichtern zu. Nebengespräche von Unbeteiligten ignoriert SeedRealtime, was falsche Antworten verhindert.
In Tests mit Nutzern reduzierte das Modell Rhythmusprobleme während der Unterhaltung im Vergleich zu älteren Architekturen um die Hälfte. Testpersonen meldeten deutlich weniger ungewollte Unterbrechungen.
SeedRealtime ist bereits vollständig ausgerollt. Details zu Entwickler-Schnittstellen, Preisen oder regionaler Verfügbarkeit fehlen jedoch noch. Künftig soll das Modell noch schneller reagieren und Aufgaben wie Ticketbuchungen direkt selbst ausführen.
