Mistral steuert Roboter mit nur einer Kamera
Die neue KI Robostral Navigate navigiert autonom durch Räume. Teure Sensoren wie LiDAR werden überflüssig.
Robostral Navigate steuert Roboter autonom durch komplexe Räume und benötigt dafür lediglich eine herkömmliche RGB-Kamera. Das neue 8B-Modell verarbeitet natürliche Sprachbefehle und verzichtet vollständig auf zusätzliche Tiefensensoren oder LiDAR-Systeme.
Spitzenwerte mit minimaler Hardware
Das Modell erreicht im R2R-CE-Benchmark für ungesehene Umgebungen eine Erfolgsquote von 76,6 Prozent. Damit liegt der Wert um 9,7 Prozentpunkte über dem des bisher besten Single-Kamera-Systems. Selbst Ansätze mit Tiefensensoren oder mehreren Kameras werden um 4,5 Prozentpunkte übertroffen. Bei bereits bekannten Umgebungen steigt die Erfolgsquote auf 79,4 Prozent. Der durchschnittliche Navigationsfehler sinkt auf 3,25 Prozent.
Roboter bewegen sich durch konkrete Anweisungen wie »Verlasse die Lobby, gehe durch den Korridor, betritt den Vorratsraum und bleibe vor dem zweiten Regal stehen.« Die Navigation erfolgt über ein Pointing-Verfahren. Das Modell bestimmt die Bildkoordinaten des Zielorts in der aktuellen Kameraansicht sowie die gewünschte Ausrichtung des Roboters. Ist das Ziel nicht im Sichtfeld, wechselt das System zu Distanzangaben im lokalen Koordinatensystem.
Anzeige
Schnelleres Lernen per Simulation
Die Software wurde ohne bestehende Open-Source-Modelle aufgebaut. Als Basis dient ein hauseigenes Vision-Language-Modell, das auf Lokalisierungs- und Zählaufgaben spezialisiert ist. Das Navigationstraining erfolgte in einer virtuellen Umgebung mit rund 400.000 aufgezeichneten Pfaden in 6.000 unterschiedlichen Szenen.
Ein Trainingsverfahren namens Prefix-Caching nutzt eine baumbasierte Maskierung der Aufmerksamkeit (Attention-Masking). Dadurch wird eine komplette Bewegungsepisode in einer einzigen Sequenz verarbeitet. Das Verfahren reduziert die notwendigen Token um das 22-Fache und verkürzt die Rechenzeit von mehreren Monaten auf wenige Tage.
Im Anschluss verfeinert der Online-Reinforcement-Learning-Algorithmus CISPO das Verhalten durch Versuch und Irrtum, was die Erfolgsquote um weitere 3,2 Prozentpunkte steigerte. Das 8B-Modell läuft unabhängig von der genauen Kamerabauart und eignet sich für fahrende, laufende sowie fliegende Robotertypen unterschiedlicher Größe.
