Mistral steuert Roboter mit nur einer Kamera
Die neue KI Robostral Navigate navigiert autonom durch Räume. Teure Sensoren wie LiDAR werden überflüssig.
Mistral AI hat mit »Robostral Navigate« ein neues 8B-Modell für die autonome Steuerung von Robotern veröffentlicht. Es verarbeitet natürliche Sprachbefehle und orientiert sich ausschließlich über eine gewöhnliche RGB-Kamera in Büros, Wohngebäuden oder Außenanlagen. Zusätzliche Hardware wie LiDAR oder Tiefensensoren entfällt komplett.
Bessere Orientierung als Multi-Sensor-Ansätze
Im R2R-CE-Benchmark für unbekannte Umgebungen erzielt Robostral Navigate eine Erfolgsquote von 76,6 Prozent. Es liegt damit 9,7 Prozentpunkte vor dem bisher stärksten Single-Kamera-Ansatz. Auch hardwareintensive Konfigurationen mit mehreren Kameras oder Tiefensensoren übertrifft das 8B-Modell um 4,5 Prozentpunkte. Der Navigationsfehler fällt auf 3,25 Prozent. In bereits bekannten Räumen findet es in 79,4 Prozent der Fälle sicher ans Ziel.
Pointing statt starrer Koordinaten
Das Modell steuert Roboter primär über ein Pointing-Verfahren. Es berechnet die Zielkoordinaten direkt in der aktuellen Kameraansicht und legt die Ausrichtung für die Ankunft fest. Diese visuelle Herangehensweise macht die Navigation unempfindlich gegenüber wechselnden Kameramodellen oder abweichenden Maßstäben. Erst wenn das Ziel nicht mehr im direkten Sichtfeld liegt, greift Robostral Navigate auf metrische Distanzangaben zurück und gibt Befehle wie: »Bewege dich 2 Meter vorwärts und drehe dich um 25 Grad nach links.«
Anzeige
Effizientes Training durch Prefix-Caching
Mistral AI hat Robostral Navigate intern auf Basis eines eigenen Vision-Language-Modells entwickelt. Für das Training erstellten die Entwickler 400.000 Pfade in 6.000 simulierten Szenen.
Um die Rechenzeit zu verkürzen, nutzt das Unternehmen ein Prefix-Caching-Verfahren mit baumbasierter Maskierung der Aufmerksamkeit. Eine komplette Bewegungsepisode wird so auf eine einzige Sequenz komprimiert. Dieser Kniff senkt den Token-Bedarf um den Faktor 22 und reduziert die Trainingsdauer von Monaten auf wenige Tage.
Abschließend lernte Robostral Navigate über den Algorithmus CISPO aus Fehlern und steigerte die Erfolgsquote dadurch noch einmal um 3,2 Prozentpunkte. Das 8B-Modell funktioniert auf fahrenden, laufenden sowie fliegenden Robotern unabhängig von deren Abmessungen.
