A Xiaomi február 12 én hivatalosan bemutatta első nyílt forráskódú Robotic VLA modelljét Xiaomi Robotics 0 néven amely látás nyelv akció képességeket egyesít és 4,7 milliárd paraméterrel dolgozik. Ez az új rendszer több robotikai benchmarkon is SOTA azaz rekordszintű eredményt ért el és már most szabadon elérhető a fejlesztők számára.
Mi az a Xiaomi Robotics 0
A Xiaomi Robotics 0 egy Vision Language Action modell amely egyszerre érti a vizuális környezetet a természetes nyelvű utasításokat és ezekből konkrét robot mozgássorozatot generál. A cél hogy a robotok ne csak előre programozott rutinokat hajtsanak végre hanem magas szintű emberi utasításokat tudjanak rugalmasan lefordítani cselekvésre.
A modell 4,7 milliárd paramétert használ így a Xiaomi szerint egyszerre erős általános megértésben és valós idejű végrehajtásban is. Ez az architektúra kifejezetten olyan feladatokra készült mint törölköző hajtogatás kockák szétszedése vagy más hosszabb összetett manipulációs műveletek.
Mixture of Transformers az agy és a kisagy
A Xiaomi Robotics 0 szíve egy Mixture of Transformers MoT architektúra amely két nagy részből áll. A Xiaomi ezt úgy írja le mintha lenne egy „vizuális nyelvi agy” és mellette egy „akció végrehajtó kisagy”.
- A Visual Language Brain VLM felel az emberi parancsok értelmezéséért és a térbeli viszonyok megértéséért HD vizuális bemenet alapján. Ez az a rész amely képes felfogni egy olyan utasítást mint például „hajtsd össze a törölközőt”.
- Az Action Execution Cerebellum Action Expert egy többrétegű Diffusion Transformer DiT amely nem egyetlen mozdulatot hanem „Action Chunk” akció blokkot generál a folytonos sima mozgásokhoz.
A DiT a Xiaomi leírása szerint flow matching technológiával biztosítja hogy a robot mozgásai pontosak és stabilak maradjanak bonyolult feladatok közben is.
Okos tréning hogy ne butuljon el a modell
A VLA modelleknél ismert probléma hogy ha túl erősen akcióadatokra tanítják őket elveszíthetik az általános megértési képességük egy részét. A Xiaomi ezt egy hibrid tréningstratégiával próbálja megoldani amely multimodális és akcióadatokat kombinál.
- A VLM Synergistic Training során bevezetnek egy „Action Proposal” mechanizmust amely arra kényszeríti a VLM et hogy a képek értelmezésekor akcióeloszlásokat is előre jelezzen így a jellemzőtér közelebb kerül az akciótérhez.
- A DiT Specialized Training lépésben a VLM paramétereit befagyasztják és a DiT et tanítják arra hogy zajból pontos akciósorozatot állítson helyre kizárólag a VLM által szolgáltatott KV jellemzők alapján.
Ez a megközelítés segít abban hogy a modell egyszerre maradjon okos a megértésben és precíz a mozgásban anélkül hogy az egyik a másik rovására menne.
Valós idejű sima mozgások akadás nélkül
A fizikai robotoknál gyakori gond hogy az inferencia késleltetés miatt megtörnek az akciók akadozó mozgást okozva. A Xiaomi több trükköt is bevetett hogy a Robotics 0 folyékony és valós idejű mozgást biztosítson.
- Az asynchronous inference megoldja hogy a modell gondolkodása és a robot végrehajtása aszimmetrikusan azaz párhuzamosan fusson így a robot kevésbé vár a következő döntésre.
- A clean action prefix technika a korábban előrejelzett akciót használja bemenetként hogy folytonos pályát kapjon a rendszer és csökkenjen a rángatózás.
- A Xiaomi egy speciális Λ alakú attention maszkot is alkalmaz amely a figyelmet a jelenlegi vizuális visszacsatolásra irányítja a múltbeli tehetetlenség helyett így a robot gyorsan reagál hirtelen környezeti változásokra.
Ez különösen fontos amikor a robot dinamikus emberi környezetben dolgozik ahol tárgyak mozognak vagy a feladat hirtelen módosul.
Benchmark éllovas és fejlesztőbarát
A Xiaomi szerint a Robotics 0 30 modell közül is az élre került több szimulációs benchmarkban például LIBERO CALVIN és SimplerEnv környezetekben. Ezek olyan feladatokat tartalmaznak amelyek jól mérik egy robot agy általánosíthatóságát és hosszú távú feladatmegoldását.
Valós tesztekben a modell kétkarú robotokon bizonyított ahol hosszú horizontú kéz szem koordinációt igénylő feladatokat végzett mint például kockák szétszerelése vagy puha törölközők gondos összehajtása. Emellett a Xiaomi kiemeli hogy a modell fut valós időben fogyasztói szintű grafikus kártyákon is így a belépési küszöb fejlesztőknek és kutatóknak is kezelhető.
Hol érhető el a Xiaomi Robotics 0
A Xiaomi a projektet teljesen nyílt forráskóddal tette elérhetővé így a közösség gyakorlatilag rögtön elkezdheti a saját Xiaomi robot projektjeit.
- Projektoldal ahol dokumentáció és demók érhetők el
https://xiaomi robotics 0.github.io - Forráskód GitHub on teljes implementációval
https://github.com/XiaomiRobotics/Xiaomi-Robotics-0 - Model súlyok a Hugging Face en közvetlen letöltéssel és integrációhoz
https://huggingface.co/XiaomiRobotics
Aki szeretne Xiaomi stílusú robotikával kísérletezni akár oktatási akár hobbi akár kutatási célból most egy komplett VLA stackhez fér hozzá amelyet a gyártó maga is aktívan használ és fejleszt.
Forrásxiaomitime
GYIK
Mi az a Xiaomi-Robotics-0 pontosan
A Xiaomi Robotics 0 egy Vision Language Action modell amely képi információból és emberi nyelvű utasításból generál végrehajtható robot akciósorozatot.
Hány paramétert használ a modell
A modell körülbelül 4,7 milliárd paraméterrel rendelkezik így a Xiaomi középkategóriás méretű de erős képességű VLA modellnek pozicionálja.
Miben különleges a Mixture of Transformers architektúra
A MoT felépítésben külön válik a vizuális nyelvi agy VLM és az akció végrehajtó DiT kisagy így a rendszer egyszerre tud jól érteni és stabilan mozogni.
Milyen problémát old meg a hibrid tréningstratégia
A hibrid tréning célja hogy a modell ne veszítse el az általános megértési képességé miközben akcióadatokra tanul ezért szinergikus VLM tréninget és speciális DiT tanítást kombinál.
Miért fontos az aszinkron inferencia és a clean action prefix
Ezek a technikák segítenek csökkenteni az akadozó mozgást mivel decouplingot hoznak létre a gondolkodás és a végrehajtás között és folytonos akciópályákat tartanak fenn.
Milyen benchmarkokon bizonyított a Xiaomi Robotics 0
A modell többek között LIBERO CALVIN és SimplerEnv szimulációs benchmarkokon ért el csúcs eredményeket 30 másik modellhez viszonyítva.
Fut otthoni hardveren is vagy csak szerver környezetben
A Xiaomi szerint a Robotics 0 valós időben futtatható fogyasztói szintű GPU kártyákon is így fejlesztők és power userek számára is elérhető.
Hol tudom letölteni a kódot és a modelleket
A projekt GitHub repója a Xiaomi Robotics 0 néven érhető el a kódhoz a Hugging Face XiaomiRobotics fiókja pedig a model súlyokat tartalmazza.
