Physical Intelligence har den 31. oktober 2024 løftet sløret for π0, udtalt “pi-zero”, den første model fra et selskab, der er stiftet i år af en gruppe robotik-forskere med Sergey Levine og Karol Hausman i spidsen. Selskabet bygger ikke selv robotter. Det bygger software, og ambitionen er usædvanlig. Selskabet vil lave én AI-model, der kan styre mange forskellige slags robotter til mange forskellige opgaver.
π0 er en såkaldt vision-language-action-model, forkortet VLA. Navnet beskriver, hvad den gør. Den tager billeder fra robottens kameraer og en instruktion i almindeligt sprog ind, og den sender bevægelser ud til robottens led og gribere. Syn og sprog ind, handling ud, i én og samme model. Det er samme grundidé, som Google DeepMind tidligere har vist med RT-2, og π0 er da også bygget oven på en eksisterende sprog- og billedmodel, der i forvejen har lært begreber om verden fra internettet.
En generalist frem for en specialist
Det centrale ord i Physical Intelligences egen beskrivelse er “generalist”. I robotik er det normale ellers at træne én model til én opgave på én robot. En generalist-policy vender det om. Det er én model, der skal kunne en bred vifte af færdigheder og køre på flere forskellige robotkroppe, så viden fra den ene opgave og den ene maskine kan komme de andre til gode.
For at nå dertil har selskabet trænet π0 på et stort, blandet datasæt. Det rummer ifølge Physical Intelligence data fra otte forskellige robottyper, fra enkelte og tohåndede robotarme til mobile platforme, og bygger oven på det offentlige datasæt Open X-Embodiment, som flere af de samme forskere tidligere har været med til at samle. Selskabet kalder det den hidtil største samling af robotdata til dette formål.
Hvad “flow matching” gør
Det tekniske nye i π0 er en metode, selskabet kalder flow matching. Problemet, den løser, er, at en robot ikke kan nøjes med grove, enkeltvise skridt, hvis bevægelsen skal se flydende og præcis ud. Flow matching lader modellen i stedet udsende en jævn strøm af kontinuerlige motorkommandoer op til 50 gange i sekundet, så armen bevæger sig i et glat forløb frem for i hak. Teknikken er beslægtet med de diffusionsmodeller, der ellers bruges til at generere billeder, men her er den sat til at forme bevægelse i stedet for pixels.
Physical Intelligence demonstrerer modellen på en række opgaver, der kræver fingerfærdighed: at folde vasketøj fra en kurv til pæne stakke, rydde et bord og sortere service fra skrald, pakke dagligvarer og samle papkasser. Selskabet oplyser, at π0 i deres forsøg klarer sig bedre end et par af de toneangivende åbne modeller på feltet.
Forbeholdet er klart. Arbejdet, demonstrationerne og tallene kommer alle fra Physical Intelligence selv, og resultater fra et laboratorium er ikke det samme som en robot, der løser opgaverne pålideligt i et rigtigt hjem eller på en rigtig fabrik. Hvor robust π0 er uden for de viste scener, står stadig åbent.
For et humanoid-medie er π0 interessant, fordi en humanoid med to hænder skal kunne et nærmest uendeligt antal opgaver, og ingen kan håndprogrammere dem alle. En model, der lærer på tværs af mange robotkroppe og oversætter en talt besked til flydende bevægelse, er en mulig vej udenom det problem. Om den også virker på en tobenet krop, har Physical Intelligence ikke vist endnu.
