今天小編分享的科技經驗:稚晖君機器人葡萄縫針神技再現江湖,這次是人形的,騎自行車驚呆眾人,歡迎閲讀。
剛剛!鴿了兩年之後,稚晖君罕見更新視頻——
上線号稱史上最復雜項目靈犀 X2,能夠像人一樣靈動地騎自行車。
評論區早已經是聽取哇聲一片。
他自己表示,悄咪咪研發了三個月,視頻準備了一個月。嗯,鴿的越久,事情越大!
據介紹,之所以這次如此有人味兒,源于背後集齊了運動、互動、作業三大智能。
于是乎,四年前葡萄縫針的神技,再次在靈犀 X2 上看到了。
它能像人一樣,有着一呼一吸的韻律。
它可以毫秒級互動,幫助你決策一些日常的選擇困難。
睡前該喝什麼飲料。
除此之外,它還擁有一些其他機器人不具備的抽象能力。
比如腦殼裏裝手機???
還有遠程裸眼 3D 交流。。。
着實是非常抽象了。
本體是怎麼設計?
整個設計過程也完全公開,與以往的項目一樣的硬核。他們此次在本體設計上有很多創新思考。
首先是硬體系統,抽象出了一個個可復用的核心組件。
小腦控制器 Xyber-Edge;
網域控制器 Xyber-DCU;
智能電源管理系統 Xyber-BMS;
核心關節模組;
……
通過這樣模塊化的組件設計,就可以像拼無人機航模一樣來搭建起各種形态的人形機器人系統。
就比如拿抓完全體,這裏他又挖坑了,鴿了兩年不知還要再鴿幾年。
還有就是在材料選擇上,選擇了很親和的柔性材料。他們進行了多種嘗試,包括 TPU、ETPU、EVA,甚至是美妝蛋???
另外,他們全新設計了核心關節模組,并在原型機全身 28 個自由度沒有使用任何一個并聯結構。
這樣既能保證慣量上移,又實現了運控算法的完全解耦。
就像這樣,跟人一樣很 Chill 的晃腿 ~
更為重要的突破來自運控算法層面——全面從 Model-based 轉向學習驅動的強化學習。
通過深度強化學習與模仿學習相結合,讓靈犀 X2 學會了像人一樣的運動能力。
而且平衡能力不錯,随機跑起來或者原地轉圈也是輕松拿捏。
甚至它還能抓住舞蹈精髓,跟随 bgm 跳一曲科目三。
同時,更考驗身體協調性和平衡能力的深蹲動作,靈犀 X2 舉着小杠鈴也輕松完成了。
(體重暴露了,靈犀 X2 重 33.8KG,加上身高在一米三左右,嗯,标準身材)
此外,它還學會了人類必備技能——偷懶(doge),各種工具用起來也是得心應手。
踩滑板車、平衡車那叫一個 6:
不過要想要想訓練出這樣一個靈活的機器人,其實并不容易。他們在過程中也遇到了各種各樣神奇的體驗(Bug)。
比如偶然習得了一種抽象的走路方式。。。
不想動了就直接擺爛,太像人了有沒有?!
又或者鬧一波情緒,經鑑定該孩子為情緒暴躁型。
目前靈犀 X2 還在持續進化運動能力中,按照稚晖君的説法:
通過數據驅動的算法範式,智能體能夠從每秒數萬次的環境互動和動作數據中,找到突破運動瓶頸的方法。
我們相信人形機器人的運動智能問題,很快會得到徹底解決。
讓機器人有人味兒了
不過要讓機器人真正跟人一樣,除了運動智能之外,互動智能、作業智能也必不可少。
首先互動方面,要讓機器人不光四肢發達,頭腦也不簡單,這主要得益于他們開發的一套基于 Diffusion 的生成式動作引擎。
此外,還為靈犀 X2 訓練了定制的多模态互動大模型——硅光動語,以至于靈犀 X2 被稱為 " 第一台真正具備復雜互動能力的靈動機器人 "。
在此基礎上,通過邊緣側大腦和端到端模型架構,以及一系列工程優化,靈犀 X2 具備了毫秒級互動能力。
日常坐下來聊聊天(用了稚晖君本人的聲音訓練):
最有意思的是,當問靈犀 X2" 剛剛提的問題有多少是預先寫好的 ",它驕傲回答道:
完全随機。
與此同時,除了語音和視覺,靈犀 X2 所使用的模型還集成了動作模态,使它被賦予了生命感。
除了開頭提到的呼吸韻律,它還有自己的好奇心以及肢體語言:
當然,情緒價值拉滿的同時,靈犀 X2 還具備了一定的生產能力。
據稚晖君介紹,過去一年裏,他們初步找到了一條通往泛化作業智能的路徑,而靈犀 X2 則是集大成者。
結合已開源的數據集和框架,靈犀 X2 目前已具備簡單任務的零樣本泛化能力。
像前段時間 Figure 展現出來的多機協作,靈犀 X2 在某些特定任務中也能實現。
而按照規劃,最終靈犀 X2 能夠實現作業領網域的 " 機器人吉祥三保 " ——保安、保姆以及保潔。
One More Thing
同一天,稚晖君旗下的智元機器人和上海國有資本投資有限公司達成戰略合作。
目标嘛,主要是想在上海打造全球領先的智能機器人產業集群。
(上海首座人形機器人量產工廠由智元機器人打造)