今天小編分享的科技經驗:端到端純視覺!OpenAI押注的人形機器人獻藝拜年了,歡迎閲讀。
大過年的,OpenAI 投資的人形機器人,通過最新視頻拜年了(doge)
有倆人上來就表演了一個從貨架取包裹,轉身放進筐裏:
鏡頭繼續推進,旁邊靠牆的兩個機器人,在不停地将俄羅斯方塊積木舉起 - 丢下 - 再舉起。
另一邊,充好電的機器人,温柔地拔掉插銷,微微半蹲,把插頭放到指定位置。
旁邊還來了個趕來充電的家夥:
一個小房間内,面帶笑容的機器人緩緩前進,然後流暢地撿起地上的公仔,放回了玩具筐。
最後,鏡頭跟随一個導遊機器人,在場地裏巡邏了一圈,剛才介紹到的機器人們還在各司其職,幹自己的事情。
官方表示,這個視頻一、鏡、到、底——
機器人們發出的每一個動作行為,都基于視覺神經網絡端到端控制。
并且視頻原本速度播放,無加速、無剪輯、無遠程操控。
有網友對這樣拟人仿真效果挺滿意:
不會吧不會吧,你不會還在等有人拉開機器人背後的拉鏈,然後摘下頭盔,走下平衡車吧!
想知道這是怎麼做到的?
官方 " 啪 " 地摔出了一份資料,把原理透露了一波。
來吧,展示
為了讓自家人形機器人被充分開發利用,背後公司—— 1X Technologies(簡稱 1X),從去年起開始追求最通用的方法,即使用視覺神經網絡,讓機器人端到端地學習運動行為。
官方釋出視頻中,每一個機器人的行為,都由 10Hz 頻率的視覺神經網絡控制。
它主要控制機器人們的前進、手臂、軀幹和頭部。
該視頻不包含遠程操作,沒有計算機圖形,沒有剪輯,沒有視頻加速,沒有腳本軌迹回放。
這一切都是通過神經網絡控制的,都是自主的。
據介紹,有 30 台機器人出演了這次展示視頻(目前,全公司共有 50 台該型号機器人)
為了訓練生成視頻中展示行為的機器學習模型,1X 團隊在這 30 台機器人中組裝了一個高質量、多樣化的演示數據集。
這些數據被用來訓練出一個基礎模型,這個模型可以理解廣泛的身體行為,比如清潔整理房屋、拾撿物品、和人類 or 其他機器人社交。
然後,團隊對基礎模型進行微調,讓它成為更具體的功能系列,比如用于一般門操作的模型、用于倉庫任務的模型。
再然後,再微調已經微調過的模型,讓它生成的行為和特定任務(如打開特定的某道門)保持一致。
這樣的訓練方式,讓團隊能夠在台式機的 GPU 上進行幾分鍾的數據收集和培訓,從而讓模型掌握新技能。
更重要的是,這樣的方式,讓機器人不受 AI 工程師數量的限制,就能學會短期移動操作技能。
本次展示出場的機器人是 1X 公司的初代產品,名叫EVE(夏娃),專為工作環境設計,主要用于工業、物流、零售和安全領網域。
EVE 從頭到腿是人形,然後用雙輪替代人類的雙腳。
它高 1.86 米,重 86 公斤,最高時速 14.4 公裏,承載能力 15 公斤,續航 6 小時。
雖然沒有直接喊話過,但由于設計和業務高度重合,EVE 被業内默認為對标馬斯克的特斯拉機器人 Optimus。
去年 5 月,Firstpost 消息顯示,EVE 在一場人形機器人比賽中,擊敗了 Optimus。
1X 首席執行官兼創始人 Bernt Bornich 表示,目前,EVE 已經上崗打工,在歐美部分地區投入商業化應用,至少兩個工業場所都部署了 EVE 來負責保安工作。
今年年初,1X 還在挪威首都奧斯陸的一個火車站出現,給往來旅客倒咖啡。
網友們倒是挺認可 EVE 的靈活程度:
但也有人提出了一些尚待解決和思考的問題:
一是穩定性,二是通用性,三是需要龐大的數據來訓練。
背後公司是誰?
EVE 背後的是一家挪威公司 1X,成立于 2014 年,前身為 Halodi Robotics。
該公司專注于創造能夠進行類似人類運動和行為的人型機器人,并在實際場景中部署。
特别提一下,1X 的現任產品負責人是Eric Jang。
Eric Jang 畢業于布朗大學計算機科學專業,畢業後在 Google X 工作了 6 年,擔任機器人高級研究科學家。
2022 年 4 月,Eric 加入了 1X,領導 AI 部門。
2022 年起,1X 就和 OpenAI 在機器人 AI 模型方面有所合作;目前,EVE 的部分功能就由 ChatGPT 提供支持。
到了去年 3 月,1X 正式有了 OpenAI" 撐腰 " ——獲得由 OpenAI 創業基金領投的 2350 萬美元融資,投後估值約為 1-2 億美金。
這也是 OpenAI 投資的第一家硬體公司。
OpenAI 的 COO Brad Lightcap 曾公開坦白:" 投資 1X 瞄準的時機是其機器人硬體已經成熟,能夠在 AI 的加持下,開拓更廣泛的勞動力市場。"
不過 Eric Jang 也發話了,1X 沒有和 OpenAI 獨家綁定。
我們還在測試别家的大模型,然後自己也在做一些動作和任務的小模型。
去年公布 2 輪融資的 1X,很快又在上個月,官宣完成了 1 億美元的 B 輪融資。
這筆錢不僅用來擴大具身智能的數據收集戰略,另一個去處是加強 NEO 機器人的市場推廣。
沒錯!除了 EVE,1X 還在加班加點研制第二代機器人 NEO(取用了《黑客帝國》主角的名字)。
和 EVE 的輪式人形不同,NEO 是純 · 人形機器人,雙腳上有 55 個自由度,可以自由行走。
有腿之後,NEO 可以説是完全按人類的外形和運動方式設計:
有頭、身體、手臂和腿,會走路、抓東西,并通過面部表情溝通。
同時它采用了高扭矩關節,與傳統的高性能齒輪動力相比,在控制、兼容、力量輸出、韌性、維護等方面全面得到增強。
目前,NEO 還處于研發階段,但官網宣稱該型号已經可以自然準确地穿門、爬樓梯。
1X 官方説法是,計劃在今年正式發布 NEO,并進行量產。
不知道有了雙腳的 1X 人形機器人,還能不能對馬斯克的 Optimus 遙遙領先?
等待看戲 .jpg
— 聯系作者 —
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>