今天小编分享的科技经验:端到端纯视觉!OpenAI押注的人形机器人献艺拜年了,欢迎阅读。
大过年的,OpenAI 投资的人形机器人,通过最新视频拜年了(doge)
有俩人上来就表演了一个从货架取包裹,转身放进筐里:
镜头继续推进,旁边靠墙的两个机器人,在不停地将俄罗斯方块积木举起 - 丢下 - 再举起。
另一边,充好电的机器人,温柔地拔掉插销,微微半蹲,把插头放到指定位置。
旁边还来了个赶来充电的家伙:
一个小房间内,面带笑容的机器人缓缓前进,然后流畅地捡起地上的公仔,放回了玩具筐。
最后,镜头跟随一个导游机器人,在场地里巡逻了一圈,刚才介绍到的机器人们还在各司其职,干自己的事情。
官方表示,这个视频一、镜、到、底——
机器人们发出的每一个动作行为,都基于视觉神经网络端到端控制。
并且视频原本速度播放,无加速、无剪辑、无远程操控。
有网友对这样拟人仿真效果挺满意:
不会吧不会吧,你不会还在等有人拉开机器人背后的拉链,然后摘下头盔,走下平衡车吧!
想知道这是怎么做到的?
官方 " 啪 " 地摔出了一份资料,把原理透露了一波。
来吧,展示
为了让自家人形机器人被充分开发利用,背后公司—— 1X Technologies(简称 1X),从去年起开始追求最通用的方法,即使用视觉神经网络,让机器人端到端地学习运动行为。
官方释出视频中,每一个机器人的行为,都由 10Hz 频率的视觉神经网络控制。
它主要控制机器人们的前进、手臂、躯干和头部。
该视频不包含远程操作,没有计算机图形,没有剪辑,没有视频加速,没有脚本轨迹回放。
这一切都是通过神经网络控制的,都是自主的。
据介绍,有 30 台机器人出演了这次展示视频(目前,全公司共有 50 台该型号机器人)
为了训练生成视频中展示行为的机器学习模型,1X 团队在这 30 台机器人中组装了一个高质量、多样化的演示数据集。
这些数据被用来训练出一个基础模型,这个模型可以理解广泛的身体行为,比如清洁整理房屋、拾捡物品、和人类 or 其他机器人社交。
然后,团队对基础模型进行微调,让它成为更具体的功能系列,比如用于一般门操作的模型、用于仓库任务的模型。
再然后,再微调已经微调过的模型,让它生成的行为和特定任务(如打开特定的某道门)保持一致。
这样的训练方式,让团队能够在台式机的 GPU 上进行几分钟的数据收集和培训,从而让模型掌握新技能。
更重要的是,这样的方式,让机器人不受 AI 工程师数量的限制,就能学会短期移动操作技能。
本次展示出场的机器人是 1X 公司的初代产品,名叫EVE(夏娃),专为工作环境设计,主要用于工业、物流、零售和安全领網域。
EVE 从头到腿是人形,然后用双轮替代人类的双脚。
它高 1.86 米,重 86 公斤,最高时速 14.4 公里,承载能力 15 公斤,续航 6 小时。
虽然没有直接喊话过,但由于设计和业务高度重合,EVE 被业内默认为对标马斯克的特斯拉机器人 Optimus。
去年 5 月,Firstpost 消息显示,EVE 在一场人形机器人比赛中,击败了 Optimus。
1X 首席执行官兼创始人 Bernt Bornich 表示,目前,EVE 已经上岗打工,在欧美部分地区投入商业化应用,至少两个工业场所都部署了 EVE 来负责保安工作。
今年年初,1X 还在挪威首都奥斯陆的一个火车站出现,给往来旅客倒咖啡。
网友们倒是挺认可 EVE 的灵活程度:
但也有人提出了一些尚待解决和思考的问题:
一是稳定性,二是通用性,三是需要庞大的数据来训练。
背后公司是谁?
EVE 背后的是一家挪威公司 1X,成立于 2014 年,前身为 Halodi Robotics。
该公司专注于创造能够进行类似人类运动和行为的人型机器人,并在实际场景中部署。
特别提一下,1X 的现任产品负责人是Eric Jang。
Eric Jang 毕业于布朗大学计算机科学专业,毕业后在 Google X 工作了 6 年,担任机器人高级研究科学家。
2022 年 4 月,Eric 加入了 1X,领导 AI 部门。
2022 年起,1X 就和 OpenAI 在机器人 AI 模型方面有所合作;目前,EVE 的部分功能就由 ChatGPT 提供支持。
到了去年 3 月,1X 正式有了 OpenAI" 撑腰 " ——获得由 OpenAI 创业基金领投的 2350 万美元融资,投后估值约为 1-2 亿美金。
这也是 OpenAI 投资的第一家硬體公司。
OpenAI 的 COO Brad Lightcap 曾公开坦白:" 投资 1X 瞄准的时机是其机器人硬體已经成熟,能够在 AI 的加持下,开拓更广泛的劳动力市场。"
不过 Eric Jang 也发话了,1X 没有和 OpenAI 独家绑定。
我们还在测试别家的大模型,然后自己也在做一些动作和任务的小模型。
去年公布 2 轮融资的 1X,很快又在上个月,官宣完成了 1 亿美元的 B 轮融资。
这笔钱不仅用来扩大具身智能的数据收集战略,另一个去处是加强 NEO 机器人的市场推广。
没错!除了 EVE,1X 还在加班加点研制第二代机器人 NEO(取用了《黑客帝国》主角的名字)。
和 EVE 的轮式人形不同,NEO 是纯 · 人形机器人,双脚上有 55 个自由度,可以自由行走。
有腿之后,NEO 可以说是完全按人类的外形和运动方式设计:
有头、身体、手臂和腿,会走路、抓东西,并通过面部表情沟通。
同时它采用了高扭矩关节,与传统的高性能齿轮动力相比,在控制、兼容、力量输出、韧性、维护等方面全面得到增强。
目前,NEO 还处于研发阶段,但官网宣称该型号已经可以自然准确地穿门、爬楼梯。
1X 官方说法是,计划在今年正式发布 NEO,并进行量产。
不知道有了双脚的 1X 人形机器人,还能不能对马斯克的 Optimus 遥遥领先?
等待看戏 .jpg
— 联系作者 —
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>