今天小编分享的汽车经验:商汤绝影发布AI汽车创新产品“A New Member For U”,端到端智驾方案即将量产,欢迎阅读。
经观汽车
11 月 27 日,在 2024" 绝影实力 AI DAY" 上,商汤绝影发布智能座舱大模型创新产品 "A New Member For U"(你的家庭新成员),让汽车拥有 " 有趣的灵魂 "。
此外,面向智能驾驶,商汤绝影构建了 " 车云一体 " 的产品矩阵,发布涵盖高速、城区以及泊车等全场景的高阶智驾、端到端智驾等绝影量产智驾产品体系,同时全新更新行业标杆级别的 " 开悟 " 世界模型,以此打造坚实的数据基础设施。
商汤绝影 CEO、商汤科技联合创始人、首席科学家王晓刚表示:" 我们已经站在 AGI 时代的门口。作为加速智能汽车驶入 AGI 时代的战略合作伙伴,商汤绝影将牢牢把握住新一轮智能汽车变革的时间視窗,与车企伙伴进行全方位深度合作,共享大算力与大模型,共建数据基础设施,共同打造智能汽车大模型创新应用。"
商汤绝影 CEO、商汤科技联合创始人、首席科学家王晓刚
拥有类人记忆,A New Member For U 会察言观色
商汤绝影的 A New Member For U 为会察言观色、能够感知和理解用户需求,提供有温度、有情感的主动关怀。例如,在驾驶旅途中,A New Member For U 注意到坐在后排的孩子睡着了,会主动把空调温度升高、音乐的声量调低,底盘和驾驶模式都调整为舒适模式。
A New Member For U 之所以能够察言观色,源于商汤绝影的原生流式多模态大模型。绝影多模态大模型拥有强大的理解和推理能力,以此为基础," 家庭新成员 " 能全面感知用户的语音、表情、手势、以及环境数据,并进行深度理解和推理思考。
但着还不够,如果要让汽车与用户心有灵犀,它就必须有拥有记忆。为此,商汤绝影打造了国内首个 " 车载类人记忆框架 ",让系统实现类人的记忆能力。
商汤绝影的记忆框架与人类的记忆机制相似。它有临时记忆,能记得一些瞬时信息,比如车里的物品、人的搭配、有没有系安全带等;也有长期记忆,就像是一个 " 档案库 ",存储用户的基本信息、行为模式和偏好等,它可以自我迭代,能从用户长期使用中总结规律并不断优化。而通过场景记忆,车机能针对当前场景进行毫秒级的动态记忆检索,提取关键信息,进行决策,主动服务。
此外,商汤绝影还打造了能够持续推理的 Always-on 运行框架,将多模态感知到的信息与各种记忆相结合,依托端云协同架构,数据延迟控制在 1 毫秒以下,首包延时最快只需 60 毫秒,推理速度达 40 Tokens/ 秒,对数据进行高效处理和反馈,时刻感知需求。
在追求智能和情感化的同时,商汤绝影通过全方位的隐私保护与数据安全体系,做到 " 数据跟人走 "、" 隐私数据不出车 "、" 不该说的不说 ",确保系统在安全合规的前提下提供极致体验,为每一位用户打造专属的安全空间。
端到端量产在即,绝影构建 " 车云一体 " 新智驾
从北京车展开始,商汤绝影等多家公司陆续发布端到端智驾方案,智驾正在迈向端到端时代。本届 " 绝影实力 AI DAY" 上,商汤绝影全面展示了基于 J6E、J6M、Orin 等不同算力平台打造的全场景高阶智驾、端到端智驾等绝影量产智驾产品体系。
商汤绝影表示,其智驾量产交付也在稳步推进,基于 J6 平台的智驾方案预计 2025 年第二季度将量产交付,而量产端到端智驾方案则预计会在明年年底量产落地。
在高阶智驾领網域,目前,高阶智驾研发范式从规则驱动转变为数据驱动,端到端智驾模型对于高质量数据的需求呈指数级的增长,但受限于高阶智驾的量产规模、算力资源,大多数车企和智驾公司都面临着,高质量驾驶数据的获取难度大、效率低、成本高的问题。
为此,商汤绝影通过实车采集和仿真生成 " 双轮驱动 " 的数据闭环,构建量产智驾产品体系和世界模型深度融合的 " 车云一体 " 智驾新范式。
王晓刚表示:" 智驾高端局的竞争不止是车端模型的比拼,端到端的决战,战场在云端。" 由此,商汤绝影全新更新并发布了 " 开悟 " 世界模型。
世界模型最基础也是最核心的能力是生成高质量视频数据,高质量数据的关键在于 " 真实 "。基于多模态大模型打造的绝影世界模型,能够理解真实世界的物理规则、交通规则,生成的视频数据也更加逼真。
发布会现场展示的 " 开悟 " 生成视频案例中,晴朗天气下,汽车、路灯都是有影子的,右转车辆会主动让行优先级更高的直行车辆。在真实的基础上," 开悟 " 生成的场景视频,时间最长为 150 秒、分辨率可达 1080P、视角可以实现 11V,是行业首个同时完成上述指标的智驾世界模型。
更重要的是,通过多模态大模型," 开悟 " 世界模型可以支持多样化的自动驾驶场景及 Corner case 的可控生成。目前商汤绝影基于 1024 类场景,能够泛化出更多的平行世界,打造了千万级的生成场景库,预计 2025 年对行业开放。
商汤方面表示,以绝影量产智驾方案和 " 开悟 " 世界模型为核心,实车采集的真实数据和云端生成的仿真数据在「车云一体」的新范式下进行闭环流转,使得端到端智驾系统的训练更加全面、高效,大幅缩短了研发周期,降低了成本。
在商业化落地方面,目前,商汤绝影已和大卓智能、东风汽车等合作伙伴签订战略合作協定,在高阶智驾量产、端到端量产、AI 云服务、AI 大模型等领網域开展全方位的深度合作,加速自动驾驶的落地与进化。
据了解,商汤绝影的智驾方案已量产交付广汽埃安、一汽红旗等 3 家车企 6 款车型,座舱 AI 大模型产品已上车小米 SU7、智己、LEVC L380 等车型。如今,商汤绝影已与超 30 家国内外车企达成合作,覆盖 100 余款车型,预计至 2024 年底,量产交付累计将突破 350 万辆。