今天小编分享的互联网经验：关于大模型上车这件事，欢迎阅读。
文 | 小即是大创业伙伴
6 月 27 日，由小即是大创新伙伴和启迪之星（上海）联合主办的 " 大模型 X 汽车 " 互动沙龙在杨浦区成功举办。百余位行业专家、创业者、技术爱好者、投资机构等齐聚一堂，共同探讨大模型技术在自动驾驶、智能座舱、营销服务、汽车维修等场景的落地机遇与挑战。
活动由小即是大创业投资合伙人、启迪之星（上海）产业合伙人杨巍主持。
活动开场，启迪技转副总裁、启迪之星（上海）副总经理卫冕代表主办方介绍了启迪之星在孵化加速、投融资、产业赋能等多个方向上的专业服务和功能平台。
以下是嘉宾内容分享精选：
01 "GenAD 比 UniAD 更快更准确 "
上海人工智能实验室青年研究员李阳：作为行业趋势，端到端模型的核心优势在于消除以往多模块所导致的累积误差。我认为端到端自动驾驶并不会完全替代车载模块化方案，而是更可能成为现有方案的备选（backup）。团队今年建立了当前自动驾驶最大的开源数据集 OpenDV-2K并提出生成式端到端自动驾驶模型（Generalized AD Model），从而打通零样本（Zero-shot）泛化、语言控制预测、仿真和规划等智驾任务。在广泛使用的 nuScenes 基准上进行的实验表明，GenAD 实现了基于视觉的端到端自动驾驶的最佳性能，并且相较于 UniAD 具有更高效率和准确度。
参考文献：https://arxiv.org/abs/2403.09630
02 " 主机厂更关注大模型技术的产品化过程 "
智己汽车自动驾驶中心高级经理蒋达夫：主机厂更关注大模型技术的产品化过程，把技术变成具体的功能，给用户带来特殊的体验。智己团队以数据驱动为核心，对感知、地图、规控、仿真等相关深度学习模型，采用车端智能筛选，实现全链路数据闭环；同时智己在端到端模型的上车应用经历了从 1.0 到 4.0 的发展（pic.1），在算法架构的更新，从传统规控基于规则的逻辑判断，到规控模块的模型化，以及感知规控全融合的 E2E 架构，更好地为智驾产品赋能。同时通过大模型技术在车端地应用，全方位立体地赋能视觉、座舱以及整车功能，让车 " 听得清 "、" 看得多 "、" 看得远 "；打造了典型的亮点功能，包括有DZT 高亮追踪技术，捕捉周围交通参与者并实时提醒行车安全；有高光时刻模块，视觉识别行车途中的精彩瞬间，提供专属记忆时刻；还有座舱语音大模型应用，语音互動及场景理解更智能和贴近人的意图，极大提升了智能座舱的体验。
pic.1 E2E 大模型技术发展路线
03 " 高阶智驾开发 3/4 的成本发生于数据闭环 "
辉羲智能产品经理周海聃：汽车行业存在摩尔定律，在不断满足用户需求提升的同时，成本将不断下降。高阶智能驾驶现阶段线性投入模式不可扩展（unscalable），我们希望打造可扩展的计算引擎，实现芯片、算法、系统的协同设计，通过中国工程师的创新和工程执行能力，提升传感器的感知性能、轻地图甚至无图路线扩城，算法模式迭代更新，并进行芯片架构创新支持等一系列协同设计，降低数据闭环的试错成本，最终实现高阶智能驾驶量产成本的显著下降。
04 " 自动驾驶和通用机器人的技术路径现阶段是一致的 "
鉴智机器人联合创始人兼 CTO 都大龙博士：我们希望通过传感器和 AI 算法范式的创新，使得原先自动驾驶的 " 特定任务 AI 范式 " 转向 " 通用 AI 范式 "，推动面向现实世界的通用 AI 加速实现。传感器方面，数据驱动的 AI 双目传感器可以极大提升面向现实世界的感知能力；算法方面，我们已经完成BEV&Occupancy 的端到端 4D 感知，提升了自动驾驶感知能力上限，接下来将不断向 one model 进化，完善基于大模型的闭环学习系统，实现对于现实世界的真正理解。我们认为，泛机器人系统同样需要构建面向现实世界的通用 AI，因此现阶段与自动驾驶的技术路径是一致的。
05 " 智驾模型训练场景的特点之一在于高计算、高任务并发 "
Zilliz 解决方案架构师刘汉卿：过去非结构化数据的搜索主要在 " 感知相似度 " 层面，其可解释性较差；而随着 embedding 模型的进化，通过将图片语义和对应文本语义映射到同一向量空间，利用文搜图可以为智驾模型训练场景的海量图片样本提供精准召回。当图片样本量级达到十亿甚至百亿规模时，相较于单纯的向量检索算法库，Zilliz Cloud 向量数据库不仅为使用者省去了单独配置存储的工作，同时针对智驾模型训练场景的重计算、高任务并发等特点，通过存算分离、读写分离等架构优化，以及更强大的自研索引算法，让百亿数据的毫秒级检索和百万条召回更稳定地轻松实现。
06 " 数据驱动已成为自动驾驶技术提升和规模化落地的关键手段之一 "
无问智科创始人兼 CEO 刘盛翔：数据闭环是一项复杂的系统工程，包括数据链条与测试验证链条的无缝衔接与闭环（见 pic.2）。应用大模型和仿真技术可以实现场景挖掘、场景模拟、数据自动标注、数据合成及泛化等一系列能力，有效解决以往数据闭环成本高效率低、测试场景多样性、仿真真实度不足等难题。我们致力于应用大模型和仿真技术为智能驾驶提供专业领先的 AI 数据与仿真验证一体化解决方案，助力客户打造高效高可靠性的数据闭环能力，加速智能驾驶规模化落地。
pic.2 数据闭环系统工程
07 "GenAI 或将颠覆传统汽车营销服务全链条 "
寻鹿智能创始人孙广宇：生成式人工智能（Generative AI）将为主机厂赋能全链条营销、服务方案，革新用户旅程体验。具体产品体现为AI 导购、汽车用车助手、能够激活非智能汽车的超级 APP等等。同时，积极开发AI 伙伴、客服、培训、智能线索与救援保险维修等数字员工服务，引领汽车服务未来。
08 " 部件失效模型、接口特性、系统模型是现阶段的开发重点 "
乐意修创始人兼 CEO 蔡鹏：主机厂诊断能力存在综合故障难分析、报码模糊难定位、误报问题难判断、偶发故障难复现、诊断能力难评估、排故经验难传承六大难题。车辆健康管理 L2（telematics providing real-time data）到 L3（component level proactive alerts）的跨越存在大量的基础开发工作，部件失效模型、接口特性、系统模型是现阶段的开发重点。我们的诊修大模型会先从云端获得主机厂数据，随后进行测试和维修推荐，最终定位诊断。从结果来看，汽车诊修大模型能大幅提升故障检测效率、一次性修复准确率并降低维修成本。
本次沙龙由 CCF ( 上海 ) 中国计算机学会、清华大学上海校友会汽车专委会、清华大学上海校友会自动化专委会、欧美同学会上海 AI 分会、上海交通电子行业协会、上海华虹计通智能系统股份有限公司和智谱 AI Z 计划合作举办，并得到来自大蒜粒、北大青年 CEO 俱乐部、大连理工创业校友会、大工汽车人俱乐部、钛媒体、中国联合网络通信有限公司上海市分公司、Datawhale、segmentfault、今日人工智能、伦敦政经校友俱乐部、复旦 mba 读书会、S 创 Slush、崔牛会以及橘子联盟的支持。
