今天小编分享的汽车经验：NOMI GPT背后有哪些思考？我们与蔚来工程师聊了聊，欢迎阅读。
上一周，我们制作了《GPT 上车，到底有什么用？》的节目，对 GPT 上车可能的应用场景，发表了我们自己的看法。一周之后，蔚来宣布 NOMI GPT 正式开启推送。我们也在第一时间，与蔚来座舱体验负责人、NOMI 互動以及认知的负责人等相关研发人员，就智能座舱迈入大模型时代，进行了沟通。
GPT 上车，在过去一年里屡次被车企提及。而我们关心的是，一家车企去做大模型，和 OpenAI 这样专门从事人工智能研究的公司，究竟会有什么不同。同时，面对曾在语音助手上有多年积累的百度、华为、小米等入局汽车，蔚来和他们相比有哪些优劣势与差异点呢？
这些问题，在今天的沟通会上，我们得到了一些新的认知。
车企做大模型，有什么特点？
大家对大模型的了解，很多来自于 ChatGPT 在过去一年的火热。但是，相比这种对通用大模型的基础研发，一家车企做大模型，最本质的区别在于，他要让大模型的能力服务于汽车场景的需求，而不是一股腦地将大模型能力 " 堆 " 在车上。
比如文生文、文生图等等大模型的通用能力，如果只是简单地搬运上车，除了在宣发上可以吹吹牛之外，对用户其实没有太大的价值。
尤其是对蔚来而言，有一个高度拟人化的 NOMI 人工智能系统后，如何让这个 " 伙伴 " 更加拟人化，如何更富有情感地与乘员互动，既是蔚来研发的一大难点，但同时也赋予了蔚来智能座舱独一无二的体验。
而在此次蔚来端云多模态大模型上车后，NOMI 的核心技术架构，得到了全新的更新。具体来看，主要有三项：认知中枢、情感引擎、端侧多模态感知。我们尽可能用通俗的语言，来进行分解。
首先是认知中枢。
这主要是对用户说话中信息的认知，从而进行回应与相应指令的执行。但是，因为 NOMI 有拟人化的需求，这种需求不仅体现在 NOMI 对话的语气更像是真人（而不是机器人），而且要能更准确地判断用户对话的意图与需求，既要聪明执行，更要灵活不打扰。
举一个非常常见的例子，当呼唤语音助手进行导航目的地設定时，会在说 " 我要去……某某地方 " 时，中间会间断一下，因为腦海中没有组织好目的地的表达方式。很多的语音助手，就会在这个语气的间断时打断用户，用户就必须重新把指令再说一遍。
但是 NOMI GPT 的认知中枢，可以帮助 NOMI" 等待 " 用户在间断后说出目的地，再发起导航。因为大模型能够结合对话的上下文，智能地判断调用任务型互動。这是一个技术问题，但表现出来却是一个人性化的体验。
再举一个例子，在和 NOMI 进行问答时，NOMI 会在给出答案后再加一句类似 " 你觉得怎么样呢 " 的互动。这同样也是对对话理解的体现，反映到用户体验上，就是我并不是在执行指令，而是真正地像在与真人对话一样。
其次是情感引擎。
这是蔚来在汽车行业独创的架构。情感引擎的加持，一方面能够让 NOMI 具备短期记忆和长期记忆的能力，就好像真人去记忆和用户说过的话，记忆用户的喜好，记忆和用户所经历的场景；另一方面也让 NOMI 具备 " 人设 "，包括性格、三观等等，而不是一个简单的 " 问答机器 "。
比如，和 NOMI 进行 " 无限趣聊 " 时，这个特点就非常明显。NOMI 的话语，会让人觉得旁边有一个博学、乐观、谦逊的朋友，而且配合 NOMI 多达 200 余种表情，更能凸显情感属性。再比如，语音設定快捷场景的指令后，NOMI 能够理解这个场景的意图，并且给这个场景起一个符合其氛围的名字。
最后是端侧多模态感知。
端侧，意味着不管有网没网，NOMI 都可以发挥大模型能力，也意味着数据信息都会保存在本地，不会泄露出车，并且做到账号隔离。而多模态感知，意味着 NOMI 可以与影像、音频、车身传感器进行融合，从而获得更全面的座舱内外人与环境的感知。
比如，当驾驶员走进车内，NOMI 就能辨识出今天驾驶员穿的衣服，并在他上车时 " 吹一顿彩虹屁 " 夸驾驶员好看。比如，在车里拿起一样物品，就可以问 NOMI，我手里拿的是什么。对于座舱外的其它车辆、建筑、动植物等，NOMI 也可以看见并且对驾驶员的意图进行回应。
不过，这些能力蔚来并没有一次性全部释放。有一些可能是因为还需要经过更多的训练学习与测试，有一些则是蔚来出于车端应用场景的考虑。比如问 " 前面是什么车 "，这个场景除了好玩有趣之外，还有没有其它的价值可以被挖掘？这样的问题其实很多。可能有些厂家的选择是，只要这个功能能够展现我的能力，能够吸引用户的关注，那我就上车。
但是蔚来会想得更多，哪怕具备了这项能力，但如果功能不能完全体现价值，也暂时不会推送。
所以，蔚来做座舱大模型，它的核心不仅是要让 NOMI 变得聪明，能够 " 看得见、认得出 "，更要让他拟人化，领会意图有默契，甚至与人 " 情投意合 "。这种能力，体验不到配置表上，没有真正体验过也很难从文字中感受到什么独特性。但也就是这些一点一滴组合起来，最终将会决定智能座舱大模型是否能够打动人，成为真正的伙伴。
科技厂商做语音助手，一定更强吗？
不管是小度、小爱还是小艺，发布都已经有七八年了，而百度、小米、华为现在也都进军汽车行业。那是不是意味着，这些科技厂商在语音助手的能力移植到车端，就会对汽车厂商产生降维打击呢？
或许蔚来并不是这样看，核心还是因为汽车的场景非常垂直，是一个高度依赖优化的场景。
首先，科技厂商的语音助手，此前最大的优势在于开放问答和闲聊。但是，当有了大模型加持后，这项优势事实上已经被填平了。因为所有的技术架构，都需要在大模型的基础上重新建构，所以大家在这方面已经来到了同一起跑线。
其次，车载语音助手比拼的不仅是基础能力，更是对座舱的理解，是能力和车的场景怎样去深入结合。这方面，蔚来因为更早进入，因为积累的用户和数据足够多，反而是有优势的。
举个例子，蔚来现在已经实现的，包括 NOMI 记事提醒、全舱乘员记忆等等，都是行业首创的功能，而且是和用车场景紧密相关、可以被高频使用的功能。
而且，车里的环境，包括环境噪声、对话的位置与声场，其实和在家里和一个智能音箱对话，有很大的差异。而这些又直接关乎车载语音助手的响应速度、灵敏性、准确性等一系列非常影响体验的指标。这个时候就会发现，并不是简单地把手机或者智能音箱上的能力搬到车上，就能让人觉得好用、想用的。
所以，面对科技厂商进军汽车行业可能在座舱人工智能领網域产生的影响，蔚来其实思考得很早，也思考了很多。至少到现在，蔚来仍然会按照自己的想法与节奏，去推进 NOMI GPT 的能力与功能释放，而不是被短暂的炫技所影响。
写在最后
在沟通中，蔚来的研发人员分享了两个数据。第一个数据，是 NOMI 在蔚来销售车辆中的选装率，达到了 80%。第二个数据，则是在 GPT 的用户内测中，和 NOMI 闲聊的对话比例，从 GPT 前的 3% 提升到了 18%。蔚来的研发人员甚至预期在 3-5 年内，随着大模型能力的持续提升，这个比例可以达到 50%。
此时，我们对车载语音助手，对智能座舱的认知，其实已经不简单是一个 " 不用动手、只用动口 " 的命令执行工具，而是一个拟人化的伙伴。而且这个伙伴的作用，不仅仅局限在以座舱为中心的内外环境，还可以实现与产品、服务、社区等的打通，成为蔚来全程体验中一个不可或缺的环节。
所以，GPT 上车只是其中的一小步，是在底层技术架构上的部署。后续的场景应用、场景优化、跨網域打通，事实上可以做的事情非常多，可以想象的空间也非常大。
