今天小编分享的科技经验：大模型进家电，既缺锤子又缺钉子？，欢迎阅读。
如何把大模型能力和家电场景更好结合，是模型落地面临的第一重挑战。
文｜徐鑫
编｜任晓渔
大模型的浪潮正在向家电和消费电子终端蔓延。3 月 14 日开幕的中国家电及消费电子博览会 AWE 2024 成了观察这股趋势的視窗。
过去一年来，各个行业都在探索和大模型结合的可能性。
家电厂商们也加入了行列。在 AWE2024，海信、三星、长虹等不少参展的品牌都已意识并参与到了这股浪潮里，展出了与大模型集合的产品；一些解决方案商如聆思科技、思必驰等也有将大模型接入终端的软硬一体解决方案。在这些落地探索中，明显能看到，如何把大模型能力和家电场景更好结合起来，找到更合适的场景，仍然是当下家电企业最大的挑战。
数智前线也观察到，大模型要真正落地端侧仍然有很长的路要走。参展的行业人士认为，端侧智能会带来模型研发和算力支撑两方面的成本，只有产生相应的价值，才能真正实现在家电场景的落地。
01
新的试验场
今年的 AWE，有不少企业从企业战略角度提到了 AI，展台上也推出了不少 AI 产品。
比如发布了电视行业大模型的海信。3 月 15 日上午，海信视像正式发布自研星海大模型。海信视像总裁李炜在发布会上称，" 所有大屏的体验，都值得用 AI 重塑一遍 "。
此前，电视厂商通过 AI 能力提升画质和音频效果达到体验提升的案例并不少。
比如利用 AI 芯片驱动算法，通过调整亮度、对比度、显色等，提升电视的画质。在运动画面的表现上，运动物品的残像残影可以通过 AI 算法去快速消除，还有电压不稳定时，通过算法在色阶切换时马上改变它的电压，来保证画面的流畅性。数智前线在海信和三星等多个厂商的展台上都看到了相应的产品。
而电视如何与大模型结合？海信视像相关人士告诉数智前线，目前他们在海信的 8k 螢幕发声激光电视上已经在生成式生活服务建议、语音驱动的模糊内容检索、实时英语对话和游戏助理四个场景里嵌入了大模型的能力。
而游戏助理功能，则是基于大模型的任务编排和执行的能力，自动识别用户的设备进入游戏，免去了设备的参数設定流程。它还能监测到用户玩的游戏类型，比如射击类游戏，它会调整相应的画质和音质，自动显示准星辅助，方便用户瞄准。
另一家参展商三星也从战略层面重视 AI，打出了 "AI for All" 的 Slogan。
在三星的展台上，电视、手机、冰箱和洗衣机等产品都强调设备具备 AI 能力，以三星的一款电视为例，在画面影像增强上，4k 信号进来，通过 AI 芯片和卷积神经网络的处理，提升成 8k 的画质。另外在球类运动的转播时，由于视频商为了减少带宽压力，上传后信号会压缩，比如从 50 赫兹到 25 赫兹，导致画面上就看不清球，而 AI 可以增强显示效果。
另外，三星手机的一些应用已经接入大模型的能力。据悉，这是与文心一言的合作，实现手机实时转录和翻译功能，在端侧直接完成转写和翻译。
大模型落地电视，长虹也有动作。长虹旗下的云帆 AI 平台电视打出的标签是 " 全球首个基于大模型的智能家电 AI 平台 "。它有 AI 对话、AI 壁画和口语陪练三个功能。
现场的产品经理介绍，AI 对话主要是文生文的功能，比如对着电视提问上海的美食，它能生成一些关于上海美食的介绍。而 AI 壁画可以把用户描述的内容生成影像，并設定为电视桌面。口语陪练是家庭场景里孩子可以跟电视进行英文对话，提高英语口语能力。
除了家电厂商的产品，解决方案商也有动作。青岛国创智能家电研究院的工程师介绍，他们针对家庭健康的场景，研发出了一个健康食谱类的大模型，家里有牛肉和土豆，大模型就能推荐几个菜并且列出菜谱。如果冰箱可以识别出食材，这些食谱在螢幕上就能展示。这个方案目前正在和海尔做整体方案。这也是大模型与家电结合的一个尝试。
有科大讯飞背景的聆思科技在展台上也展出了大模型对全屋控制体验的改善和更新。
该公司工程师告诉数智前线，他们从去年就开始在尝试把大模型接入空调等家庭场景，目前已经与一些头部家电企业合作，这些企业的产品尚在研发中，但很快就会上市。
在实现方式上，他们的视觉语音大模型 AI 开发套件是一个软硬體一体的解决方案，包含一个端侧的芯片开发板，里面有 NPU 接入讯飞星火的大模型。大模型本身跑云上，用户用语音下指令。一些原来空调很难识别的指令，比如 " 回南天 " 这个词，在有了大模型的理解能力后，空调就能听懂，会变得更加聪明。
本届 AWE 上，不少家电产品上能看到 AI 的身影，大模型的字样已经零星出现在一些展台，家电和消费电子产品正在成为大模型落地的新试验场。
02
" 你要用大模型做什么？"
当问及某款 AI 功能的空调产品是否应用了大模型的能力时，一个空调展台的人士反问，" 你用大模型做什么？除非是用户有新的需求，必须要通过它进行实现，作为厂家才有可能进行系统的更新。否则，我们不会花那么大的人工成本和精力去开发这个东西。"
这个回应可能代表了当下家电行业里不少人士的看法。它折射出的潜台词是，如何找到家电产品与大模型结合的刚需场景。很多行业当下应用大模型遭遇了找场景问题，这也是大模型落地家电的第一重挑战。
一些家电行业人士认为，应用大模型，并不是去创造一些新的概念，而是要构建一个吸引用户的场景，大模型能在里面不突兀地能够解决问题。
" 用户在洗衣服，在平时日常的吹空调的过程中，它的痛点很明显的，我们通过 AI 的技术来帮助用户能够更简便操作设备。围绕着用户日常使用习惯和平时的痛点，要用 AI 的技术帮助用户来解决实际问题。" 海信爱家展台上一位解决方案工程师认为，不能为了大模型而大模型。
业界普遍认为大模型的优势在它的泛化特性，如何用好这种泛化特性，可能是寻找到合适场景的关键。
聆思科技的工程师介绍，他们在空调里加入大模型后，用户可以更自由与设备对话。针对空调场景专门训练的模型了解空调设备的故障和使用方式，一旦空调滴水，用户提问，大模型能够理解意思，它可以去说明书里调用相关的知识来引导操作。这个体验就比之前的智能语音的能力有了大幅提升。
云米智能家居 GTM 林石列也看到，大模型帮助定位用户使用过程中的问题和疑惑并帮助用户解答场景的价值，" 比如开关或者插座能支持多大功率的电器，我可能不知道。我随口问一下我们云米小微，你的插座能用多大的功率？它就能解答。"
另外，在推荐场景里，他认为，大模型可以基于用户所处的环境，通过各类传感数据，针对地区的日落时间和紫外线情况，去推荐一个光照的个性化解决方案。" 大模型并不是要用来做多复杂的事，而是通过它的计算能力，让产品学习用户的需求更快一点。"
长虹智能家居板块的工程师告诉数智前线，他们看到未来智能家居板块与大模型结合的场景可能是，人不再主动发出指令，设备可以主动服务人。" 根据用户的使用习惯，去学习和判断用户的需求。各类家电设备和系统能主动提供服务，这是机器去学习的过程。大模型能否在这个过程发挥作用，可能是行业拭目以待的。"
长虹云帆 AI 平台电视产品人士则介绍，目前他们推出的三个场景都是特意挑选，也是比较适合展示在大屏上展示的功能。
在手机上，一些人士看到大模型落地可能会使得用户使用手机的习惯发生改变，可能不再有 App，去 APP 化，而在家电和家庭场景里，前些年许多厂商都希望把电视作为家庭设备的入口，大模型到来后，电视作为家庭中控入口被重新提及。
该人士认为电视要作为入口，需要开发专门的 Agent 框架。" 现在都在提 Agent 框架，要做到去 App 化，就要搭建这样的框架。这也是我们今年的研究方向之一，希望能做到今年上线。" 上述人士说。
在一些更小型的设备例如摄像头等产品上，一些工程师们就认为没有看到太好的场景要在端侧去接入大模型。创维智能摄像头展台，一位工程师告诉数智前线，比如智慧屏，其实本身就有类似于备忘的功能，而大模型的强项在自然语言沟通，老人或小孩用这个东西，可能未来就变成类似于机器人的角色了。
在展会上，一些行业上下游人士已经对大模型嵌入设备表露出了浓厚的兴趣。在聆思科技的展台，一个家电行业的制造端口人士已经在询问除了软硬體一体的模组的成本，后续用户调用大模型能力时如何付费的问题。
03
端侧落地大模型还有多远？
数据前线观察，目前家电和各类消费电子产品接入大模型能力的产品主要还是从云端调用大模型的能力。
业界普遍反馈，目前家电产品要在端侧实现大模型落地，从模型能力和端侧的算力能力条件都不太具备。
首先是模型方面，目前国内的大模型厂商们尚未发布能在端侧运行的模型。在海外，去年 5 月谷歌在年度开发者大会上发布了 PaLM2，四种尺寸的模型里最小的 Gecko 可以在移动设备上运行，各方反馈称速度足够快，即使离线状态也可以进行互動应用。当时业界认为端侧运行大模型有了可能。不过根据官方文档显示，这个模型并不支持文本生成及对话的能力。
一位国内大模型厂商方资深人士告诉数智前线，目前端侧的算力大小可能有不同，但整体看他预估模型的参数规模要小于 5B 才更适合到端侧运行；另一位家电行业人士则给出了 7B 大小的概念。这和目前运行在云端集群上的模型不是一个量级。
而单靠家电厂商们自己去开发端侧可运行模型，是一笔巨大的投入，多数企业不具备这个能力。长虹云帆 AI 平台电视人士告诉数智前线，他们不打算自己投入研发底层模型，投入太大。此前一位电腦配件企业的创始人尝试将大模型和设备结合时也发现，研发上的投入成本惊人，对他们是巨大的压力。
三星展台上一位资深行业人士认为，手机设备的利润率明显高于家电产品，因此手机厂商们有实力去投入大模型的研发，而家电企业多数在资金能力上不具备模型研发和投入的条件。三星目前手机端已有端侧大模型的能力，未来在家电场景里，同一个模型经过剪裁和调整可以用到家电设备上。
其次是，目前边缘算力层面，还不足以支持大模型部署到边缘。即使是非常轻量级的模型，到设备上也需要非常大的算力支撑，会带来巨大的成本提升。家电市场竞争激烈，价格提升后产品的市场空间可能变小，" 我们要提供的是具有质价比的产品，不能把产品售价定得高高的，用户说，我只是使用了它的 1% 、2% 的这种能力，这样就很多冗余在里面。" 海信爱家板块的智能解决方案人士说。
一位芯片行业相关人士提到，目前业界通常认为，存储和计算需求在 5GB 以下，才视作可以进入到端侧运行。而对存储和计算的能力要求在 5GB 到 20GB 之间，通常认为适合部署在边侧，更大的则适合在云上。
同时，还有多位受访人士认为，家庭场景里很多时候并不太需要把大模型放到端侧。" 家电设备现在很容易连网。从便捷性、安全性，还是稳定性角度，目前连接云端效率都非常高的。有现成网络资源的话，就应该用这个资源，而不是说专门去搞一个硬體跑，不划算。" 聆思科技展台的技术人士告诉数智前线。
该人士提到，他们的模组里大模型是跑在云上。把大模型放到云端跑，反映到产品端，成本的上升幅度非常小，甚至还有可能出现下降。" 现在放在边缘端侧的，只需要一个听指令的收音工具，它只是加了一个 WiFi 模组芯片，其实并没有增加多少成本，甚至此前离线的一些命令词都可以去掉，一些在本地的 GPU 算力也可以阉割掉，成本还有可能降低。"
哪些大模型的场景一定要在端侧去完成呢？百度资深人士告诉数智前线，端侧没有时延，或者时延非常短。那些对时延要求特别高的场景在端侧完成体验肯定会更好。
三星智能家居展台解决方案人士则介绍，家庭场景里，云上和端侧会有分工。家庭场景里一旦录入了用户的使用习惯，形成了策略，就可以下放到本地执行。策略不需要每天更新，本地算力不够，要运算的放到云端。
青岛国创智能研究院的工程师也在探索和尝试往端侧部署模型，他们认为随着模型不断优化和端侧算力的不断提升，会有一些模型直接运行在家电边缘端。
另外，除了直接部署到端侧，业界认为，家庭场景里，在云之下，端之上，有一个边侧的计算和智能中枢也是一种解决方案。
云米智能家居 GTM 林石列提到，他们正在开发一个类似中枢网关的产品，现在它的计算能力还有待加强。未来推出一个性能更好的主机，可以直接来负责整个家庭的计算，一些大模型可以部署到这个网关或者主机上。
" 快速高效的决策放到端侧，端侧很便捷去互動，这是大的发展趋势，但仍然有一个长期发展的过程。" 一位行业观察人士称。
© 本文为数智前线（szqx1991）原创内容
进群、转载或商务合作联系后台
文章精选
