今天小编分享的科技经验：让手机、PC、汽车、AIoT等“终端”都用好AI，搞定统一生态这事太重要了，欢迎阅读。
作者 | 云鹏
编辑 | 漠影
2024 年无疑是端侧 AI 爆发的一年，因此产业也通常将今年看作是" 端侧 AI 元年 "。
当下，AI 大模型在终端细分赛道展现出的强大生命力，各类 AI 产品几乎无处不在，AI 手机、AI PC、AI 眼镜，以及 AIoT 领網域的各类 AI 智能终端设备成为当下数码和科技圈广为热议的关键词。
根据 Gartner 预测，2025 年 AI PC 全球出货量将超过1.14 亿台，同比增长165.5%。另一边，AI 手机也在快速普及，根据 Canalys 预测，2025 年 AI 手机的渗透率可能会接近三分之一，出货量近4 亿台。
与此同时，具身智能机器人赛道火爆，智能汽车领網域的 AI 应用落地更是 " 卷 " 得飞起。
端侧 AI 的加速落地，让消费者感受到了不一样的 AI 体验：AI 真的更 " 懂你 " 了，AI 功能更加 " 个性化 "，AI 能力也更加深入系统级。端侧 AI 的价值愈发凸显。
根据研究人员统计预测，端侧 AI 市场规模将在 8 年后冲向 1436 亿美元（约合人民币 10400 亿元），10 年增长 10 倍。
▲ 2022 年至 2032 年按终端用户划分的端侧 AI 全球市场规模（部門：十亿美元）
在国内 AI 市场，AI 的发展更加百花齐放，据艾瑞咨询测算，2023 年国内 AI 产业规模已经超过了 2100 亿元，端侧和边缘 AI 芯片的比重也有望持续增涨。大模型带来的底层技术革新无疑会给端侧 AI 产业规模增长带来更多存量扩张与增量空间。
▲来源：艾瑞咨询
在这样的行业背景下，国内 AI 领網域的玩家是走得最积极的一批，在技术落地方面推进得更加踊跃。从底层的芯片 IP、芯片设计、制造到作業系統、大模型研发、终端，再到上层 AI 应用和服务落地，国内 AI 发展有着完整的全产业链条，本土 AI 新势力无疑有着充足的施展空间和机会。
扛起本土 AI 底层生态建设大旗，需要国内厂商在端侧 AI 领網域协同发力、抱团取暖。
作为产业链最上游芯片 IP 领網域核心玩家的安谋科技，刚刚在上海举办了一场端侧 AI 生态研讨会，聚集了从芯片、大模型到终端，从硬體、軟體、算法到生态的各路行业头部企业，分享最新行业趋势，输出前沿观点。
安谋科技销售及商务执行副总裁徐亚涛提到，AI 未来的发展必然是多样性的，每一类产品都面临着 AI 化的挑战，整个产业都在被 AI 重塑。AI 不是单打独斗可以搞定的，跨行业的深度合作将成为必然。
▲安谋科技销售及商务执行副总裁徐亚涛
一、端侧 AI 落地，一场模型与算力的 " 双向奔赴 "，本土 AI 新势力走向前台
就在昨天凌晨，OpenAI 正式发布了 Sora 视频大模型，AI 大模型的迭代再进一步，从文本到影像、从多模态到视频，大模型的发展快得令人不敢眨眼。一个不留神，可能就会掉队。
随着超大规模的基座大语言模型不再持续狂飙，大模型向着边缘和端侧下沉的趋势日益明显，AI OS、AI 智能体等概念逐渐成为行业共识，产业的关注焦点已经转向了真正赋能行业、实现落地。
大家不再单纯地看 TOPS（算力），而是更关注 FPS（帧数性能）和 tokens（生词速度），也就是更关注实际在应用场景中的表现。
智源人工智能研究院副院长、总工程师林咏华提到，大模型的技术发展如今更加聚焦模态的多样性、模型结构算法的多样性以及生产部署的优化，大模型发展呈现出 " 两极分化 " 的态势：更强更大和更小更精。
据统计，数百亿级以上的强大稠密模型，或 10B 以下的小模型更受欢迎，越来越多的小模型被发布和下载，而端侧 AI 的发展，显然更侧重于 " 更小更精 "。
与此同时，一个突出的特点就是国内 AI 企业在 AI 大模型这波浪潮中一直走在全球 AI 产业的前列，热门大模型中本土公司开发的模型占比很高。
尤其是结合国内 AI 市场潜在规模，本土 AI 企业的发展潜力更是巨大的。
安谋科技市场及生态副总裁梁泉也谈到了类似的观点，在端侧 AI 领網域，模型与算力正在 " 双向奔赴 "，小参数、多模态模型的能力快速提升，而旗舰设备的算力也已经达到 50-100 TOPS。
▲安谋科技市场及生态副总裁梁泉
在端侧 AI 的元年，虽然没人能确切地说出端侧 AI 的杀手级应用会是什么，但本土 AI 新势力发展端侧 AI 已经实打实地从技术军备竞赛走向场景化落地应用。
二、本土企业领跑端侧 AI 落地，技术创新加速涌现，生态大一统走向必然
端侧 AI 的发展无疑正迎来一个新的 " 黄金时期 "，从芯片、框架、大模型到终端，整个产业链的各个环节都在深度参与，快速适应，不断迭代产品和技术。与此同时，统一生态的重要性愈发凸显，端侧 AI 的高效落地，必然需要弥合碎片化的生态，需要产业链各方的共同努力。
1、从手机、PC 到汽车，芯片创新为端侧 AI 落地提供底层基础
在端侧 AI 落地过程中，AI 手机无疑冲在了最前面，苹果安卓两大生态分庭抗礼，安卓生态端，联发科、展锐等手机芯片巨头的 AI 手机芯片无一例外都是基于 Arm 架构打造。
紫光展锐执行副总裁兼市场部部长黄宇宁谈道，端侧 AI 如今正涌现出更多成果，包括硬體、軟體、端侧大模型、端云协同与安全技术等领網域的诸多新技术的成熟都加速着 AI 手机的发展。
▲紫光展锐执行副总裁兼市场部部长黄宇宁
从手机 AI 到真正的 AI 手机，一个能够自动执行复杂任务、真正懂我们的智能设备，AI 手机的发展正迈入 AI OS、AI 智能体时代。在 AI 落地手机的过程中，很多厂商都明确提出了 " 端云协同 " 的混合 AI 模式。
简言之，混合 AI 就是将云端的强算力与端侧的个性化、低时延、高数据安全性等特点相结合，真正实现优秀的端侧 AI 体验。
据黄宇宁介绍，目前紫光展锐的芯片已经在三个 AI 典型场景中应用：全场景通用 AI 算力（端侧 AI 智能体）、多媒体专用 AI 算力和低功耗轻量 AI 算力。
基于 Arm 架构和生态，紫光展锐可以提供 CPU、GPU、NPU 以及整合的 SoC 这些底层算力平台，而整个生态的构建则需要产业合作伙伴的共同努力。
黄宇宁特别提到，在端侧 AI 落地过程中，统一生态是非常重要的，其最直接受益的就是开发者，而开发者则可以利用统一生态，把最新的算法、模型在芯片上快速实现落地，让用户最终享受到好的服务。
除了 AI 手机，另一个端侧 AI 落地的重要领網域就是 AI PC。
此芯科技生态战略总经理周杰提到，生成式 AI 正在推动 PC 产业的第三次革命，AI 给 PC 产业注入了新的活力，包括异构 AI 算力、内存、SLMs（小模型）、智能体化，国内厂商都在积极拥抱端侧 AI。
▲此芯科技生态战略总经理周杰
已经发布的 " 此芯 P1" 芯片是一个高能效异构处理器，异构集成了 Arm 架构 CPU、GPU 以及安谋科技自研的 " 周易 "NPU，此芯科技要用异构算力去赋能多场景端侧 AI，将不同的计算模块应用在不同应用负载中。
现场周杰还剧透了他们的 AI PC 开发套件新品 Radxa Orion 06，这个开发套件搭载了 " 此芯 P1" 高能效 Armv9 处理器，可以基于异构算力支持主流端侧生成式 AI 大模型和传统 CNN 模型。
显然，AI PC 的发展会助力 Arm 架构在 PC 市场的崛起，Arm 架构在 AI PC 生态有先发优势，是手机生态的自然延伸。
同样基于 Arm 架构打造 AI 处理器的还有爱芯元智，在爱芯元智联合创始人、副总裁刘建伟看来，AI 是稳定可靠的智能输出基建，是一场成本驱动型的生产力革命。
▲爱芯元智联合创始人、副总裁刘建伟
AI 的发展，带来了新的程式范式，因此需要真正按照原生 AI 处理思路设计的 AI 处理器，为此，爱芯元智将算子指令集与数据流 DSA 微架构相结合开发了相关 AI 处理器，可以兼顾灵活性和低能耗。
他特别提到，AI 处理器的设计要软硬體联合设计，让軟體编程的负担越来越低。
2、从云到端，模型变得 " 更小更强 "，统一生态加速技术创新涌现
在大模型研究方面，智源人工智能研究院、面壁智能和 vivo 都是各自领網域的领跑者。端侧 AI 的落地，离不开大模型侧的技术突破和优化迭代。
在智源人工智能研究院副院长、总工程师林咏华看来，未来 10 年，大模型必然会牵引 AI 走向美好的星辰大海，而在这个过程中，多元异构 AI 算力软硬體生态面临着巨大的技术挑战。
▲智源人工智能研究院副院长、总工程师林咏华
芯片层面軟體生态割裂、迁移成本高，而各种异构算力、多地網域算力整合面临异构算力軟體各异、软硬體稳定性差等难题。各个厂商私有的、碎片化的軟體生态已经成为用户尝试其他 AI 硬體时的最大障碍。
为多元异构 AI 芯片打造统一、开放、协作的軟體生态系统就显得尤为重要，这也是智源人工智能研究院基于开源的 Triton 语言打造统一的軟體层、打造面向国产 AI 芯片的软硬體生态系统的目的所在。
Triton 编译器可以支持 Arm 生态芯片，基于 Triton 算子库及编译器可以获得开发效率、性能效率上的双重优势。
林咏华特别强调了统一生态的重要性，当上层有统一生态的时候，就会有更多軟體技术层面的突破涌现，这对于整个产业都有重要的积极意义。
面壁智能联合创始人 &CTO 曾国洋重点分享了自家面壁小钢炮系列大模型的最新进展，其" 以小博大、高效低成本 "的特点刚好印证了林咏华对于大模型趋势的判断。
▲面壁智能联合创始人 &CTO 曾国洋
MiniCPM 3.0 一个 4B 大模型，可以获得 ChatGPT 级基础性能，量化后内存占用仅有 2GB，最新端侧多模态大模型 MiniCPM-V 2.6 8B 模型则可以单图、多图、实时视频全维度超越 GPT-4V。
未来，大模型知识密度会随时间呈指数级增长，而端侧算力目前总量巨大亟待激活，存量手机终端算力总规模超过 7100 EOPS，端侧 AI 市场势能强劲，" 把大模型放到离用户更近的地方 "，就是面壁智能未来核心要做的事情。
同样把大模型做得 " 小而美 " 的还有 vivo。
作为手机终端巨头，vivo 在自研大模型方面一直跑在行业前列，今年其自研的蓝心端侧大模型 BlueLM-3B，已经在性能、功耗方面超越了原来的 7B 大模型，甚至可以达到云端 70B 大模型 80% 以上的效果。
▲ vivo AI 规划高级总监孟祥育
系统级总结摘要、全局书写工具、多模态理解、vivo 手机智能体 PhoneGPT（自主拆解需求、主动规划路径、实时环境识别、动态反馈决策）这些端侧 AI 能力都落地在了 vivo 的旗舰手机中。
目前手机端侧大模型发展面临的主要挑战，是内存、性能、功耗与模型效果之间的平衡，在 vivo 看来，3B 大模型是端侧模型的黄金尺寸。未来如何更高效地更充分地利用芯片算力，在小参数模型上实现更好的端侧 AI 体验，是手机厂商们努力的方向。
3、MNN 提升大模型部署效率，ODM 大厂重点布局軟體做好 " 连接 "
在芯片和大模型之间，推理框架层面的技术迭代也十分关键，可以说起到了大模型在端侧落地的 " 催化剂 " 作用。
阿里巴巴端侧 AI 技术专家邢世稳重点分享了其在 MNN 开源框架端侧大模型部署方面的探索。
▲阿里巴巴端侧 AI 技术专家邢世稳
简单来说，MNN 是轻量级深度学习推理引擎，涵盖了 AI 模型图优化、转换、高效运行，其核心要解决的就是模型在各类设备上高效部署运行的问题，尤其是移动设备。
同样在 " 连接 " 方面具有独特价值的是作为 ODM 大厂的六联智能，其产品中心副总经理 & 产品总监张晓军提到，六联智能的目标是提供端侧 AI 全场景硬體解决方案，他们最近成立了专门的軟體团队，连接处理器厂商和算法厂商，做更好的集成，打通 " 最后一公里 "。
▲六联智能产品中心副总经理 & 产品总监张晓军
目前，从个人 10B 到家庭 / 小企业 10-100B，再到中大型企业 100B+，六联智能都有全场景端侧 AI 解决方案，包括 AI PC、AI 工作站和伺服器。
4、立足自研 NPU，异构计算 + 混合 AI 成为行业最优解
可以看到，端侧 AI 已经成为整个 AI 产业都在重点布局的领網域，而安谋科技在扛旗推动 AI 生态建设的同时，也基于自身的本土创新能力，推出了 " 周易 " 自研 NPU，并从异构计算的角度进一步加速端侧 AI 的落地，给行业提供新的解法。
安谋科技 NPU 产品总监鲍敏祺在会上提到，手机、平板、PC 国际大厂纷纷发布各种应用，但当前以实际 AI 模型使用体验来说仍然不理想，国内 AI 算法模型应用生态仍然没有规模的商业落地。
▲安谋科技 NPU 产品总监鲍敏祺
端侧 AI 的迭代非常快，从高频度的算法更新、计算模式优化、容量需求提升到算力要求提升，算力需求随着大模型多模态应用而持续增加，而大模型对 NPU IP 硬體也提出了新的需求。
针对这些需求和挑战，安谋科技新一代 " 周易 "NPU 专门对 transformer 进行了优化，其涵盖了软硬體方案以及深入的系聯考量，在功耗、面积、性能方面形成优势，可以说是基于软硬协同来应对未来应用场景。
正如前文所说，在端侧 AI 的发展过程中，算力和模型呈现双向奔赴的趋势，而在这个过程中，挑战也很多，异构计算与混合 AI 的方式，可以更充分地利用端侧算力，已经成为业内公认的最优解。
三、既懂技术又懂市场，本土 AI 生态圈的 " 扛把子 " 不是一天炼成的
可以看到，从手机、PC、汽车到整个物联网 AIoT，包括智慧家庭、无人机、智慧工厂、机器人、智慧监控、智能零售、智能穿戴，几乎各个产业都可以为 AI 所赋能。
芯片企业、大模型企业、终端巨头，产业链上下游各方也都在积极行动，探索合作共建的端侧 AI 生态之道。在这一确定的方向上，安谋科技的产业价值不言自明。
一方面，安谋科技在 NPU、軟體、异构计算平台等方面做好了解决方案级的技术布局，另一边其成为联合国内本土客户构建端侧 AI 生态的最核心推手。
就在今天的研讨会上，"AIPC 和 EdgeAI 联合实验室 " 正式揭牌，这是一个由安谋科技牵头发起，联合产业多方共同搭建的 AI 平台，核心就是要做本土的 AI 生态建设、社区发展和技术运营，进而给端侧 AI 的落地添柴。
实验室会聚焦 PC 与 Edge 领網域，探索 AI 生态和应用场景，跟产业链合作伙伴一起去构建本土的技术生态。当然，这也是国内厂商对接 Arm 全球生态的一个关键平台。
其实，通过现场与会者的发言，在笔者看来安谋科技牵头来组这场端侧 AI 的交流分享局的立足点可以用以下几个关键词概括：
一是" 连接 "。一边是完整的自研业务产品和本土市场服务能力，一边是 Arm 成熟技术标准和生态体系，从 Arm 通用 IP 到自研产品，让其可以通过更灵活的产品组合和形式去对接、赋能产业。
二是" 上游 "。作为本土 AI 产业链上游的独特视角是其有别于其他端侧 AI 组局者的另一个核心标签，可以站得更高看得更远，对技术趋势的判断也更加前瞻和精准。
三是" 本土 "。作为一家本土企业，对于本土 AI 市场的实际需求、关键痛点都有着更精准的把握，所进行的本土技术创新也更有针对性。
这些都是安谋科技在今天国内 AI 产业中的不可替代之处。
正如安谋科技市场及生态副总裁梁泉所说，在端侧 AI 的落地过程中，很多问题往往需要既懂模型、又懂底层软硬體的人才能解决，这对于厂商来说挑战很大。
但同时这些问题又有着共性，建立一套统一的軟體生态，意义十分重大，安谋科技的一系列动作恰恰就是要帮助企业解决这些挑战。
据了解，目前已有智源人工智能研究院、紫光展锐、爱芯元智、六联智能、系微軟體、此芯科技、亿道数码、辉羲智能、面壁智能、零一万物、中科加禾、瑞莎计算机等十几家正式加入 AIPC 和 EdgeAI 联合实验室，上海漕河泾开发区则为该实验室提供相关产业支撑。
安谋科技在推动端侧 AI 生态建设方面，无疑又迈出了关键一步。
结语：瞄准未来万亿市场，本土 AI 产业有望持续引领
从 2018 年成立至今，从承接 Arm 技术和生态赋能产业，到多条自研产品线的持续迭代。通过一手连接 Arm 生态，一手耕耘国内市场的独特站位，安谋科技持续致力于给本土 AI 发展提供更具针对性的软硬生态协同的一体化解决方案。
而伴随着 Arm 计算平台面对 AI 时代的稳步深耕，Arm 架构成为未来 AI 计算的基础，已经成为必然趋势。我们也期待看到在本土端侧 AI 产业链上下游玩家们的通力协作下，本土 AI 产业在产品研发、技术创新和市场培育上多元发力，以更加迅猛的加速度，朝着万亿规模持续进发。
