今天小编分享的科学经验:王炸级3nm安卓AI芯片发布:生成视频不用联网,智能体帮你点外卖订酒店,欢迎阅读。
安卓首款 3nm、PC 级 Arm V9 架构、第八代 NPU ——天玑 9400,成为了移动 AI 芯片的最新最强成果!
相比上一代生成式 AI 芯片天玑 9300,其AI 能力更上一层楼,荣登苏黎世 ETHZ 移动 SoC AI 性能榜单之首。
天玑 9400首次实现了端侧 DiT 架构支持,无需联网就能在手机上体验 Sora 同款架构视频生成。
还有业界首发的端侧 LoRA 训练,可以高效离线训练专属于自己的 LoRA 生图模型,同时保证隐私不泄露。
大模型方面,天玑 9400 能够运行的模型視窗文本长度提升到了 32K,是天玑 9300 的 8 倍。
同时还支持端侧运行多模态大模型,并以 50 Tokens 每秒的超高速度超越了前 SOTA。
综合 AI 性能方面,天玑 9400以 6773 分的成绩领跑了苏黎世 ETHZ 移动 SoC 榜单,是天玑 9300 的 1.4 倍。
而从整体上看,天玑 9400 采用台积电第二代 3nm 制程,相较上一代单核性能提升 35%,多核性能提升 28%,同性能功耗降低 40% ……
此外,联发科这次不仅把端侧 AI 能力用在了模型运行上,更是集成了天玑 AI 智能体化引擎(Dimensity Agentic AI Engine)。可以根据你的需求实现跨应用操作,而且会记忆你的各种习惯,让手机越用越聪明、越用越好用。
天玑 9400,让 AI 手机越用越聪明
先来看看联发科通过天玑 9400 为我们带来的一系列端侧 AI 新功能。
首先,联发科与小红书合作,首发了端侧 SDXL 生图功能。
不仅各种风格都能驾驭,关键是整体速度比云端生成还要快两倍。
而且在 Diffusion 模型端侧化这条路上,联发科还迈出了更大一步,将视频生成模型也带到了端侧。
这项技术同样是业界首发,实现了从静态影像到视频的大跨越。
实际体验下来,只用不到一分半,一段视频就生成完成,如果放到云端……恐怕是连队都还没排到。
相比之下,端侧的算力虽不如云,但胜在专属于用户个人,不需要和海量用户争抢。
另一个优势便是,所有数据都在本地储存和处理,隐私安全更有保障。
说到这里,就要隆重介绍下天玑 9400 首发的端侧 LoRA 训练功能——只要有照片,就能训练出专属于自己的本地 LoRA 模型。
利用训练出的模型,可以生成任意姿态、任意背景的个人写真,足不出户拍遍全世界。
还有联合虹软推出的端侧 AI 智能修图功能,通过在端侧学习到的用户人脸信息,可以对模糊的照片智能修复。
相比于传统的智能超分等处理方式,不仅更清晰,而且能够保留面部细节,处理出的照片更加自然。
除了一系列重磅功能的首发,天玑 9400 也打破了多项业界纪录,比如它的端侧多模态模型运算速度达到了 50Tokens 每秒。
利用面壁智能推出的小钢炮模型,可以快速识别二元一次方程组影像并做出解答。
同时还能理解图片中文字的对应关系,秒速读懂外文菜单,推荐菜品并直接算好价格。
当然整体 AI 性能也经得起检验,在权威的苏黎世 ETHZ AI Benchmark 6.0 榜单中以 6773 分的总成绩排名第一。
该榜单涵盖了不同类型的 34 款模型,同时包括 int8、int16、fp16 等多种,涉及速度和准确性等多种指标,是对 AI 能力的全面评估。
兼容适配上,联发科也已经与国内外的 9 家大模型厂商达成合作,支持了一系列的主流大模型。
在强大的端侧 AI 算力支持下,联发科提出了" 智能体 AI 手机 "的新概念,让移动终端变得更智慧。
天玑 9400 中内置的AI 智能体化引擎(Dimensity Agentic AI Engine ),能够将 AI 模型和应用变成一个个智能体,让手机变成一个强大的 " 后援军团 "。
以点外卖这个场景为例,普通的 AI 助手最多不过是能够帮助我们打开外卖軟體,但智能体化之后,可以全程通过语音交流,完成从选择餐点到完成支付的整个过程。
请看 VCR:
基于通义千问大模型驱动的智能体,现已经支持了多款智能体化应用。
而且随着使用过程的深入,智能体会记住你的习惯偏好,变得越来越聪明、越来越懂你、越来越好用。
比如根据你的喜好推荐电影,然后根据之前的购票习惯,不用多做解释就能帮你选好习惯的位置。
当然要实现这样的效果,除了联发科自身提供的算力,也离不开生态的支持,从芯片到终端,从模型到应用都必须全面发力。
为此,联发科联合 vivo、OPPO 等多家厂商共同发起了 AI 智能体化引擎先锋计划,一同让智能体应用生态变得更完整丰富。
另一方面,联发科也在积极与开发者合作,为 AI 智能体、第三方应用程式和大模型之间提供统一的标准接口,实现 AI 跨应用串联。
这不仅能够缩短 AI 产品的开发周期,更有利于加速构建应用更丰富、体验更出色的 AI 生态。
伴随着算力专属、隐私保障、无网络运行等需求,发展端侧 AI 已逐渐成为新的共识。
其中,AI 手机是端侧 AI 的终极载体,无论是设备保有量还是使用时长,均多于 PC 产品。
从手机 AI 科技树的角度,联发科是当之无愧的强者,今天的天玑 9400 将加速手机的智能体化,借助先进的 AI 技术和生态,丰富和提升人们的生活。
在这背后,必然离不开强大技术的支撑。
软硬體技术协同发力
在技术上,联发科在软硬體两方面同时进行研发,让软硬體共同配合,实现了端侧 AI 的新跨越。
例如,庞大的内存占用是 AI 模型端侧化的一个重要瓶颈,为此,联发科采取了低位宽 KV 缓存技术,同时结合分组查询注意力(GQA)极致 ,降低了 50% 的内存需求。
此外,天玑 9400 不仅搭载了联发科第八代 AI 处理器——NPU 890,还将模型的运算工作全部放入 NPU 中,用更适合 AI 运算特点的 NPU 来加速运算,具体来说有一系列举措:
将专家路由等模块全部转移至 NPU,实现了端侧混合专家(MoE)模型的纯 NPU 运算;
对于 DiT(类 Sora)模型,针对 4D、5D 的张量,利用 NPU 硬體独特的时網域神经元硬體指令进行加速;
对于端侧 LoRA 训练,采用了新的反向传播算子指令集,将过去 C/GPU 上的指令,融入到了 NPU 能够支持的加速指令中……
联发科技,作前沿科技的推动者
所以归结起来,联发科技的新技术和新产品,究竟在带来什么呢?
这个问题可以从多个层面来回答。
首先对于终端用户,是更低门槛的 AI 普惠。
越来越多的 AI 能力被带进端侧,意味着手机用户不用在浩如烟海的云服务中挑的眼花缭乱,直接在本地就能体验到丰富多彩的 AI 应用。
另一方面,联发科天玑 9400 主导的智能体化应用方式铺展开来,AI 应用的使用也将进一步下沉。
同时还会带动智能手机的使用门槛进一步降低,让因种种原因不会操纵手机的老年人等群体,在电子信息时代避免 " 掉队 "。
第二,是给方兴未艾的大模型继续灌注强心剂。
大模型的前期投入耗资巨大,而开发者想要收回成本,用户规模是一大必然要素。
而联发科技凭借终端保有量的优势,加上模型使用的便捷化,无疑为大模型带来了更多的应用场景。
当然,对于终端厂商以及联发科自身,新的功能也是获得用户关于端侧 AI 反馈的重要途径。
随着越来越多 AI 概念的产品化、落地化,用户对 AI 产品的期望,以及对其不足的认识,都变得更加具体,能够更有针对性地反馈出改进意见。
总之,这一系列举措将有望串联起更完整、更宏大的端侧生成式 AI 生态,让芯片厂商、终端厂商、应用开发者和用户共同从中汲取收益,通过相互促进实现产业的共同繁荣。
去年,联发科技首款端侧生成式 AI 芯片天玑 9300 正式亮相,已让更多的人感受到端侧特别是手机上的 AI 开始变得触手可及。
半年后,天玑 9300 的更新版 9300+ 又与人们见面,端侧 AI 的战场变得更加热闹,模型和应用侧也有越来越多的从业者开始关注终端市场。
天玑开发者大会上,联发科在芯片、模型及应用等层面与开发者、合作伙伴共同探索端侧技术路线,进一步筑起了端侧的生态基建。
如今的天玑 9400 又成为了新的王者级 5G 智能体 AI 芯片,并将端侧智能从基础的大模型嵌入,带到了智能体化这一新的高度,在 " 智能 " 与 " 智慧 " 之间,画出了一道新的分水岭。
PS:首批采用天玑 9400 芯片的智能手机即将上市,届时可以通过这些设备体验到天玑 9400 更强大的端侧 AI 能力。
AI 终端,终端 AI,AI 即将触手可及,无处不在。
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>