今天小编分享的科学经验：安卓率先跑通多模态大模型，终端本地就能看图生成文本！高通：WiFi都会AI起来，欢迎阅读。
多模态大模型，首次本地部署在安卓手机上了！
现在，对着手机 AI 助手，输入照片、语音，都能自如对话，所有功能完全在终端侧运行。
MWC 2024 首日，高通就放大招，通通聚焦终端侧 AI。
手机上能跑多模态大模型之外，全球首个在 Windows PC 上运行的音频推理多模态大模型演示，也来了。
它能理解音频并进行推理、可实现语音输入的多轮对话。
最后，高通还发布了面向开发者的AI Hub，让开发者可以更加方便在手机、PC 上开发大模型应用，目前已支持超过 75 个大模型。
以及连 WiFi 系统都要被 AI 增强了，高通最新一代 WiFi 7 解决方案FastConnect 7900，同样面向混合 AI 时代而来，是全球首个使用了 AI 增强的 WiFi 系统。
高通这一套组合拳，只为证明一件事：终端侧 AI 趋势，现在已经到来。
终端侧 AI 已经到来
高通这一次秀肌肉，核心展示了生成式 AI 在手机、PC 端侧运行的新突破。
而且在官方资料中，多次强调了 " 所有功能完全在终端侧运行 " ——但尚未明确是否都是在不联网条件下实现的。
不过总而言之，终端侧能跑更多 AI 大模型，对于终端变革、用户价值变革，绝对都是大消息。
具体细节，来看官方放出的演示。
安卓机方面，高通将生成式 AI 的本地运行拉升到了多模态级别。
首个在 Android 智能手机上运行的大语言和视觉助理大模型（LLaVA），可接受包括文本和影像在内的多种类型的数据输入，并可基于输入内容进行多轮对话。
现在，用户可以拍一张照片向 AI 助手提问：
这些食材都是什么？它能做什么菜？每道菜的热量是多少？
AI 助手就能基于照片信息给出回答。所有功能都完全在终端运行，可以进行多轮对话、保障响应速度。
另外，高通还发布了可在安卓手机上运行 LoRA 的实例。
LoRA 能在不改变底层模型的前提下，调节或定制模型的生成内容，通过使用大小仅为模型2%的适配器，即可个性化定制生成式 AI 模型。
比如 Stable Diffusion 就可以通过 LoRA 进行定制化调整。大语言模型也可以通过 LoRA 定制为个人助理、改进翻译能力等。
PC 方面同样强调多模态能力的本地部署。
现在，在 Windows PC 上可以运行音频推理多模态大模型，能够实现由语音完成多轮对话。
搭载骁龙 X Elite 的 Windows PC 将可以理解鸟叫、音乐或者各种声音。比如它能听歌进行相似推荐。
与此同时，高通还 " 翻译 " 了一下什么叫真正意义上的 AI PC。
骁龙 X Elite 的NPU 运算能力高达 45TOPS，两台设备同时运行集成 Stable Diffusion 插件的 GIMP（一款广受欢迎的影像编辑器）进行 AI 影像生成。骁龙 X Elite 只需 7.25 秒就能生成一张影像，速度是 X86 竞品（22.26 秒）的3 倍。
开发者方面，高通推出全新 AI Hub。
它支持超过 75 个模型，传统 AI 模型和生成式 AI 模型都有，比如 ControlNet、Stable Diffusion、Baichuan-7B 等，可在骁龙和高通平台上部署。
开发者选择好所需模型、所用框架，确定目标平台（比如特定型号手机或芯片）。高通 AI Hub 就可以为开发者提供面向指定应用、指定平台进行优化的模型。只需几行代码即可获取模型，并将模型集成进应用程式。
高通表示对 AI Hub 支持的每个模型都进行了优化，基于高通的 AI 引擎可以达到4 倍推理加速，同时占用内存带宽和存储空间也将减少。
这些优化模型可在高通 AI Hub、Hugging Face 和 GitHub 上获取。
首个 AI 增强的 WiFi 7 系统
为什么要用 AI 增强 WiFi？
因为高通认为，AI 的未来是混合 AI，也就是需要跨云端、终端和边缘云。
因此也给连接提出更高要求。
在 MWC 2024 上，高通带来全新一代 WiFi 7 解决方案：高通 FastConnect 7900 系统。
这也是全球首个 AI 增强的 WiFi 系统，集成了近距离感知功能。
此外，这也是高通首次在 6nm 芯片上集成了蓝牙、WiFi 和超带宽，达到 " 以一顶三 " 的效果。
相较于上一代，7900 采用了全新的射频前端模组和架构，在降低 40% 系统功耗的同时提高能效；该系统还助力减少 25% 占板面积，从而留出更大的电池空间以提升续航能力。
而在今年 MWC 上，高通不仅发布一系列终端 AI 技术，一系列搭载骁龙 8 Gen 3 的旗舰机也纷纷亮相，比如荣耀 Magic6 Pro、OPPO X7 Ultra、小米 14 Pro 等。
它们带来了 AI 扩图（小米）、AI 创建日程（荣耀）、AI 影像消除（OPPO）等功能。
AI 手机元年与否或许还有争议，但终端侧的 AI 落地，正在在高通的底层驱动下，走向 Everywhere、Everyone ……
参考链接：
https://www.qualcomm.com/news/media-center/press-kits/mwc-barcelona-2024
