今天小編分享的科學經驗：安卓率先跑通多模态大模型，終端本地就能看圖生成文本！高通：WiFi都會AI起來，歡迎閱讀。
多模态大模型，首次本地部署在安卓手機上了！
現在，對着手機 AI 助手，輸入照片、語音，都能自如對話，所有功能完全在終端側運行。
MWC 2024 首日，高通就放大招，通通聚焦終端側 AI。
手機上能跑多模态大模型之外，全球首個在 Windows PC 上運行的音頻推理多模态大模型演示，也來了。
它能理解音頻并進行推理、可實現語音輸入的多輪對話。
最後，高通還發布了面向開發者的AI Hub，讓開發者可以更加方便在手機、PC 上開發大模型應用，目前已支持超過 75 個大模型。
以及連 WiFi 系統都要被 AI 增強了，高通最新一代 WiFi 7 解決方案FastConnect 7900，同樣面向混合 AI 時代而來，是全球首個使用了 AI 增強的 WiFi 系統。
高通這一套組合拳，只為證明一件事：終端側 AI 趨勢，現在已經到來。
終端側 AI 已經到來
高通這一次秀肌肉，核心展示了生成式 AI 在手機、PC 端側運行的新突破。
而且在官方資料中，多次強調了 " 所有功能完全在終端側運行 " ——但尚未明确是否都是在不聯網條件下實現的。
不過總而言之，終端側能跑更多 AI 大模型，對于終端變革、用戶價值變革，絕對都是大消息。
具體細節，來看官方放出的演示。
安卓機方面，高通将生成式 AI 的本地運行拉升到了多模态級别。
首個在 Android 智能手機上運行的大語言和視覺助理大模型（LLaVA），可接受包括文本和影像在内的多種類型的數據輸入，并可基于輸入内容進行多輪對話。
現在，用戶可以拍一張照片向 AI 助手提問：
這些食材都是什麼？它能做什麼菜？每道菜的熱量是多少？
AI 助手就能基于照片信息給出回答。所有功能都完全在終端運行，可以進行多輪對話、保障響應速度。
另外，高通還發布了可在安卓手機上運行 LoRA 的實例。
LoRA 能在不改變底層模型的前提下，調節或定制模型的生成内容，通過使用大小僅為模型2%的适配器，即可個性化定制生成式 AI 模型。
比如 Stable Diffusion 就可以通過 LoRA 進行定制化調整。大語言模型也可以通過 LoRA 定制為個人助理、改進翻譯能力等。
PC 方面同樣強調多模态能力的本地部署。
現在，在 Windows PC 上可以運行音頻推理多模态大模型，能夠實現由語音完成多輪對話。
搭載骁龍 X Elite 的 Windows PC 将可以理解鳥叫、音樂或者各種聲音。比如它能聽歌進行相似推薦。
與此同時，高通還 " 翻譯 " 了一下什麼叫真正意義上的 AI PC。
骁龍 X Elite 的NPU 運算能力高達 45TOPS，兩台設備同時運行集成 Stable Diffusion 插件的 GIMP（一款廣受歡迎的影像編輯器）進行 AI 影像生成。骁龍 X Elite 只需 7.25 秒就能生成一張影像，速度是 X86 競品（22.26 秒）的3 倍。
開發者方面，高通推出全新 AI Hub。
它支持超過 75 個模型，傳統 AI 模型和生成式 AI 模型都有，比如 ControlNet、Stable Diffusion、Baichuan-7B 等，可在骁龍和高通平台上部署。
開發者選擇好所需模型、所用框架，确定目标平台（比如特定型号手機或芯片）。高通 AI Hub 就可以為開發者提供面向指定應用、指定平台進行優化的模型。只需幾行代碼即可獲取模型，并将模型集成進應用程式。
高通表示對 AI Hub 支持的每個模型都進行了優化，基于高通的 AI 引擎可以達到4 倍推理加速，同時占用内存帶寬和存儲空間也将減少。
這些優化模型可在高通 AI Hub、Hugging Face 和 GitHub 上獲取。
首個 AI 增強的 WiFi 7 系統
為什麼要用 AI 增強 WiFi？
因為高通認為，AI 的未來是混合 AI，也就是需要跨雲端、終端和邊緣雲。
因此也給連接提出更高要求。
在 MWC 2024 上，高通帶來全新一代 WiFi 7 解決方案：高通 FastConnect 7900 系統。
這也是全球首個 AI 增強的 WiFi 系統，集成了近距離感知功能。
此外，這也是高通首次在 6nm 芯片上集成了藍牙、WiFi 和超帶寬，達到 " 以一頂三 " 的效果。
相較于上一代，7900 采用了全新的射頻前端模組和架構，在降低 40% 系統功耗的同時提高能效；該系統還助力減少 25% 占板面積，從而留出更大的電池空間以提升續航能力。
而在今年 MWC 上，高通不僅發布一系列終端 AI 技術，一系列搭載骁龍 8 Gen 3 的旗艦機也紛紛亮相，比如榮耀 Magic6 Pro、OPPO X7 Ultra、小米 14 Pro 等。
它們帶來了 AI 擴圖（小米）、AI 創建日程（榮耀）、AI 影像消除（OPPO）等功能。
AI 手機元年與否或許還有争議，但終端側的 AI 落地，正在在高通的底層驅動下，走向 Everywhere、Everyone ……
參考鏈接：
https://www.qualcomm.com/news/media-center/press-kits/mwc-barcelona-2024
