今天小編分享的科學經驗：10億參數模型進手機！15秒即可出圖，飛行模式也能用，歡迎閱讀。
純靠手機跑 Stable Diffusion，出一張圖需要多長時間？
答案是15 秒以内。還是開飛行模式那種，完全不需要借助雲伺服器的算力！
不僅能生成動畫版铠甲貓貓戰士，真人版《龍珠》cosplay 大合照，也能迅速想象出來：
△圖源油管 @TK Bay
當然，畫個中國風兔型剪紙影像，也完全沒問題：
△圖源油管 @TK Bay
此前，雖然已經有網友做出了一些能在手機上運行的 Stable Diffusion 項目，不過實際運行會發現，這些項目要麼生成圖片的時間長、内存占用高、耗電量大，要麼生成的影像風格比較單一。
15 秒内依靠手機算力出圖，風格還是多變的那種，究竟是怎麼做到的？
手機 15 秒跑億級大模型
這個手機版 15 秒跑 Stable Diffusion 項目，是高通基于自己的手機芯片做的一個 " 演示 "APP。
在前不久的 MWC 2023 上，高通現場展示了這個 APP 的生成效果，有不少線下參會的網友也體驗了一波，例如嘗試用它生成一群寶可夢：
△圖源油管 @NewGadgets.de
迭代步數達到了 20 步，可以生成分辨率 512 × 512的影像。
據高通介紹，之所以相比其他項目，這個版本的 Stable Diffusion 能在手機上快速運行，是因為團隊專門基于移動端 AI 軟硬體技術，對開源模型進行了優化。
其中，Stable Diffusion 模型選用的是在 Hugging Face 上開源的 FP32 version1-5 版本。
為了達到 15 秒 " 快速出圖 " 的效果，研究人員從硬體、框架和 AI 壓縮算法上入手，在确保出圖效果的同時，對模型大小和端側運行進行适配優化：
硬體：第二代骁龍 8 移動平台
框架：高通 AI 引擎 Direct
AI 模型壓縮工具：AI 模型增效工具包 AIMET
首先，基于高通 AI 模型增效工具包 AIMET，對訓練後的 Stable Diffusion 模型進行量化。AIMET 中包括一些高通之前的量化研究算法如 AdaRound 等，能将模型精度從 FP32 壓縮到 INT8，降低功耗的同時确保模型運行效果；
接下來，團隊基于高通的 AI 引擎 Direct 框架，對這一模型進行軟硬體協同優化，讓它能更好地運行在 AI 計算專用的 Hexagon 處理器上，提升性能的同時最小化内存溢出；
最後，高通也采用了最新發布的第二代骁龍 8 移動平台，支持一項名叫微切片推理（Micro Inferencing）的技術，能通過在時間軸上對網絡層進行切分，從而讓處理器始終處于高效運轉狀态，提升效率。
不止是 Stable Diffusion，其他生成式 AI 算法同樣如此。
高通還展示了相比其他 GPU 和 CPU，Hexagon 處理器在移動端跑人臉生成算法的效率：
至于搭載 Hexagon 處理器的第二代骁龍 8 移動平台，跑超分辨率（RDN）、背景虛化（DeeplabV3+）、人臉識别（FaceNet）和自然語言處理（MobileBERT）等算法上，性能同樣高出同行 3~4 倍：
而這也正是高通一直強調的 " 端側 AI 算力 " 性能。
據高通介紹，在這波生成式 AI 浪潮下，相比單純借助雲端算力處理 AI 模型，端側的計算能力也同樣能被加以利用。
端側算力加速生成式 AI 落地
随着這波大模型爆火，雲端計算已經成為不少人受關注的技術。
然而，作為 AI 技術最直接的落地領網域之一，同樣能提供算力的移動端，是否同樣會對這波生成式 AI 浪潮造成影響？
對此，高通技術公司產品管理高級副總裁兼 AI 負責人 Ziad Asghar 分享了他的看法。
Ziad Asghar 認為，讓大模型這類生成式 AI 純粹在雲端運行，存在幾個問題。
一方面，像網絡搜索這樣的算法，生成式 AI 的查詢效果雖然比傳統方法更好，但單次查詢成本也會更高。
随着用戶數量的不斷增加，僅僅依靠雲端算力，可能無法支持越來越多的生成式 AI 應用同時運行：
另一方面，雖然雲端計算能力更大，但不少 AI 模型應用到端側時，在推理時還會面對處理用戶數據等涉及隐私安全方面的問題。
就拿個人搜索來說，要想使用 AI 算法更智能地搜索手機上的數據、同時又不上傳到雲端處理，那麼模型最終就得部署到端側，而非将用戶數據 " 聯網 " 上傳。
因此，要想讓生成式 AI 規模化落地，移動端也要從計算方式和應用途徑上作出對應的準備。
而這也是高通提出混合 AI概念的原因，将一些 AI 模型放到終端側進行處理。
Ziad Asghar 還表示，随着移動端 AI 處理能力的不斷提升，未來幾個月内，我們就能看到100 億參數的大模型在移動端運行：
到那個時候，或許手機上的 AI 助手就真能做到 " 專人定制 " 了。
參考鏈接：
[ 1 ] https://mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw
[ 2 ] https://www.youtube.com/shorts/Dd8bfblL9H0
[ 3 ] https://www.youtube.com/watch?v=-pnHnlgcPfM
[ 4 ] https://www.youtube.com/watch?v=VJ_MBN2DavM
[ 5 ] https://mp.weixin.qq.com/s/J1RFNa0F1wpOvgqUxKc51w
