今天小編分享的科學經驗：大模型加速湧向移動端！ControlNet手機出圖只需12秒，高通AI掌門人：LLaMA也只是時間問題，歡迎閱讀。
大模型重塑一切的浪潮，正在加速湧向移動應用。
不久前，高通剛在 MWC 上露了一手純靠手機跑 Stable Diffusion，15 秒就能出圖的騷操作：
3 個月後的 CVPR 2023 上，參數加量到15 億，ControlNet 也已在手機端閃亮登場，出圖全程僅用了不到 12 秒：
更令人意想不到的速度是，高通技術公司產品管理高級副總裁兼 AI 負責人 Ziad Asghar 透露：
從技術角度來說，把這些 10 億 + 參數大模型搬進手機，只需要不到一個月的時間。
并且這還只是個開始。
在與量子位的交流中，Ziad 認為：
大模型正在迅速重塑人機互動的方式。這會讓移動應用的使用場景和使用方式發生翻天覆地的變化。
" 大模型改變終端互動方式 "
每一個看過《鋼鐵俠》的人，都很難不羨慕鋼鐵俠無所不能的助手賈維斯。
盡管語音助手早已不是什麼新鮮事物，但其現如今的形态多少還是離科幻電影中的智能助手有點差距。
而大模型，在 Ziad 看來，正是一個破局者。
大模型有能力真正重塑我們與應用互動的方式。
這種改變的一種具體的表現，就是all in one。
也就是說，通過大模型加持下的數字助手這一個應用入口，人們就可以在手機這樣的終端上操控一切：
通過自然語言指令，數字助手能自動幫你管理所有手機上的 APP，完成辦理銀行業務、撰寫電子郵件、制定旅程并訂票等等各種操作。
更為關鍵的是，這樣的數字助手還能做到 " 私人訂制 " ——
手機上的個性化數據，與能夠理解文字、語音、影像、視頻等多模态輸入的大語言模型相結合，就能使數字助手更為精準地把握使用者的偏好。
并且這樣的個性化體驗，可以在不犧牲隐私的情況下實現。
從技術的角度來說，背後關鍵，其實就是如今把 Stable Diffusion 和 ControlNet 搬進手機的混合 AI 架構及作為支撐的量化、編譯和硬體加速優化等 AI 技術。
混合 AI，指的是終端和雲端協同工作，在适當場景和時間下分配 AI 計算的工作負載，以更為高效地利用算力資源。
量化、編譯和硬體加速優化，則是實現混合 AI 的關鍵 AI 技術，受到高通等終端 AI 廠商的長期關注和押注。
量化，是将更大的模型在精度不變的情況下，從浮點數轉變成整數，節省計算時間；又或是在确保模型性能的同時，對其大小進行壓縮，使之更容易部署在終端。
編譯器是 AI 模型能夠以最高性能和最低功耗高效運行的關鍵。AI 編譯器将輸入的神經網絡轉化為可以在目标硬體上運行的代碼，同時針對時延、性能和功耗進行優化。
硬體加速方面，以高通為例，其 AI 引擎中的關鍵核心 Hexagon 處理器，采用專用供電系統，支持微切片推理、INT4 精度、Transformer 網絡加速等，能夠在提供更高性能的同時，降低能耗和内存占用。
數據顯示，Transformer 加速大幅提升了生成式 AI 中充分使用的多頭注意力機制的推理速度，在使用 MobileBERT 的特定用例中能帶來4.35 倍的 AI 性能提升。
以 Stable Diffusion 為例，現在，高通的研究人員通過量化、編譯和硬體加速優化，已經能夠在搭載第二代骁龍 8 移動平台的手機上，以15 秒 20 步推理的速度運行這一模型，生成出 512 × 512 像素的圖片。
△圖源油管 @TK Bay
這樣一來，整個推理過程可以完全只靠手機實現——開着飛行模式不聯網也能做到。
這類 AI 技術的部署并非易事，Ziad 表示在相關軟體、工具和硬體方面，高通準備了 2-3 年的時間。
但現在，當高通 AI 模型增效工具包、高通 AI 軟體棧和高通 AI 引擎等軟硬體工具齊備之後，正如前文所言，高通只花了不到一個月的時間，就實現了 Stable Diffusion 在骁龍平台上的高速運行。
也就是說，當基礎技術準備就緒，包括大模型在内的生成式 AI 部署，就會更加容易，原本無法想象的 " 大模型部署到終端變成數字助手 "，現在看來也并非不可能。
具體而言，在硬體上混合 AI 和軟體 AI 技術的 " 雙重 " 架構下，部署在手機等終端中的大模型，可以在終端側根據用戶習慣不斷優化和更新用戶畫像，從而增強和打造定制化的生成式 AI 提示。這些提示會以終端側為中心進行處理，只在必要時向雲端分流任務。
Ziad 也進一步向我們解釋說：
雲不了解你，但終端設備了解你。如果模型可以在設備上進行微調，那它的功能将非常強大。
這也是突破大模型幻覺和記憶瓶頸的方式之一。高通可以做到通過一系列技術讓大模型在不聯網的情況下，借助終端設備數據長時間提供 " 專屬 " 服務，同時也保護了用戶隐私。
值得關注的是，Ziad 還透露，在 Stable Diffusion 和 ControlNet 之外，基于高通全棧式的軟體和硬體能力，研究人員正在将更多生成式 AI 模型遷移到手機之中，參數量也正在向百億級别進發。
很快，你就會在終端上看到像 LLaMA 7B/13B 這樣的模型。一切工具已經就緒，剩下的只是時間問題。
而且，雖然目前能在終端側部署的只是 " 特定 " 的大模型，但随着技術的不斷應用成熟，能部署的大模型數量、模态類型和部署形式，都會飛速進化。Ziad 表示：
随着更多更好的 AI 算法被開源出來，我們也能更快地沿用這套軟硬體技術将它們部署到終端側，這其中就包括文生視頻等各種多模态 AI。
這樣來看，未來用戶将自己想用的大模型遷移到手機端，成為超級助手的核心，也并非不可能實現。
大模型正在重塑移動互聯網
實際上，手機上的互動變革，還只是冰山一角。
早在生成式 AI、大模型技術爆發之前，在移動互聯網時代，AI 需求已經呈現出向邊緣設備轉移的趨勢。
正如 Ziad 的觀點 " 終端側 AI 是 AI 的未來 " 一樣，随着以大模型為代表的生成式 AI 浪潮加速改變人機互動方式，更多終端側如筆記型電腦、AR/VR、汽車和物聯網終端等，也都會因為這場變革迎來重塑，甚至反過來加速 AI 規模化落地。
在這個過程中，不僅硬體會誕生新的衡量标準，軟體上以大模型為核心的超級 AI 應用，更是有可能出現。
首先是硬體上，由于終端側算力會成為延展生成式 AI 落地應用不可或缺的一部分，對于移動端芯片本身來說，AI 處理能力也會日益凸顯，甚至成為新的設計基準之一。
随着大模型變得更受歡迎、更多應用不斷接入其能力，更多潛在的用戶也會意識到大模型具備的優勢，從而導致這類技術使用次數的迅猛上升。
但雲端算力終究有限。Ziad 認為：
随着 AI 計算需求的增加，雲端算力必然無法承載如此龐大的計算量，從而導致單次查詢成本急劇增加。
要解決這一問題，就應當讓更多算力需求 " 外溢 " 到終端，依靠終端算力來緩解這一問題。
為了讓更多大模型在終端就能處理甚至運行，從而降低調用成本，必然需要在确保用戶體驗的同時，提升移動端芯片處理 AI 的能力。
長此以往，AI 處理能力會成為衡量硬體能力的 benchmark，如同過去手機芯片比拼通用算力和 ISP 影像能力一樣，成為整個移動端芯片的新 " 賽點 "。
誰能在設計移動端芯片時将之考慮進去，誰就更有可能取得這場大模型較量的話語權。
不止是硬體。軟體上，通過改變人機互動的方式，大模型将重塑包括娛樂、内容創作、生產力在内的所有移動應用。
在這種情況下，越來越多的大模型、或者說生成式 AI 會參與其中，重塑不同移動端 AI 應用，而這些應用随着不同移動端算力和應用場景的差異，又會有所不同：
在智能手機端，正如前文所述，這種重塑會率先出現在搜索和 " 智能助手 " 上。例如，只需要一句 " 安排 5 人會議 "，大模型就能将以往需要用電子郵件反復确認的消息簡化成一條指令，自動發送到其他人的日歷上。
而在筆記型電腦和 PC上，最大的影響可能是工具生產效率的提升，如使用 Office 的方式不再需要是依靠打字輸入内容，而是聊聊天就能完成自己想要寫的報告、處理的 PPT。
至于在汽車端，率先受到影響的可能會是數字助理和自動駕駛軟體，像使用導航軟體時不再需要點擊目的地，而是直接告訴它 " 我想去 XX，中途安排一個吃飯的地點，别太貴 "，大模型就能讀懂人話，自動規劃汽車路線。
又或是XR更吸引人的應用重塑，在于 3D 内容創作和沉浸式體驗；物聯網的改變，則可能發生在運營效率和客戶支持應用上……
當然，這并不意味着 AI 小模型的 " 消失 "。大模型出現之前，影像應用已經成為移動端 AI 落地最顯著的領網域，包括 AI 修圖、暗景視頻拍攝去噪算法等在内已有不少成熟的 AI 應用。
Ziad 認為，生成式 AI 的出現并不會替代已有 AI 應用，甚至在其刺激下，CPU、GPU、AI 處理器的更新進化，會進一步提升去噪等傳統 AI 算法的能力。
同時，移動端應用之間并非 " 孤島 "。無論智能手機、電腦、汽車、物聯網還是 XR，一旦大模型促使某個真正的 " 殺手級 " 應用出現，勢必也會在各個移動端之間部署。
因此在這波大模型浪潮下，如何讓開發的應用快速适配到不同移動端，實現 " 一次開發多端互聯 "，也是不可或缺的技術趨勢。
總而言之，從硬體的芯片設計、軟體的應用程式，到應用的整體開發方式，大模型都在給移動端、甚至是整個移動互聯網帶來改變。
那麼，高通在這場大模型變革浪潮中會扮演什麼樣的角色？
Ziad 認為，高通将會領導技術前沿，成為引領這場變革的核心：
在終端側，無論是從硬體還是軟體而言，高通都處在領先地位。不僅僅是手機，在電腦、AR、VR、汽車、物聯網等領網域都是如此。
而這份信心的來源，是高通長期的 AI 技術積累，" 一切工具都已經就緒 "。
無論是硬體上的 Hexagon AI 處理器、讓生成式 AI 在雲端和終端之間 " 無縫 " 應用的混合 AI，還是軟體上所具備的量化、壓縮、神經網絡架構搜索（NAS）和編譯等技術，高通都已經具備了将大模型随時應用到終端側的技術儲備。
一旦成功将大模型部署到某個終端側，如智能手機，就能通過高通 AI 軟體棧将之迅速部署到其他所有端側設備上，進一步加速大模型的規模化落地。
像 10 億參數 Stable Diffusion 模型，在部署到手機上之後，也已經實現在搭載骁龍計算平台的筆記本上運行。
面對這波大模型浪潮下生成式 AI 帶來的機遇和挑戰，不少科技公司都在尋找應對之策，以探求如何跟進其中的技術。
至少在終端側，高通已經以技術玩家的身份，為行業率先打了個樣。
One More Thing
在這波生成式 AI 熱潮下，大模型是否可能帶來新的如微信一樣的 " 殺手級 " 應用？高通如何看待這個觀點？
Ziad 回答稱，可能會，而且這類 " 殺手級 " 應用，更可能率先在中國出現：
如果按發展趨勢來看的話，中國确實可能會更快出現這類應用。
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
