今天小編分享的科技經驗：讓手機、PC、汽車、AIoT等“終端”都用好AI，搞定統一生态這事太重要了，歡迎閱讀。
作者 | 雲鵬
編輯 | 漠影
2024 年無疑是端側 AI 爆發的一年，因此產業也通常将今年看作是" 端側 AI 元年 "。
當下，AI 大模型在終端細分賽道展現出的強大生命力，各類 AI 產品幾乎無處不在，AI 手機、AI PC、AI 眼鏡，以及 AIoT 領網域的各類 AI 智能終端設備成為當下數碼和科技圈廣為熱議的關鍵詞。
根據 Gartner 預測，2025 年 AI PC 全球出貨量将超過1.14 億台，同比增長165.5%。另一邊，AI 手機也在快速普及，根據 Canalys 預測，2025 年 AI 手機的滲透率可能會接近三分之一，出貨量近4 億台。
與此同時，具身智能機器人賽道火爆，智能汽車領網域的 AI 應用落地更是 " 卷 " 得飛起。
端側 AI 的加速落地，讓消費者感受到了不一樣的 AI 體驗：AI 真的更 " 懂你 " 了，AI 功能更加 " 個性化 "，AI 能力也更加深入系統級。端側 AI 的價值愈發凸顯。
根據研究人員統計預測，端側 AI 市場規模将在 8 年後衝向 1436 億美元（約合人民币 10400 億元），10 年增長 10 倍。
▲ 2022 年至 2032 年按終端用戶劃分的端側 AI 全球市場規模（部門：十億美元）
在國内 AI 市場，AI 的發展更加百花齊放，據艾瑞咨詢測算，2023 年國内 AI 產業規模已經超過了 2100 億元，端側和邊緣 AI 芯片的比重也有望持續增漲。大模型帶來的底層技術革新無疑會給端側 AI 產業規模增長帶來更多存量擴張與增量空間。
▲來源：艾瑞咨詢
在這樣的行業背景下，國内 AI 領網域的玩家是走得最積極的一批，在技術落地方面推進得更加踴躍。從底層的芯片 IP、芯片設計、制造到作業系統、大模型研發、終端，再到上層 AI 應用和服務落地，國内 AI 發展有着完整的全產業鏈條，本土 AI 新勢力無疑有着充足的施展空間和機會。
扛起本土 AI 底層生态建設大旗，需要國内廠商在端側 AI 領網域協同發力、抱團取暖。
作為產業鏈最上遊芯片 IP 領網域核心玩家的安謀科技，剛剛在上海舉辦了一場端側 AI 生态研讨會，聚集了從芯片、大模型到終端，從硬體、軟體、算法到生态的各路行業頭部企業，分享最新行業趨勢，輸出前沿觀點。
安謀科技銷售及商務執行副總裁徐亞濤提到，AI 未來的發展必然是多樣性的，每一類產品都面臨着 AI 化的挑戰，整個產業都在被 AI 重塑。AI 不是單打獨鬥可以搞定的，跨行業的深度合作将成為必然。
▲安謀科技銷售及商務執行副總裁徐亞濤
一、端側 AI 落地，一場模型與算力的 " 雙向奔赴 "，本土 AI 新勢力走向前台
就在昨天凌晨，OpenAI 正式發布了 Sora 視頻大模型，AI 大模型的迭代再進一步，從文本到影像、從多模态到視頻，大模型的發展快得令人不敢眨眼。一個不留神，可能就會掉隊。
随着超大規模的基座大語言模型不再持續狂飙，大模型向着邊緣和端側下沉的趨勢日益明顯，AI OS、AI 智能體等概念逐漸成為行業共識，產業的關注焦點已經轉向了真正賦能行業、實現落地。
大家不再單純地看 TOPS（算力），而是更關注 FPS（幀數性能）和 tokens（生詞速度），也就是更關注實際在應用場景中的表現。
智源人工智能研究院副院長、總工程師林詠華提到，大模型的技術發展如今更加聚焦模态的多樣性、模型結構算法的多樣性以及生產部署的優化，大模型發展呈現出 " 兩極分化 " 的态勢：更強更大和更小更精。
據統計，數百億級以上的強大稠密模型，或 10B 以下的小模型更受歡迎，越來越多的小模型被發布和下載，而端側 AI 的發展，顯然更側重于 " 更小更精 "。
與此同時，一個突出的特點就是國内 AI 企業在 AI 大模型這波浪潮中一直走在全球 AI 產業的前列，熱門大模型中本土公司開發的模型占比很高。
尤其是結合國内 AI 市場潛在規模，本土 AI 企業的發展潛力更是巨大的。
安謀科技市場及生态副總裁梁泉也談到了類似的觀點，在端側 AI 領網域，模型與算力正在 " 雙向奔赴 "，小參數、多模态模型的能力快速提升，而旗艦設備的算力也已經達到 50-100 TOPS。
▲安謀科技市場及生态副總裁梁泉
在端側 AI 的元年，雖然沒人能确切地說出端側 AI 的殺手級應用會是什麼，但本土 AI 新勢力發展端側 AI 已經實打實地從技術軍備競賽走向場景化落地應用。
二、本土企業領跑端側 AI 落地，技術創新加速湧現，生态大一統走向必然
端側 AI 的發展無疑正迎來一個新的 " 黃金時期 "，從芯片、框架、大模型到終端，整個產業鏈的各個環節都在深度參與，快速适應，不斷迭代產品和技術。與此同時，統一生态的重要性愈發凸顯，端側 AI 的高效落地，必然需要彌合碎片化的生态，需要產業鏈各方的共同努力。
1、從手機、PC 到汽車，芯片創新為端側 AI 落地提供底層基礎
在端側 AI 落地過程中，AI 手機無疑衝在了最前面，蘋果安卓兩大生态分庭抗禮，安卓生态端，聯發科、展銳等手機芯片巨頭的 AI 手機芯片無一例外都是基于 Arm 架構打造。
紫光展銳執行副總裁兼市場部部長黃宇寧談道，端側 AI 如今正湧現出更多成果，包括硬體、軟體、端側大模型、端雲協同與安全技術等領網域的諸多新技術的成熟都加速着 AI 手機的發展。
▲紫光展銳執行副總裁兼市場部部長黃宇寧
從手機 AI 到真正的 AI 手機，一個能夠自動執行復雜任務、真正懂我們的智能設備，AI 手機的發展正邁入 AI OS、AI 智能體時代。在 AI 落地手機的過程中，很多廠商都明确提出了 " 端雲協同 " 的混合 AI 模式。
簡言之，混合 AI 就是将雲端的強算力與端側的個性化、低時延、高數據安全性等特點相結合，真正實現優秀的端側 AI 體驗。
據黃宇寧介紹，目前紫光展銳的芯片已經在三個 AI 典型場景中應用：全場景通用 AI 算力（端側 AI 智能體）、多媒體專用 AI 算力和低功耗輕量 AI 算力。
基于 Arm 架構和生态，紫光展銳可以提供 CPU、GPU、NPU 以及整合的 SoC 這些底層算力平台，而整個生态的構建則需要產業合作夥伴的共同努力。
黃宇寧特别提到，在端側 AI 落地過程中，統一生态是非常重要的，其最直接受益的就是開發者，而開發者則可以利用統一生态，把最新的算法、模型在芯片上快速實現落地，讓用戶最終享受到好的服務。
除了 AI 手機，另一個端側 AI 落地的重要領網域就是 AI PC。
此芯科技生态戰略總經理周傑提到，生成式 AI 正在推動 PC 產業的第三次革命，AI 給 PC 產業注入了新的活力，包括異構 AI 算力、内存、SLMs（小模型）、智能體化，國内廠商都在積極擁抱端側 AI。
▲此芯科技生态戰略總經理周傑
已經發布的 " 此芯 P1" 芯片是一個高能效異構處理器，異構集成了 Arm 架構 CPU、GPU 以及安謀科技自研的 " 周易 "NPU，此芯科技要用異構算力去賦能多場景端側 AI，将不同的計算模塊應用在不同應用負載中。
現場周傑還劇透了他們的 AI PC 開發套件新品 Radxa Orion 06，這個開發套件搭載了 " 此芯 P1" 高能效 Armv9 處理器，可以基于異構算力支持主流端側生成式 AI 大模型和傳統 CNN 模型。
顯然，AI PC 的發展會助力 Arm 架構在 PC 市場的崛起，Arm 架構在 AI PC 生态有先發優勢，是手機生态的自然延伸。
同樣基于 Arm 架構打造 AI 處理器的還有愛芯元智，在愛芯元智聯合創始人、副總裁劉建偉看來，AI 是穩定可靠的智能輸出基建，是一場成本驅動型的生產力革命。
▲愛芯元智聯合創始人、副總裁劉建偉
AI 的發展，帶來了新的程式範式，因此需要真正按照原生 AI 處理思路設計的 AI 處理器，為此，愛芯元智将算子指令集與數據流 DSA 微架構相結合開發了相關 AI 處理器，可以兼顧靈活性和低能耗。
他特别提到，AI 處理器的設計要軟硬體聯合設計，讓軟體編程的負擔越來越低。
2、從雲到端，模型變得 " 更小更強 "，統一生态加速技術創新湧現
在大模型研究方面，智源人工智能研究院、面壁智能和 vivo 都是各自領網域的領跑者。端側 AI 的落地，離不開大模型側的技術突破和優化迭代。
在智源人工智能研究院副院長、總工程師林詠華看來，未來 10 年，大模型必然會牽引 AI 走向美好的星辰大海，而在這個過程中，多元異構 AI 算力軟硬體生态面臨着巨大的技術挑戰。
▲智源人工智能研究院副院長、總工程師林詠華
芯片層面軟體生态割裂、遷移成本高，而各種異構算力、多地網域算力整合面臨異構算力軟體各異、軟硬體穩定性差等難題。各個廠商私有的、碎片化的軟體生态已經成為用戶嘗試其他 AI 硬體時的最大障礙。
為多元異構 AI 芯片打造統一、開放、協作的軟體生态系統就顯得尤為重要，這也是智源人工智能研究院基于開源的 Triton 語言打造統一的軟體層、打造面向國產 AI 芯片的軟硬體生态系統的目的所在。
Triton 編譯器可以支持 Arm 生态芯片，基于 Triton 算子庫及編譯器可以獲得開發效率、性能效率上的雙重優勢。
林詠華特别強調了統一生态的重要性，當上層有統一生态的時候，就會有更多軟體技術層面的突破湧現，這對于整個產業都有重要的積極意義。
面壁智能聯合創始人 &CTO 曾國洋重點分享了自家面壁小鋼炮系列大模型的最新進展，其" 以小博大、高效低成本 "的特點剛好印證了林詠華對于大模型趨勢的判斷。
▲面壁智能聯合創始人 &CTO 曾國洋
MiniCPM 3.0 一個 4B 大模型，可以獲得 ChatGPT 級基礎性能，量化後内存占用僅有 2GB，最新端側多模态大模型 MiniCPM-V 2.6 8B 模型則可以單圖、多圖、實時視頻全維度超越 GPT-4V。
未來，大模型知識密度會随時間呈指數級增長，而端側算力目前總量巨大亟待激活，存量手機終端算力總規模超過 7100 EOPS，端側 AI 市場勢能強勁，" 把大模型放到離用戶更近的地方 "，就是面壁智能未來核心要做的事情。
同樣把大模型做得 " 小而美 " 的還有 vivo。
作為手機終端巨頭，vivo 在自研大模型方面一直跑在行業前列，今年其自研的藍心端側大模型 BlueLM-3B，已經在性能、功耗方面超越了原來的 7B 大模型，甚至可以達到雲端 70B 大模型 80% 以上的效果。
▲ vivo AI 規劃高級總監孟祥育
系統級總結摘要、全局書寫工具、多模态理解、vivo 手機智能體 PhoneGPT（自主拆解需求、主動規劃路徑、實時環境識别、動态反饋決策）這些端側 AI 能力都落地在了 vivo 的旗艦手機中。
目前手機端側大模型發展面臨的主要挑戰，是内存、性能、功耗與模型效果之間的平衡，在 vivo 看來，3B 大模型是端側模型的黃金尺寸。未來如何更高效地更充分地利用芯片算力，在小參數模型上實現更好的端側 AI 體驗，是手機廠商們努力的方向。
3、MNN 提升大模型部署效率，ODM 大廠重點布局軟體做好 " 連接 "
在芯片和大模型之間，推理框架層面的技術迭代也十分關鍵，可以說起到了大模型在端側落地的 " 催化劑 " 作用。
阿裡巴巴端側 AI 技術專家邢世穩重點分享了其在 MNN 開源框架端側大模型部署方面的探索。
▲阿裡巴巴端側 AI 技術專家邢世穩
簡單來說，MNN 是輕量級深度學習推理引擎，涵蓋了 AI 模型圖優化、轉換、高效運行，其核心要解決的就是模型在各類設備上高效部署運行的問題，尤其是移動設備。
同樣在 " 連接 " 方面具有獨特價值的是作為 ODM 大廠的六聯智能，其產品中心副總經理 & 產品總監張曉軍提到，六聯智能的目标是提供端側 AI 全場景硬體解決方案，他們最近成立了專門的軟體團隊，連接處理器廠商和算法廠商，做更好的集成，打通 " 最後一公裡 "。
▲六聯智能產品中心副總經理 & 產品總監張曉軍
目前，從個人 10B 到家庭 / 小企業 10-100B，再到中大型企業 100B+，六聯智能都有全場景端側 AI 解決方案，包括 AI PC、AI 工作站和伺服器。
4、立足自研 NPU，異構計算 + 混合 AI 成為行業最優解
可以看到，端側 AI 已經成為整個 AI 產業都在重點布局的領網域，而安謀科技在扛旗推動 AI 生态建設的同時，也基于自身的本土創新能力，推出了 " 周易 " 自研 NPU，并從異構計算的角度進一步加速端側 AI 的落地，給行業提供新的解法。
安謀科技 NPU 產品總監鮑敏祺在會上提到，手機、平板、PC 國際大廠紛紛發布各種應用，但當前以實際 AI 模型使用體驗來說仍然不理想，國内 AI 算法模型應用生态仍然沒有規模的商業落地。
▲安謀科技 NPU 產品總監鮑敏祺
端側 AI 的迭代非常快，從高頻度的算法更新、計算模式優化、容量需求提升到算力要求提升，算力需求随着大模型多模态應用而持續增加，而大模型對 NPU IP 硬體也提出了新的需求。
針對這些需求和挑戰，安謀科技新一代 " 周易 "NPU 專門對 transformer 進行了優化，其涵蓋了軟硬體方案以及深入的系聯考量，在功耗、面積、性能方面形成優勢，可以說是基于軟硬協同來應對未來應用場景。
正如前文所說，在端側 AI 的發展過程中，算力和模型呈現雙向奔赴的趨勢，而在這個過程中，挑戰也很多，異構計算與混合 AI 的方式，可以更充分地利用端側算力，已經成為業内公認的最優解。
三、既懂技術又懂市場，本土 AI 生态圈的 " 扛把子 " 不是一天煉成的
可以看到，從手機、PC、汽車到整個物聯網 AIoT，包括智慧家庭、無人機、智慧工廠、機器人、智慧監控、智能零售、智能穿戴，幾乎各個產業都可以為 AI 所賦能。
芯片企業、大模型企業、終端巨頭，產業鏈上下遊各方也都在積極行動，探索合作共建的端側 AI 生态之道。在這一确定的方向上，安謀科技的產業價值不言自明。
一方面，安謀科技在 NPU、軟體、異構計算平台等方面做好了解決方案級的技術布局，另一邊其成為聯合國内本土客戶構建端側 AI 生态的最核心推手。
就在今天的研讨會上，"AIPC 和 EdgeAI 聯合實驗室 " 正式揭牌，這是一個由安謀科技牽頭發起，聯合產業多方共同搭建的 AI 平台，核心就是要做本土的 AI 生态建設、社區發展和技術運營，進而給端側 AI 的落地添柴。
實驗室會聚焦 PC 與 Edge 領網域，探索 AI 生态和應用場景，跟產業鏈合作夥伴一起去構建本土的技術生态。當然，這也是國内廠商對接 Arm 全球生态的一個關鍵平台。
其實，通過現場與會者的發言，在筆者看來安謀科技牽頭來組這場端側 AI 的交流分享局的立足點可以用以下幾個關鍵詞概括：
一是" 連接 "。一邊是完整的自研業務產品和本土市場服務能力，一邊是 Arm 成熟技術标準和生态體系，從 Arm 通用 IP 到自研產品，讓其可以通過更靈活的產品組合和形式去對接、賦能產業。
二是" 上遊 "。作為本土 AI 產業鏈上遊的獨特視角是其有别于其他端側 AI 組局者的另一個核心标籤，可以站得更高看得更遠，對技術趨勢的判斷也更加前瞻和精準。
三是" 本土 "。作為一家本土企業，對于本土 AI 市場的實際需求、關鍵痛點都有着更精準的把握，所進行的本土技術創新也更有針對性。
這些都是安謀科技在今天國内 AI 產業中的不可替代之處。
正如安謀科技市場及生态副總裁梁泉所說，在端側 AI 的落地過程中，很多問題往往需要既懂模型、又懂底層軟硬體的人才能解決，這對于廠商來說挑戰很大。
但同時這些問題又有着共性，建立一套統一的軟體生态，意義十分重大，安謀科技的一系列動作恰恰就是要幫助企業解決這些挑戰。
據了解，目前已有智源人工智能研究院、紫光展銳、愛芯元智、六聯智能、系微軟體、此芯科技、億道數碼、輝羲智能、面壁智能、零一萬物、中科加禾、瑞莎計算機等十幾家正式加入 AIPC 和 EdgeAI 聯合實驗室，上海漕河泾開發區則為該實驗室提供相關產業支撐。
安謀科技在推動端側 AI 生态建設方面，無疑又邁出了關鍵一步。
結語：瞄準未來萬億市場，本土 AI 產業有望持續引領
從 2018 年成立至今，從承接 Arm 技術和生态賦能產業，到多條自研產品線的持續迭代。通過一手連接 Arm 生态，一手耕耘國内市場的獨特站位，安謀科技持續致力于給本土 AI 發展提供更具針對性的軟硬生态協同的一體化解決方案。
而伴随着 Arm 計算平台面對 AI 時代的穩步深耕，Arm 架構成為未來 AI 計算的基礎，已經成為必然趨勢。我們也期待看到在本土端側 AI 產業鏈上下遊玩家們的通力協作下，本土 AI 產業在產品研發、技術創新和市場培育上多元發力，以更加迅猛的加速度，朝着萬億規模持續進發。
