今天小編分享的科學經驗:王炸級3nm安卓AI芯片發布:生成視頻不用聯網,智能體幫你點外賣訂酒店,歡迎閲讀。
安卓首款 3nm、PC 級 Arm V9 架構、第八代 NPU ——天玑 9400,成為了移動 AI 芯片的最新最強成果!
相比上一代生成式 AI 芯片天玑 9300,其AI 能力更上一層樓,榮登蘇黎世 ETHZ 移動 SoC AI 性能榜單之首。
天玑 9400首次實現了端側 DiT 架構支持,無需聯網就能在手機上體驗 Sora 同款架構視頻生成。
還有業界首發的端側 LoRA 訓練,可以高效離線訓練專屬于自己的 LoRA 生圖模型,同時保證隐私不泄露。
大模型方面,天玑 9400 能夠運行的模型視窗文本長度提升到了 32K,是天玑 9300 的 8 倍。
同時還支持端側運行多模态大模型,并以 50 Tokens 每秒的超高速度超越了前 SOTA。
綜合 AI 性能方面,天玑 9400以 6773 分的成績領跑了蘇黎世 ETHZ 移動 SoC 榜單,是天玑 9300 的 1.4 倍。
而從整體上看,天玑 9400 采用台積電第二代 3nm 制程,相較上一代單核性能提升 35%,多核性能提升 28%,同性能功耗降低 40% ……
此外,聯發科這次不僅把端側 AI 能力用在了模型運行上,更是集成了天玑 AI 智能體化引擎(Dimensity Agentic AI Engine)。可以根據你的需求實現跨應用操作,而且會記憶你的各種習慣,讓手機越用越聰明、越用越好用。
天玑 9400,讓 AI 手機越用越聰明
先來看看聯發科通過天玑 9400 為我們帶來的一系列端側 AI 新功能。
首先,聯發科與小紅書合作,首發了端側 SDXL 生圖功能。
不僅各種風格都能駕馭,關鍵是整體速度比雲端生成還要快兩倍。
而且在 Diffusion 模型端側化這條路上,聯發科還邁出了更大一步,将視頻生成模型也帶到了端側。
這項技術同樣是業界首發,實現了從靜态影像到視頻的大跨越。
實際體驗下來,只用不到一分半,一段視頻就生成完成,如果放到雲端……恐怕是連隊都還沒排到。
相比之下,端側的算力雖不如雲,但勝在專屬于用户個人,不需要和海量用户争搶。
另一個優勢便是,所有數據都在本地儲存和處理,隐私安全更有保障。
説到這裏,就要隆重介紹下天玑 9400 首發的端側 LoRA 訓練功能——只要有照片,就能訓練出專屬于自己的本地 LoRA 模型。
利用訓練出的模型,可以生成任意姿态、任意背景的個人寫真,足不出户拍遍全世界。
還有聯合虹軟推出的端側 AI 智能修圖功能,通過在端側學習到的用户人臉信息,可以對模糊的照片智能修復。
相比于傳統的智能超分等處理方式,不僅更清晰,而且能夠保留面部細節,處理出的照片更加自然。
除了一系列重磅功能的首發,天玑 9400 也打破了多項業界紀錄,比如它的端側多模态模型運算速度達到了 50Tokens 每秒。
利用面壁智能推出的小鋼炮模型,可以快速識别二元一次方程組影像并做出解答。
同時還能理解圖片中文字的對應關系,秒速讀懂外文菜單,推薦菜品并直接算好價格。
當然整體 AI 性能也經得起檢驗,在權威的蘇黎世 ETHZ AI Benchmark 6.0 榜單中以 6773 分的總成績排名第一。
該榜單涵蓋了不同類型的 34 款模型,同時包括 int8、int16、fp16 等多種,涉及速度和準确性等多種指标,是對 AI 能力的全面評估。
兼容适配上,聯發科也已經與國内外的 9 家大模型廠商達成合作,支持了一系列的主流大模型。
在強大的端側 AI 算力支持下,聯發科提出了" 智能體 AI 手機 "的新概念,讓移動終端變得更智慧。
天玑 9400 中内置的AI 智能體化引擎(Dimensity Agentic AI Engine ),能夠将 AI 模型和應用變成一個個智能體,讓手機變成一個強大的 " 後援軍團 "。
以點外賣這個場景為例,普通的 AI 助手最多不過是能夠幫助我們打開外賣軟體,但智能體化之後,可以全程通過語音交流,完成從選擇餐點到完成支付的整個過程。
請看 VCR:
基于通義千問大模型驅動的智能體,現已經支持了多款智能體化應用。
而且随着使用過程的深入,智能體會記住你的習慣偏好,變得越來越聰明、越來越懂你、越來越好用。
比如根據你的喜好推薦電影,然後根據之前的購票習慣,不用多做解釋就能幫你選好習慣的位置。
當然要實現這樣的效果,除了聯發科自身提供的算力,也離不開生态的支持,從芯片到終端,從模型到應用都必須全面發力。
為此,聯發科聯合 vivo、OPPO 等多家廠商共同發起了 AI 智能體化引擎先鋒計劃,一同讓智能體應用生态變得更完整豐富。
另一方面,聯發科也在積極與開發者合作,為 AI 智能體、第三方應用程式和大模型之間提供統一的标準接口,實現 AI 跨應用串聯。
這不僅能夠縮短 AI 產品的開發周期,更有利于加速構建應用更豐富、體驗更出色的 AI 生态。
伴随着算力專屬、隐私保障、無網絡運行等需求,發展端側 AI 已逐漸成為新的共識。
其中,AI 手機是端側 AI 的終極載體,無論是設備保有量還是使用時長,均多于 PC 產品。
從手機 AI 科技樹的角度,聯發科是當之無愧的強者,今天的天玑 9400 将加速手機的智能體化,借助先進的 AI 技術和生态,豐富和提升人們的生活。
在這背後,必然離不開強大技術的支撐。
軟硬體技術協同發力
在技術上,聯發科在軟硬體兩方面同時進行研發,讓軟硬體共同配合,實現了端側 AI 的新跨越。
例如,龐大的内存占用是 AI 模型端側化的一個重要瓶頸,為此,聯發科采取了低位寬 KV 緩存技術,同時結合分組查詢注意力(GQA)極致 ,降低了 50% 的内存需求。
此外,天玑 9400 不僅搭載了聯發科第八代 AI 處理器——NPU 890,還将模型的運算工作全部放入 NPU 中,用更适合 AI 運算特點的 NPU 來加速運算,具體來説有一系列舉措:
将專家路由等模塊全部轉移至 NPU,實現了端側混合專家(MoE)模型的純 NPU 運算;
對于 DiT(類 Sora)模型,針對 4D、5D 的張量,利用 NPU 硬體獨特的時網域神經元硬體指令進行加速;
對于端側 LoRA 訓練,采用了新的反向傳播算子指令集,将過去 C/GPU 上的指令,融入到了 NPU 能夠支持的加速指令中……
聯發科技,作前沿科技的推動者
所以歸結起來,聯發科技的新技術和新產品,究竟在帶來什麼呢?
這個問題可以從多個層面來回答。
首先對于終端用户,是更低門檻的 AI 普惠。
越來越多的 AI 能力被帶進端側,意味着手機用户不用在浩如煙海的雲服務中挑的眼花缭亂,直接在本地就能體驗到豐富多彩的 AI 應用。
另一方面,聯發科天玑 9400 主導的智能體化應用方式鋪展開來,AI 應用的使用也将進一步下沉。
同時還會帶動智能手機的使用門檻進一步降低,讓因種種原因不會操縱手機的老年人等群體,在電子信息時代避免 " 掉隊 "。
第二,是給方興未艾的大模型繼續灌注強心劑。
大模型的前期投入耗資巨大,而開發者想要收回成本,用户規模是一大必然要素。
而聯發科技憑借終端保有量的優勢,加上模型使用的便捷化,無疑為大模型帶來了更多的應用場景。
當然,對于終端廠商以及聯發科自身,新的功能也是獲得用户關于端側 AI 反饋的重要途徑。
随着越來越多 AI 概念的產品化、落地化,用户對 AI 產品的期望,以及對其不足的認識,都變得更加具體,能夠更有針對性地反饋出改進意見。
總之,這一系列舉措将有望串聯起更完整、更宏大的端側生成式 AI 生态,讓芯片廠商、終端廠商、應用開發者和用户共同從中汲取收益,通過相互促進實現產業的共同繁榮。
去年,聯發科技首款端側生成式 AI 芯片天玑 9300 正式亮相,已讓更多的人感受到端側特别是手機上的 AI 開始變得觸手可及。
半年後,天玑 9300 的更新版 9300+ 又與人們見面,端側 AI 的戰場變得更加熱鬧,模型和應用側也有越來越多的從業者開始關注終端市場。
天玑開發者大會上,聯發科在芯片、模型及應用等層面與開發者、合作夥伴共同探索端側技術路線,進一步築起了端側的生态基建。
如今的天玑 9400 又成為了新的王者級 5G 智能體 AI 芯片,并将端側智能從基礎的大模型嵌入,帶到了智能體化這一新的高度,在 " 智能 " 與 " 智慧 " 之間,畫出了一道新的分水嶺。
PS:首批采用天玑 9400 芯片的智能手機即将上市,屆時可以通過這些設備體驗到天玑 9400 更強大的端側 AI 能力。
AI 終端,終端 AI,AI 即将觸手可及,無處不在。
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>