今天小編分享的科技經驗:當AI手機遭遇内存限制,谷歌Pixel 8“一刀切”不可取?,歡迎閱讀。
2023 年 10 月 4 日,Google 在紐約舉辦了「Made by Google」硬體發布會,并正式發布了 Pixel 8 和 Pixel 8 Pro。Pixel 8 系列作為首批搭載 Android 14 系統的手機,據官方介紹其最大亮點就是 AI 功能。在發布會持續的一小時内,「AI」一詞被提及超過 50 次,可見 Google 對這一功能的重視,以及 AI 是Pixel 8 核心賣點的事實。
然而讓人意外的是,日前Google以「硬體限制」為理由,拒絕在 Pixel 8 上運行最新的人工智能模型「Gemini Nano」。Google 随後宣布即将在 6 月的季度更新中為 Pixel 8 提供「Gemini Nano」功能,但用戶只能在隐藏的開發者選項中開啟。
圖源:Unsplash
對于此事,谷歌設備和服務軟體副總裁 Seang Chau 解釋稱,為了能随時調用「Gemini Nano」模型,部分 AI 模型會常駐内存。而 Pixel 8 只有 8GB 内存,如果貿然啟用「Gemini Nano」功能,很可能會影響用戶的使用體驗。與之相反,Pixel 8 Pro 擁有 12GB 内存,能比較好地釋放 AI 模型性能。
從 Seang Chau 的回復來看,Pixel 8 并不是不能使用「Gemini Nano」,而是使用後會占用大量手機系統内存,導致其他應用的體驗感下降。作為參考,三星 Galaxy S24 系列 8GB 内存版本就可運行 Gemini Nano 模型,而沒有這方面的限制。
目前,大模型已經成為手機廠商們的「必争之地」,小米、華為、榮耀、OPPO、vivo 等手機廠商均已發布搭載大模型的旗艦機型。像華為的盤古大模型、小米的 MiLM、OPPO 的安第斯大模型、vivo 的藍心大模型以及榮耀的魔法大模型,也随着新機發布首次走進消費者的視野。在以上大模型解決方案中,有以雲端為主的,也有雲端與端側相結合的,但幾乎沒有純端側的大模型。
所謂的「端側」,指的是将大模型服務布置在手機設備内部的芯片之中,僅利用芯片的算力生成結果。與雲端大模型相比,這種方案的優勢是不需要聯網,因此數據不用上傳至雲端,減少了洩露風險,并在一定程度上減輕了雲成本。
但純端側方案也有其不可忽視的劣勢,就是算力有限。如果手機設備只是接入雲端大模型,自然不需要終端設備擁有多強的算力和 AI 芯片,但如果在手機本地運營端側大模型,則對算力有着極高的要求。盡管從理論上來說,常規手機芯片中的 GPU、CPU 都能進行并行計算,但在效率和能耗控制方面仍比不上 AI 芯片中專門用于 AI 加速計算的 NPU/TPU 等神經處理單元,更别提動辄擁有幾百上千張頂級顯卡的雲端後台了。
圖源:谷歌
而 Google 的「Gemini Nano」在發布之初,就已經将其定位為在移動設備上本地運行的端側大模型,并且其内置在 Android 14 系統中。也就是說,未來如果其他開發者想通過 AICore API 直接調用其他 Android 手機的 Gemini AI 能力,将會遇到與 Pixel 8 相同的硬體要求問題。
在雷科技看來,Google 之所以限制 Pixel 8 調用 Gemini Nano 模型,一方面是擔心 Gemini Nano 模型在占用大量手機系統内存後,影響用戶使用其他應用程式時的體驗感,為了保險起見,幹脆直接一刀切;另一方面,Pixel 8 标準版與 Pixel 8 Pro 标準版的售價相差大約 2000 元,在核心配置相差不大的情況下,AI 功能或許能驅使目标用戶選擇更貴的 Pixel 8 Pro。
我們暫且不讨論運行内存對端側大模型的影響是否真的有那麼大,站在行業角度,如何在算力有限的手機上實現較好的大模型效果,是所有手機廠商都需要考慮的問題。
此前微軟推出的 Copilot Pro 訂閱服務對 AI PC 的算力和内存提出了明确要求,但在 AI 手機領網域,至今還沒有任何一家企業給出大模型手機的類似标準。
或許大部分人都不知道,其實最早被曝出規劃手機端側路線的企業,是至今仍未在 iPhone 用上大模型的蘋果。蘋果在招聘介紹中提及了本地推理引擎中實現壓縮和加速大模型的相關要求,雖然 iOS 18 還未正式推出,但蘋果對 AI 大模型的探索從其取得的專利就能窺見一二。
圖源:Apple WWDC
日前,蘋果研究團隊發表了一篇關于「如何解決大模型手機内存不足」的論文。簡單來說,研究團隊嘗試用閃存技術減少數據加載,并且優化數據塊大小提高閃存吞吐量,最後實現對加載到内存中數據的高效管理。
毫無疑問,這是解決端側部署大模型關鍵問題的可行方案。整個過程的重點是優化閃存互動和内存管理,在實驗過程中,運用閃存技術的大模型延遲毫秒僅為原來的 1/10。但論文提供方案僅針對 60 億 -70 億參數的模型,暫時無法完美處理超出參數範圍的大模型。不過該方案給所有廠商提供了一個全新思路,未來完全有可能通過閃存技術解決端側大模型内存不足的問題。
除了存儲技術外,芯片廠商也從自身角度給出了可行的解決方案。2023 年 11 月,聯發科發布了号稱「生成式 AI 移動芯片」的新一代旗艦 SoC ——天玑 9300。針對億級參數級别的大模型,天玑 9300 采用内存壓縮技術「NeuroPilot Compression」,據官方介紹,該技術可以更高效地利用内存,大幅減少 AI 大模型對設備内存的占用,最高支持運行 330 億參數的 AI 大模型。
圖源:聯發科
目前,vivo X100、OPPO Find X7、iQOO Neo9 Pro 等機型均搭載了天玑 9300 處理器。其中聯發科與 vivo 合作,已經實現了 10 億、70 億、130 億參數的 AI 大語言模型的運行,此外,天玑 9300 還成功集成了通義千問大模型。
相比起雲端,端側的運行特性無疑更容易令消費者放心。要提升端側大模型的實際表現,離不開手機廠商和硬體廠商的共同努力,閃存技術和内存壓縮技術能有效解決大模型占用内存的問題,未來估計會被更多品牌采用。
端側大模型占手機内存,用戶怎麼辦?其實這是一個 " 想要什麼 " 的問題。如果為了享受大模型功能,則需放棄手機原有的部分體驗,現階段絕大多數 AI 大模型其實并沒有多少真正實用的功能,大多數手機用戶充其量只是嘗嘗鮮,如果非要在非必須功能與手機體驗之間進行二選一,相信選擇手機體驗的用戶還是占大多數。
面對無法從根源解決大模型占用内存問題的情況,大内存就會成為用機體驗和 AI 大模型功能兼顧的第二道保障。當前安卓手機的最低内存配置普遍為 8GB,最高内存容量已經來到 24GB,主流旗艦機型基本以 12GB 和 16GB 内存為主。如果以 Google Pixel 8 Pro 的 12GB 内存作為當前運行端側大模型的内存标準,那麼絕大多數手機品牌的主流旗艦還是過關的。
圖源:小米商城
實際上,内存占用最多只能算是大模型進步過程中遇到的技術難題,只要繼續發展相信這類問題終究會迎刃而解。但無論是端側還是雲端,大模型手機最需要搞清楚的核心問題仍是「用戶是否真的需要大模型」。
大模型手機作為去年手機行業最熱門的技術方向,幾乎每家手機品牌的技術展會以及發布會都會提及相關技術。但在門店等線下渠道,雷科技卻很少看到有品牌會将大模型放置在海報、卡片等宣傳物料上。誠然,線下渠道确實不太好展示大模型的相關功能,但也能一定程度上反映出手機廠商們對當前大模型手機的态度,或許他們也清楚現階段的大模型功能還很難在線下場景直接影響消費者購物。
大模型手機的技術水平仍處于初期發展階段,手機廠商還在不斷探索大模型與智能手機的結合。可以這麼說:大模型能為智能手機帶來的潛在價值,不亞于功能機到智能機的更替。至于大模型手機是否真的成為跟智能手機平行的新物種?不如讓我們将答案交給時間。