今天小編分享的互聯網經驗:生成式AI手機怎麼樣?首款70億參數大模型手機OPPO Find X7有答案,歡迎閲讀。
手機除了卷影像能力,還能卷什麼?
2024 年度發布的首款旗艦智能手機 OPPO Find X7 系列給出了答案——端側生成式 AI。
Find X7 的 4 種配色:煙雲紫、海闊天空、大漠銀月、星空黑
2024 年 1 月 8 日 OPPO 發布的全新旗艦 Find X7,以全新一代同心寰宇設計,全新超光影三主攝實現的哈蘇全焦段大師影像,OPPO 自研潮汐架構所釋放的超強性能,以及超明亮超護眼的新一代鑽石屏,再度革新行業的旗艦标準。
OPPO Find X7 Uluta 更是首創了雙潛望四主攝構成哈蘇大師鏡頭群,再次刷新移動影像天花板。OPPO 首席產品官劉作虎稱 Ultra 這個詞代表的就是——極致,沒有中間态。
影像能力已經領先,OPPO 還率先為消費者展示了生成式 AI 手機的樣子,全球首個端側應用 70 億參數大語言模型的手機有何不同?
手機的 AI 功能并不新鮮,AI 美顏,AI 助手已經被廣泛應用,但是和生成式 AI 實現的功能還有兩個明顯的差異,更智能和更多樣的玩法。
手機端大模型如何更新 AI 體驗?
以 AI 圖片消除來説,傳統的 AI 修圖,不夠智能且效果不夠理想。
比如在擁擠的景點拍了一張風景照,想要消除照片裏的路人,傳統 AI 的做法要手動精細選擇範圍,等待許久之後獲得單純被模糊掉路人的照片,觀感很差。
如果是借助手機端的大模型能力,大致框定需要消除的範圍,就可以輕松消除風景照裏的路人,并且 AI 還會 " 生成 " 出路面,得到一張沒有人潮的風景照。
這就是 Find X7 的 AIGC 消除功能,區别于傳統的 AI 模型只支持人體識别,Find X7 的大模型能力不僅支持超過 120 類主體的識别與分割,還可以實現發絲級的分割、高達 6 個的多主體分離,與此同時,還能實現超大面積影像的填充與自然生成,這是手機端生成式 AI 時代影像編輯的體驗。
和 AI 編輯圖片一樣普及的還有 AI 語音助手。
現有的語音助手,大部分人用起來還是覺得不夠智能,新鮮勁一過就會被遺忘。但有了手機端的 AI 大模型,體驗也實現了跨越式的提升,AI 助手能夠更好地理解自然語言,對話起來更像人和人之間的聊天。
在 AI 大模型加持下,OPPO 全新的小布不僅可以聊天,還可以回答各種問題,總共超過 100 種能力,包括文字生成圖片、圖片生成文字、AI 文章摘要等功能,能夠在辦公效率,生活服務,學習教育等不同維度為用户提供幫助。
比如你可以問小布為什麼餅幹上有很多小孔?并讓小布以四歲孩子能理解的方式回答。
除了更新已有的手機端 AI 體驗,生成式 AI 模型還給手機帶來了全新的 AI 功能。
比如通話摘要,在 Find X7 系列的發布會現場,劉作虎展示了一段和理想汽車 CEO 李想電話交流結束後,AI 大模型語音摘要功能,重點清晰的呈現出了通話的要點,并生成待辦,極大提升了效率。
這得益于 Find X7 的端側 70 億參數大模型,相比其他的 10 億參數模型,以更高 " 智商 " 的理解能力,可以更準确地理解對話内容并生成重點明确、細節不遺漏的摘要内容。
同時,借助 OPPO 安第斯大模型端雲協同的智能調度,OPPO 大模型語音摘要的處理全程經過加密處理,生成的摘要内容完全存儲于終端本地,能夠很好保護用户隐私。
隐私保護,更快速度都是端側大模型帶來的優勢。
相比于同平台其他模型,Find X7 搭載的端側 70 億參數大語言模型可以在 200 字首字生成帶來 20 倍的更快響應,面向 2000 字首字生成也可以實現 2.5 倍的更快速度。
并且,Find X7 的端側 70 億大模型還可以實現最高 14,000 的摘要字數上限,達到了同平台其他模型的 3.5 倍,大模型的對話體驗更接近人類對話的速度與容量。
全球首個端側應用 70 億參數大語言模型的手機如何煉成?
Find X7 是全球首個端側應用 70 億參數大語言模型的手機,并通過端雲協同的部署,實現了領先不止一代的 AI 體驗。
" 為什麼我們能夠第一個把 70 億大模型真正在端側運用起來?模型、算法與 GPU、NPU 如何适配和部署,不是簡單的事情。" 劉作虎進一步解釋," 這個過程需要與平台廠緊密溝通,基于我們對芯片的理解和對用户的洞察,根據大模型和算法來定制芯片,用芯片的語言給芯片廠商提需求,這是我們的核心競争力。"
劉作虎透露,"我們保留了一些核心的架構師,目的就是跟平台廠商,比如説高通和聯發科的深度定制芯片。我們自己不做芯片,芯片平台廠非常願意和我們深度探讨,實現強強聯合。如果不懂芯片,沒有做過芯片,只能停留在‘水上漂’不能進入到底層,比如我們自研的潮汐架構,比重新做的價值更大。"
潮汐架構是 OPPO 自研的芯片軟硬融合技術的集合,是一群懂芯片的人打造的芯片優化技術。
潮汐結構深度觸及了 SoC 的 L3 緩存和 SLC(系統級緩存),傳統 SoC 的 SLC 往往針對 CPU 和 GPU 等計算核心采用固定的分配方案,這種死板的分配方式會造成一定的資源浪費和擁堵。
潮汐架構可以根據應用場景的不同,靈活調整緩存配比。
比如當運行大型遊戲需要影像渲染時,GPU 分配更多的,降低對 DDR 和 UFS 的訪存頻率,提高應用運行速度,還能降低計算鏈路的整體能效。經測算,對于 SLC 的調度優化,能帶來平均 8% 的能效節約。
端側大模型的部署,少不了潮汐架構,但端側大模型面臨着更極致的計算和存儲挑戰。
OPPO 軟體創新中心總經理張峻解釋,70 億大模型正常的模型大小是 28GB,為了真正在端側部署,OPPO 用高精度 4 比特對模型進行壓縮和輕量化,模型從 28GB 壓縮到最小的 3.9GB 左右。
即便如此,依舊對手機的性能、内存和功耗都是很大的考驗。
" 大模型在端側性能消耗比較大,要通過并行計算的算子優化、對内存管理的優化等來降低損耗和系統資源占用。續航方面要根據用機的情況來看,我們端側大模型的功耗控制在用户可以接受的範圍内。" 張峻表示。
"OPPO Find X7 系列端側化部署 70 億參數的大語言模型,視覺模型也會端側化部署,它會跟着我們的 OTA 随後上線。" 張峻強調," 我們真正把 70 億參數大模型同時在高通和聯發科兩個芯片平台上端側化部署,OPPO 是第一家。"
至于為什麼會選擇 70 億參數的模型,張峻也給出了解釋,"為什麼選擇 70 億參數的模型,而不是 10 億參數?我們在每一個場景都會選擇最恰到好處的參數規模,它代表了這個模型在這個場景的聰明程度。"
技術能力之外,在手機端 AI 領網域成功的關鍵是策略。
" 我認為未來幾年的實核心是用產品驅動。基于要做什麼產品,确定大模型的訓練,以及底層的算力,整體路線還是以產品驅動技術。" 劉作虎認為," 通過用户洞察的方式來做產品最重要。誰對用户最理解,誰真正地懂產品,誰就能在競争中保持差異化,始終擁有核心競争力。"
雷峰網了解到,OPPO 在上周五成立了 AI 中心,聚集了公司所有 AI 相關的員工,目标是集中所有資源把 AI 做好。
OPPO 已經拉開了手機生成式 AI 時代的序幕,未來端側大模型還能給手機帶來怎樣意想不到的應用?