今天小編分享的科技經驗:手機本地部署DeepSeek?實測真能用:AI隐私有保障了?,歡迎閲讀。
好了,又到了雷科技的 DeepSeek 整活時間。
之前雷科技成功嘗試過在一台沒有獨顯的筆記型電腦上,單純依靠 CPU 和内存來本地部署 DeepSeek,最終成功運行了一個 7B 參數量的 Qwen 蒸餾模型。
雖然部署的要求很簡單,但是 7B 參數量的 AI 模型表現也确實很一般,而且 PC 本身也可以輕松獲取到更高參數量的 AI 模型,所以實際意義并不大。不過,倘若可以把這個 AI 模型部署到手機上呢?7B 的 AI 模型在工作等方面或許不能給我們太多的幫助,但是在手機上拿來當随身 AI 助手的話,結論或許就不一樣了。
在此之前,我們首先要在手機上部署 AI。網上有不少相關教程,小雷測試了其中的幾種,也算是幫大家提前趟趟雷了。
如果你在百度上搜索這個問題,或許會首先看到 " 天極網 " 發布的教程,這篇教程是通過一個名為 Termux 的 app,在安卓手機上模拟一個 Linux 終端,然後部署 Ollama,再通過 ollama 來下載 DeepSeek 模型并運行。
簡單來説,就是将在電腦上部署 DeepSeek 的方案,直接移植到手機上,因為是通過終端模拟器來運行,所以實際效率還要打個折扣。至于詳細的部署過程,大家可以看一下小雷的幾張截圖:
圖源:雷科技
雖然全程都只是需要輸入命令就會自動進入下一步,但是多數人看到這個滿屏代碼的畫面,估計就會被默默勸退。而且,在折騰了差不多兩個小時後,我也終于确認了一件事:教程裏寫的伺服器出問題了。
如果按這個教程對環境部署伺服器進行訪問,其實是找不到原文裏提到的清華大學鏡像檔案源,只剩下幾個按大洲和區網域劃分的伺服器可選,為了排除網絡因素,我還分别切換了不同的網絡嘗試,都只有八個伺服器在線。
随後我分别嘗試了亞洲和中國骨幹網絡的兩個鏡像源,都在進行到 Ubuntu 安裝的步驟卡死,下載速度非常慢的同時還有可能中途報錯,導致整個下載停擺。在折騰幾個小時都無法完成安裝後,我選擇嘗試另一個部署方案。
這個方案則是通過部署安裝依賴後,直接下載 ollama 并在本地運行,比之前的方案要更簡略,但是從實際的測試來看,如果你沒有特殊網絡,可能會無法開啓下載,即使開啓下載後,仍然有可能卡在軟體部署的過程中。
簡而言之,如果你想用 Tremux 實現最原始的 AI 大模型部署,那麼或許要具備一定 debug 能力和良好的網絡支持,否則就可能像我這樣花了幾個小時,仍然看着網絡錯誤的提醒發呆。
不過好在現在 AI 概念非常紅火,所以 github 上其實有很多開源的本地 AI 部署 app 供大家選擇,我這次就測試了三款:ChatterUI、PocketPal 和 MNN 大模型,三款 app 各有優劣,大家可以根據需要自行選擇。
其中,ChatterUI 和 PocketPal 支持直接加載本地 AI 模型,并允許通過在線下載的方式遠程加載模型到本地系統,個人建議如果你有電腦的話,最好直接下載到電腦再復制到手機裏,方面根據需要更換模型,避免一堆模型堆積在手機内存裏,擠占手機空間。
提供 AI 模型下載的網站并不少,不過大多需要魔法網絡才能訪問,所以我建議大家直接去魔塔社區下載即可,這是阿裏達摩院運營的 AI 模型社區,其模型庫基本上涵蓋了大部分開源的 AI 模型及其衍生版本,并且對模型進行詳細分類,可以根據詞條進行快速查詢。
注冊并登錄後,就可以開始選擇你的 AI 模型,個人建議内存小于 12G 的朋友選擇 Qwen 2.5-3B 和 LLama-3.2-3B 兩個版本的 AI 模型,12G 及以上的朋友則可以選擇 DeepSeek-R1-7B 的版本。
在下載模型并轉存到手機後,接下來做的就是安裝 app,然後加載模型,過程很簡單。先來看看 ChatterUI,這個 app 的特點是支持 TTS(語音輸出),結合語音輸入可以解鎖更多的使用場景和方式。
安裝好後點擊左上角就可以喚出側邊欄,先點擊「Formatting」在頂部選項欄裏找到你下載的 AI 模型,比如你下的是 DeepSeek 那就選 DeepSeek-R1。保存後退出再點擊側邊欄的「Models」,點擊右上角的添加并選擇第一條選項,即可打開手機存儲,然後選擇剛剛存入的 AI 模型,稍等片刻就可以完成加載,最後點擊最右側的 " 運行 " 圖示即可部署。
接下來只要你點擊 AI Bot,就可以與你選擇的 AI 模型對話,如果想切換模型,返回 Models 進行設定即可。此外,ChatterUI 也支持對模型的各種推理參數進行詳細設定,點擊側邊欄的「Sampler」即可,各種參數的對應效果大家可以在網上自行搜索學習,這裏小雷就不展開來説了。
再來看看 PocketPal,這個 app 的用起來還要更簡單些,只是不支持 TTS 功能,同樣是打開側邊欄的「Models」,右下角可以直接添加本地 AI 模型,并且也提供一些小參數的 AI 模型快速下載通道,有興趣的話可以下載來玩玩。
AI 模型安裝好後,還是點擊右下角的運行進行加載,然後就可以直接回到首頁進行提問了,右上角可以進入推理設定頁面,與 ChatterUI 差不多。
如果説你覺得以上兩個 app 的英文不太看得懂,而且想要更簡單易上手,那麼我的建議是 MNN,這是由阿裏開發的開源 app,整合了多個在手機等小型移動設備上運行效果良好的 AI 模型,涵蓋了 DeepSeek、Qwen、LLama 等通用模型及一些專業模型,可以根據需要直接點擊下載。
下載完成後點擊即可加載使用,全程傻瓜式操作,但是也有個缺陷,那就是不能像 ChatterUI 和 PocketPal 那樣直接調整模型的推理參數,只能通過對話的方式讓 AI 嘗試着把回答變得更具創意一些。
以上三個 app 基本可以覆蓋大多數的本地 AI 部署需求,不管你是單純想要個問答助手,還是想要個随身的解悶軟體,亦或是想折騰不同的 AI 模型,看看其本地部署的效果,都可以輕松應對,而且比通過 Termux 來部署要簡單方便得多。
AI 部署完了,那麼就到了喜聞樂見的體驗環節,作為對比,我還下載了 1.5B 版本的 DeepSeek-R1,理論上 1.5B 的版本可以被部署到 8G 甚至 6G 内存的手機裏,可以説是最泛用的。
本來我是對 1.5B 版本的 DeepSeek 不抱太大希望的,但是沒想到這玩意開局就給我來了個「驚喜」。我先是慣例的詢問 AI 身份,看看他能否認知自己的 AI 模型版本,結果 AI 直接給我來了一套深度分析,從 " 對問題感到困惑 " 到 "AIBot 是誰(就是你自己呀)",再到 "AI Bot 和 User(我)之間的關系 ",最後他給出了一個結論:
是,AI Bot 是 ** 人工智能 **。它沒有生命,也沒有意識,只是一個功能模型或程式,并非人類。當你詢問 " 你是誰 ",AI Bot 的回答其實是 ** 沒有實體存在的 **,它本身并非人來回答的問題。
這種提問方式提醒我們在使用 AI 技術時需要謹慎,尤其是涉及基礎概念的問答時。
我直接一個問号就想打出去了,好家夥,這是加載了什麼參數庫?怎麼上來就是哲學模式?因為回答過于抽象,以至于我反復确認加載的 1.5B 而非 7B 版本。最後通過仔細查看思考過程,我發現可能是 app 的接口設定出現了一些問題,導致其與 AI 大模型之間的交流出現了問題,讓 AI 以為這場對話有三個角色,自己正在作為旁觀者回答我的問題。
簡單來説,當時的場景就相當于 User(我)指着 AI Bot(ChatterUI)問 DeepSeek:你(他)是誰,然後 DeepSeek 對着 AI Bot 就是一堆分析,最後得出了結論:這就是程式。只能説,AI 這玩意玩久了,依然是處處有驚喜,特别是 DeepSeek 這種 " 發散性思維 " 的 AI,經常能夠給出一些讓你眼前一亮(或者一黑)的回答。
不過在後續的追問下,這個只有 1.5B 參數量的模型很快就露出了馬腳,開始前言不搭後語,答非所問,徹底變成了被玩壞的狀态,只能説 1.5B 的模型确實難堪大用。而在切換成 7B 版本後,AI 就輕松給出了正确的回答,然後我又追問了一個簡單的問題:告訴我番茄炒蛋的做法,雖然 AI 先是説無法給出菜譜,但是随後也是列出了做法。
不得不説,本地部署的 AI 在穩定性等方面确實存在問題,與在線模式的 AI 體驗有着非常明顯的區别,而且不同 app 出現的問題也會各不相同,比如 PocketPal 就偶爾會出現思考到一半無法繼續的問題,後續發現是思維鏈長度設定有問題,修改後就正常了。
而且,骁龍 8 至尊版 +16G 運存的手機,AI 推理和生成速度都非常不錯,已經完全滿足日常問答和使用的需求,這一點也是讓我頗為意外,事實上這個速度已經不比一些筆記型電腦差。
而在後續的一些提問裏,7B 的 DeepSeek 也是勉強答上了我的一些提問,比如當遇到一個癫痫症發作的病人時該如何進行急救、在野外受傷沒有人幫助時該怎麼自救等。基本上我就是設定了一個無法使用網絡的場景,并且我急需一些幫助,在這種情況下離線部署的 AI 或許就是你最後的助力了。
畢竟如果可以聯網的話,非隐私問題直接問 DeepSeek app 或者其他第三方 AI,可以得到更好更完善的回答。至于隐私性問題,我的建議是大家如果真有需求,可以去騰訊雲等雲服務商那裏買個 API 接口,然後通過 chatbox 在本地部署一個在線滿血版 AI 客户端。
如果你對自己的隐私保護非常上心,那麼找一台有 20G 以上顯存的電腦,或者在華為雲等雲伺服器供應商那裏租一個雲伺服器,用來部署自己的專屬 AI 模型也是可選項。
回到正題,在手機上部署 AI 大模型,有意義嗎?我認為是有的。如果説電腦上部署 7B 版 AI 是 " 多此一舉 ",那麼在手機上部署就不一樣了。雖然能力是相似的,但是手機上的離線 AI 确實有用,他可以在你無網且需要幫助時,給你提供最基礎的建議,有時候或許就是這個小小的建議,就能讓你脱困也説不定。
再給大家總結一下三個 app 的本地部署效果,如果你追求穩定可用,那麼 MNN 是最好的選擇,在測試中也是回答質量最穩定的,而 ChatterUI 和 PocketPal 雖然功能豐富,但是也更容易出 BUG,适合有一定 AI 基礎和編程基礎的人使用。
最後,希望大家都可以玩得開心。