今天小编分享的科技经验:手机本地部署DeepSeek?实测真能用:AI隐私有保障了?,欢迎阅读。
好了,又到了雷科技的 DeepSeek 整活时间。
之前雷科技成功尝试过在一台没有独显的筆記型電腦上,单纯依靠 CPU 和内存来本地部署 DeepSeek,最终成功运行了一个 7B 参数量的 Qwen 蒸馏模型。
虽然部署的要求很简单,但是 7B 参数量的 AI 模型表现也确实很一般,而且 PC 本身也可以轻松获取到更高参数量的 AI 模型,所以实际意义并不大。不过,倘若可以把这个 AI 模型部署到手机上呢?7B 的 AI 模型在工作等方面或许不能给我们太多的帮助,但是在手机上拿来当随身 AI 助手的话,结论或许就不一样了。
在此之前,我们首先要在手机上部署 AI。网上有不少相关教程,小雷测试了其中的几种,也算是帮大家提前趟趟雷了。
如果你在百度上搜索这个问题,或许会首先看到 " 天极网 " 发布的教程,这篇教程是通过一个名为 Termux 的 app,在安卓手机上模拟一个 Linux 终端,然后部署 Ollama,再通过 ollama 来下载 DeepSeek 模型并运行。
简单来说,就是将在电腦上部署 DeepSeek 的方案,直接移植到手机上,因为是通过终端模拟器来运行,所以实际效率还要打个折扣。至于详细的部署过程,大家可以看一下小雷的几张截图:
图源:雷科技
虽然全程都只是需要输入命令就会自动进入下一步,但是多数人看到这个满屏代码的画面,估计就会被默默劝退。而且,在折腾了差不多两个小时后,我也终于确认了一件事:教程里写的伺服器出问题了。
如果按这个教程对环境部署伺服器进行访问,其实是找不到原文里提到的清华大学镜像檔案源,只剩下几个按大洲和区網域划分的伺服器可选,为了排除网络因素,我还分别切换了不同的网络尝试,都只有八个伺服器在线。
随后我分别尝试了亚洲和中国骨干网络的两个镜像源,都在进行到 Ubuntu 安装的步骤卡死,下载速度非常慢的同时还有可能中途报错,导致整个下载停摆。在折腾几个小时都无法完成安装后,我选择尝试另一个部署方案。
这个方案则是通过部署安装依赖后,直接下载 ollama 并在本地运行,比之前的方案要更简略,但是从实际的测试来看,如果你没有特殊网络,可能会无法开启下载,即使开启下载后,仍然有可能卡在軟體部署的过程中。
简而言之,如果你想用 Tremux 实现最原始的 AI 大模型部署,那么或许要具备一定 debug 能力和良好的网络支持,否则就可能像我这样花了几个小时,仍然看着网络错误的提醒发呆。
不过好在现在 AI 概念非常红火,所以 github 上其实有很多开源的本地 AI 部署 app 供大家选择,我这次就测试了三款:ChatterUI、PocketPal 和 MNN 大模型,三款 app 各有优劣,大家可以根据需要自行选择。
其中,ChatterUI 和 PocketPal 支持直接加载本地 AI 模型,并允许通过在线下载的方式远程加载模型到本地系统,个人建议如果你有电腦的话,最好直接下载到电腦再复制到手机里,方面根据需要更换模型,避免一堆模型堆积在手机内存里,挤占手机空间。
提供 AI 模型下载的网站并不少,不过大多需要魔法网络才能访问,所以我建议大家直接去魔塔社区下载即可,这是阿里达摩院运营的 AI 模型社区,其模型库基本上涵盖了大部分开源的 AI 模型及其衍生版本,并且对模型进行详细分类,可以根据词条进行快速查询。
注册并登录后,就可以开始选择你的 AI 模型,个人建议内存小于 12G 的朋友选择 Qwen 2.5-3B 和 LLama-3.2-3B 两个版本的 AI 模型,12G 及以上的朋友则可以选择 DeepSeek-R1-7B 的版本。
在下载模型并转存到手机后,接下来做的就是安装 app,然后加载模型,过程很简单。先来看看 ChatterUI,这个 app 的特点是支持 TTS(语音输出),结合语音输入可以解锁更多的使用场景和方式。
安装好后点击左上角就可以唤出侧边栏,先点击「Formatting」在顶部选项栏里找到你下载的 AI 模型,比如你下的是 DeepSeek 那就选 DeepSeek-R1。保存后退出再点击侧边栏的「Models」,点击右上角的添加并选择第一条选项,即可打开手机存储,然后选择刚刚存入的 AI 模型,稍等片刻就可以完成加载,最后点击最右侧的 " 运行 " 圖示即可部署。
接下来只要你点击 AI Bot,就可以与你选择的 AI 模型对话,如果想切换模型,返回 Models 进行設定即可。此外,ChatterUI 也支持对模型的各种推理参数进行详细設定,点击侧边栏的「Sampler」即可,各种参数的对应效果大家可以在网上自行搜索学习,这里小雷就不展开来说了。
再来看看 PocketPal,这个 app 的用起来还要更简单些,只是不支持 TTS 功能,同样是打开侧边栏的「Models」,右下角可以直接添加本地 AI 模型,并且也提供一些小参数的 AI 模型快速下载通道,有兴趣的话可以下载来玩玩。
AI 模型安装好后,还是点击右下角的运行进行加载,然后就可以直接回到首页进行提问了,右上角可以进入推理設定页面,与 ChatterUI 差不多。
如果说你觉得以上两个 app 的英文不太看得懂,而且想要更简单易上手,那么我的建议是 MNN,这是由阿里开发的开源 app,整合了多个在手机等小型移动设备上运行效果良好的 AI 模型,涵盖了 DeepSeek、Qwen、LLama 等通用模型及一些专业模型,可以根据需要直接点击下载。
下载完成后点击即可加载使用,全程傻瓜式操作,但是也有个缺陷,那就是不能像 ChatterUI 和 PocketPal 那样直接调整模型的推理参数,只能通过对话的方式让 AI 尝试着把回答变得更具创意一些。
以上三个 app 基本可以覆盖大多数的本地 AI 部署需求,不管你是单纯想要个问答助手,还是想要个随身的解闷軟體,亦或是想折腾不同的 AI 模型,看看其本地部署的效果,都可以轻松应对,而且比通过 Termux 来部署要简单方便得多。
AI 部署完了,那么就到了喜闻乐见的体验环节,作为对比,我还下载了 1.5B 版本的 DeepSeek-R1,理论上 1.5B 的版本可以被部署到 8G 甚至 6G 内存的手机里,可以说是最泛用的。
本来我是对 1.5B 版本的 DeepSeek 不抱太大希望的,但是没想到这玩意开局就给我来了个「惊喜」。我先是惯例的询问 AI 身份,看看他能否认知自己的 AI 模型版本,结果 AI 直接给我来了一套深度分析,从 " 对问题感到困惑 " 到 "AIBot 是谁(就是你自己呀)",再到 "AI Bot 和 User(我)之间的关系 ",最后他给出了一个结论:
是,AI Bot 是 ** 人工智能 **。它没有生命,也没有意识,只是一个功能模型或程式,并非人类。当你询问 " 你是谁 ",AI Bot 的回答其实是 ** 没有实体存在的 **,它本身并非人来回答的问题。
这种提问方式提醒我们在使用 AI 技术时需要谨慎,尤其是涉及基础概念的问答时。
我直接一个问号就想打出去了,好家伙,这是加载了什么参数库?怎么上来就是哲学模式?因为回答过于抽象,以至于我反复确认加载的 1.5B 而非 7B 版本。最后通过仔细查看思考过程,我发现可能是 app 的接口設定出现了一些问题,导致其与 AI 大模型之间的交流出现了问题,让 AI 以为这场对话有三个角色,自己正在作为旁观者回答我的问题。
简单来说,当时的场景就相当于 User(我)指着 AI Bot(ChatterUI)问 DeepSeek:你(他)是谁,然后 DeepSeek 对着 AI Bot 就是一堆分析,最后得出了结论:这就是程式。只能说,AI 这玩意玩久了,依然是处处有惊喜,特别是 DeepSeek 这种 " 发散性思维 " 的 AI,经常能够给出一些让你眼前一亮(或者一黑)的回答。
不过在后续的追问下,这个只有 1.5B 参数量的模型很快就露出了马脚,开始前言不搭后语,答非所问,彻底变成了被玩坏的状态,只能说 1.5B 的模型确实难堪大用。而在切换成 7B 版本后,AI 就轻松给出了正确的回答,然后我又追问了一个简单的问题:告诉我番茄炒蛋的做法,虽然 AI 先是说无法给出菜谱,但是随后也是列出了做法。
不得不说,本地部署的 AI 在稳定性等方面确实存在问题,与在线模式的 AI 体验有着非常明显的区别,而且不同 app 出现的问题也会各不相同,比如 PocketPal 就偶尔会出现思考到一半无法继续的问题,后续发现是思维链长度設定有问题,修改后就正常了。
而且,骁龙 8 至尊版 +16G 运存的手机,AI 推理和生成速度都非常不错,已经完全满足日常问答和使用的需求,这一点也是让我颇为意外,事实上这个速度已经不比一些筆記型電腦差。
而在后续的一些提问里,7B 的 DeepSeek 也是勉强答上了我的一些提问,比如当遇到一个癫痫症发作的病人时该如何进行急救、在野外受伤没有人帮助时该怎么自救等。基本上我就是设定了一个无法使用网络的场景,并且我急需一些帮助,在这种情况下离线部署的 AI 或许就是你最后的助力了。
毕竟如果可以联网的话,非隐私问题直接问 DeepSeek app 或者其他第三方 AI,可以得到更好更完善的回答。至于隐私性问题,我的建议是大家如果真有需求,可以去腾讯云等云服务商那里买个 API 接口,然后通过 chatbox 在本地部署一个在线满血版 AI 客户端。
如果你对自己的隐私保护非常上心,那么找一台有 20G 以上显存的电腦,或者在华为云等云伺服器供应商那里租一个云伺服器,用来部署自己的专属 AI 模型也是可选项。
回到正题,在手机上部署 AI 大模型,有意义吗?我认为是有的。如果说电腦上部署 7B 版 AI 是 " 多此一举 ",那么在手机上部署就不一样了。虽然能力是相似的,但是手机上的离线 AI 确实有用,他可以在你无网且需要帮助时,给你提供最基础的建议,有时候或许就是这个小小的建议,就能让你脱困也说不定。
再给大家总结一下三个 app 的本地部署效果,如果你追求稳定可用,那么 MNN 是最好的选择,在测试中也是回答质量最稳定的,而 ChatterUI 和 PocketPal 虽然功能丰富,但是也更容易出 BUG,适合有一定 AI 基础和编程基础的人使用。
最后,希望大家都可以玩得开心。