今天小编分享的科技经验：清华团队突破算力难题：4090显卡单枪匹马就能跑“满血版”DeepSeek-R1！有用户称整套方案成本不到7万元，直降95%以上，欢迎阅读。
随着大规模语言模型（LLMs）的不断发展，模型规模和复杂性急剧提升，其部署和推理常常需要巨大的计算资源，这对个人研究者和小型团队带来了挑战。
2 月 10 日，清华大学 KVCache.AI 团队联合趋境科技发布的 KTransformers 开源项目公布更新：一块 24G 显存的 4090D 就可以在本地运行 DeepSeek-R1、V3 的 671B" 满血版 "。预处理速度最高达到 286 tokens/s，推理生成速度最高能达到 14 tokens/s。
KTransformers 通过优化本地机器上的 LLM 部署，帮助解决资源限制问题。该框架采用了异构计算、先进量化技术、稀疏注意力机制等多种创新手段，提升了模型的计算效率，并具备处理长上下文序列的能力。
KTransformers 的更新发布后，不少开发者也纷纷用自己的设备进行测试。他们惊喜地发现，本地运行完全没有问题，甚至显存消耗比 github 里的技术文档中提到的显存消耗还要少，实际内存占用约 380G，显存占用约 14G。
另外，有用户对方案成本进行分项分析后称，只要不到 7 万元就能实现 R1 模型的本地运行，与 A100/H100 伺服器动辄 200 万元的价格相比，便宜了 95% 以上。
清华团队突破算力难题：24G 显存即可运行 R1 和 V3 的 671B" 满血版 "
之前，671B 参数的 MoE 架构大模型 DeepSeek-R1 经常出现推理伺服器高负荷宕机的现象，而如果选择其他云服务商提供的专属版云伺服器则需按 GPU 小时计费。这一高昂成本让中小团队无力承担，而市面上的 " 本地部署 " 方案多为参数量大幅缩水的蒸馏版。
但 KTransformers 开源项目近期的更新，成功打破了大模型推理算力门槛：支持 24G 显存在本地运行 DeepSeek-R1、V3 的 671B" 满血版 "。
早在 DeepSeek-V2 时代，这一项目就因 " 专家解除安裝 " 技术出名了，因为它支持 236B 参数的大模型在仅有 24GB 显存的消费级显卡上流畅运行，把显存需求砍到十分之一。
KTransformers 开源项目重点关注的就是在资源有限的情况下进行大模型的本地部署。一名 Ktransformers 开发团队成员表示：" 项目在创始之初就已经讨论过项目的场景和目标，我们所针对的是中小型用户的场景，用领網域的话讲，就是低并发 + 超低显存的场景。而显存目前的成本已经和 CPU 的内存不是一个数量级了，对于中小用户内存可能完全不缺，但是找一个显存很大的显卡却很难。"
图片来源：知乎
KTransformers 的原理大致为将参数较少、计算比较复杂的 MLA 注意力放在 GPU 上进行计算，而参数大的、计算比较轻松的 FNN（MOE）则放到 CPU 上去计算。
MoE 结构的模型具有很强的稀疏性，在执行推理任务的时候，每次只会激活其中一部分的模型参数。因此，MoE 架构需要大量的存储空间，但并不需要很多的计算资源。在这样的情况下，同样使用 4bit 量化，只需要一个 4090 GPU 就可以满足这个参数需求。
此外，KTransformers 团队还公布了 v0.3 预览版的性能指标，将通过整合英特尔的 AMX 指令集，CPU 预填充速度最高至 286 tokens/s，相比 llama.cpp 快了近 28 倍。对于需要处理上万级 Token 上下文的长序列任务来说，相当于能够从 " 分钟级等待 " 瞬间迈入 " 秒级响应 "，彻底释放 CPU 的算力潜能。
用户：成本相比 A100/H100 伺服器可直降 95% 以上
KTransformers 的更新发布后，不少开发者也纷纷在自己的设备上进行测试。他们惊喜地发现，本地运行完全没有问题，显存消耗甚至比 github 里的技术文档中提到的还要少，实际内存占用约 380G，显存占用约 14G。
图片来源：哔哩哔哩
有 B 站 up 主实测发现，本地部署的速度可以达到约 6-8 tokens/s，与硅基流动免费版速度差不多（但硅基流动有上下文关联数、输出数限制等因素）。
还有用户规划出了这套方案的成本：
CPU：Gold 6454S 两颗价格 1w4 左右（QS 版）
主機板：技嘉 ms73 价格 6500 元以内（双路主機板一共 16 个 DDR5 RDIMM 接口）
内存：单根 64G 的 RDIMM DDR5 伺服器内存要 1800 元总共 1T 需要 3w 元左右
显卡：低档 4060Ti 16G，大概 3999 元。更加建议 4090 24G，因为可以增加上下文长度。
该用户总结称，整体成本 7 万元不到，相比于 A100/H100 伺服器动辄 200 万元的价格，便宜了 95% 以上。就算是租用伺服器每小时也得花费数千元。
当然，这一本地方案还是有着诸多的限制，比如推理速度并不能和高价的伺服器成本相提并论，并且只能给单人服务，而伺服器可以同时满足几十个用户的需求。目前整体方案也依赖于英特尔的 AMX 指令集，其他品牌的 CPU 暂时还无法进行这些操作。并且这一方案主要是针对于 DeepSeek 的 MOE 模型，其他主流模型的运行可能并不理想。
有用户认为，短期来看，KTransformers 可能刺激消费级显卡（如 4090）的需求，尤其是高显存型号。但内存涨价的可能性较低，因为其核心创新在于优化显存利用率，而非直接增加内存消耗。但对于英伟达的影响并不会太大，因为这一技术归根结底还是对于现有资源的优化而非颠覆硬體需求。
免责声明：本文内容与数据仅供参考，不构成投资建议，使用前请核实。据此操作，风险自担。
