今天小編分享的科技經驗：清華團隊突破算力難題：4090顯卡單槍匹馬就能跑“滿血版”DeepSeek-R1！有用戶稱整套方案成本不到7萬元，直降95%以上，歡迎閱讀。
随着大規模語言模型（LLMs）的不斷發展，模型規模和復雜性急劇提升，其部署和推理常常需要巨大的計算資源，這對個人研究者和小型團隊帶來了挑戰。
2 月 10 日，清華大學 KVCache.AI 團隊聯合趨境科技發布的 KTransformers 開源項目公布更新：一塊 24G 顯存的 4090D 就可以在本地運行 DeepSeek-R1、V3 的 671B" 滿血版 "。預處理速度最高達到 286 tokens/s，推理生成速度最高能達到 14 tokens/s。
KTransformers 通過優化本地機器上的 LLM 部署，幫助解決資源限制問題。該框架采用了異構計算、先進量化技術、稀疏注意力機制等多種創新手段，提升了模型的計算效率，并具備處理長上下文序列的能力。
KTransformers 的更新發布後，不少開發者也紛紛用自己的設備進行測試。他們驚喜地發現，本地運行完全沒有問題，甚至顯存消耗比 github 裡的技術文檔中提到的顯存消耗還要少，實際内存占用約 380G，顯存占用約 14G。
另外，有用戶對方案成本進行分項分析後稱，只要不到 7 萬元就能實現 R1 模型的本地運行，與 A100/H100 伺服器動辄 200 萬元的價格相比，便宜了 95% 以上。
清華團隊突破算力難題：24G 顯存即可運行 R1 和 V3 的 671B" 滿血版 "
之前，671B 參數的 MoE 架構大模型 DeepSeek-R1 經常出現推理伺服器高負荷宕機的現象，而如果選擇其他雲服務商提供的專屬版雲伺服器則需按 GPU 小時計費。這一高昂成本讓中小團隊無力承擔，而市面上的 " 本地部署 " 方案多為參數量大幅縮水的蒸餾版。
但 KTransformers 開源項目近期的更新，成功打破了大模型推理算力門檻：支持 24G 顯存在本地運行 DeepSeek-R1、V3 的 671B" 滿血版 "。
早在 DeepSeek-V2 時代，這一項目就因 " 專家解除安裝 " 技術出名了，因為它支持 236B 參數的大模型在僅有 24GB 顯存的消費級顯卡上流暢運行，把顯存需求砍到十分之一。
KTransformers 開源項目重點關注的就是在資源有限的情況下進行大模型的本地部署。一名 Ktransformers 開發團隊成員表示：" 項目在創始之初就已經讨論過項目的場景和目标，我們所針對的是中小型用戶的場景，用領網域的話講，就是低并發 + 超低顯存的場景。而顯存目前的成本已經和 CPU 的内存不是一個數量級了，對于中小用戶内存可能完全不缺，但是找一個顯存很大的顯卡卻很難。"
圖片來源：知乎
KTransformers 的原理大致為将參數較少、計算比較復雜的 MLA 注意力放在 GPU 上進行計算，而參數大的、計算比較輕松的 FNN（MOE）則放到 CPU 上去計算。
MoE 結構的模型具有很強的稀疏性，在執行推理任務的時候，每次只會激活其中一部分的模型參數。因此，MoE 架構需要大量的存儲空間，但并不需要很多的計算資源。在這樣的情況下，同樣使用 4bit 量化，只需要一個 4090 GPU 就可以滿足這個參數需求。
此外，KTransformers 團隊還公布了 v0.3 預覽版的性能指标，将通過整合英特爾的 AMX 指令集，CPU 預填充速度最高至 286 tokens/s，相比 llama.cpp 快了近 28 倍。對于需要處理上萬級 Token 上下文的長序列任務來說，相當于能夠從 " 分鍾級等待 " 瞬間邁入 " 秒級響應 "，徹底釋放 CPU 的算力潛能。
用戶：成本相比 A100/H100 伺服器可直降 95% 以上
KTransformers 的更新發布後，不少開發者也紛紛在自己的設備上進行測試。他們驚喜地發現，本地運行完全沒有問題，顯存消耗甚至比 github 裡的技術文檔中提到的還要少，實際内存占用約 380G，顯存占用約 14G。
圖片來源：哔哩哔哩
有 B 站 up 主實測發現，本地部署的速度可以達到約 6-8 tokens/s，與矽基流動免費版速度差不多（但矽基流動有上下文關聯數、輸出數限制等因素）。
還有用戶規劃出了這套方案的成本：
CPU：Gold 6454S 兩顆價格 1w4 左右（QS 版）
主機板：技嘉 ms73 價格 6500 元以内（雙路主機板一共 16 個 DDR5 RDIMM 接口）
内存：單根 64G 的 RDIMM DDR5 伺服器内存要 1800 元總共 1T 需要 3w 元左右
顯卡：低檔 4060Ti 16G，大概 3999 元。更加建議 4090 24G，因為可以增加上下文長度。
該用戶總結稱，整體成本 7 萬元不到，相比于 A100/H100 伺服器動辄 200 萬元的價格，便宜了 95% 以上。就算是租用伺服器每小時也得花費數千元。
當然，這一本地方案還是有着諸多的限制，比如推理速度并不能和高價的伺服器成本相提并論，并且只能給單人服務，而伺服器可以同時滿足幾十個用戶的需求。目前整體方案也依賴于英特爾的 AMX 指令集，其他品牌的 CPU 暫時還無法進行這些操作。并且這一方案主要是針對于 DeepSeek 的 MOE 模型，其他主流模型的運行可能并不理想。
有用戶認為，短期來看，KTransformers 可能刺激消費級顯卡（如 4090）的需求，尤其是高顯存型号。但内存漲價的可能性較低，因為其核心創新在于優化顯存利用率，而非直接增加内存消耗。但對于英偉達的影響并不會太大，因為這一技術歸根結底還是對于現有資源的優化而非颠覆硬體需求。
免責聲明：本文内容與數據僅供參考，不構成投資建議，使用前請核實。據此操作，風險自擔。
