今天小編分享的科學經驗：Deepseek進入業務深水區，為什麼需要昇騰大EP？，歡迎閱讀。
DeepSeek 讓各行業引入 AI 大模型的意識和積極性明顯提高，已推動 AI 在政務、能源、制造等領網域廣泛鋪展開來。
很多政企用戶接入 DeepSeek 之後，感受到了 AI 大模型給業務帶來了 " 旦用難回 " 的體驗，很快就從試用的第一階段，進入第二階段——大模型推理集群的擴容更新。
當 " 有沒有 Deepseek 用 " 不再成為問題，那麼 "Deepseek 好不好用 " 的挑戰就迎面而來。
一來，人多了，大量訪問請求帶來的高并發，就像春運高峰期湧入巨大的人流量，會出現請求積壓，模型推理思考時間變長，token 吞吐速度下降，用戶的等待時延達到 50-100 毫秒，伺服器繁忙和排隊讓人惱火。
二來，機器多了，增加更多伺服器會遇到物理天花板，機器擴容并不會線性提升在線推理服務的體驗，就像即使增加了更多車廂，但鐵軌承載能力有限，也無法運送更多旅客（AI 任務）了。
當行業智能化進入深度應用 DeepSeek 的第二階段，不得不面臨高并發推理的技術挑戰。在堆算力的同時，也要同步優化性能體驗，相當于想要運送更多乘客，不僅要增加車廂數量，還要同步改造軌道、站台和管理機制，将老式火車更新為高鐵，才能綜合提高運輸效率。
以 DeepSeek 為例，前不久公布了其利潤率，高達 545%，其中就涉及大量工程化能力，比如引入大 EP 推理集群，實現高并發推理吞吐量指數級增長。
對于更多行業和企業來說，沒有 DeepSeek 那樣的極客天才和頂尖技術團隊，怎樣用大 EP 來解決高并發推理挑戰呢？當 AI 大模型開始進入千行萬業的深水區，亟需一場大 EP 的 " 運力革命 "。
很多政企客戶在接入了 Deepseek 之後，使用量進一步增加，有了擴展推理集群規模的需求，推理資源需要從 2 台擴展到 10 台，從 16 卡擴展到千卡，但擴容更新并不是往機房一放、網絡一連，就能高枕無憂了。
就像印度仍在使用的老式火車，僅靠增加車廂，還是無法提高運力，每個乘客能占用的火車空間極小，體驗很差，火車不堪重負，延誤晚點成了家常便飯。類似問題，在 Deepseek 和各種大模型與業務的結合中，高并發推理卡住了用戶的體驗瓶頸。
面對上述問題，大 EP 大規模專家并行的技術架構，成為趨勢。
簡單來說，大 EP 就是将 MoE（混合專家）模型中數千個專家，分配到更多的卡（算力）上去。原本一張卡只能拉 10 個人，有了大 EP，可以同時拉 100 個（高并發）；原本只能跑一趟車，現在可以同時跑八趟車（提高專家計算路數 batch size），那麼乘客就不用長時間等待了。
所以，通過大 EP 可以提高高并發推理場景下的計算效率，實現更大的吞吐和更低的時延。用戶體感上，比如一家銀行的工作人員同時訪問 Deepseek，不會遇到排隊、延遲、過長等待等情況。
大 EP 這麼好，怎麼才能部署到自己的一體機或推理資源池呢？不經過一番努力，确實很難吃到大 EP 的蛋糕。
一方面，推理場景的算力需求指數級擴展，而海外廠商的推理芯片如 H20，雖然顯存高，但算力不足，處理大 EP 場景時吞吐驟降。Deepseek 公開的論文來看，仍然使用 H800 來進行推理。更強算力且供應鏈穩定的推理硬體，是大 EP 必不可少的。
另一方面，當請求總量猛增之後，會帶來多種多樣的負載，且極不均衡，相當于有的車廂坐的人多，有的車廂坐的人少，負載不均一樣會導致體驗不佳。
此外，大 EP 場景的 All-to-All 通信，導致卡間通信占比時間高，相當于每個車廂的專家都要通知到，這就會耽誤進出站的效率。NVLink 在大 EP 場景中，實際有效帶寬利用率就不足。
由此可見，當行業使用 Deepseek 進入深水區，面對高并發推理場景，不能抱有 " 頭疼醫頭腳疼醫腳 " 的僥幸心理，而需要通盤思考和系統攻堅。
今天來看，各行各業擁抱 Deepseek 不是追逐一時風口，而是對智能化發展趨勢的長期價值判斷。普惠 LLM 進入千行萬業，已經是大勢所趨。
而大 EP 無法順利被行業用起來，就意味着接入 Deepseek 始終存在時延高、體驗差、成本難優化的問題，那麼行業智能化也就無法順利達成。
不過也不必過于擔心，Deepseek、科大訊飛等模廠，與昇騰等算力廠商，以及政企行業用戶，一直保持着緊密協作與溝通，自開年 Deepseek 熱潮以來，從部署實踐中沉澱了大量技術創新。
近期，昇騰推出了大 EP 解決方案，面向高并發推理場景，一站式更新為智能化 " 高鐵 "。
具體來說，昇騰大 EP 解決方案借助五大關鍵技術，與昇騰算力深度協同優化，成功突破了 " 專家負載均衡 + 通信優化 " 兩大難題。
針對專家負載不均的難題：
昇騰大 EP 解決方案提出了MoE 負載均衡技術，可以自動尋優，根據業務情況、集群規模，找到最優的專家，自動預測哪個專家更忙，自動配比，當一個專家負載過多時自動講解，從而實現了備份節點和副本專家靈活可擴展、高可用和極致均衡，性能得到極大提升。
采用多種創新技術，做到自适應的 autoPD 分離部署。根據 Prefill 和 Decode 的動态負載，進行 P、D 實例的自動伸縮，無需人工介入，從而減少計算訪存資源競争。結合多級緩存内存資源池化，對冷熱溫數據進行區分，可以讓系統的有效吞吐提升 50% 以上。
針對 All-to-All 通信優化的難題：
昇騰大 EP 解決方案提出了雙流 / 多維混合并行，其中 Prefill micro-batch 雙流并行，可以實現計算和通信的相互掩蓋；MoE expert 專家雙流并行，實現兩條數據流 Stream 的并行計算；Weight 權重預取雙流并行，可以把訪存和通信并行起來，降低權重加載時間，提升效率。
MLA 預處理階段，昇騰大 EP 解決方案把大量的小算子，合成為大的融合算子，将計算耗時降低 70%，讓算力能力充分發揮出來。
如果你覺得上述技術創新多、不好記，那麼只需要，借助昇騰大 EP 解決方案，行業應用 Deepseek 時，可以做到：
快。訪問 Deepseek 無需等待。昇騰大 EP 可以将單卡并發提升 3 倍，Decode 階段響應速度穩定在 50ms 以内，支撐 600+ 并發請求。
省。業務使用 Deepseek 上量之後，推理集群擴展的同時，性能也保持線性度，擴容綜合成本更優。
正如高鐵改變了中國人的出行，昇騰大 EP 為高并發推理鋪設了一條 " 高速鐵路 "，改變了 Deepseek 上量擴容階段的體驗，為行業智能化提速增效。
僅用兩個多月的時間，Deepseek 就完成了從試用階段到擴容階段的進階。高并發推理場景和大 EP 技術架構，成為應用 Deepseek 的新挑戰。這也提醒我們，行業智能化是一個循序漸進的過程，不可能一蹴而就。
自主創新算力與國產模型如同高鐵的雙軌，成為支撐起智能中國的 " 新基建 "。昇騰生态之所以與 Deepseek 等大模型更加适配，答案逐步清晰明确。
首先，昇騰有硬體，為行業智能化提供 " 永不沉降 " 的算力路基。昇騰硬體的 FP16 和 INT8 算力，可達到 H20 的 2 倍以上，且功耗更低，足以支撐各行業智能化的平穩前進。
此外，昇騰有軟硬體的協同優化能力。随着行業智能化的不斷深入，AI 模型對算力需求不斷擴張，但硬體的物理天花板和企業的投入產出比，都要求計算性能持續優化。昇騰的 AI 軟硬體，提供從預訓練到微調到強化學習，到推理集群、一體機，全流程全覆蓋的方案，可以快速響應客戶需求，高效支撐技術創新。目前，昇騰與 DeepSeek 最新技術已經實現了 "day0" 級别同步，确保企業智能化在昇騰軟硬體基座上，始終行駛在技術最前沿。
更重要的是，昇騰有夥伴。行業智能化是一個體系化工程，不是單一硬體或軟體廠商就能獨自完成的。在自主創新算力生态中，昇騰一方面兼容主流生态與 PyTorch 等國内外框架，同時與 ISV 夥伴、各大模廠都保持着緊密共生與合作。這意味着，當行業用戶基于昇騰底座開發 AI 應用，能得到生态的全方位助力，減少智能化更新的阻力，降低綜合成本。
今天，智能化已經成為全球經濟發展的主航道。在自主算力與國產模型所鑄就的雙軌上，行業智能化也将走深向遠，向着智能時代飛馳。
