今天小編分享的科技經驗：清華團隊開源大模型推理引擎赤兔，實現DeepSeek推理成本降低一半，歡迎閱讀。
IT 之家 3 月 14 日消息，清華大學高性能計算研究所翟季冬教授團隊、清華系科創企業清程極智今日聯合宣布，大模型推理引擎 " 赤兔 Chitu" 現已開源。
據介紹，該引擎首次實現在非英偉達 Hopper 架構 GPU 及各類國產芯片上原生運行 FP8 精度模型，實現 DeepSeek 推理成本降低一半、性能翻番。其定位為 " 生產級大模型推理引擎 "，提供如下特性：
多元算力适配：不僅支持 NVIDIA 最新旗艦到舊款的多系列產品，也為國產芯片提供優化支持。
全場景可伸縮：從純 CPU 部署、單 GPU 部署到大規模集群部署，赤兔引擎提供可擴展的解決方案。
長期穩定運行：可應用于實際生產環境，穩定性足以承載并發業務流量。
官方表示，當前開源的赤兔引擎在部署 DeepSeek-R1-671B 滿血版時，在 A800 集群的測試中，相比部分國外開源框架，實現了 GPU 使用量減少 50% 的同時，推理速度提升 3.15 倍。
IT 之家附開源地址：https://github.com/thu-pacman/chitu
