今天小编分享的科学经验：Kimi开源底层推理框架，1小时GitHub揽星1.2k，欢迎阅读。
什么？Kimi 底层推理架构刚刚宣布：开！源！了！
你没听错，就是那个承载了 Kimi 线上80% 以上流量的架构。
大约几小时前，月之暗面 Kimi 联合清华大学等机构，开源了大模型推理架构Mooncake。
根据官方介绍，本次开源将采用分阶段的方式：
逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储 / 传输资源进行兼容。
其中传输引擎 Transfer Engine现在已经在 GitHub 全球开源。
可以看到，Mooncake 一经开源，已在 GitHub 狂揽 1.2k star。
其最终开源目标是，为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。
月之暗面 Kimi 工程副总裁许欣然表示：
通过与清华大学 MADSys 实验室紧密合作，我们共同打造了分离式大模型推理架构 Mooncake，实现推理资源的极致优化。
Mooncake 不仅提升了 Kimi 的用户体验，降低了成本，还为处理长文本和高并发需求提供了有效的解决方案。
我们相信，通过与产学研机构开源合作，可以推动整个行业向更高效的推理平台方向发展。
实际上，这个项目早在今年 6 月就已启动，当时已受到业内广泛关注——
今年 6 月，月之暗面和清华大学 MADSys 实验室联合发布了 Kimi 底层的Mooncake 推理系统设计方案。
在这篇名为《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的论文中，作者详细介绍了 Mooncake 这种系统架构。
该系统基于以 KVCache 为中心的 PD 分离和以存换算架构，大幅度提升了推理吞吐。
具体而言，Mooncake 采用以 KVCache 为中心的解耦架构，将预填充集群与解码集群分离，并充分利用 GPU 集群中未充分利用的 CPU、DRAM 和 磁碟 资源，实现 KVCache 的解耦缓存。
其核心在于以 KVCache 为中心的调度程式：
在最大化整体有效吞吐量和满足与延迟相关的服务级别目标 ( SLO ) 要求之间取得平衡
当面对流量高峰期时，Mooncake 通过早期拒绝策略和预测未来负载的方法，来处理超载问题。
早期拒绝策略（Early Rejection Policy）
简单说，其核心思想是在请求实际开始处理之前，根据当前系统的负载情况预测是否有足够的资源来处理新的请求。
如果预测结果表明系统资源不足以保证请求的及时处理，系统就会在请求到达之前予以拒绝，从而避免了无效的资源占用和不必要的延迟。
预测未来负载（Predicting Future Load）
在 Mooncake 中，系统需要能够预测在未来一段时间内的负载情况，以便做出更准确的接受或拒绝请求的决策。
如何实现呢？？
通常来说，这种预测会基于当前的请求模式、系统的资源使用情况以及历史数据等信息。
再通过对信息的进一步分析建模，Mooncake 就能够估计接下来的请求处理需求，并据此调整其调度策略。
论文实验结果显示，与基线方法相比，Mooncake 在某些模拟场景中可以实现高达 525%的吞吐量提升，同时遵守 SLO（与延迟相关的服务级别目标 ) 。
在实际工作负载下，Mooncake 使 Kimi 能够处理75% 以上的请求。
而且据许欣然在其他场合透露：
目前这套系统承载了 Kimi 线上80% 以上的流量。
而现在，为了进一步加速该技术框架的应用与推广，Kimi 联合清华大学等机构共同发布开源项目 Mooncake。
参与开源的首批阵容包括：
AISoft、阿里云、华为存储、面壁智能、趋境科技等。
可以说，云计算、存储、AI 模型玩家等产学研力量都聚齐了。
据悉，Mooncake 开源项目从论文延伸，以超大规模 KVCache 缓存池为中心，通过以存换算的创新理念大幅度减少算力开销，显著提升了推理吞吐量。
目前 Mooncake 技术框架已正式开源上线，官方还表示：
欢迎更多企业和研究机构加入 Mooncake 项目共建，共同探索更加高效和先进的模型推理系统架构创新，让基于大模型技术的 AI 助手等产品，持续惠及更广泛人群。
论文：
https://arxiv.org/pdf/2407.00079
开源地址：
https://github.com/kvcache-ai/Mooncake
参考链接：
https://mp.weixin.qq.com/s/-8ZRbRxBOWNfkk3xMdcWVQ
— 完 —
「MEET2025 智能未来大会」
火热报名中
定档 12 月 11 日！李开复博士、周志华教授、智源研究院王仲远院长都来量子位MEET2025 智能未来大会探讨行业破局之道了！
最新嘉宾阵容在此，观众报名通道已开启！欢迎来到 MEET 智能未来大会，期待与您一起预见智能科技新未来
左右滑动查看最新嘉宾阵容
点这里关注我，记得标星哦～
一键三连「点赞」、「分享」和「在看」
科技前沿进展日日相见 ~
>
