今天小编分享的科学经验：DeepSeek-R1秘籍轻松迁移，最低只需原始数据0.3%，欢迎阅读。
DeepSeek-R1 背后关键——多头潜在注意力机制（MLA），现在也能轻松移植到其他模型了！
而且只需原始数据的 0.3%~0.6%。
这项研究由复旦大学、华东师范大学、上海 AI Lab 等联合提出，复旦教授邱锡鹏（Moss 大模型项目负责人）也在作者名单之列。
他们提出了MHA2MLA这种数据高效的微调方法，使基于 MHA（多头注意力）的大语言模型（LLMs）能够顺利转换到 MLA 架构。
以 Llama2-7B 为例，MHA2MLA 在降低推理成本（如减少 KV 缓存大小 92.19%）的同时，能将性能损失控制在较小范围（如 LongBench 性能仅下降 0.5%）。
具体咋回事，下面我们接着看。
掌握 DeepSeek 核心秘诀
多头注意力 MHA（Multi-Head Attention）是 Transformer 架构中的一个核心组件，允许模型同时关注输入的不同部分，每个注意力头都独立地学习输入序列中的不同特征。
然而，随着序列长度的增长，键值（Key-Value，KV）缓存的大小也会线性增加，这给模型带来了显著的内存负担。
为了解决 MHA 在高计算成本和 KV 缓存方面的局限性，DeepSeek 突破性地引入了多头潜在注意力机制 MLA。
简单说，MLA 最大创新之处在于：
利用低秩联合压缩键值技术，减少了推理时的 KV 缓存，从而在保持性能的同时显著降低内存占用。
这一技术也被视为 DeepSeek-V3、DeepSeek-R1 等当红炸子鸡模型背后的关键。
而现在，为了进一步降低其他 LLMs 的推理成本，研究人员开发了一种能将采用 MHA 的模型快速适配 MLA 架构的方法——MHA2MLA。
这一数据微调方法包含两个关键部分：
partial-RoPE，即从对注意力分数贡献较小的查询和键的维度中移除旋转位置嵌入（RoPE）；
低秩近似，基于预训练的键和值参数引入联合奇异值分解（SVD）近似。
先说第一个。Transformer 架构中，RoPE（旋转位置编码，Rotary Position Embedding ) 通过旋转操作将位置信息融入查询向量 Q 和键向量 K ，帮助模型捕捉序列位置关系。
但研究发现，在计算注意力分数时，并非所有维度的 RoPE 对结果贡献相同。
换句话说，即使去除那些对注意力分数影响较小的部分维度的 RoPE，理论上不会对模型理解上下文的能力造成关键影响。
基于此，研究人员通过计算敏感度指标来确定哪些维度的 RoPE 贡献较小。
具体而言，对于每个维度，计算 RoPE 变化时注意力分数的变化程度。一旦变化程度低于特定阈值的维度，即被判定为对注意力分数贡献小。在后续计算中，这些维度将不再应用 RoPE。
最终实验证明，partial-RoPE 这一策略在不显著影响模型性能的前提下，减少了计算量。
再说低秩近似策略。
该方法基于预训练的键和值参数，引入联合奇异值分解（SVD）近似。
SVD 是一种矩阵分解技术，通过对键值矩阵进行 SVD 分解，可以用低秩矩阵近似原始矩阵，从而减少参数数量。
具体实现中，研究人员首先提取预训练模型中的键和值参数矩阵，对这些矩阵进行联合 SVD 分解；然后根据模型的性能和压缩需求，构建低秩近似矩阵，用这些低秩近似矩阵替代原始的键值矩阵参与后续计算。
最终结果显示，此举有效降低了模型推理时的计算量和内存占用。
性能几乎不变，将 Llama2 KV 缓存减少 90% 以上
实验环节也验证了 MHA2MLA 方法的有效性。
能在显著降低推理成本的同时，保持甚至提升模型性能。
研究人员选取了用 MHA 或 GQA 预先训练的不同规模（135M-7B）的 LLMs，然后設定了对照组。
一组是基于传统 MHA 的原始模型，用于直接对比 MHA2MLA 方法在相同任务和数据集上的性能表现；另一组是采用分组查询注意力（GQA）的模型，GQA 作为 MHA 的变体，在一定程度上优化了计算成本，将其与 MHA2MLA 对比，能更清晰地展现 MHA2MLA 的优势。
在评估其常识性推理能力的六个基准测试中，研究发现：
与原始 LLMs 性能相比，四个基础模型的性能变化极小，135M 模型性能下降 0.25%，360M、1B7 和 7B 模型分别有 0.03% 、0.03% 和 0.37% 的性能提升或保持。
这表明微调数据未显著影响原模型性能，MHA2MLA 能有效实现架构迁移，而且微调数据仅需预训练数据的 0.3%-0.6%。
甚至，较大模型在转换到 MLA 架构时性能下降更少，这说明这一方法对规模更大的模型更有效。
此外，在长文本生成能力评估中，以 LongBench 为基准，MHA2MLA 相比训练后量化方法，在压缩率和精度平衡上表现出色。
当 dkv=16 时，MHA2MLA 可实现 87.5% 的压缩率，精度损失仅 3%；与 4-bit 量化结合后，压缩率可达 92.19%（dkv=64 + Int4HQQ）和 96.87%（dkv=16 + Int4HQQ），精度损失分别为 -0.5% 和 -3.2%，优于所有 2-bit 量化的基线模型。
这也反映了 MHA2MLA 方法能够与量化技术良好兼容。
综合以上实验，可以看到以 Llama2-7B 为例，MHA2MLA 在降低推理成本（如减少 KV 缓存大小 92.19%）的同时，能将性能损失控制在较小范围（如 LongBench 性能仅下降 0.5%）。
不过，论文也提到了研究局限性。
受计算资源限制，未在更大、更多样化的开源大语言模型上验证 MHA2MLA；且由于 Deepseek 未开源 MLA 的张量并行推理框架，难以探索大于 7B 的模型。
下一步，研究人员计划在更多模型上进行验证。
感兴趣的童鞋可以查看原论文 ~
论文：
https://arxiv.org/abs/2502.14837
代码：
https://github.com/JT-Ushio/MHA2MLA
