今天小编分享的科学经验：微软出招！新模型数学超GPT-4o编程胜Llama3.3，训练新范式引热议：midtraining，欢迎阅读。
OpenAI 谷歌天天刷流量，微软也坐不住了，推出最新小模型 Phi-4。
参数量仅 14B，MMLU 性能就和 Llama 3.3/ Qwen2.5 等 70B 级别大模型坐一桌。
数学能力上，Phi-4 在美国数学竞赛 AMC 10/12 上超过了 GPT-4o 等一众大模型，分数冲上 90。
编程能力也是开源模型一流，超过了 70B 的 Llama 3.3 和 72B 的 Qwen 2.5。
更引起热议的是，微软在技术报告中还提出了一个新的训练范式——midtraining。
这一举动让 Phi-4 拥有了更强的长文本处理能力，視窗长度达到 16K 后，召回率依然保持在 99%。
小模型挑战复杂推理
在常见基准测试中，Phi-4 取得了优异的文本处理和复杂推理水平：
在 MMLU 上，Phi-4 以 84.8% 的准确率超过了 GPT-4o-mini 的 81.8% 和 Llama-3.3 的 86.3%；
在研究生水平 STEM 问答 GPQA 上，Phi-4 准确率达到 56.1%，高于同尺寸模型 Qwen-2.5 的 42.9%，甚至超过了 GPT-4o 的 50.6%；
在数学测试集 MATH 上，Phi-4 以 80.4% 的准确率超过 GPT-4o-mini 的 73%，并接近 GPT-4o 的 74.6%；
编程能力方面，Phi-4 在 HumanEval 上以 82.6% 超过了其他开源模型，以及 GPT-4o-mini。
在难度稍高的 MMLU 和 HumanEval+ 上，Phi-4 的表现也超过了其他开源模型；在 ArenaHard、LiveBench 和 IFEval 上则表现欠佳。
另外，微软还用内部的基准 PhiBench 对模型能力进行了更全面的评估，结果 Phi-4 取得了 56.2% 的综合得分，展现出在推理、知识、编程等方面的全面能力，但相比于 Qwen 2.5-72B 等模型，还是暴露了有待提高之处。
在 Phi-4 的宣传页中，微软还展示了其在一个具体的数学推理题目上的表现。
Phi-4 非常有条理地考虑了各种可能出现的情况，并计算出了正确答案。
除了这些常规能力，微软团队还专门在长文本上测试了 Phi-4 的表现。
在 8K 和 16K 两种視窗长度中，研究团队利用 HELMET 基准评估了 Pho-4 和其他模型在 RAG、QA 问答、长文本摘要等任务上的水平。
结果，Phi-4 在多个任务上与同尺寸的 Qwen 2.5-14B 相当，部分指标还可与 70B 的 Llama 3.3 一决高下。
不过，Phi-4 在某些任务（如 RAG 和文档排序）上，仍有进一步提升的空间。
不同于一般大模型的预训练 + 后训练的两阶段模式，微软在两个阶段中间新加入了一个 midtraining 阶段。
在 10 万亿 tokens 规模的预训练完成后，Phi-4 可以处理 4k 长度的上下文視窗，而 midtraining 的目的是在此基础上进一步将視窗长度提升到 16k。
研究团队发现，天然的长上下文数据（如完整的学术论文）比人工拼接短样本更有利于训练长上下文能力。
因此，团队从学术文章、书籍、代码库等高质量非合成文本中筛选出长度大于 8K tokens 的样本作为训练集，并且对长度超过 16K tokens 的样本进行加权，以匹配目标长度。
为进一步丰富长上下文训练数据，研究团队专门生成了满足大于 4K 长度要求的新合成数据，与真实长文本数据共同组成了 midtraining 阶段的数据集。
最终，midtraining 阶段的数据包含 30% 新引入的长文本数据（筛选 + 合成）和 70% 预训练阶段的历史数据，规模为 2500 亿 tokens。
同时，为了适应 16K 的长序列训练，研究团队将 rope 位置编码的基频从预训练阶段的 2K 扩大到 250K；同时，为保证训练稳定性，团队将学习率降低为预训练阶段的十分之一。
最终，Phi-4 在 HELMET 等长文本基准测试中表现出色，证明了 midtraining 阶段的有效性。
除此之外，在后训练阶段，研究团队还提出了一种新颖的对比学习方法——枢轴 tokens 搜索（PTS）。
通过识别对模型输出影响最大的关键 tokens，并围绕它们构造正负样本对，PTS 可以生成高信噪比的对比学习数据，显著提升训练效率和效果。
除了 PTS 生成的对比学习数据，研究团队还引入了人类反馈对比学习（Human Feedback DPO）。
他们招募了大量人员对模型输出进行评判，并据此构造优质的正负样本对，使得模型更加贴近人类偏好。
One More Thing
不过 midtraining 并不是微软首次提出，早在 7 月份，OpenAI 就已经开始为伦敦的 midtraining 团队招人了。
论文地址：
https://arxiv.org/abs/2412.08905
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
