今天小编分享的互联网经验：小模型路线图来了！苹果弄清楚了“蒸馏Scaling Law“，欢迎阅读。
近期 AI 领網域 " 蒸馏 " 这一概念火热，苹果公司近期在人工智能领網域的研究成果，为蒸馏以及小模型的训练提供了新的思路。
据媒体周二报道，通过深入分析 " 蒸馏 "（Distillation）技术的 Scaling Law，苹果的研究人员不仅揭示了何时应该采用蒸馏、何时应该采用微调，还阐明了蒸馏技术在当前 AI 发展趋势中的重要性。
模型蒸馏是一种将大型、复杂的模型（" 教师 " 模型）的知识迁移到小型、简单的模型（" 学生 " 模型）的技术。其基本原理是，利用大模型生成的输出来训练小型模型。这种方法的核心优势在于，通过借鉴已具备强大能力的模型的输出，可以更容易地提升小模型的智能水平
研究发现，多次 " 蒸馏 " 更具优势，" 教师 " 模型的性能比大小更重要。更强大的 " 教师 " ( 大模型）有时会产生更弱的 " 学生 "（小模型），两者 " 能力差距 " 过大时反而不利于蒸馏，换句话说需要有合适的教师才能让学习发生。
这一研究成果，有望为业界带来更高效、更低成本的小模型训练方案，并推动 AI 技术的进一步普及。
正如分析指出，分布式训练、蒸馏、联邦推理，以及现在的蒸馏 Scaling Law，所有这些研究都指向一个基本事实：大规模、廉价、高效地推广强大 AI 系统所需的科学正在形成。AI 系统正从少数大型计算专有孤岛中转移出来，以小模型或基于自身轨迹训练的模型形式进入世界。这是一个重要的趋势，将塑造整个领網域。
什么是模型 " 蒸馏 "？何时蒸馏，何时微调？
苹果的研究人员发表了一篇关于蒸馏 Scaling Law 的分析报告，为业界提供了一个理论基础，以判断何时应该从大型模型中蒸馏出一个小型模型，何时应该对小型模型进行监督微调。
苹果和牛津大学的研究人员引入了一种蒸馏缩放定律，该定律可以根据计算预算分布预测蒸馏模型的性能，对蒸馏进行了广泛的对照研究，学生和教师模型的参数范围从 1.43 亿到 126 亿，训练数据从几十亿 token 到 5120 亿 token 不等。
苹果的研究主要有以下几个关键发现：
数据量与训练方法的关系： " 在给定足够的学生计算资源或 token 的情况下，监督学习总是优于蒸馏。对于有限的 token 预算，蒸馏是有利的，然而，当有大量 token 可用时，监督学习优于蒸馏。"
多次蒸馏的优势： 当已经存在一个 " 教师模型 "，并计划训练多个学生模型，且这些模型相对较大时，从计算支出的角度来看，蒸馏通常效果最好。
教师模型的性能比大小更重要。 教师模型的性能水平（交叉熵损失）比其大小更重要。
选择与学生模型相近大小的教师模型： 最佳教师模型的大小通常会增长到略大于学生模型，然后趋于稳定。
值得一提的是，苹果提出的蒸馏 Scaling Law 定义了学生模型的性能如何取决于教师的交叉熵损失、数据集大小和模型参数。该研究确定了两种幂律行为之间的过渡，其中学生的学习能力取决于教师的相对能力。该研究还解决了能力差距现象，这表明更强大的教师有时会产生更弱的学生。分析表明，这种差距是由于学习能力的差异，而不仅仅是模型大小。研究人员证明，当计算资源得到适当分配时，蒸馏在效率方面可以与传统的监督学习方法相媲美，甚至超过后者。
换句话说，你需要有合适的教师才能让学习发生。例如：一个 5 岁的孩子或许可以从高中数学老师那里学到一些东西，但他们很难从研究生数学导师那里学到任何东西，事实上可能会变得困惑。
