今天小编分享的科学经验：数学能力超ChatGPT，70B开源大模型火了：用AI微调AI，微软全华班出品，欢迎阅读。
用AI 生成的指令微调羊驼大模型，数学能力超 ChatGPT ——
微软最新开源大模型WizardMath来了。
如下图所示，经过 GSM8k 数据集测试，WizardMath 数学能力直接击败了 ChatGPT、Claude Instant 1、PaLM 2-540B 等一众大模型——
并且是在参数只有 700 亿，远不及后三者的情况之下。
HuggingFace 已上线 3 个在线可玩版本（分别为 7B、13B 和 70B 参数），各种数学题可以直接丢进去试一试。
比如解决下面这道四次多项式方程：
或者是一道简单的微积分：
亦或者是稍微修改过的拉格朗日方程推导：
它都全部正确（过程也不需要等太久）。
有网友向作者表示：
效果真的很惊人，感谢你们对开源 LLM 的贡献。
目前，相关代码、复现方式以及论文也都开源或上线，GitHub 短短几天已揽获4.8k 标星。
那么，WizardMath 究竟是如何做到的？
用 AI 生成的指令增强大模型能力
OpenAI 的大模型（InstructGPT、GPT-4 等）能够取得巨大成功、去执行各种复杂和多样化的任务，一部分原因是使用了真实人类用户生成的开放網域指令数据进行了微调。
然而，不是谁都能像这家公司一样获得这样的指令数据集。
一是因为整个注释过程极其昂贵且耗时，二是人工难以创建出足够比例的高难度指令。
因此，开发出一种成本相对较低的、大规模开放網域指令自动生产方法，成为当下指令调优语言模型的关键。
在此，作者将他们的方法命名为Evol Instruction。
它是一种利用 AI 来代替人类自动生成涵盖各种难度级别开放網域指令的新方法。
具体而言，Evol Instruction 分为指令进化器和指令消除器。
其中指令进化器可通过深度进化（蓝线）或广度进化（红线）两种路径，将简单指令更新为更复杂的指令或创建一条全新指令。
具体执行哪一条？随机选择就好。
其中，深度进化的具体 " 进化法 "，则是通过五种类型的操作来完成，包括：
添加约束（add constraints）、深化（deepening）、具体化（concretizing）、增加推理步骤（increase reasoning steps）和使输入复杂化（complicate input）。
由于所有指令均由 AI 完成，有时难免会出现错误。因此，指令消除器就是用于过滤失败指令的。
以下是一个具体示例，该方法从 "1+1=？" 开始，最终通过以上步骤自动生成了相当多的新指令。
通过重复这一生成过程，最终我们就能得到足够多的指令，然后将它们合并并随机打乱，组成一个难度级别均匀分布的指令集，就可以对基础大模型进行微调了。
在此，作者选择 Alpaca 的训练数据（仅由 175 条人工创建的种子指令生成）作为初始数据集，然后使用 ChatGPT 的 API 执行了四个进化周期，最终获得 25 万条指令。
为了与 Vicuna 的 70k 真实用户数据（ShareGPT）进行公平比较，作者从这 25 万条数据中抽取了等量的样本，训练 LLaMA 7B 模型，最终得到 WizardLM，结果 WizardLM 的性能明显优于 Vicuna。
（Alpaca：斯坦福在 LLaMa-7B 基础上微调出来的模型；Vicuna，UC 伯克利在 LLaMa-13B 的基础上微调得来）
此外，在更为复杂的测试指令下，人类更喜欢 WizardLM 的输出，而非 ChatGPT，这表明该方法可以显着提高 LLM 处理复杂指令的能力。
基于此，作者又利用 Evol Instruction 生成了很多数学领網域相关的指令，然后微调羊驼大模型，得到了WizardMath。
其效果如开头所示，在 GSM8k 数据集上测得其数学能力超越包括 ChatGPT、Claude Instant 1、PaLM 2-540B 等一众大模型，位列第 5 名，仅次于 GPT-4、Claud1.3 和 2.0，以及 5400 亿参数的 Flan-PaLM 2 之后。
以此类推，作者还在羊驼之上得到了专攻代码能力的WizardCoder，效果超越 Claude 和 Bard（详情可戳文末地址）。
团队介绍
本文共 9 位作者，全华人。
一作有 3 位：
Can Xu，微软亚洲互联网工程院 S+D NLP 组高级应用科学家，之前曾在微软小冰研究组和微软亚研院从事聊天机器人系统工作；
Qingfeng Sun， Microsoft Research 科学家，研究方向为自然语言处理和信息检索，精通构建高效搜索系统，为 Microsoft Bing 和 Office 365 贡献了核心深度模型；
Kai Zheng，Microsoft Research 科学家，研究方向为自然语言处理、搜索和推荐排名，同样为 Microsoft Bing 和 Office 365 贡献了核心深度模型。
通讯作者为姜大昕，微软全球合伙人、副总裁、前微软亚洲研究院首席科学家，在微软工作 16 年有余、曾作为微软必应搜索引擎和 Cortana 智能助手自然语言理解负责人，日前已被曝离职投身大模型创业。
另还有一位作者 Jiazhan Feng，是北大学生，这篇合著论文是 TA 在微软实习时产出的。
项目主页： https://github.com/nlpxucan/WizardLM/tree/main/WizardMath
论文地址：
https://arxiv.org/abs/2304.12244（WizardLM）
https://arxiv.org/abs/2306.08568（WizardCoder）
