真·MoE？路由LLM最全面探索：一种笔记本也能玩的大模型Scaling Up研究

今天小编分享的科学经验：真·MoE？路由LLM最全面探索：一种笔记本也能玩的大模型Scaling Up研究，欢迎阅读。

事关路由 LLM（Routing LLM），一项截至目前最全面的研究，来了——

共计收集和整理了涉及8500+ 个LLM，在12 个Benchmark 上的共2 亿条性能记录！

先来简单科普一下路由 LLM。

这种方法主要是把像 ChatGPT、Qwen、DeepSeek 这些成型的 LLM 当作 " 专家 " ，当给一个输入的时候，有分类能力的Router（路由器）就会把这个输入分配给合适的 LLM 处理。

如此一来，就能实现高性能、低计算消耗、低幻觉等目标。

而来自中山大学和普渡大学的研究人员在基于上述海量的记录做了一番探索之后，发现了一个现象，叫做Model-level Scaling Up。

一言蔽之，就是一个好的 Router，可以让路由 LLM 范式的性能随着 LLM 候选数量的增加迅速变强。

随后，他们通过这些数据构建了针对 Router 设计的评测RouterEval。

值得注意的是，其他研究人员，也可以通过 RouterEval 在很少的计算资源下（如笔记本、单卡 GPU上）就能参与到该路由 LLM 的研究当中。

2 亿条记录中发现的新现象

当大多数研究人员和开发者第一次听到 Mixture-of-Expert ( MoE ) 的时候，可能第一反应不是现在常见的对结构中的 FFN 层进行扩展，以 FFN 层作为 "expert"。

而是直接将每一个成型的 LLM，比如 ChatGPT、Qwen、DeepSeek 等直接看做是 "expert"。

实际上，这种范式也称为路由 LLM（Routing LLMs）。

简单地说，就是给定一个输入 input，一个具有一定分类能力的 Router ( 路由器 ) 会将 input 分配给指定的 LLM 进行处理，以达到高性能、低计算消耗或者是低幻觉等各种各样的目标，或组合目标。

这类问题可以被认为是分类问题、推荐系统问题、Agent 规划甚至是检索问题（注意，不是检索数据 for LLM，而是检索 LLM for 数据）。

一些典型的例子有：

人机客服切换：机器人客服无法解决问题的时候自动切换到更高级的客服，比如更智能的机器人，甚至人类；

强弱 LLM 切换：比如困难问题给 GPT4 解决（费用贵），简单问题给 GPT3 解决（费用低）

△路由 LLM ( Routing LLMs）示意图

路由 LLM 具有很高的应用潜力和兼容性，不同 LLM 都可以被添加到 LLM 候选 Pool 中参与 routing（包括异构 LLM，各种 tuning/pretraining 方法下得到的 LLM，等等），而且可以发挥很强的性能。

比如最近 UCB 提出的 Prompt-to-Leaderboard 以很低的训练成本，以路由 LLM 的范式下实现和需要数十万个 GPU 训练得到的 Grok3 相当的性能，并登上 Arena 排行榜第一。

然而当前路由 LLM 领網域仍然存在一些挑战影响了 Router 的发展：

缺乏统一的 benchmark。各个研究都在小范围的构建各种的 benchmark 进行研究；

当前 benchmark 不够全面：当前的工作一般只涉及少量的 LLM、evaluations，而且大多数是闭源不公开。

于是，研究团队收集并整理且开源了涉及 8567 个不同 LLMs 在 12 个 evaluations 下 2 亿条性能记录，并通过这些记录发现：

Model-level Scaling Up 现象：有一定能力的 Router，可以使得 routing llm 范式下的性能随着 llm pool 的扩大而迅速上升。过去的研究由于涉及的不同 LLM 较少，不容易观察到这个现象。

通过这些数据，我们构建了全面的针对 Router 设计的评测 RouterEval。其全面性可以大大帮助 Router 设计的探索。鉴于该测评已经整理良好且很简洁，可以被看做是传统的分类问题，所有研究者都可以以很少的计算消耗（甚至单卡或筆記型電腦）参与该大模型的研究当中。

△Model-level Scaling Up 现象示意图

利用 2 亿条性能记录，可以构建完美 Router，即 oracle Router ro：

接着，根据上式可以构建不同性能的 Router ro ( p ) ，其中 wm 为随机 Router，当 p → 1 时，Router ro ( p ) 越解决上界分类性能，当 p → 0 时，ro ( p ) 越接近随机 Router。

从上图结果来看，随着 LLM 候选的数量增加，不同的 evaluation 在具有一定能力的 Router 下呈现了 Scaling Up 现象。

而性能一般的 Router，比如随机 Router 则几乎没有 Scaling Up 现象。

且快速超过参考模型 Ref. LLM 的性能（参考模型一般是 GPT4）。

另外团队还可以发现两个有趣的现象：

RouterEval 涉及的 LLM 的参数分布

弱 LLM 也能组合出非常强的性能。上图给出了 RouterEval 中涉及的 LLM 的参数分布，LLM 的参数为 7B 或以下的情况占优。文章发现，即使较弱的 LLM 也可以组合出不错的性能，比如 5 个性能在少于 0.3 的情况下，ro 可以让他们互补优势在 MMLU 上达到 0.95（超越 GPT4）的性能。

少量的 LLM 候选已经足够。从 Model-level Scaling Up 现象示意图可以看到 3-10 个 LLM 候选的时候已经可以达到非常不错的性能。而且此时的部署成本并不高，具有很高的性价比。

当前 Router 的结果

通过测试当前的已有的 Routers 的性能，可以发现现在 Router 仍然有很大的提升空间。

不过幸运的是，RouterEval 进行的 Router 设计的实验不需要大量的计算资源，且可以融入不同的已有技术，包括 few-show learning，数据增强、推荐系统、正则化方法、预训练模型、额外数据等等 .

因此 Router 将有希望快速得到实质性改进。