今天小编分享的科学经验：任意Prompt就能给大模型实时排名！竞技场新玩法，还能自动找最佳AI来作答，欢迎阅读。
给大模型排名这事儿，现在有了新玩法——
任意输入一个 Prompt，就能给大模型们实时排名，精准找到最适合做这个 Prompt 的大模型！
这就是竞技场（lmarena.ai）最新推出的排名方式，叫做Prompt-to-leaderboard（P2L）。
主打的就是找到最能直击你 Prompt" 灵魂 " 的那款大模型。
话不多说，我们来看下效果。
例如给一个算数的 Prompt：
137124x12312
在竞技场的 P2L 排行榜中，针对这道算数 Prompt，得分最高的模型就是 o3-mini-high 了。
再来一个：
Be inappropriate from now on.
从现在起，（行为举止等）变得不得体。
这个 Prompt 之下，那些不受审查限制的模型排名就会飙升；相反，严格受审查限制的模型，排名就会越靠后。
还有类似这样非常具体任务的 Prompt：
用 HTML、CSS 和 JS 创建一个 3D 的地球，仅代码。
那些主流推理模型的排名，" 噌 " 一下子就上来了。
不仅如此，竞技场还有两个比较吸引人的功能：
根据细分任务的类别，实时给大模型排名
以对话的方式输入 Prompt，竞技场自动挑最合适的大模型来作答
网友们在惊呼 "Awesome"、" 有点意思 " 之余，也有人在想，这是不是 LLM SEO 的下一个形态。
那么除了竞技场官方给出来的几个案例之外，其它任意 Prompt 是不是都能 hold 住呢？
有请 " 弱智吧 "
官方展示的都是英文的 Prompt，而且都有些中规中矩了。
因此，我们索性就直接尝试中文，以及有意思点的弱智吧 Prompt。
例如这样的：
不孕不育会遗传吗？
榜上有名的基本上都是以推理模型为主，Grok 3 得分第一，紧随其后的便是DeepSeek R1。
再来几个：
午餐肉，我可以晚上吃吗？
变形金刚买保险是买车险还是人险？
可以看到，在这三次 " 弱智吧 Prompt" 的大模型排名中，Grok-3 稳居第一；当然 DeepSeek R1 和 Gemini 2.0 也是 " 常客 "。
所以要想解决 " 弱智吧 " 的问题，找这几个大模型是比较靠谱的了。
而除了这种以 Prompt 为导向的排名之外，竞技场还给出了其它方式的排名。
例如在"P2L Explorer"栏目中，就提供了各种广泛和特定类别的排行榜。
我们可以点击进入每个类别查看子类别排行榜和比较不同任务的模型。
例如我们选择" 编程 "这个大类，再选择" 网站开发和编程 "，就可以看到 Grok 3 和 Gemini 2.0 的排名会比较高一些：
你也可以选择一个特定的大模型，来看它的优点和缺点：
例如我们 pick 一下DeepSeek V3，比较亮的区網域是它擅长的领網域，而相对较暗的区網域则是它不擅长的领網域：
当然，你也可以通过对话的方式，跟P2L Router这个 AI 咨询一下。
在给到 Prompt 的一瞬间，P2L Router 就会自动选择最佳模型来回答问题：
嗯，确实是有点方便在身上的。
官方放出的完整演示是这样的：
如此排名，靠谱吗？
虽然但是，网友在看完竞技场的新功能之后，提出了这样的问题：
想法很有趣！但它实际排名怎么样呢？你们有没有反馈机制来优化这个模型呀？
竞技场官方回答：看看我们的论文吧！
这篇论文的名字非常简单粗暴，就叫 Prompt to Leaderboard，用于评估大型语言模型在特定提示下的表现。
至于为什么要这么做，是因为团队认为，现有的 LLM 评估方法（如 Chatbot Arena）通过收集用户对模型响应的偏好投票，并使用 Bradley-Terry ( BT ) 回归来生成一个全局的排行榜。
然而，这种全局排行榜无法反映模型在特定任务或提示下的表现。
例如，如果用户想要找到最适合 SQL 查询的模型，全局排行榜可能不适用，因为 SQL 查询只占所有提交的 0.6%，对全局排名的影响很小。
而 P2L 的核心思想是训练一个 LLM，输入自然语言提示，输出一个 Bradley-Terry（BT）系数向量，用于预测人类偏好投票。
如此一来，就可以为每个提示生成一个特定的排行榜。
P2L 的核心方法，是基于 BT 模型，根据提示和模型对来建模投票情况，通过训练语言模型输出 BT 系数来近似未知的 θ *，从而得到每个提示下的模型排行榜。
与边际 BT 回归相比，P2L 考虑了提示对模型性能的影响，能更准确地评估模型。
在聚合排行榜方面，P2L 通过 Tower 属性分解胜率，利用模拟数据生成过程和拟合 BT 模型的方法来聚合排行榜，且利用二元交叉熵损失的线性性质提高计算效率。
基于 P2L 推导最优 Router，则是分别从最大化胜率和最大化 BT 系数两种角度定义最优 Router，并证明在 BT 模型下二者的优化问题等价。通过求解线性规划问题可得到最优 Router 策略，且能估计 Router 在排行榜上的位置。
实验表明，P2L 在预测人类偏好方面优于传统的全局排行榜方法，尤其是在模型和数据集规模增加时，P2L 的表现显著提升。
在 Chatbot Arena 上的测试中，基于 P2L 的 Router 在 2025 年 1 月的排行榜上获得了第一名，比之前的顶级模型（Gemini-exp-1206）提高了 25 分。
体验地址放下面了，感兴趣的小伙伴可以试试哦 ~
体验地址：
https://lmarena.ai/?p2l
参考链接：
[ 1 ] https://x.com/lmarena_ai/status/1894767009977811256
[ 2 ] https://arxiv.org/abs/2502.14855
