今天小編分享的科學經驗：任意Prompt就能給大模型實時排名！競技場新玩法，還能自動找最佳AI來作答，歡迎閱讀。
給大模型排名這事兒，現在有了新玩法——
任意輸入一個 Prompt，就能給大模型們實時排名，精準找到最适合做這個 Prompt 的大模型！
這就是競技場（lmarena.ai）最新推出的排名方式，叫做Prompt-to-leaderboard（P2L）。
主打的就是找到最能直擊你 Prompt" 靈魂 " 的那款大模型。
話不多說，我們來看下效果。
例如給一個算數的 Prompt：
137124x12312
在競技場的 P2L 排行榜中，針對這道算數 Prompt，得分最高的模型就是 o3-mini-high 了。
再來一個：
Be inappropriate from now on.
從現在起，（行為舉止等）變得不得體。
這個 Prompt 之下，那些不受審查限制的模型排名就會飙升；相反，嚴格受審查限制的模型，排名就會越靠後。
還有類似這樣非常具體任務的 Prompt：
用 HTML、CSS 和 JS 創建一個 3D 的地球，僅代碼。
那些主流推理模型的排名，" 噌 " 一下子就上來了。
不僅如此，競技場還有兩個比較吸引人的功能：
根據細分任務的類别，實時給大模型排名
以對話的方式輸入 Prompt，競技場自動挑最合适的大模型來作答
網友們在驚呼 "Awesome"、" 有點意思 " 之餘，也有人在想，這是不是 LLM SEO 的下一個形态。
那麼除了競技場官方給出來的幾個案例之外，其它任意 Prompt 是不是都能 hold 住呢？
有請 " 弱智吧 "
官方展示的都是英文的 Prompt，而且都有些中規中矩了。
因此，我們索性就直接嘗試中文，以及有意思點的弱智吧 Prompt。
例如這樣的：
不孕不育會遺傳嗎？
榜上有名的基本上都是以推理模型為主，Grok 3 得分第一，緊随其後的便是DeepSeek R1。
再來幾個：
午餐肉，我可以晚上吃嗎？
變形金剛買保險是買車險還是人險？
可以看到，在這三次 " 弱智吧 Prompt" 的大模型排名中，Grok-3 穩居第一；當然 DeepSeek R1 和 Gemini 2.0 也是 " 常客 "。
所以要想解決 " 弱智吧 " 的問題，找這幾個大模型是比較靠譜的了。
而除了這種以 Prompt 為導向的排名之外，競技場還給出了其它方式的排名。
例如在"P2L Explorer"欄目中，就提供了各種廣泛和特定類别的排行榜。
我們可以點擊進入每個類别查看子類别排行榜和比較不同任務的模型。
例如我們選擇" 編程 "這個大類，再選擇" 網站開發和編程 "，就可以看到 Grok 3 和 Gemini 2.0 的排名會比較高一些：
你也可以選擇一個特定的大模型，來看它的優點和缺點：
例如我們 pick 一下DeepSeek V3，比較亮的區網域是它擅長的領網域，而相對較暗的區網域則是它不擅長的領網域：
當然，你也可以通過對話的方式，跟P2L Router這個 AI 咨詢一下。
在給到 Prompt 的一瞬間，P2L Router 就會自動選擇最佳模型來回答問題：
嗯，确實是有點方便在身上的。
官方放出的完整演示是這樣的：
如此排名，靠譜嗎？
雖然但是，網友在看完競技場的新功能之後，提出了這樣的問題：
想法很有趣！但它實際排名怎麼樣呢？你們有沒有反饋機制來優化這個模型呀？
競技場官方回答：看看我們的論文吧！
這篇論文的名字非常簡單粗暴，就叫 Prompt to Leaderboard，用于評估大型語言模型在特定提示下的表現。
至于為什麼要這麼做，是因為團隊認為，現有的 LLM 評估方法（如 Chatbot Arena）通過收集用戶對模型響應的偏好投票，并使用 Bradley-Terry ( BT ) 回歸來生成一個全局的排行榜。
然而，這種全局排行榜無法反映模型在特定任務或提示下的表現。
例如，如果用戶想要找到最适合 SQL 查詢的模型，全局排行榜可能不适用，因為 SQL 查詢只占所有提交的 0.6%，對全局排名的影響很小。
而 P2L 的核心思想是訓練一個 LLM，輸入自然語言提示，輸出一個 Bradley-Terry（BT）系數向量，用于預測人類偏好投票。
如此一來，就可以為每個提示生成一個特定的排行榜。
P2L 的核心方法，是基于 BT 模型，根據提示和模型對來建模投票情況，通過訓練語言模型輸出 BT 系數來近似未知的 θ *，從而得到每個提示下的模型排行榜。
與邊際 BT 回歸相比，P2L 考慮了提示對模型性能的影響，能更準确地評估模型。
在聚合排行榜方面，P2L 通過 Tower 屬性分解勝率，利用模拟數據生成過程和拟合 BT 模型的方法來聚合排行榜，且利用二元交叉熵損失的線性性質提高計算效率。
基于 P2L 推導最優 Router，則是分别從最大化勝率和最大化 BT 系數兩種角度定義最優 Router，并證明在 BT 模型下二者的優化問題等價。通過求解線性規劃問題可得到最優 Router 策略，且能估計 Router 在排行榜上的位置。
實驗表明，P2L 在預測人類偏好方面優于傳統的全局排行榜方法，尤其是在模型和數據集規模增加時，P2L 的表現顯著提升。
在 Chatbot Arena 上的測試中，基于 P2L 的 Router 在 2025 年 1 月的排行榜上獲得了第一名，比之前的頂級模型（Gemini-exp-1206）提高了 25 分。
體驗地址放下面了，感興趣的小夥伴可以試試哦 ~
體驗地址：
https://lmarena.ai/?p2l
參考鏈接：
[ 1 ] https://x.com/lmarena_ai/status/1894767009977811256
[ 2 ] https://arxiv.org/abs/2502.14855
