今天小編分享的科學經驗：o3并非獨門秘技，谷歌已發背後關鍵機制，方法更簡單、成本更低，歡迎閲讀。
o1/o3 帶火的推理計算 Scaling，原來谷歌早在今年 8 月就曾探讨過。
當時，來自斯坦福、牛津以及谷歌 DeepMind 的團隊提出通過重復采樣來擴展推理計算量——
結果在編碼任務中将性能最多提高 40%。
他們發現小模型通過生成多種答案 / 樣本，其任務表現可能比一些大型模型單次嘗試還要好。
比如，DeepSeek-Coder 通過重復采集 5 個樣本，性能優于 GPT-4o，而成本卻僅為後者的三分之一。
這篇論文講了什麼？
這篇論文取名 Monkey，靈感來自于無限猴子定理。
一只猴子在打字機鍵盤上随機敲擊鍵盤無限長的時間，幾乎肯定會打出任何給定的文本。
而在大模型的語境下，只要采的樣夠多，那麼大模型總能找到正确解。
本文遵循的重復采樣程式，首先通過大模型中采樣，為給定的問題生成許多候選解。
其次再選擇特定領網域的驗證器 Verifier（比如代碼的 unittests），從生成的樣本中選擇最終答案。
重復采樣的有效性取決于兩個關鍵特性。
覆蓋率，随着樣本數量的增加，我們可以利用生成的任何樣本解決多少問題。
精确度，在從生成的樣本集合中選擇最終答案的情況下，我們能否識别出正确的樣本？
他們關注的是 yes or no 的任務，在這些任務中，答案可以直接被打分為對或者錯，主要指标是成功率——即能夠解決問題的比例。
通過重復采樣，考慮這樣一種設定，即模型在嘗試解決問題時可以生成許多候選解。
因此，成功率既受到為許多問題生成正确樣本的能力（即覆蓋率）的影響，也受到識别這些正确樣本的能力（即精确度）的影響。
基于此，确定了五種數學和編程任務：GSM8K、MATH、MiniF2F-MATH、CodeContests、SWE-benchLite。
結果顯示，在多個任務和模型中，覆蓋率随樣本數量增加而提升，在某些情況下，重復采樣可使較弱模型超越單樣本性能更好的強模型，且成本效益更高
比如在使用 Gemma-2B 解決 CodeContests 編程問題時。随着樣本數量的增加，覆蓋率提高了 300 倍以上，從一次嘗試的 0.02% 提高到 10000 次嘗試的 7.1%。解決來自 GSM8K 和 MATH 的數學單詞問題時，Llama-3 模型的覆蓋率在 10,000 個樣本的情況下增長到 95% 以上。
有趣的是，log（覆蓋率）與樣本數之間的關系往往遵循近似的幂律。
在 Llama-3 和 Gemma 模型中，可以觀察到覆蓋率與樣本數呈近似對數線性增長，超過幾個數量級。
在不同參數量、不同模型以及後訓練水平（基礎模型和微調模型）下，都顯示通過重復采樣 Scaling 推理時間計算，覆蓋率都有一致的提升。
此外，他們還證明了這種 Scaling 還能降本增效，以 FLOPs 作為成本指标，以 LIama-3 為例。
計算公式如下：
比較 Llama-3-8B-Instruct 和 Llama3-70B-Instruct 的成本（以推理 FLOPs 數量衡量）和覆蓋率。當 FLOPs 預算固定時，在 MiniF2F、GSM8K 和 MATH 上，Llama-3-8B-Instruct 的覆蓋率總是高于更大（更貴）的 70B 模型。然而，在 CodeContests 中，70B 模型幾乎總是更具成本效益。
對比 API 成本，當采樣較多時，開源 DeepSeek-Coder-V2-Instruct 模型可以達到與閉源模型 GPT-4o 相同的問題解決率，而價格僅為後者的三分之一。
有趣的是，他們發現對于大多數任務和模型，覆蓋率與樣本數之間的關系可以用指數幂律來模拟。
因此總結，這篇文章以重復采樣為軸心，在推理時擴展計算量，從而提高模型性能。
在一系列模型和任務中，重復采樣可以顯著提高使用任何生成樣本解決問題的比例（即覆蓋率）。當可以識别出正确的解決方案時（通過自動驗證工具或其他驗證算法），重復采樣可以在推理過程中放大模型的能力。
與使用較強、較昂貴的模型進行較少的嘗試相比，這種放大作用可使較弱的模型與大量樣本的組合更具性能和成本效益。
來自斯坦福牛津谷歌
這篇論文是來自斯坦福、牛津大學以及谷歌 DeepMind 團隊。TogetherAI 提供計算支持。
其中可以看到有谷歌傑出科學家 Quoc V. Le。
有網友表示，這有點像更簡單的靜态版 o3。
o3 在評價器的指導下，通過回溯動态搜索程式空間，而這種方法則依賴于靜态采樣和事後評價（投票、獎勵模型等）。兩者都能擴展推理計算，但 O3 的适應性更強。
o3 會反復探索解決方案，不斷完善路徑，而重復采樣會并行生成輸出，沒有反饋回路。如何取舍？o3 的計算密集度更高，但在需要結構化推理的任務中表現出色。這種方法在編碼 / 數學方面更具成本效益。
不過也有網友指出了背後的局限性。
我們不能一味地增加采樣數量來提高性能。在某些時候，模型會出現停滞，生成的樣本也會開始重復。
無論成本如何，都有一個極限，一個模型無法超越的最大思維水平。
參考鏈接：
[ 1 ] https://arxiv.org/abs/2407.21787
[ 2 ] https://x.com/_philschmid/status/1870396154241843312
[ 3 ] https://x.com/rohanpaul_ai/status/1834446350810849510
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
