o3并非獨門秘技，谷歌已發背後關鍵機制，方法更簡單、成本更低

今天小編分享的科學經驗：o3并非獨門秘技，谷歌已發背後關鍵機制，方法更簡單、成本更低，歡迎閱讀。

o1/o3 帶火的推理計算 Scaling，原來谷歌早在今年 8 月就曾探讨過。

當時，來自斯坦福、牛津以及谷歌 DeepMind 的團隊提出通過重復采樣來擴展推理計算量——

結果在編碼任務中将性能最多提高 40%。

他們發現小模型通過生成多種答案 / 樣本，其任務表現可能比一些大型模型單次嘗試還要好。

比如，DeepSeek-Coder 通過重復采集 5 個樣本，性能優于 GPT-4o，而成本卻僅為後者的三分之一。

這篇論文講了什麼？

這篇論文取名 Monkey，靈感來自于無限猴子定理。

一只猴子在打字機鍵盤上随機敲擊鍵盤無限長的時間，幾乎肯定會打出任何給定的文本。

而在大模型的語境下，只要采的樣夠多，那麼大模型總能找到正确解。

本文遵循的重復采樣程式，首先通過大模型中采樣，為給定的問題生成許多候選解。

其次再選擇特定領網域的驗證器 Verifier（比如代碼的 unittests），從生成的樣本中選擇最終答案。

重復采樣的有效性取決于兩個關鍵特性。

覆蓋率，随着樣本數量的增加，我們可以利用生成的任何樣本解決多少問題。

精确度，在從生成的樣本集合中選擇最終答案的情況下，我們能否識别出正确的樣本？

他們關注的是 yes or no 的任務，在這些任務中，答案可以直接被打分為對或者錯，主要指标是成功率——即能夠解決問題的比例。

通過重復采樣，考慮這樣一種設定，即模型在嘗試解決問題時可以生成許多候選解。

因此，成功率既受到為許多問題生成正确樣本的能力（即覆蓋率）的影響，也受到識别這些正确樣本的能力（即精确度）的影響。

基于此，确定了五種數學和編程任務：GSM8K、MATH、MiniF2F-MATH、CodeContests、SWE-benchLite。

結果顯示，在多個任務和模型中，覆蓋率随樣本數量增加而提升，在某些情況下，重復采樣可使較弱模型超越單樣本性能更好的強模型，且成本效益更高

比如在使用 Gemma-2B 解決 CodeContests 編程問題時。随着樣本數量的增加，覆蓋率提高了 300 倍以上，從一次嘗試的 0.02% 提高到 10000 次嘗試的 7.1%。解決來自 GSM8K 和 MATH 的數學單詞問題時，Llama-3 模型的覆蓋率在 10,000 個樣本的情況下增長到 95% 以上。

有趣的是，log（覆蓋率）與樣本數之間的關系往往遵循近似的幂律。

在 Llama-3 和 Gemma 模型中，可以觀察到覆蓋率與樣本數呈近似對數線性增長，超過幾個數量級。

在不同參數量、不同模型以及後訓練水平（基礎模型和微調模型）下，都顯示通過重復采樣 Scaling 推理時間計算，覆蓋率都有一致的提升。

此外，他們還證明了這種 Scaling 還能降本增效，以 FLOPs 作為成本指标，以 LIama-3 為例。

計算公式如下：

比較 Llama-3-8B-Instruct 和 Llama3-70B-Instruct 的成本（以推理 FLOPs 數量衡量）和覆蓋率。當 FLOPs 預算固定時，在 MiniF2F、GSM8K 和 MATH 上，Llama-3-8B-Instruct 的覆蓋率總是高于更大（更貴）的 70B 模型。然而，在 CodeContests 中，70B 模型幾乎總是更具成本效益。