今天小編分享的科技經驗：AI大模型新進化點：讓GPT-4造工具給GPT-3.5用，谷歌DeepMind團隊研究，歡迎閲讀。
智東西（公眾号：zhidxcom）
編譯 | Glu
編輯 | 李水青
智東西 6 月 5 日消息，來自谷歌 DeepMind、普林斯頓大學、斯坦福大學的研究團隊提出了一個名為 LATM（ LLMs As Tool Makers ）的框架，這個框架涵蓋兩個 LLM（大語言模型），其中像 GPT-4 這樣的高性能 LLM 能夠成為獨立的工具制造者。
人類是從制造工具以應對新的挑戰而獲得進化的，人們現在讓 LLM 通過制造工具來變得更強大，不僅提高了 LLM 靈活解決問題的能力，還能為用户提供最高效、實惠的解決方案。
一、讓強大模型自制工具，讓輕量級模型使用工具解決問題
LATM 能夠根據具體使用場景來分配 LLM 的使用，包括工具制造、工具使用兩個環節：
1、使用性能強大、價格昂貴的模型作為工具制造者，如 GPT-4，從任務實例中創建一個可復用的工具（以 Python 函數形式呈現）；
2、使用輕量級、較為便宜的模型充當工具使用者，如 GPT-3.5 Turbo，執行相對簡單的使用任務，即用已驗證的工具來解決請求中的相似實例。
這種模式讓輕量級模型擁有與強大模型相當的性能，同時保持更高的成本效率。可用于各類重復性任務，如對 Web 文檔的解析與分析、尋找遊戲攻略。
▲工具制造與使用環節示意圖
工具制作分為以下幾個步驟：工具提出、驗證和封裝。由于每類任務只需執行一次，所生成的工具可重復用于該任務的所有實例。因此與單獨使用強大的模型相比，LATM 的效率和成本效益顯著增加。
此外，Python 函數工具是一種更通用的思維鏈形式，能夠增強 LLM 的整體實用性和靈活性。
他們還引入了第三個模塊，一個輕量級的 LLM 以充當調度程式（the dispatcher），它可以決定是否可以使用現有工具解決傳入的問題，或者是否需要創建新工具。
▲工具調度、制造、使用環節示意圖
二、LATM 能夠解決復雜問題，最終效果堪比強大模型
該團隊使用 GPT-4 作為代表性的工具制造者、GPT-3.5 Turbo 作為代表性的工具使用者，在六個不同領網域的數據集上評估了 LATM 的可行性，包括邏輯演繹、跟蹤洗牌對象、Dyck 語言、詞排序、中文剩餘定理和會議調度，最終證實了 :
1、GPT-4 作為工具制造者時，該模型經常設計出合适的問題解決工具；
2、像 GPT-3.5 Turbo 這樣的輕量級模型可以實現與 GPT-4 相同的性能且平均成本更低，顯示了 LATM 在提高輕量級模型的性能方面的有效性；
3、調度程式可以有效識别現有工具，并根據需要請求新工具的創建。
但在該團隊的評估過程中，他們還發現：
1、對于十分困難的任務，制作解決工具不僅需要高性能的強大模型，還需要高精度的數據集；
2、對于較為簡單的任務，工具制造者可以是一個輕量級的 LLM。
結語：整合 LLM 能力，推動 AI 系統進化
LATM 創新性地整合兩類 LLM，并分配到兩個關鍵階段，使 LLM 能夠創建和利用自己的工具來完成各種任務，既能利用先進 LLM 的能力，又能顯著降低計算成本，推動了 AI 系統的進化，同時釋放出大量機會。
而研究中對數據集缺乏的探究或将刺激研究界創建高精度的數據集，進而有助于培養下一代人工智能系統。
來源：美國康奈爾大學
