今天小編分享的科學經驗：又一開源AI神器！将機器學習論文自動轉為可運行代碼庫，歡迎閲讀。
又一開源 AI 神器在外網引起熱議！
名為PaperCoder，是一個多智能體 LLM（大語言模型）系統，能自動實現機器學習論文中的代碼。
據介紹，之所以推出這一工具，是因為經過統計發現：
2024 年，在 NeurIPS、ICML 和 ICLR 等頂會上，平均只有 21% 的機器學習論文共享了代碼。
造成的結果是，復現和構建研究成果的速度極其緩慢。
于是乎，來自韓國科學技術院的四位研究人員推出了 PaperCoder，在規劃、分析和代碼生成這三個階段，分别由專門的智能體來處理不同的任務，最終完成頂會論文的代碼生成工作。
并且最終生成的代碼超越了一些現有基準，甚至獲得了所招募的 77% 原頂會論文作者的認可。
下面具體來看。
智能體提示詞曝光
通過模仿人類研究員編寫庫級代碼的典型生命周期，PaperCoder 大致分為三個流程：
規劃（Planning）：包括總體計劃、架構設計、邏輯設計和配置檔案；
分析（Analyzing）：将計劃轉化為詳細的檔案級規範；
代碼生成（Coding）：生成最終代碼以實現論文中的方法和實驗。
研究過程中，每一個步驟所用到的提示詞如下：
1）在規劃階段生成總體計劃。
系統提示詞：
你是一位具有豐富實驗設計和復現科學研究的專家研究員和戰略規劃者。
你将收到一份 JSON 格式的研究論文。你的任務是創建一個詳細且高效的計劃，以重現論文中描述的實驗和方法。該計劃應與論文的方法、實驗設定和評估指标精确對齊。
要求：
1、與論文對齊：你的計劃必須嚴格遵循論文中描述的方法、數據集、模型配置、超參數和實驗設定。
2、清晰且結構化：以組織良好且易于遵循的格式呈現計劃，将其分解為可操作的步驟。
3、優先考慮效率：優化計劃以确保清晰度和實際可實施性，同時确保對原始實驗的忠實度。
除了系統提示詞，下面還包括用户在上傳論文後，所提到的任務安排、要求、注意事項等。
2）在規劃階段生成架構設計。
用户提示詞：
你的目标是創建一個簡潔、可用且完整的軟體系統設計，以復現論文的方法。使用适當的開源庫，并保持整體架構簡單……
後面還附上了格式示例。
3）在規劃階段生成邏輯設計。
你的目标是根據產品需求文檔（PRD）/ 技術設計分解任務，生成任務列表，并分析任務依賴關系。你将分解任務，分析依賴關系。
你概述了復現論文方法和實驗的清晰 PRD/ 技術設計。
現在，讓我們根據 PRD/ 技術設計分解任務，生成任務列表，并分析任務依賴關系。邏輯分析不僅要考慮檔案之間的依賴關系，還要提供詳細的描述，以協助編寫復現論文所需的代碼。
格式示例 +1。
4）在規劃階段生成配置檔案。
用户提示：
你編寫優雅、模塊化和可維護的代碼。遵循 Google 風格指南。
根據之前指定的論文、計劃和設計，遵循 " 格式示例 " 并生成代碼。從上述論文中提取訓練細節（例如，學習率、批量大小、周期數等），遵循 " 格式示例 " 并生成代碼。不要編造細節——只使用論文提供的内容。
你必須編寫‘ config.yaml ’。
注意：使用 "##" 分割部分，而不是 "#"。你的輸出格式必須嚴格遵循下面的例子。
5）在分析階段生成檔案規範。
你是一位具有豐富實驗設計和復現科學研究的專家研究員、戰略規劃者和軟體工程師。
你将收到一份 JSON 格式的研究論文，包括計劃概述、一個包含 " 實現方法 "、" 檔案列表 "、" 數據結構和接口 " 和 " 程式調用流程 " 的設計，以及一個包含 " 所需包 "、" 所需其他語言第三方包 "、" 邏輯分析 " 和 " 任務列表 " 的任務，還有一個名為 "config.yaml" 的配置檔案。
你的任務是進行全面的邏輯分析，以準确重現研究論文中描述的實驗和方法。此分析必須與論文的方法論、實驗設定和評估标準精确對齊。
（一些具體要求）……
6）代碼生成階段。
在系統提示詞中，除了重復上一步提到的内容，還增加了對 Coding 的表述：
你的任務是編寫代碼來復現論文中描述的實驗和方法。
編寫的代碼必須優雅、模塊化且可維護，遵循 Google 風格指南。代碼必須嚴格與論文的方法論、實驗設定和評估指标對齊。編寫三重引号的代碼。
77% 論文原作表示認可
利用以上提示詞，研究人員使用了 4 個模型及變體來進行實驗。它們分别是：
DS-Coder：DeepSeek-Coder-V2-Lite-Instruct
Qwen-Coder：Qwen2.5-Coder-7B-Instruct
DS-Distil-Qwen：DeepSeek-R1-Distill-Qwen14B
o3-mini-high
評估對象包括90 篇頂會論文。
具體而言，基于 ICML 2024、NeurIPS 2024 和 ICLR 2024 得分最高的 30 篇論文，研究人員構建了 Paper2Code 基準測試。
過程中，他們使用 OpenReview API 篩選出有公開 GitHub 存儲庫的論文。
在這些論文中，選擇了總代碼量少于 70,000 個 tokens 的存儲庫，以在可控範圍内确保可重復性。
然後還使用了一個名為 PaperBench Code-Dev 的基準測試，該測試包含 ICML 2024 的 20 篇論文，以進一步驗證框架。
為了對比，在目前缺少端到端論文到代碼生成框架的情況下，他們選擇了一些軟體開發多智能體框架進行比較，包括 ChatDev 和 MetaGPT。
所使用的評估方法包括兩種：
其一，和其他框架對比所生成代碼的準确性、規範性和可執行性。
其二，邀請 13 位計算機專業的碩博學生參與評估，要求回答是否喜歡 AI 為他們的一作論文所生成的代碼。
實驗結果顯示，在 Paper2Code 基準測試中，PaperCoder 取得了比其他多智能體框架更好的結果。
在人類評估中，大約有 77%（10 人）的論文原作者将 PaperCoder 生成的代碼作為首選。
另外值得一提的是，研究人員發現o3-mini-high與人類判斷的相關性最高，因此在實驗中大多将其選為評估模型。
更多細節歡迎查閲原論文。
論文：
https://arxiv.org/pdf/2504.17192
代碼：
https://github.com/going-doer/Paper2Code?tab=readme-ov-file
參考鏈接：
[ 1 ] https://x.com/akshay_pachaar/status/1915818238191276138
[ 2 ] https://x.com/Mahesh_Lambe/status/1916114076310110668
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
點亮星标
科技前沿進展每日見
