今天小編分享的科技經驗:剛剛,OpenAl 發布 Agent 工具包,網友:謝謝 Manus AI,歡迎閱讀。
就在剛剛,OpenAI 發布了一系列專為構建 AI Agents 設計的新工具和 API,幫助開發者更容易地創建能自動完成任務的 AI Agents(智能體)。
OpenAI 認為雖然過去一年推出的高級推理、多模态互動等模型能力為 Agent 奠定了基礎,但開發者在構建生產級 Agent 時,還會遇到不少難題。
為此,這次發布的核心產品包括全新的 Responses API、三種内置工具以及以及一個開源的 Agents SDK。
省流版如下:
Responses API:結合 Chat Completions API 簡潔性與 Assistants API 工具使用能力的新型 API 接口
Web 搜索工具(Web Search Tool):讓模型訪問互聯網獲取最新信息的工具
檔案搜索工具(File Search Tool):從大量文檔中檢索相關信息的增強工具
計算機使用工具(Computer Use Tool):由 Computer-Using Agent ( CUA ) 模型提供支持的計算機操作自動化工具,讓 AI 能像人一樣操作電腦界面
Agents SDK:基于 Swarm 框架更新,簡化多 Agent 工作流程編排的開源框架
具體來說,Responses API 結合了 Chat Completions API(主要用來生成對話回復)的簡潔性和 Assistants API(能讓 AI 調用外部功能,比如查資料、操作東西)的工具使用能力,成為構建 Agent 應用的新基礎。
在内置工具方面,Web 搜索工具支持 GPT-4o 和 GPT-4o-mini 模型獲取網絡最新信息并提供清晰的引用。在 SimpleQA 基準測試中,這兩款模型的搜索預覽版分别拿下了 90% 和 88% 的亮眼準确率。
更新後的檔案搜索工具更是給力,支持多種檔案格式,還能優化查詢、過濾元數據、自定義排序,讓開發者從堆積如山的文檔中迅速找到關鍵信息。
計算機使用工具則由與 Operator 相同的 Computer-Using Agent ( CUA ) 模型提供支持,可捕獲模型生成的滑鼠和鍵盤操作,在 OSWorld、WebArena 和 WebVoyager 基準測試中分别取得 38.1%、58.1% 和 87% 的成績。
OpenAI 還推出了開源的 Agents SDK,專門用來簡化多 Agent 工作流程的編排。
相比去年發布的實驗性 Swarm 框架,這個全新 SDK 有了顯著的改進,提供易于配置的 LLM 與内置工具集成、Agent 間智能交接控制、可配置安全檢查以及可視化追蹤等功能,适用于客戶支持自動化、多步研究、内容生成等多種應用場景。
一些早期測試用戶已經拿這些新工具做出了實打實的成果。
在官網列舉的案例中,Hebbia 利用 Web 搜索工具幫助資產管理者和法律從業者從海量數據中提取可行見解;Navan 将檔案搜索工具應用于 AI 旅行 Agent 中,為用戶提供精準的旅行政策答案。
Unify 和 Luminai 則使用計算機使用工具自動化復雜操作流程,特别是對缺乏 API 的傳統系統;Box 利用 Agents SDK 快速構建和部署了企業數據搜索應用。
產品發布後,網友也在 OpenAI 的評論區玩起了梗,甚至還有網友專門留言感謝 Manus AI。
在今天凌晨 1 點的現場直播中,演示人員也向我們展示了一個「個人造型師」 Agent 的應用案例,用來展示各種新工具的能耐。
舉個例子,他們先用檔案搜索工具翻看了用戶(比如「Kevin」)的服裝喜好數據,系統輕松整理出這些人的穿衣風格。
然後結合 Web 搜索工具,系統能夠基于用戶所在位置(演示中使用了「東京」作為 Kevin 的位置)搜索附近的相關商店,為 Kevin 推薦了東京的 Patagonia 店鋪。
接着,計算機使用工具(Computer Use Tool)登場,自動操作網頁界面,為 Kevin 買下一件黑色 Patagonia 夾克,整個過程行雲流水——點擊、拖拽、填信息,宛如真人在操控。
最後還演示了 Agent 間的交接功能。一個 Agent 将退貨請求無縫交接給客服 Agent,後者能夠調用獲取密碼和提交退款請求等功能,幫助用戶完成 Patagonia 夾克的退貨。
可以說,憑借新工具和 API 的默契配合,這些 AI Agent 不僅能讀懂用戶喜好、獲取實時資訊、執行復雜操作,還能在不同任務間靈活切換,完美覆蓋從推薦到購買再到退貨的全流程。
至于現有 API 的安排,OpenAI 表示會繼續全力支持 Chat Completions API,為不需要内置工具的開發者提供新模型和功能。
而基于 Assistants API 測試版的反饋,他們已經把關鍵改進整合到 Responses API 中,計劃在功能對齊後,于 2026 年中期正式停用 Assistants API,同時會提供詳細的遷移指南。
新工具的定價也新鮮出爐,Web 搜索每千次查詢分别為 GPT-4o 搜索 30 美元和 GPT-4o-mini 搜索 25 美元;檔案搜索每千次查詢 2.5 美元,檔案存儲 0.1 美元 /GB/ 天(首 GB 免費);計算機使用工具則按每輸入百萬 token/3 美元和每輸出百萬 token/12 美元計費。
OpenAI 表示,随着模型能力變得更加具有 Agent 屬性,他們會繼續深化 API 間的整合,并提供新工具幫助部署、評估和優化生產環境中的 Agent。
英偉達 CEO 黃仁勳曾表示,未來每個公司的 IT 部門将轉變為 AI Agent 的「HR 部門」。
從管人到管 AI,Agent 将很快成為勞動力的重要組成部分,提高各行業的生產力,而此次發布的工具集只是幫助開發者和企業構建、部署和擴展可靠高效 AI Agent 的重要一步。
此前,開發者需要自行組合不同 API 和編寫復雜的協調邏輯來構建 AI Agent,而新工具極大地簡化了這一過程。
Responses API 将多種功能整合成一個簡單接口,而内置工具為 AI 提供了「感知」和「行動」的能力,Agents SDK 則提供了協調多 Agent 的标準框架。
通過降低技術門檻,使得更多企業能夠快速構建和部署 AI Agent,這或許也是 OpenAI 所說的「Agent 元年」的真正含義——讓 AI 不再局限于聊天框,而是能融入現實工作流程,成為你的「數字助理」甚至「數字同事」。
附上 AMA 問答:
Q:哪種作業系統最适合 computer use:Linux、Mac 還是 Windows?是圖形界面(UI)、終端(terminal),還是其他方式更好?哪些應用程式在計算機上表現最佳,還是說這并不重要?
A:CUA 模型主要是針對網頁任務進行訓練的,但早期用戶發現它在桌面應用程式上的表現也出乎意料地好。不過現在還處于早期階段,我們還有很多可以改進的地方!
Q:你們會提供 TypeScript SDK 嗎?
A:是的!我們很快會推出 TypeScript SDK,敬請期待!
Q:我們未來會在 API 中看到 o1 pro 嗎?
A: 是的,我們計劃很快在 responses API 中發布它!
Q:我們需要自行管理 Docker 環境來使用計算機功能嗎?
A: 如果你願意,你可以自行管理 Docker 環境,但你也可以使用雲服務,比如 @browserbasehq 或 @scrapybara。
Q:何時會有 Operator 在 API 中可用?
A:從今天開始,你可以在 API 中使用與 Operator 相同的功能!我們已經在新的 Responses API 中部署了驅動 Operator 的 CUA 模型。
Q:你們會考慮提供集成的虛拟機(VM)來支持「 computer use」,或者與合作夥伴合作,以減少搭建環境的需求嗎?
A:目前還沒有這樣的計劃,但你可以查看 CUA 示例應用,其中包含一些示例環境,包括 @scrapybara 和 @browserbasehq,用于遠程托管。
Q:在整個 agent-handoff 流程中,如何确保個人隐私?有沒有什麼方法可以增強用戶與 Agent 互動時的隐私保護?
A: 我們有多種隐私保護機制。Agents SDK 支持開發者定義的安全措施(guardrails),用于輸入 / 輸出驗證。此外,你可以使用 input_filter 來限制在交接過程中傳遞的消息上下文。