今天小編分享的科學經驗:OpenAI o1開辟“慢思考”,國產AI早已集結在CoE“組團”先出發,歡迎閱讀。
OpenAI o1 發布之後,復雜邏輯推理能力驚豔業界,數理能力達到博士水平。比如此前一直困擾 LLMs 的 "9.9 和 9.11 誰更大 " 問題,就在 o1 時代得到了解決。
于是有了一種說法:這一輪 AI 浪潮,中國越追趕越落後,跟 OpenAI 的差距越來越大。
現實情況真的如此嗎?我們不必急着下結論,不妨一起來思考三個問題:
近年來以大模型為主的通往 AGI 之路,究竟是怎麼發展的?
中國 AI 在世界一流技術路線上到底發展到哪一步了?
以及面對 o1,國產 AI 能應對嗎、怎麼應對?
毋庸置疑,OpenAI 此前一直稱得上是 AI 技術創新的 " 火車頭 "。從 ChatGPT 至今,OpenAI 用一個又一個模型證明了,通往 AGI 的三個技術方向:
1.GPT 路線。從 ChatGPT 到 GPT 4o,這一路線的核心是用模型對 token 流進行統計建模的通用技術,token 可以是文本、影像、音頻、動作選擇、分子結構等。最新的 4o 就是多模态融合的代表。有業内專家表示,這一路線更貼切的名字可能是 "Autoregressive(自回歸)Transformer" 之類的。
2. Sora 路線。Sora 和 GPTs 一樣,都使用了 Transformer 架構,為什麼單獨作為一支呢?因為展現了一種對現實世界復雜現象的建模能力。圖靈獎得主、Meta 公司首席科學家楊立昆(Yann LeCun)認為,Sora 可能是擺脫了人類專家所謂的一些知識幹預後,更接近世界本源的,更準确的一種建模方式。
3. o1 路線。GPTs 也好,Sora 也好,都是概率模型,以損失推理效率為代價,因此理論上永遠會出現偏差,具體表現為 " 幻覺 "、不可靠性。怎麼讓模型具備真正的邏輯推理能力呢?o1 路線通過 Inference 的方法,基于強化學習(RL)能力,使用 CoT 思維鏈将復雜問題拆解,并讓多個子模型來協作解決,相當于復雜 Prompt 的自動化,極大地提高了模型的推理能力,确實在 LLMs 難以搞定的數理問題和復雜任務上有很好的表現。
不難看到,兩年以來 OpenAI 引領的三個方向,只要目标明确,中國 AI 都是可以攻下的。目前,國產類 GPT 和類 Sora 模型,無論是底層架構、具體技術、落地產品,其實并不遜色于 OpenAI 的模型,很快就縮小了技術代差。
這也說明了一件事,每一次 OpenAI 明确了方向,結果并不是 " 越追趕越落後 ",反而可以讓中國 AI 聚焦并集中資源,進行有效研發,進一步縮小差距。
具體到 o1,我們認為也将延續上述走向,國產 AI 很快會完成突破。那麼,目前業界準備得怎麼樣了呢?
" 在通往 AGI 的路上,已經沒有任何阻礙 ",這句話來形容 o1 的意義,并不誇張。如此跨越式的突破,國產 AI 真的做好準備了嗎?我們深入技術本質,去追根溯源。
OpenAI 聯合創始人、科學家 Greg Brockman,在博客中剖析了 o1 的底層邏輯。他寫道:OpenAI o1 是我們第一個通過強化學習訓練的模型,在回答問題之前會深入思考。模型進行系統 I 思考,而思維鏈則解鎖了系統 II 思考,可以產生極其令人印象深刻的結果。
所謂系統 II 思考,指的是人腦依賴邏輯和理性分析,進行的慢速復雜推理。可以與負責快速直覺決策的系統 I 相互配合,來實現更好的模型性能。
360 集團創始人周鴻祎則表示,OpenAI o1 遵循的可能是 " 雙系統理論 Dual Process Theory",核心在于兩種系統并非獨立而是協同運作。由此推測,其内部構建的更加智能的模型或許是 GPT 和 o 系列結合思維鏈的融合系統,前者用于 " 快思考 ",後者實現 " 慢思考 "。而 CoE(Collaboration-of-Experts,專家協同)架構則集合了數量更多的大模型和專家模型,是通過思維鏈和 " 多系統協同 " 的方式實現 " 快思考 " 和 " 慢思考 "。
熟悉國内 AI 的讀者可能發現了," 慢思考 " 這個說法怎麼這麼眼熟呢?
沒錯,如何提升機器的認知智能是 AI 界長盛不衰的話題,而 " 慢思考 " 這個創意也并非 OpenAI 獨創。早在今年 7 月底舉辦的 ISC.AI2024 大會上,周鴻祎就提過,360 将 " 用基于智能體的框架打造慢思考系統,從而增強大模型的慢思考能力,把多個大模型組合起來解決業務問題 "。
所以,大家可以放心的是,在技術創新高度依賴全球智力碰撞的今天,沒有一種技術思路是可以被壟斷的,甚至中國 AI 界提出 " 慢思考 " 更早。
當然,大家可能擔心的是,理念先進是一回事,是否具有相應的工程能力,打造出一個基于系統 II 思考的模型又是另一回事。具體到產品上,國產 AI 是否已經做好打造類 o1 模型的準備呢?我認為,三個條件已經具備了:
1. 路線一致。模型的底層框架,是長期積累、厚積薄發的結果,國内 360 就和 o1 的技術架構保持着一致性。360 首創的 CoE 架構 8 月 1 日正式發布,所謂 CoE,就是 Collaboration-of-Experts,專家協同,讓多個模型分工協作、并行工作,執行多步推理。CoE 架構與 o1 的理念一致、方法類似,卻比 o1 發布的時間更早,足以證明國產 AI 在技術方向上并沒有落後,早已開始探索。
2. 產品落地。目前 o1 仍是 preview 預覽版本,用戶體驗的實際效果與官方用例有差距,而且使用也受到限制,o1-mini 對 ChatGPT Plus 用戶的每周限制為 50 個提示詞。技術再好,用不到也是 " 期貨 "。這一點上,國產 AI 的產品化優勢就體現出來了,比如 CoE 架構已經在 360AI 搜索中落地應用,讓 AI 搜索在面對不确定或復雜輸入時表現出更好的穩定性,輸出更準确、更具有時效性和權威性的内容。基于 CoE 架構的 360AI 搜索,也超越 Perplexity AI,快速成長為全球最大的 AI 原生搜索引擎,并且還在以月增速 113% 的極高速度成長。
此外,360AI 浏覽器的 AI 助手,也可以非常直觀地讓用戶體會到模型競技場、多模型協作等功能。由于 CoE 架構已經接入了百度、騰訊、阿裡巴巴、智譜 AI、Minimax、月之暗面等 16 家國内主流大模型廠商合作打造的 54 款大模型產品,用戶可以任意選擇 3 款大模型,進行多模型協作,以此達成比單個大模型回答問題好得多的效果。第一個做專家,對提問進行第一輪回答;第二個做反思者,對專家的回答進行糾錯和補充;第三個做總結者,對前兩輪回答進行優化總結。在很多的實測例子中,第一個專家模型即使回答錯誤,反思模型和總結模型都能夠在後續的協作過程中修正,與人類在做出重要決策的思維活動很像。
3. 能力領先。可能還會有人問,國產大模型在數據、算法、算力上和 Open AI 都還有差距,這是實際情況,CoE" 人多力量大 " 真的能趕上 o1 嗎?這一點,我們可以用實測來檢驗一下。
用業内著名的復雜邏輯推理題,比如假期調休題、9.9 和 9.11 比大小等問題,同時詢問 GPT-4o、o1-preview、360AI 浏覽器,會發現 360 的多模型協作,可以集各家所長,确實能起到 " 組團 " 打怪的效果。比如問 " 我爺爺的兄弟的兒子的老婆的妹妹的兒子,是我的什麼 ",360 多模型和 O1-preview 都答對了,而 4o 答錯。眾人拾柴火焰高,多模型協作力量大的優勢又一次得到了驗證。
總的來說,國產 AI 通過 CoE 架構進行協同,表現确實大多優于 4o,與 o1 互有勝負。目前只是起點,CoE 這個路線被驗證可行,未來随着思維鏈、慢思考、協作模式帶來模型推理能力的大幅提升,國產混合模型的能力也可能逐漸媲美 o1。
所以,他強由他強,清風拂山岡。OpenAI o1 的确拆除了 AGI 路上的阻礙,但國產 AI 也并沒有臨淵羨魚,而是早已織好了網,集結在 CoE 這一路線。
難道國產 AI 永遠都只能跟在 OpenAI 身後亦步亦趨,做一個追随者嗎?
當然不是。中美 AI 的場景不同、產業禀賦不同、技術落地土壤不同,也造就了各自的優勢所在。
誠然,OpenAI 每一次都是新方向的開拓者、領頭人,但也可以發現,Sora、o1 都帶有 " 期貨 " 色彩,至少仍然難以被規模化使用。其中既有產品成熟度的問題,也有成本高、企業落地難度大的挑戰。比如有 AI 創業公司用 o1 解決實際業務問題時,發現 Token 數極大,成本極高,幾乎無法在現有業務中長期使用。有的創業公司為了平衡成本,甚至會放棄使用最新版本的模型。
這一點來看,o1 也給了國產 AI 在自身優勢上更進一步的機會,主要體現在:
1. 基座模型的價值再次被肯定。此前頭部通用大模型廠商都多少進入到了 " 卷不動 " 的迷茫期,o1 讓市場再次看到了基座模型的邏輯推理能力對于業務的價值是最關鍵的,是這一輪 AI 浪潮的核心,不容有失。這對于發力基座模型的廠商來說,是一個很好的消息,產業界和社會各界的信心進一步增強,有利于國產通用大模型繼續提高領先性。
2. 技術產品化的優勢被放大。相比 Sora 視頻生成、4o 語音互動,o1 的產品化路徑更不清晰,如何回收成本将是 OpenAI 的一大挑戰。這一點上,更重視大模型產品化、應用化的國產 AI,或許會為類 o1 模型更快找到落地途徑。
以 CoE 架構的產品化為例,落地產品 360AI 搜索,已經實現了商業閉環,商業化收入已經覆蓋了對應的推理成本。這是因為,此前 CoE 模型就很重視在加快推理速度的同時,降低 API 接口和 Token 的使用成本。
3. AI 創新與智能經濟的加速。" 比起 AGI 更重視 ROI",國產 AI 的務實特點,一度被認為技術信仰不如 OpenAI 強大。但遠大的 AGI 目标,是靠一個個行業的 AI 化支撐起來的,這也是這一輪 AI 浪潮不會再次化為泡沫的根本。那麼,千行百業智能化就不得不談 ROI,因為企業引入 AI 都是有成本的,從這一點上,國產 AI 走得更扎實。今年國產大模型紛紛 " 提效降費 ",中小 AI 企業和開發者的 Token 使用成本和創新成本都在下降。
在此基礎上,随着 CoE 等類 o1 模型的更新,讓 AI 深入行業、解決具體業務問題有了更大的價值,RL+CoT 進一步降低了 Prompt 提示工程的門檻,這為中國智能經濟的增長,又打開了一個新的周期。
總結一下,通往 AGI 和智能時代的道路沒有捷徑,中國 AI 要一步一個腳印去丈量。兩年、三條路證明了 360 等中國 AI 的先鋒隊已經在新的技術路線上組隊出發。
凡走過的,必留下足迹;凡努力過的,必将收獲。從 LLM 到 CoE,中國 AI 絕不會缺席這一輪技術浪潮。