今天小編分享的科學經驗:奧特曼:o1僅僅是“推理模型的GPT-2”;黃仁勳:我給你加速50倍,歡迎閱讀。
AI 界最有影響力的兩個人,同時出現在一場活動:
OpenAI CEO 奧特曼,暗示了 o1 滿血版将在接下來幾個月發布。
英偉達創始人黃仁勳,則表示新一代 Blackwell 架構 GPU 能給 o1 推理提速 50 倍。
奧特曼把o1 在推理模型裡的地位比作語言模型中的GPT-2 階段。
幾年後人們将看到 " 推理模型的 GPT-4",不過最近幾個月就會有重大改進,新範式的進步曲線非常陡峭。
L2" 推理者 " 與 L1" 聊天機器人 " 非常不同,大家還沒找到該怎麼用這些模型,我們也沒決定該為 APP 繼續添加什麼功能。
不過最令人興奮的是 L3" 智能體 " 會來的非常快。
有醫學教授看到這裡,已經在考慮辭職的事了。
話說 o1 系列正式登 Lmsys 大模型競技場,第一次分數結算,在數學任務上斷崖式領先,唯一的缺點就是回答有點慢了。
對此,老黃的看法是:
英偉達最新 Blackwell 架構 GPU 将推理性能提高了 50 倍,意味着能把 o1 模型的響應時間從幾分鍾縮短到幾秒。
以上内容來自 T-Mobile 資本市場日,T-Mobile 剛剛與 OpenAI 籤了大單,合作建立一個 AI 支持的客服系統。
不過這場活動上,除了幾家公司的合作之外,圍繞 AI 的現在和将來,兩位行業大佬還分享了更多值得關注的内容。
至于 o1 在數學、代碼之外的任務表現如何,請看以下由 o1 主導、量子位輔助整理的原文精翻。
奧特曼:OpenAI 的秘訣是信念和專注
主持人:我想先祝賀你們推出了 o1 模型,或許你可以向觀眾介紹一下這個新模型,因為它實在是太令人驚嘆了。
Sam Altman:是的,我們對此感到非常興奮,這也是我們長期以來一直在努力的方向。GPT 系列模型在 " 系統 1" 類型的思維上表現出色,但我們真正想要的是能夠進行推理的系統。
如果人工智能能夠解決更復雜的問題,其價值将是巨大的。你在 GPT-4 模型中已經看到了一些端倪,但 o1 是真正第一個能夠進行高級推理的系統。無論是復雜的編程挑戰、數學問題還是科學難題,你都可以獲得非常非凡的結果。我們相信,随着時間的推移,這将與 GPT 系列一樣重要,并解鎖一系列新的、有價值的應用場景。
主持人:你曾公開表示,我們現在看到的是預覽版,而且它會迅速迭代,未來幾個月内會發生什麼?
Sam Altman:我認為現在的新型推理模型類似于我們在 GPT-2 時期。你會在未來幾年内看到它發展到與 GPT-4 相當的水平。即使在接下來的幾個月内,你也會看到顯著的進步,随着我們從 o1-preview 更新到 o1 正式版。
我認為,在新範式出現的這些時刻,有很多有趣的事情,其中之一就是改進曲線非常陡峭。一些模型目前無法解決的問題,可能在幾個月後就能解決,幾個月後又能解決更多。最重要的是,我們将看到一整套全新的使用方式,不僅僅是聊天界面。我們需要一些時間來構建這些功能,其他人也需要時間,用戶也需要時間來适應。這與 GPT 模型有很大的不同。
我們談到 AI 的五個級别:L1 是聊天機器人(ChatBot),L2 是我們剛剛達到的推理者(Reasoner),L3 是智能體(Agent),L4 是創新者(Innovator),能夠發現新的科學信息,L5 是完整的組織(Organization)。
從 L1 到 L2 花了一段時間,但我認為 L2 最令人興奮的事情之一是它能夠相對快速地實現 L3,我們預計這種技術最終将帶來的智能體将非常有影響力。
(省略一段商業互吹)
主持人:稍微轉變一下話題,為什麼 OpenAI 能夠領先?在這個領網域你們做了什麼不同的事情,使你們能夠以這樣的速度開發這些模型?
Sam Altman:首先,謝謝你的贊美,這是一個非常好的評價。我們建立在之前大量工作的基礎上,人工智能是一個古老的領網域,人們長期以來一直在為其貢獻非常出色的想法。想一想在整個人類歷史中,人們為了發現半導體、制造芯片、建立網絡和這些大型數據中心所需要的所有工作,我們只是在這些之上做了我們自己的一小部分。
但我們盡力做到最好,我們努力擁有一個非常專注的研究計劃。我認為其他研究計劃犯的錯誤之一是他們沒有足夠的信念和專注。一旦某些東西起作用,復制它非常容易。
所以我認為成功的兩種方式是,要麼成為一個出色的快速追随者,復制 OpenAI 或其他成功的公司所做的事情,我并不是以負面的方式說這個,因為我認為有很多公司只是等待看看什麼有效,然後在改善和執行方面做得非常好。
要麼試圖推動前沿,這是非常困難的,需要在復雜的環境中跨越許多人擁有信念和專注,這是最好的前進方式。這就是我們努力去做的。
我們真的相信深度學習,我們真的相信從現在的位置到 AGI 及更遠的道路,但我們願意根據我們在過程中學到的東西進行糾正。我們将繼續努力,以我們最大的力量去做下一件事,并相信随着時間的推移,這将產生福利效應。
這對我們來說确實有效,方法就這麼簡單。
黃仁勳:年輕人都将擁有伴随一生的機器人
(再省略一大段商業互吹和 T-mobile 業務内容)
主持人:我們剛剛與 Sam Altman 談到了 AI 的快速發展,其中一件事是 AI 需要極低的延遲,快速的響應時間。因為 AI 正在從傳統的文本形式轉向實時響應視頻、面部表情、與虛拟形象互動,這需要極高的響應速度。未來的 AI 工作負載将需要靠近客戶的網絡中的計算能力。
黃仁勳:确實如此,我們現在将無線電計算和 AI 計算融合到一個架構中,這台我們構建的計算機具有極低的延遲,CUDA 也具有極低的延遲,能夠處理時間敏感的事務,所有你需要的東西,以提供高質量的語音服務。
人們沒有意識到的一點是,全球的無線網絡是非常冗餘的。之所以冗餘是因為當有人需要時,必須提供極高的服務質量。但當沒有人需要時,那些基礎設施就閒置着,可以被重新利用。
因此,當我們使其可以被軟體定義、加速化、能夠處理 AI,我們現在将整個網絡轉化為在需要時可用于其他機會的過剩容量。這将是電信行業一個巨大的新增長機會。
主持人:我非常喜歡。我們還有幾分鍾時間,在我們讓你離開之前,讓我們換個話題,談談你所興奮的事情。
英偉達擁有一個令人難以置信的視角,因為所有處于 AI 前沿的人都在與你們合作。當你思考我們這一生中最具變革性的技術如何真正改變人們的生活時,是什麼讓你感到興奮?你認為 AI 将如何影響我們所有人?
黃仁勳:我們都會有一大批數字助手與我們一起工作。我非常喜歡這個想法,我将擁有一台計算機,随着時間的推移,它與我一起工作,變得越來越聰明,理解我,幫助我完成任務。我喜歡我将擁有自己的 R2-D2 和 C-3PO(星球大戰中的機器人)。
我的 R2 将一直跟着我。對于許多年輕人來說,他們将擁有自己的 R2,伴随他們一生。那個 R2 可以是數字版本,也可以是實體版本。所有人都能擁有,無論你是科學家、工程師、哲學家,還是普通人,我們都會有這些令人驚嘆的助手,幫助我們度過生活。
(對于老黃關于機器人的這個觀點,馬斯克也跑到評論區發表贊同。)
黃仁勳:最近,Sam 提出了一個觀點,這些 AI 的推理能力将變得更加聰明,但這需要更多的計算能力。目前,在 ChatGPT 中的每個提示都是一個路徑,未來将在内部有數百個路徑。它将進行推理,進行強化學習,試圖為你創造更好的答案。
這就是為什麼在我們的 Blackwell 架構将推理性能提高了 50 倍。通過将推理性能提高 50 倍,那個現在可能需要幾分鍾來回答特定提示的推理模型,可以在幾秒鍾内回應。因此,這将是一個全新的世界,我對此感到興奮。
主持人:你怎麼看待能耗方面的變化?這是 AI 最受關注的方面之一,即碳足迹。
黃仁勳:我們必須使用 AI 來減少能源消耗。我們現在知道,我們可以比使用傳統超級計算機進行氣候和天氣預測的能源效率高一萬倍。摩爾定律确實已經走到了盡頭,我們必須使用一種新方法來解決這些計算。
我舉的一個例子是,我的養的小狗不懂牛頓物理學,他們不理解球會以什麼軌迹運動。我們知道,世界上第一台超級計算機是為了模拟導彈的軌迹而創建的。然而,狗經過一些練習,可以輕松地從空中抓住球,有時還在空翻中。那麼它們是如何做到的呢?這是同樣的思路。
因此,我們将教 AI 不通過物理學、動力學、流體動力學等方式來計算天氣,而是教它去預測。它可能并不完全理解因果關系,但它的預測非常出色。我們只想知道明天的天氣會怎樣。這是一個例子。我們想對無線電網絡做同樣的事情。我們理解電磁學的基本物理,理解無線電波束如何反射、折射,如何處理不同的環境,理解波束成形的物理原理。
然而,當你運營網絡時,你只是試圖以更低的能耗、更高的吞吐量、更低的成本提供更好的服務質量。因此,你不需要實時進行基礎物理模拟,只需使用 AI 來完成。這種通過理解第一性原理進行模拟,然後使用 AI 來模拟這種基礎理解的原則,可以極大地減少能源消耗。
人們需要意識到,訓練模型确實需要大量能源。然而,目标不是訓練模型,目标是使用模型,這将節省大量能源。
One More Thing
在同期 Salesforce 舉辦的另一場活動上,黃仁勳還分享了這樣的觀點:
科技走入正反饋循環,AI 正在設計下一代 AI,進展速度達到了摩爾定律的平方。
這意味着在接下來的一到兩年内,我們将會看到驚人的、意想不到的進步。
視頻回放:
https://www.youtube.com/watch?v=r-xmUM5y0LQ&t=5145s
https://www.youtube.com/watch?v=kfe3ajUYSdc