今天小編分享的互聯網經驗:OpenAI:颠覆一切,也被一切颠覆,歡迎閱讀。
作者:常嘉亦
編輯:硬 AI
未來 50 年的世界将是什麼樣子?
《失控》作者、《連線》雜志創刊主編凱文 · 凱利相信,從未來 5000 天到未來 50 年,AI 将成為世界最重要的關鍵詞,成為如同互聯網一樣無處不在的基礎設施。
而 OpenAI,是他心目中最成功的 AI 公司," 一個絕佳的颠覆者案例 "。
從去年底 ChatGPT 倉促上線、意外爆紅以來,這家公司和他的創始團隊,被這場席卷全球的技術狂熱推上了舞台中央。
OpenAI 從何而來,又将去往何處?近期,知名科技記者 Steven Levy 在《連線》雜志發表了一篇長文,對 OpenAI 公司的成長史和公司願景展開了深度讨論。
Altman 的選擇
在領導 OpenAI 之前,Sam Altman 已經當上了世界上最著名的科技孵化器 Y Combinator 的 CEO,從所有這些獨角獸企業中套現的意義不在于裝滿合夥人的錢包,而在于為物種層面的變革提供資金。
他成立了一個研究部門,希望為雄心勃勃的項目提供資金,以解決世界上最大的問題。但在他看來,AI 才是颠覆一切的創新領網域:一個能比人類更好地解決人類問題的超級智能。
他甚至還有過競選加州州長的想法。但他意識到,他完全有能力做更大的事情——領導一家将改變人類本身的公司。
在加州的一場晚宴上,他與馬斯克一拍即合。
馬斯克當時正與谷歌聯合創始人 Larry Page 吵得不可開交。因為馬斯克相信,人類意識有珍貴的獨特性,但 Page 認為機器和人是平等的,如果機器真的有了意識、消滅了人類,那就是自然進化的法則,Page 還指責馬斯克是一個 " 物種主義者 "。
于是,馬斯克決心花一些錢,為 " 人類團隊 " 做出更多努力。
既關心技術變革,也關心 AI 安全性的 Altman,自然成了他心目中理想的合作夥伴。
一個嶄新的 AI 研究機構,靠什麼吸引頂尖人才?Altman 的答案是:AGI 的瘋狂願景。
AGI 就是所謂的通用人工智能,即能夠像人類一樣完成復雜任務的 AI。在 Altman 仍在擔任 YC CEO 的那些日子,計算機已經能通過深度學習和神經網絡完成令人驚嘆的壯舉,比如給照片貼标籤、翻譯文本和優化復雜的廣告網絡。
這些進步讓他相信,AGI 第一次真正觸手可及。然而,把它交到大公司手中卻讓他感到擔憂。他認為這些公司會過于專注于自己的產品,而無法抓住機會盡快開發出 AGI。而且,如果他們真的創造出了 AGI,他們可能會不計後果地在沒有采取必要預防措施的情況下将其公之于眾。所以需要有其他人來制衡他們。
Altman 篩選招聘對象最重要的原則就是,必須是 AGI 的信徒。憑借他本人和馬斯克的号召力,以及探索 AGI 這套誘人的話術,Altman 挖來了 Stripe CTO Greg Brockman 和谷歌大腦核心科學家 Ilya Sutskever 等人。
2015 年 12 月,OpenAI 正式成立。
2021 年,他對記者表示:
"AGI 只能打造一次。而且,能夠很好地運營 OpenAI 的人并不多。我很幸運,我生命中的一系列經歷讓我真正積極地為此做好了準備。"
迷茫期
盡管有一個瘋狂而偉大的願景,但 OpenAI 對如何實現目标毫無頭緒。
Altman 回憶道,當最初這個小團隊還沒有辦公室、聚集在 Brockman 公寓時,他腦子一直在想:
" 我們該怎麼辦?"
直到公司成立一年多以後,事情也沒有太大進展。當時公司并沒有一個明确的方向,只是随便胡亂嘗試一通,鑽研解決視頻遊戲的系統,在機器人技術上花費了大量精力,然後發幾篇論文。
Altman 想起當時公司的景象時說:
" 我們知道我們想做什麼。我們知道為什麼要這麼做。但我們不知道怎麼做。"
但他們相信。使用深度學習技術的人工神經網絡不斷改進,為他們的樂觀情緒提供了支持。Sutskever 說,追逐人工智能 " 并非完全瘋狂。它只是适度瘋狂而已 "。
直到 2016 年,OpenAI 等來了傳奇 AI 研究員 Alec Radford。在接受 OpenAI 的邀請後,他告訴他的高中雜志,擔任這個新職位 " 有點類似于加入一個研究生項目 " ——一個研究 AI 的開放式、低壓力的栖息地。
Radford 是一位内斂、低調的研究者,他并未接受作者面對面采訪邀約,只是寫了一封長郵件描述了他在 OpenAI 的工作。
他最大的興趣是讓神經網絡與人類進行清晰的對話。這與制作聊天機器人的傳統腳本模式不同,從原始的 ELIZA 到流行的 Siri 和 Alexa,都采用了這種方法,但都很糟糕。他寫道:" 我們的目标是看看是否有任何任務、任何環境、任何領網域、任何事情,語言模型都能派上用場。"
他解釋說,當時,語言模型被視為新奇的玩具,只能偶爾生成一個有意義的句子,而且只有在你真的眯起眼睛的情況下才能生成。他的第一個實驗是掃描 20 億條 Reddit 評論來訓練語言模型。
和 OpenAI 的許多早期實驗一樣,這個實驗失敗了。沒關系。這位 23 歲的年輕人獲得了繼續前進、再次失敗的許可。Brockman 說:" 我們當時就想,Alec 很棒,就讓他做自己的事情吧。"
轉捩點
2017 年初,一篇由 8 位谷歌研究人員合著的研究論文的預印本出現了,但并未引起人們的注意。這篇論文的正式标題是 "Attention Is All You Need",但它後來被稱為 "Transformer 論文 ",這樣命名既是為了反映這個想法改變遊戲規則的性質,也是為了紀念從卡車變形為巨型機器人的玩具。
Transformer 使神經網絡能夠更高效地理解和生成語言。他們通過并行分析語料,找出哪些元素值得關注。這極大地優化了生成連貫文本以響應提示的過程。
最終,人們意識到,同樣的技術也可以生成影像甚至視頻。雖然該論文後來被稱為當前 AI 狂潮的催化劑,但在當時,Ilya Sutskever 只是少數幾個了解這一突破有多麼強大的人之一。
Brockman 回憶道,Ilya 看到 Transformer 出現時,驚喜地喊到‘這就是我們一直在等待的。’
這就是 OpenAI 的策略——努力解決問題,然後堅信團隊或這個領網域中的某個人會設法找出缺失的部分。
此後,Alec Radford 開始試驗 Transformer 結構。他表示,當時在兩周内取得的進展超過了過去兩年的進展。他逐漸明白,要想最大限度地利用新模型,關鍵在于擴大規模——在超大規模的數據集上進行訓練。這個想法被他的同事 Rewon Child 稱為 "Big Transformer"。
這種方法需要改變 OpenAI 之前那種零散、各自為陣的企業文化,必須聚集團隊資源,專注一個點的突破。Quora 首席執行官 Adam D'Angelo 是 OpenAI 的董事會成員,他對作者解釋道:
" 為了利用 Transformer 的優勢,你需要擴大它的規模。你需要把它辦得更像一個工程組織。你不能讓每個研究人員都做自己的事,訓練自己的模型,做出可以發表論文的優雅的東西。你必須做這些更乏味、不那麼優雅的工作。"
Radford 和他的合作者給他們創建的模型起的名字是 "generatively pretrained transformer" —— GPT 的縮寫。最終,這個模型被通稱為 " 生成式 AI"。為了建立這個模型,他們收集了 7000 本未出版的書籍,其中很多都是浪漫、奇幻和冒險類型的書籍,并在 Quora 問答以及初中和高中考試的數千段文章中對其進行了完善。該模型包含 1.17 億個參數或變量,在理解語言和生成答案方面的表現優于之前的所有模型。
但最引人注目的結果是,在處理如此大量的數據後,模型能夠提供超出其訓練的結果,在全新的領網域提供專業知識。這些計劃外的機器人能力被稱為 " 零樣本 "。它們仍然令研究人員感到困惑——這也是該領網域許多人對這些所謂的大型語言模型感到不安的原因。
商業化
OpenAI 前期的資金支持基本都來源于馬斯克。但在 2018 年,特斯拉開始研究将 AI 技術用于自動駕駛,而剛好 OpenAI 已經有了顯著的技術突破。
馬斯克一直把 OpenAI 這家公司視為自己的所有物,于是他在當時提議,不如把整個公司都交給他來打理——直接把 OpenAI 并入特斯拉。但這個提議遭到 Altman 和其他高管的斷然拒絕,于是雙方切斷了聯系,馬斯克撤走了他全部的投資,在一次全體會議上宣布自己将要離開。
會上,他預言 OpenAI 将以失敗告終,他還稱至少有一名研究人員是 " 蠢貨 "。
由于公司沒有收入,馬斯克撤資無疑是一場生存危機。雖然 OpenAI 正在做的研究是矽谷最時髦的 AI,但它是一家非盈利機構,這無疑限制了它融資的吸引力。
2019 年 3 月,OpenAI 的高管們想出了一個怪異的辦法。在保持非盈利的同時,再創建一個盈利實體。但這個盈利部門的營收有一個上限——這個數字并沒有公開,從公司章程推測,可能高達數萬億美元(OpenAI 也相信,如果他們的營收真的能達到這個數字,到時候肯定已經做出來可以實際使用的 AGI 了)。在達到這個上限之後,盈利實體所得的一切都要歸還給非盈利的實驗室。
于是,憑借新的公司架構,OpenAI 成功引入了紅杉等多家風險投資機構。但尴尬的是,對 OpenAI 來說,數十億美元的風險投資只是微不足道的小數目,AI 研發是一個誇張的無底洞。創造大型語言模型的 Big Transformer 方法需要大型硬體,GPT 系列的每一次迭代都需要呈指數級增長的算力,只有少數幾家公司有負擔的能力。
于是,OpenAI 很快鎖定了微軟。Altman 對記者表示,這是因為微軟 CEO Satya Nadella 和 CTO Kevin Scott 足夠有魄力:在花費了 20 多年時間和數十億美元建立了一個所謂的尖端 AI 研究部門之後,承認自己的工作一團糟,然後押注一家成立僅幾年的小公司。
微軟最初出資 10 億美元,以其伺服器上的計算時間作為回報。但随着雙方信心的增強,交易規模不斷擴大。現在,微軟已經向 OpenAI 投入了 130 億美元。
微軟也為自己争取到了一大筆好處,它不僅擁有 OpenAI 盈利部門的 " 非控股股權 " ——據稱是 49%,還獲得了 OpenAI 技術獨家商業化授權。而且,并且成功讓旗下雲計算平台 Azure 成為 OpenAI 的獨家雲服務商。換句話說,微軟的巨額投資不但争取到了一個強大的合作夥伴,還可以為 Azure 雲服務鎖定全球最受歡迎的新客戶之一。
此外,根據交易條款,OpenAI 最初的一些理想——為所有人提供平等訪問權——似乎被丢進了垃圾桶。
在交易的過程裡,OpenAI 逐漸有了營利性機構的性質,這讓一些員工感到反感,幾位高管随之離職,他們認為,OpenAI 已經變得過于商業化,偏離了最初的使命。
OpenAI 的未來
當瘋狂的 AGI 願景離現實越來越近,Sam Altman 和他的團隊面臨的壓力也越來越大,他們既要在每個產品周期内實現革命,又要滿足投資者的商業需求,同時還要在激烈的競争中保持領先。更加關鍵的是,他們還肩負着防止讓 AI 消滅人類的 " 準救世主 " 的使命。
在時代的衝刷下,OpenAI 變了很多,唯有建立安全的 AGI 這一願景沒有改變,仍然在驅動着他們向前。OpenAI 的領導者們深信,他們将制造出足夠智能、足夠安全的 AI 系統,将人類帶入一個難以想象的富饒時代。
本文部分編譯自 WIRED 長文 "What OpenAI Really Wants",有删節