今天小編分享的科學經驗:突發!GPT論文一作Alec Radford離職,前兩代GPT作者全部離開OpenAI,歡迎閲讀。
OpenAI 又跑了一名大神!
The Information 消息,初代 GPT 論文第一作者Alec Radford也要離開 OpenAI,轉向獨立研究。
據了解, Alec 于 2016 年加入 OpenAI,從初代 GPT 到 GPT-4o 的論文中全都有他的名字,其中前兩代還是第一作者。
另外 OpenAI 的多模态模型CLIP,還有語音識别模型Whisper,論文一作也都是 Alec。
對于 Alec 的離開,OpenAI 研究負責人 Mark Chen 表示," 我們對 Alec 和他的貢獻深表敬意和贊賞,并期待在他探索獨立研究的過程中繼續與他合作。"
之前,前任研究團隊負責人 Jeff Clune(已于 2022 年離開 OpenAI,現在是不列颠哥倫比亞大學副教授,同時給 DeepMind 擔任顧問)還對 Alec 給予過很高的評價,認為Alec 是影響力最大但知名度最低的 AI 科學家之一。
甚至在 Jeff 看來,Alec 應該作為 " 現代生成式人工智能之父 " 被載入史冊。
堅持做大模型的大學生,前兩代 GPT 一作
2016 年,Alec Radford 于富蘭克林 · 歐林工程學院(Franklin W. Olin College of Engineering)取得學士學位,随後加入 OpenAI,一幹就是 8 年。
雖然 Alec 只有本科學歷,但在大模型領網域是不折不扣的領軍人才,截至今日論文被引量已超 19 萬。
被引量排名前三的論文,分别與 GPT-3、CLIP 和 GPT-2 相關。
這三篇論文都為今天的 ChatGPT 打下了重要基礎,實際上,Alec幾乎參與了 OpenAI 所有的重大突破。
除了被引量最高的這三篇,從第一代 GPT 到 GPT-4o 的作者名單中,Alec 的名字都赫然在列,并且前兩代中都是第一作者。
Alec 同樣作為一作的 CLIP,則是 OpenAI 在多模态路線上的重要成果,甚至在整個行業都極具影響力;同時,Alec 也是 OpenAI 初代繪圖模型 DALL · E 的參與者。
其他模态方面,OpenAI 開源的語音識别系統 Whisper,一作仍然是 Alec ……
不過,最新的 o1 模型貢獻者列表中已經沒有了 Alec 的名字,但與他一同從初代開始參與所有 GPT 工作的 Ilya,仍然在 o1 的名單之上。
但無論如何,綜觀整個 OpenAI,其他人或多或少都轉向過機器人、或是遊戲 AI 等其他領網域 " 發發論文 ",只有 Alec 堅持做大模型方向的研究。
正是他所堅持的大語言模型路線,改變了 OpenAI 公司、乃至整個 AI 領網域的發展方向。
對此,奧特曼還曾半調侃半認真地表示:
招聘時,記得關注那些 " 看起來不會加入公司 " 的人。
OpenAI 一開始并未确定大模型這一研究方向,但我們仍然招了 AI 研究員,并在取得突破後讓更多人加入其中,最終成就了 ChatGPT。
在加入 OpenAI 之前,Alec 研究了卷積神經網絡、批量歸一化和 GAN,是 DC-GAN 的第一作者。
DC-GAN 的另外兩名作者,是 Alec 的同學 Luke Metz 和 PyTorch 之父 Soumith Chintala。
彼時,還在上學的 Alec 已經參與創立了 indico.io(現名為 Indico Data),Luke 也加入到了該公司。
(後來,大模型興起之後,Indico 也增加了企業大模型業務,率先推出了基于 GPT 的自定義模型。)
2016 年,也就是 Alec 加入 OpenAI 的同一年,Luke 去了谷歌大腦,但後來又在 2022 年加入了 OpenAI,參與了 GPT-4 的部分研發工作,不過今年 10 月也離職了。
前兩代 GPT 論文作者全部離開 OpenAI
到 Alec 離職完成之後,也就标志着前兩代 GPT 論文的所有作者,都離開 OpenAI 了。
其中最著名的是原首席科學家Ilya Sutskever,他和 Alec 一樣參與了包括前兩代在内的 GPT 的工作。
Ilya 今年五月宣布退出 OpenAI 時,震動了整個 AI 圈,後來他成立了新公司,主攻構建 " 安全超級智能 "。
第一代 GPT 的另外兩名作者分别是Karthik Narasimhan 和 Tim Salimans。
其中 Karthik Narasimhan 到 OpenAI 是出任訪問學者,2018 年訪問期結束後到普林斯頓擔任教職,現在是普林斯頓 NLP 聯合主任,跟陳丹琦是同事。
另外,Karthik 還是開源版 Devin 作者之一——清華姚班學霸姚順雨在普林斯頓讀博期間的導師(今年 8 月,姚順雨加入了 OpenAI)。
三作Tim Salimans則是在 2018 年 7 月履新谷歌大腦,擔任職位為高級管理科學家。
同樣選擇加入谷歌的,還有 GPT-2 的三作Rewon Child和四作David Luan。
Rewon 後來還參與了 GPT-3 的工作,2021 年離開 OpenAI 加入谷歌,2022 年加入了初創公司 Inflection AI,今年三月又到了微軟;
David 到谷歌則是 2020 年,後來他和 Transformer 論文作者 Ashish Vaswani、Niki Parmar 一起,創辦了一家叫 Adept 的公司,David 出任 CEO。
不過據 David 的領英資料顯示,他這個月已不在 Adept 擔任職務,而是加入了亞馬遜,與強化學習大牛、吳恩達第一屆博士生 Pieter Abbeel 一同工作。
除了去谷歌的,GPT-2 的作者中還包括了後來 OpenAI 的最強競對,也就是 Claude 背後的廠商Anthropic 的創始人 Dario Amodei。
Dario 在 OpenAI 參與了 GPT-2 和 3 的工作,2020 年末和妹妹 Daniela 一起離開,創立了 Anthropic,兩人分别出任 CEO 和總裁。
去向為 Anthropic 的,除了創始人 Dario,還有 GPT-2 的二作Jeffrey Wu,離職的時間是今年 7 月,成為了倒數第二位離開 OpenAI 的前兩代 GPT 參與者。
而今天,随着 Alec 的離職消息,打造最早兩代 GPT 的八位研究者,已經要全部各奔東西了。
參考鏈接:
[ 1 ] https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
[ 2 ] https://scholar.google.com/citations?user=dOad5HoAAAAJ&hl=en
[ 3 ] https://x.com/iScienceLuvr/status/1869852854728700166
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>