今天小編分享的互聯網經驗:Sora背後團隊:應屆博士帶隊,00後入列,還專門招了藝術生,歡迎閲讀。
本文來自微信公眾号:量子位(ID:QbitAI),作者:克雷西、魚羊,題圖來自:視覺中國
現在世界上最受關注的技術團隊是哪一支?
Sora 團隊,已經來到聚光燈中心。
不僅項目負責人評論區被擠爆,成了最火 " 景點 "。
天才成員們的履歷,也正在持續引爆關注。
來自微博博主 @木遙
大家夥發現,這支團隊挺年輕:兩位負責人都是在去年(2023 年)剛剛博士畢業,團隊裏甚至還有 00 後選手 ……
但也是真的牛:Tim Brooks,DALL-E 3 作者之一,GitHub 5.7k️項目 InstructPix2Pix 的作者,2021-2022 年在英偉達實習時,就是視頻生成研究的項目負責人。
William ( Bill ) Peebles,和謝賽寧合作,搞出了 Sora 的技術基礎之一 DiT(擴散 Transformer)。論文還曾入圍 CVPR 2022 最佳論文候選。
這支團隊到底什麼來頭,咱們今天一起仔細聊聊。
應屆博士帶隊
包括 Tim 和 Bill 在内,Sora 的主要負責人一共有三名(以下排名不分先後)。
Tim Brooks,也是 DALL-E 3 的作者,去年 1 月剛從加州大學伯克利分校博士畢業。
Tim 本科就讀于卡内基梅隆大學,主修邏輯與計算,輔修計算機科學,其間在 Facebook 軟體工程部門實習了四個月。
2017 年,本科畢業的 Tim 先到 Google 工作了近兩年,在 Pixel 手機部門中研究 AI 相機,之後到了伯克利 AI 實驗室攻讀博士。
在伯克利讀博期間,Tim 的主要研究方向就是圖片與視頻生成,他還在英偉達實習并主導了一項關于視頻生成的研究。
回到校園後,Tim 與導師 Alexei Efros 教授、同組博士後 Aleksander Holynski(現在谷歌工作)一起研制了 AI 圖片編輯工具 InstructPix2Pix,并入選 CVPR 2023 Highlight。
去年一月,Tim 順利畢業并取得了博士學位,轉而加入,并相繼參與了 DALL-E 3 和 Sora 的工作。
值得一提的是,Tim 不僅在專業領網域擁有高超的技術水平,還是個多才多藝的人。
據 Tim 自己介紹,他還喜歡攝影和音樂,高中時他拍攝的照片獲得過 National Geographic 頒發的獎項,本人到過百老匯演出,還獲得過 B-box 國際獎項 ……
而與 Tim 師出同門、晚畢業 4 個月的 William Peebles,也是 Sora 的另一名負責人。
(Peebles 在上用昵稱 Bill,在 Linkedin 上及論文署名時用大名 William,下文一律用 Bill 指代。)
Bill 本科就讀于 MIT,主修計算機科學,參加了 GAN 和 text2video 的研究,還在英偉達深度學習與自動駕駛團隊實習,研究計算機視覺。
畢業後正式開始讀博之前,他還參加了 Adobe 的暑期實習,研究的依然是 GAN,該項目和(時任)卡内基梅隆大學華人學者朱俊彥(也是 Efros 教授學生,現在在 MIT)組有合作,并成為 CVPR 2022 最佳論文候選。
之後,學期開始,Bill 到了伯克利 Efros 教授課題組攻讀博士,研究成果多次入選 SIGGRAPH、ICCV、CVPR 等學術會議。
2022 年 5 月,Bill 到 Meta 進行了為期半年的實習,和謝賽寧(Bill 開始實習時還未離開 Meta)合作發表了 DiT 模型,首次将 Transformer 與擴散模型結合到了一起。
該成果被 ICCV 2023 錄用為 Oral 論文。值得一提的是,OpenAI 此次發布的 Sora,被認為正是基于 DiT 構建的。
去年 5 月,Bill 也從伯克利畢業,并入職 OpenAI。
除了這兩位去年加入的研究者,Sora 團隊的另一位負責人則是 OpenAI 的 " 老人 "。
Aditya 是 DALL-E 的創造者,主導了三代 DALL-E 的研究,三個版本的論文當中他都是一作。
而這樣一位主導三代 DALL-E,如今又領導 Sora 團隊的大神,卻只有本科學歷。
據介紹,Aditya 本科就讀于紐約大學,并在他的實驗室參與過一些項目。
其間,Aditya 就已經在研究生成式模型,并和 LeCun 共同發表論文。
畢業之後,Aditya 本想繼續深造,但在 OpenAI 的暑期實習中被留了下來,成為了正式研究人員。
00 後已加入
Sora 團隊的大學生,還不止 Aditya Ramesh 一位。
前文提到,這支團隊中有一位 "00 後 "Will DePue,就是 2022 年才剛從密西根大學計算機系本科畢業的。
這位小哥大四的時候創業搞了個市場咨詢公司 DeepResearch,這家公司後來被 Commsor 收購。
2023 年 7 月,小哥加入 OpenAI。根據他的領英信息,他是在今年 1 月才剛剛加入 Sora 項目組的。
另外,David Schnurr 和 Joe Taylor 也都沒有博士學位。前者畢業于加州大學聖塔芭芭拉分校,後者畢業于美國舊金山藝術大學。
而正如 Aditya Ramesh 自己所説,Sora 團隊的不少成員都是 DALL-E 3 的作者。
包括兩位華人 Li Jing 和 Yufei Guo。
Li Jing 是 DALL-E 3 的共同一作,2014 年本科畢業于北京大學物理系,2019 年獲得 MIT 物理學博士學位。在 Meta 做了 2 年多博士後之後,Li Jing 于 2022 年加入 OpenAI。
華人作者中還有 Ricky Wang,今年一月剛剛從 Meta/Instagram 跳槽到 OpenAI,另外兩位 Yufei Guo、Clarence Ng 沒有太多公開資料。
新跳槽來的還有 Conner Holmes,他在微軟工作時以外援形式參與了 DALL · E 3 的推理優化工作,後來幹脆加入 OpenAI 了。
最後,來看一眼完整作者名單:
從團隊的組建情況和研究基礎來看,Sora 應該是 OpenAI 近半年來的最新成果,而非網傳 " 早已有之但憋着不發 "。
不過,Sora 炸場,頂級人才又持續星聚,還是驚得眾人開始重新考量 OpenAI 的技術領先性。
就在今天,作者釋出的 Sora 新作,連 " 同一場景 " 下的多機位視頻都整出來了。
圖:Twitter@billpeeb
現在是視頻生成,下一個又會是什麼?
參考鏈接:
[ 1 ] https://www.wpeebles.com/
[ 2 ] https://www.timothybrooks.com/about/
[ 3 ] http://adityaramesh.com/about.html
本文來自微信公眾号:量子位(ID:QbitAI),作者:克雷西、魚羊