今天小編分享的科學經驗:馬斯克大模型創始團隊曝光!華人超三分之一,清華浙大校友在列,歡迎閱讀。
毫無預警地,馬斯克剛剛在推特突然宣布——
成立公司xAI,目标是理解宇宙的真實本質。
更多消息被創始團隊成員透露,xAI,大概率也是錨定大模型領網域:
為大型神經網絡開發 " 萬物理論 ",将成為 AI 提升到新水平的核心突破瓶頸點。
一同對外亮相的還有創始團隊,包括馬斯克在内,共 12 人。
xAI 官網介紹,這支由馬斯克領導的輕型機車兵,組成人員有谷歌學術超過 20 萬引用的大佬,還有 ChatGPT 的項目組成員、AlphaStar 的背後參與者、Transformer-XL 的共同作者等。
這些人曾在 OpenAI、DeepMind、微軟和特斯拉等公司,以及多倫多大學等學術機構任職。
而且,華人在其中占據了多個席位,備受矚目。
他們每個人的推特後面,都跟着醒目的 xAI 公司 logo 圖示。
如此陣仗,難怪有網友 " 驚訝 " 分享自己的新發現:
哦吼,這是一家員工 100% 使用推特的 AI 初創公司哎!
雖然由馬斯克帶隊,但 xAI 将會是一個獨立的公司。
不過,團隊還是會和 X(Twitter)、特斯拉、SpaceX 等馬老板旗下的其他公司,展開密切的合作關系。
消息來得太過突然,不僅打了 OpenAI、Anthropic 等公司一個措手不及,連吃瓜群眾都興奮中帶着懵圈。
由于受命于同一個大老板,有推特在職員工都激動湊熱鬧:
我有一個朋友,他讓我幫忙問問,能不能同時在推特和 xAI 工作啊?(doge)
LinkedIn 創始人霍夫曼也發話,他覺得馬斯克是很有能力推動 AI 發展的。
不過,霍夫曼同時還是 OpenAI 的前董事會成員,以及風頭正勁的 AI 初創公司 Inflection AI 的聯合創始人。
面對此情此景,他不由得還問出了心中疑惑:
咱就是說,當馬斯克自己下場,試圖加快 AI 發展的時候,我就有點懷疑他之前鬧着要全球 AI 暫停發展 6 個月,初衷到底是個啥。
華人占創始團隊名單三分之一
xAI 簡單到不行(只有一頁)的官網上,最引人關注的就是列出的 12 人名單。
量子位還注意到,這 12 個人中,有多人都是華人面孔。
包括 Yuhuai(Tony) Wu、Greg Yang、Guodong Zhang 和 Zihang Dai 等。
吳宇懷 Yuhuai(Tony) Wu,斯坦福大學博士後,博士畢業于多倫多大學;
楊格 Greg Yang,在哈佛本科畢業後,在微軟研究院工作;
張國棟 Guodong Zhang,多倫多大學碩博畢業,本科時是浙大的學生;
戴子航 Zihang Dai,先後就讀于清華大學、CMU,博士畢業後在谷歌研究院上班。
Jimmy Ba,多倫多大學副教授,師從圖靈獎得主 Hinton,同時也是 Adam 優化器的開發者。
來整體看看 xAI 官網是怎麼介紹這 12 個人的過往經歷的——
整個團隊由馬斯克本人親自領導。
其餘創始團隊成員曾在 DeepMind、OpenAI、Googel Research,微軟研究院,特斯拉和多倫多大學工作過。
這些人曾在 Transformer-XL,Autoformalization,the Memorizing Transformer,Batch Size Scaling,and μ Transfer 方面,擔任團隊領導角色或做出過學術貢獻。
經他們之手的項目,有 AlphaStar,AlphaCode,Inception,Minerva,GPT-3.5 和 GPT-4 等等。
更多消息,官網上也沒有表露。
量子位順藤摸瓜探了探他們入職 xAI 前的履歷,并按照此前經歷做了簡單的梳理。
(僅含 11 名創始團隊成員,馬斯克其人本文不多作詳細介紹)。
OpenAI 前員工:1 人
Kyle Kosic,OpenAI 前工程師,研究興趣是自動化、可擴展性和分布式計算。
再往前看,他曾在一家制造模拟雲平台的公司 OnScale 工作。
3 個月前,Kyle 還在 Linkedin 上激情轉發 ChatGPT Plugin 的動态文章。
DeepMind 前員工:4 人
xAI 創始團隊中,一共有 4 人曾是 DeepMind 的全職員工。
張國棟,前 DeepMind 研究科學家,xAI 華人面孔之一。
浙江大學信息工程專業本科畢業後,他在多倫多大學獲得博士學位,并且曾在谷歌大腦和微軟研究院實習。研究方向主要是 ML 和 AI,目前專注于訓練、調優和對齊大型語言模型。
曾在 ICML、ICLR 和 NeurIPS 多個計算機國際頂會發表過論文。
Igor Babuschkin,一個在 DeepMind 和 OpenAI 反復橫跳的人。
2018 年起,他在 DeepMind 工作了 3 年多,是 AlphaStar(DeepMind 星際争霸 AI 模型)登上《Nature》論文的主要作者之一。
而後,他跳槽到 OpenAI。
據介紹,這期間,Igor 是 ChatGPT 項目組的成員。
但是去年 4 月,他又以資深主任工程師的身份回到了 DeepMind。
Manuel Kroiss,和上面這位一樣,也是前 DeepMind AI 部門的資深研究員。
今年 3 月就有消息傳出,馬斯克把這人挖去了推特,沒想到最終的歸宿是 xAI。
Toby Pohlen,在 DeepMind 的 " 練習 " 時長有 6 年 3 個月之久。
在職期間,他開發了 AlphaStar 參與聯賽的評估系統—— AlphaStar 是 DeepMind 開發的 AI,會玩《星際争霸 II》,參加三場比賽的表現都被評為大師級,在官方的人類玩家排名中,排名前 99.8%。
Linkedin 資料顯示,2021 年起,Toby 的工作就轉而面向致力于大型語言模型的服務和評估工具。
微軟前員工:1 人
楊格,離職前是微軟雷蒙德研究院的首席軟體工程師。
此前,他還有蘋果(2019.4-2021.2)和谷歌(2013.9-2018.10)的就職經歷。
他的主要行業經驗集中在構建、啟動和維護大型分布式系統和基礎設施組件,對 TensorPrograms 和 neuralnetworks. 有深入研究。
目前,他也是唯一一個已經在推特個人簡介上标明 "xAI 聯創 " 的人。
在 xAI 官宣成立後,楊格表示:
開發大型神經網絡的 " 萬物理論 " 将是将人工智能提升到新水平的核心。
另一方面,這種 AI 将使每個人都能以此前難以想象的方式理解我們的數學宇宙。
Google 前員工:3 人
12 人中,有 3 人加入 xAI 前的最後足迹留在了谷歌。
Christian Szegedy,曾在 Google Research 擔任研究科學家。
他發明了最早的目标檢測算法之一 adversarial examples,主要工作面向深度學習,致力于通過深度學習進行 ML、AI 和 CV。
在 Google Shcolar 上,這位大佬的總被引數超過了 20 萬。
戴子航,xAI 華人面孔之一,先後就讀于清華大學、CMU。
博士畢業後在谷歌研究院上班。是谷歌前研究科學家。
他的履歷還顯示,他曾經在百度從事深度學習方面的工作,後來還在圖靈獎得主、深度學習三巨頭之一 Yoshua Bengio 領導的 AI 實驗室 MILA 待過一段時間。
2019 年,CMU 的預訓練模型工作 XLNet 中,戴子航與現清華叉院助理教授、國内 AI 初創公司月之暗面創始人楊植麟并列為共同一作。
吳懷宇,xAI 華人面孔之一,博士畢業于多倫多大學,後赴斯坦福大學做博後。
他的主要研究興趣是制造可以推理的機器,目标是做個有關自動化的數學家。
值得一提的是,吳懷宇的導師之一,就是本次創始團隊的另一位成員 Jimmy Ba。
他曾在 DeepMind 和 OpenAI 實習,畢業後,加入了谷歌的 N2Formal 團隊。
去年,他參與的 3 篇論文在計算機國際頂會 ICLR 2022 發表,8 篇論文發表被頂會 NeurIPS 2022 接收。
特斯拉前員工:1 人
Ross Nordeen,特斯拉超級計算和機器學習部門的前技術項目經理。
加入 xAI 以前,媒體報道 Ross 已經在去年 10 月被馬斯克 " 調任 " 到推特,管理一些招聘和訪問事宜。
多倫多大學教職人員:1 人
Jimmy Ba,多倫多大學的明星青年副教授,他本人也是在多倫多大學完成了了本碩博的學習,跟随圖靈獎得主 Geoffrey Hinton 拿下博士學位。
Jimmy Ba 的研究重點為深度神經網絡的高效學習算法的開發,是訓練深度學習模型的首選算法之一 Adam 優化器的開發者。
今年年初,他獲得了被稱為 " 諾獎風向标 " 的斯隆研究獎。
有趣的事是,他的推特個人簡介上寫道:
我所有的帖子都是由 GPT 生成的。
馬斯克開搞大模型
OpenAI+DeepMind+ 微軟 + 谷歌 + 特斯拉 + 多倫多大學,可以說,xAI 創始團隊的 AI buff 疊滿了!
鑑于 xAI 的團隊成員曾參與過的項目,已經有不少網友猜測,xAI 的成立就是馬斯克進軍大模型和 AIGC 的号角,與 OpenAI 激烈競争。
今年年初 OpenAI 一通連轟帶炸後,馬斯克就已經嘴炮連連。
一方面是與 Yoshua Bengio、Stability AI 的 CEO、DeepMind 研究人員等 1000 多位大佬聯名,要求至少 6 個月暫停 GPT 的訓練。
另一方面,持續對外發聲,說 OpenAI 已經不 Open 了,并表示自己會推出一個叫 TruthGPT 的 AI 的平台,并聲稱 " 這可能是通往安全的最佳途徑 "。
說起來,xAI 是馬斯克現在帶隊的第 6 家公司,另外 5 家分别是特斯拉,SpaceX,推特,Neuralink 和 Boring Co.。
官網上白紙黑字寫得明白,xAI 是一家獨立公司,但會與 SpaceX,推特等有深度合作。
那麼,這家馬斯克一手打造的 AI 新星,到底是要做什麼?
用馬斯克的話說,是要理解現實(understand reality),更進一步的,可以通過官網上的另一句話來理解:
"為了理解宇宙的真正本質(understand the true nature of the universe)"。
更多事宜目前并沒有公開,xAI 賣了個關子,并歡迎大家在當地時間 7 月 14 日(本周五)的推特 Space 聊天中,向團隊直接提問。
有心人已經偷偷扒出了 xAI 的更多信息。
譬如,今年 3 月 9 日,馬斯克就已經注冊成立了 xAI 這家公司,馬斯克自己當董事。
3 月初就注冊成立了,為啥選擇今天官宣?
馬斯克見沒什麼人朝這個方向讨論,自己下場刨了自己埋下的包袱。
原因只有一個,那就是他在玩梗,畢竟"42 是宇宙的終極答案 "。
說回正題,3 月成立時的這個時間點,略顯微妙。
已經有網友猜測,4 月初馬斯克為推特購買的 1 萬個 GPU,有沒有可能是明修棧道,暗渡陳倉,其實偷偷在為 xAI 成立後,開發自家的大語言模型做準備?
永遠奔赴在 AI 吃瓜第一線的英偉達 AI 科學家 Jimmy Fan 發推分析了一波:
什麼對話文本啊、影像啊、長視頻啊、推特上有大量的多模态數據。
xAI 可是唯一一家可以直接合法合理訪問這個龐大、每日還在拓展的語料庫的 AI 初創公司啊!!!
額外提一嘴,除了創始 12 人,xAI 官網上還有個人的名字:公司顧問,丹 · 亨德利克斯(Dan Hendrycks)。
他的另一重身份是國際 AI 領網域非營利組織 " 人工智能安全中心 "(Center for AI Safety)的主任,這個組織就是今年 5 月 30 日,發布僅 22 個單詞公開信的那家。
信裡是這樣說的:
減輕人工智能帶來的人類滅絕風險,應該與大流行病和核戰争等其他影響社會的大規模風險一同成為全球性的優先事項。
不知道這人的加入,能不能避免馬斯克一直對外表示的 "AI 發展過快帶來風險 " 等問題。
One More Thing
馬斯克官宣以後,xAI 已經熱火朝天開了聊天貼,和網友們聊起來了。
但承載 xAI 初亮相的推特這頭,有一些同樣 crazy 的事情正在發生。
近期的推特不僅陷入了限流争議,還被喂了口訴訟索賠的官司——
馬斯克去年收購推特後,辭退了數千名員工。
按道理講,這些員工應該拿到共計至少 5 億美元的遣散費,但推特不僅沒有按 2019 年起公司内部規定給足,最多只給了被辭退人員一個月的遣散費,有的人甚至一分錢都沒從推特身上拔下來。
上個月,訴訟通知已經落到推特頭上了,公司也沒能支付拖欠員工的數百萬美元獎金。
推特的說法是,這事兒 " 告我不合理 "。
Emmmm ……大概只有和馬斯克一起在 " 理解宇宙的真實本質 " 後,才能理解推特不根據自家規定支付遣散費的原因吧。
— 聯系作者 —
>