今天小編分享的科技經驗：怎樣保證你不是AGI獨裁者？馬斯克為何退出OpenAI？早期郵件公開了，歡迎閲讀。
今年，OpenAI 可以説是大事不斷：内鬥、離職等等一系列事件吸引着大家的眼球。
其中，OpenAI 與馬斯克的訴訟、糾紛也一直備受大家關注。
今年 3 月份，馬斯克這位前 OpenAI 聯合創始人在一份長達 46 頁、總字數超過 1.4 萬字的訴訟檔案中，指控 OpenAI 不計後果地開發人類級别的人工智能。（參見：《馬斯克起訴 OpenAI：他們做出了 AGI 還授權給微軟，這是對創始協定赤裸裸的背叛》）
後來，OpenAI 自曝 8 年間郵件往來截圖，用一篇長文《OpenAI and Elon Musk》，正式駁斥了馬斯克的所有指控。（參見：《剛剛，OpenAI 官方發文駁斥馬斯克，自曝 8 年間郵件往來截圖》）
其中，OpenAI 反駁稱馬斯克承諾投資 10 億美元，但實際只投了不到 4500 萬美元，雙方都認識到需要一個營利性實體支持燒錢的 AI 訓練，但馬斯克希望完全控制 OpenAI 或将其并入特斯拉而被拒絕。
數月過去，大家以為風波已平。
誰料到，這個瓜還在繼續。
當地時間 11 月 14 日，馬斯克針對 OpenAI 的起訴更新，增加了新的原告和被告。
随着起訴檔案的更新， Elon Musk、Sam Altman、Ilya Sutskever 和 Greg Brockman 之間的往來郵件已經作為法庭訴訟程式的一部分公開。
馬斯克為了證明 OpenAI 違反反壟斷法，才有這些郵件的曝光。同時，他也在某種程度上表達了他對 OpenAI 背離最初願景 —— 以非營利為宗旨，且由特斯拉 CEO 擔任領導的背叛感。
論壇 LessWrong 整理了 2015 年 5 月 25 日到 2019 年 3 月 11 日的約 50 篇郵件。從中，我們可以窺見這個這個聲稱要保護人類福祉的非營利組織在誕生之初便埋下的裂痕與分歧。
鏈接：https://www.lesswrong.com/posts/5jjk4CDnj9tA7ugxr/openai-email-archives-from-musk-v-altman
一致的「敵人」，一致的目标
在第一批曝光的郵件中，引起最大讨論的要數馬斯克發給 Ilya 和 Greg 的這封郵件：
在這封主題為「我覺得有必要重申一下的郵件中」，馬斯克説道：
「我對 OpenAI 的資源沒有重大變化的情況下，與 DeepMind/Google 相抗衡的可能性評估是：0%。不是 1%。
即便籌集到幾億美元也不夠。這需要每年數十億美元的投入，否則就别想了。
不幸的是，人類的未來掌握在■■■手中。」
眾多網友紛紛猜測■■■中是誰？谷歌嗎？
從第二批曝光的郵件來看，這個答案大概可以鎖定了。
從開始籌建 OpenAI 開始，Google 與 DeepMind 就是馬斯克最擔心的競争者。
在 2016 年的一封郵件中，他直言「DeepMind 正在給我帶來極大的精神壓力。如果他們赢了，憑借他們一個思想統治世界的理念，這将非常糟糕。」
2015 年 7 月，YC 總裁 Sam Altman 舉辦了一場晚宴，在那裏，Elon Musk、Greg Brockman、Ilya Sutskever 相聚在一起。
當時谷歌在 AI 技術上遙遙領先，具有斷層式的先發者優勢，AI 可能會被科技巨頭壟斷，并使其發展停滞不前。
這些即将改變世界的人超前地意識到了：人工智能需要一個非營利組織，讓 AI 普惠世人。這個組織不需要任何競争性的激勵措施，需要的只是世界上最好的 AI 研究人員。
于是，他們聚集在了一起，開始設計非營利組織，但很快，他們就發現了各種各樣的困難：特别是，由于 OpenAI 不賺錢，給人才提供的薪水沒有别的公司高。
2015 年底，DeepMind 開出了高價工資，在 NIPS 會場「搶奪」OpenAI 看中的人才，「Sam Altman 擔心「OpenAI 會這麼被扼殺在搖籃裏。」他主動給每個人每年增加了 10-20 萬的薪酬，這引來了馬斯克的疑問。
馬斯克以開放的姿态擁抱了漲薪計劃，他回復：
「我們需要盡一切努力來獲得頂尖人才。讓我們更上一層樓。如果在某個時候我們需要重新審視現有員工的薪酬，那也沒關系。 要麼我們能找到世界上最優秀的人才，要麼我們就會被 Deepmind 打敗。無論需要做什麼，只要能培養出頂尖人才，我都願意。Deepmind 讓我精神壓力很大。如果他們赢了，那對他們一心一意統治世界的理念來説将是一個壞消息。他們顯然正在取得重大進展，而且他們應該取得進展，因為那裏的人才水平很高。」
AGI 的「獨裁者」
但在 2017 年秋天，OpenAI 創始團隊一開始融洽的關系好像出現了裂痕。
根據 Shivon Zilis（現 Neuralink 的總監）發給馬斯克的郵件，Greg 和 Ilya 開了一個小會，最終匯總為 7 個問題：
1. 公司的絕對控制權
是否有人有公司的絕對控制權？他們希望知道，如果未來在方向上出現分歧（不僅限于三人，也可能涉及更廣泛的董事會成員），是否會設立某種具有創造性的否決機制？
2. 控制權和過渡時間
Greg 和 Ilya 提出了「不可協商」的條款，即 AGI 出現時，不會讓任何一個人擁有絕對控制權。這一條件的滿足意味着，無論這三人之間發生什麼，權力分配都将在最初的 2-3 年階段之後平穩過渡。
3. 馬斯克願意花多少時間？
馬斯克願意花多少時間在 OpenAI？實際上又能花多少時間？具體的時間範圍是什麼？是每周一小時，十小時，還是介于兩者之間
4. 馬斯克具體如何分配時間？
OpenAI 的團隊并不清楚馬斯克在其他公司如何分配時間，也不确定他希望如何在 OpenAI 中投入時間。Greg 和 Ilya 相信他們在軟體 / 機器學習方面可以很好地推進工作，但對硬體方面缺乏信心。他們希望馬斯克能夠在硬體領網域投入一些時間，這是他們的薄弱環節，同時也希望他能在感興趣的所有領網域提供幫助。
5. 時間與控制權的比例
OpenAI 的團隊傾向于誰花的時間多就有更多控制權的模式，而不希望花一點時間就有很多控制權。他們擔心如果分給 OpenAI 的時間太少，就沒有足夠的時間讨論相關背景信息，從而做出正确的決定。
6. 股權分割
Greg 堅持平等分配。 Greg 指出，Ilya 通過在 Google 的工作已經證明了自己的經濟潛力，從某種程度上説，Ilya 已經貢獻了價值數百萬美元。
他們擔心能獲得的股權的員工數量太少。
7. 融資目标
他們傾向于在初期籌集超過 1 億美元的資金，認為僅數據中心的需求就需要這麼多，因此他們更願意籌集更多資金。 最後，他們給出了自己心目中的解決方案：
馬斯克每周為 OpenAI 花費 5-10 小時，獲得完全掌控權，如果時間更少，那麼控制權更少花費。
針對 AGI 的極端情況（不僅僅是 Greg / Sam / Ilya）設計短期過渡協定。
制定一項嚴格的少數股權控制協定，确保 2-3 年的過渡期内權力平穩分配，不受（Greg / Sam / Ilya）個人命運影響。
初始融資目标設定在 2 億至 10 億美元之間。
Greg 和 Ilya 的股份最終比馬斯克高出 1/10，但差距不宜過大（這一部分仍需進一步明确）。
增加員工數量以滿足項目需求。
馬斯克的回復是：「這太煩人了。請讓他們去創業。我受夠了。」
于是 Ilya Sutskever 在這封主題為「Honest Thoughts」的郵件中進一步提出了對馬斯克擔任公司領導者的顧慮：
當前的公司結構使您有可能最終對 AGI 擁有單方面的絕對控制權。您曾表示自己并不想控制最終的 AGI，但在此次談話中，您向我們展示了絕對控制權對您來説極為重要。
舉個例子，您曾表示自己必須成為新公司的 CEO。這樣，每個人都能知道您是負責人。同時，您也表示過讨厭當 CEO，更不願意擔任此職。
因此，我們擔心，盡管您當前并無此意，但随着公司在通往 AGI 的道路上取得實際進展，您可能會選擇繼續保留對公司的絕對控制權。
OpenAI 的目标是創造一個美好的未來，并避免 AGI 獨裁。您擔心哈薩比斯（Demis Hassabis，谷歌 DeepMind CEO）可能會建立一個 AGI 獨裁政權，這一點我們也同樣憂慮。
因此，構建一個可能讓您成為獨裁者的公司結構，無疑是糟糕的選擇，尤其在完全可以設計出能夠避免此風險的另一種結構的情況下。
這不僅僅是關于誰是 CEO，誰能控制公司的問題；Ilya 擔憂的是，如果 AI 威脅人類之時，可能只有一個人能夠左右事件的走向。
Ilya 還和 Greg 一起對奧特曼表達了類似的疑問，用詞與去年 OpenAI「宮鬥事件」中，董事會指責阿爾特曼「不夠坦誠」時如出一轍：
在整個過程中，我們始終無法完全信任您的判斷，因為我們無法理解您的動機。
我們不明白為什麼 CEO 這個頭銜對您如此重要。您給出的理由一再改變，讓人難以真正理解背後的動機。
AGI 真的是您的主要動力嗎？它與您的政治目标有何關聯？
結合後來的事件發展，奧特曼正在将 OpenAI 引向更傳統的企業級 SaaS（軟體即服務）方向來看，他的目标似乎更多偏向商業，而非哲學。
Elon 回復表示對目前的談判徹底失望，稱不再為 OpenAI 提供資金，要求團隊做出明确承諾。
Sam Altman 強調自己仍支持非營利結構，同時對 Greg 和 Ilya 的不一致行為表示不滿，他随後宣布需要 10 天時間來「思考是否能夠繼續信任他們」。
這件事發生在 OpenAI 為了解決沒錢的問題，要不要改變非營利組織的架構，為此，他們也考慮過 ICO 上市。
同時，在谷歌在谷歌「一騎絕塵」的狀态下，OpenAI 的努力在當時看上去就像是「以卵擊石」。
Andrej Karpathy 給出了幾份對标谷歌的詳細分析：
DeepMind 在 2016 年的運營支出約 2.5 億美元 ( 不含計算成本 )
Google 在 AI 領網域擁有壓倒性優勢，包括 Google Brain、Research、Cloud 等多個部門
在 ICLR 會議上，Google 提交了 83 篇論文，遠超其他機構。
Karpathy 認為，如果不能在規模上與 Google 競争，OpenAI 的開放研究可能反而在「免費」幫助競争對手。
馬斯克并不贊同 ICO 方案，這相當于直接宣告「非營利」破產
OpenAI 在與谷歌的競争中正走向必然的失敗。如果不立即采取重大而果斷的行動，除了谷歌之外的所有人都将被邊緣化。
我考慮過 ICO 方案，但不會支持它。在我看來，這只會讓 OpenAI 和所有與 ICO 相關的人嚴重失去信譽。如果某件事看起來好得難以置信，那它通常就是錯誤的。在我看來，這是一次不明智的偏離初心的嘗試。
我目前能想到的唯一出路是 OpenAI 進行大規模擴張，以及 Tesla AI 的大規模擴張，或許兩者可以同時進行。前者需要大幅增加捐贈資金，并讓非常有公信力的人加入我們的董事會。目前的董事會狀況非常薄弱。
我将安排時間明天與大家讨論。需要明确的是，我對你們的能力和成就非常尊重，但對目前的管理方式感到不滿。這也是為什麼最近幾個月我很難積極參與 OpenAI 的原因。如果我們能夠解決這些問題，我将大大增加我的參與度；如果不能，我将幾乎完全退出，并公開減少與 OpenAI 的關聯。我不會讓自己置身于一種影響力和實際投入的時間不匹配的局面。
而 Karpathy 給出了他理想的解決方案。在他單獨發給馬斯克的郵件中，Karpathy 認為最有希望的選擇是 OpenAI 把特斯拉作為搖錢樹。他相信，與其他大型科技巨頭（例如蘋果、亞馬遜）的合作會因為公司 DNA 不兼容而失敗。
馬斯克随即表示：
Andrej 完全正确。雖然我們可能希望情況并非如此，但在我和 Andrej 看來，Tesla 是唯一有可能與 Google 相抗衡的路徑。即便如此，成為 Google 的對手的可能性依然很小，只是并非完全為零。
這可能也解釋了為什麼 Karpathy 選擇了接馬斯克的 offer，成為特斯拉人工智能和自動駕駛部門負責人。
與此同時，為了拯救 OpenAI 的困境，Sam Altman 正在設計另一套模式「讓 4-5 家有興趣的大型企業投資的方式，該工具的回報上限為 50 倍」。由于缺少上下文，只能從這封郵件中得知，馬斯克被要求正式從董事會辭職：
「您在技術上仍然是董事會成員，需要向 Sam Altman 發送一句簡單的郵件，比如：通過此郵件，我在此正式辭去 OpenAI 董事職務，自 2018 年 2 月 20 日起生效。」
後面的故事我們就很熟悉了，在 Sam Altman 的親自設計之下，OpenAI Inc. 搭建了一家「有收益上限」的有限合夥企業 —— OpenAI LP，并以此為主體對外融資，根據協定安排，創始人團隊收益上限為 100 倍，微軟的收益上限為 5-10 倍，其他投資人的收益上限為 20 倍，員工為 10 倍。
而馬斯克退出了 OpenAI 董事會，并在公開場合表示，離開的原因是利益衝突：當時特斯拉正在開發自動駕駛人工智能，他們需要與 OpenAI 争奪人才。
然而不到六個月後，OpenAI 就獲得了微軟 10 億美元的投資，微軟還提供了基礎設施技術，二者一起搭建了一台超級計算機來訓練 ChatGPT 以及影像生成器 DALL-E 的大型模型，如 GPT-4 有 1 萬億個參數。
ChatGPT 一經推出，OpenAI 立即成為最熱門的新興技術創業公司，甚至給谷歌造成了壓力。據知情人士透露，馬斯克對此非常憤怒。
雖然馬斯克發起的這場訴訟才剛開始，但目前披露的訴訟材料已經夠商戰電視劇演上一季了。至于未來還會有什麼更精彩劇情上演，讓我們一起見證！
