今天小編分享的科技經驗：我為什麼離開OpenAI？六年元老發離職長文：AGI将至，我們遠沒準備好，歡迎閲讀。
OpenAI 的「員工叛逃」還沒有結束。
近日，OpenAI 又有一位 6 年元老、研究主管 Miles Brundage 發表長文官宣離職，并詳細解釋了自己為何「出走」。
作為一家年輕的 AI 獨角獸，成立于 2015 年的 OpenAI 如今剛剛 9 歲，因此在公司待了 6 年之久的 Brundage 足以被稱為「元老」，見證了 OpenAI 如何一路起伏、筚路藍縷地走到今天。
在博文中，Brundage 也在開頭強調：為 OpenAI 的高管和董事會提供建議，為 AGI 的到來做準備，這實際上是他夢想中的工作；甚至就在 2015 年 OpenAI 剛成立時，Brundage 興奮得一夜不睡，寫下一篇博文強調這個組織的重要性。
原文地址：https://www.milesbrundage.com/blog-posts/archives/12-2015
因此，離開 OpenAI 對他來説并不是一個容易的決定。但是為了有更多時間研究自己認為重要的課題，更獨立、自由地發表觀點和作品，Brundage 決定轉而加入（甚至自己創辦）非營利組織，将重點放在 AI 政策研究和倡導上。
Miles Brundage 本科畢業于喬治華盛頓大學，本科期間擔任過美國能源部的特别助理，之後前往亞利桑那州立大學攻讀博士，研究方向為科技的人類和社會維度，博士後期間曾在牛津大學擔任 AI 政策研究員。
2018 年，Miles Brundage 加入了剛剛成立 3 年的 OpenAI 擔任政策方面的研究科學家，之後又在 2021 年升任研究主管，目前是 AGI 準備工作的高級顧問。
為何離開 OpenAI
總體來看，Brundage 的離職是希望從行業外部而非内部影響 AI 的發展，這與今年 Geoffrey Hinton 離開谷歌的原因如出一轍，具體有如下幾個考慮因素：
機會成本
本職工作已經占去了幾乎全部的時間，因此 Brandage 感覺很難從事自己認為重要的研究課題。甚至在某些情況下，身處行業之外時，從事這些研究能更有影響力和説服力。
而且，OpenAI 目前已經如此引人注目，成果發布前就需要從許多不同的角度進行審查，以至于無法發表某些主題的文章。
但值得注意的是，Brundage 并不是完全反對 OpenAI 在出版品審查方面的立場，他認為行業中存在出版限制是合理的，他本人也幫助編寫了 OpenAI 政策的幾個迭代版本，但公司目前施加的限制确實已經太多了。
減少偏見
如果選擇成為某個組織的一部分，并且每天都和那裏的同事們密切合作，你就很難對這個組織保持公正。
Brundage 表示，他在分析中盡力追求公正，但仍然會有偏見的存在。而且在 OpenAI 工作這件事本身，就會影響到外界如何看待自己的觀點和研究。考慮到财務利益上的衝突，人們有理由質疑來自行業的政策想法。
在有關政策的對話中，有更多獨立于行業的聲音至關重要，而 Brundage 計劃成為其中之一。
在 OpenAI，能做的都做了
從入職至今，Brundage 認為自己作為「AGI 準備狀态高級顧問」的工作已經完成了大部分。
「AGI 準備狀态」（AGI Readiness）主要分為兩種：一是 OpenAI 要準備好管理日益強大的 AI 能力，二是整個世界也要準備好有效管理 AI 能力，包括通過監管 OpenAI 和其他公司。
對于前者，Brundage 已經向他的負責對象—— OpenAI 的高管和董事會——詳細介紹了他認為 OpenAI 需要做什麼，以及差距在哪裏；而對于後者，他認為自己在 OpenAI 外部能夠更加有效。
雖然失去了一些在 OpenAI 發揮影響力的機會，但 Brandage 希望在更大程度上影響整個生态系統。
AGI，我們都沒準備好
Brundage 認為，對于即将到來的 AGI，OpenAI 或任何其他的前沿實驗室都還沒有準備好，這個世界也還沒有準備好。
原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7
但需要明确的是，他不認為這種「沒準備好」的狀态與 OpenAI 領導層的聲明相衝突；同時他也暗示，雖然距離理想的标準存在相當的差距，但是我們仍可以在相關時間點步入正軌，為此 Brundage 将在餘下的職業生涯中致力于人工智能政策。
科技公司和這個世界是否走上了 AGI 準備的正軌，是一個復雜的函數，取決于安全和保障方面的文化如何随着時間的推移而發揮作用、監管如何影響組織的激勵措施、各種有關 AI 能力和安全方面困難的事實，以及各種其他因素。
此處，Brundage 特别表揚了 OpenAI 最近新增加董事會成員的決定，新吸納的成員包括前陸軍上将 Paul M. Nakasone 和 CMU 機器學習系主任 Zico Kolter，這都是朝着正确方向邁出的一步。
順便一提，Brundage 表示，「AGI」這個術語承載了太多意義，它現在更多地暗示着一種二元思維方式，而不是實際意義，因此有必要澄清一下，此處的「為 AGI 做好準備」，指「準備好安全、可靠且有益地開發、部署和管理能力日益強大的 AI 系統」。
最近，他和團隊正在充實 OpenAI 提出的 AGI 五級框架，不久後或許會發表一篇正式的論文。這個框架曾被彭博社披露，引來了不少争議。
雖然 Brundage 對 AI 政策抱持着謹慎和批判的态度，但對于 AGI 前景的預測，他的确稱得上是一個「技術樂觀主義者」，觀點與硅谷的風投大佬 Khosla 非常一致。
他認為，在未來短短的幾年内，人工智能很可能能夠實現足夠的經濟增長。假設我們能制定出适當的政策來确保公平分配，人類就能實現高生活水平的提前退休。
但在此之前的短期時間中，AI 很可能會搶走一些迫切需要工作的人的機會，尤其是那些可以遠程完成的、容易自動化的任務。
但事實是，人類最終應該擺脱為謀生而工作的義務，這也為構建 AI 和 AGI 提供了最強有力的論據之一。從長遠來看，有些人可能會繼續工作，但不會像現在這樣有如此迫切的激勵因素。
一個「後工作世界」（post-work world）的風險之一就是文明的停滞（比如電影「機器人總動員」所展現的），但我們目前還沒有在政治、文化或其他方面為此做好準備，因此需要更多的思考、辯論和政策讨論。
2008 年電影「機器人總動員」（WALL-E），由皮克斯工作室制作、迪士尼出品
很多人都描繪過「AI 造福人類」的前景，這些描述似乎是出于好意而非陰謀論。但目前存在效率低下的問題，很大程度上是由于民間社會和政府的技術專業知識不足，以及缺乏良好的規範和理論基礎。
例如，對于出現的問題，我們是否應該期望市場機制給出解決方法？什麼時候應該構建定制化、應用範圍狹窄的 AI 解決方案，什麼時候應該提高通用 AI 系統的能力來解決？在各種情況中，正确的方法是繼續補足現有的技術，還是創造全新的技術，等等。
要不要在 OpenAI 工作
「要不要在 OpenAI 工作」，這個問題聽起來有點凡爾賽，可以類比下「斯坦福和 MIT 該選哪個」。
但如果螢幕前的你拿到了 offer 正在糾結該去 OpenAI 還是谷歌 DeepMind，Miles Brundage 的經驗或許能幫助你解決這個甜蜜的煩惱。
在 OpenAI 工作是大多數人希望能做到的最有影響力的事情之一，所以在大多數情況下，答案是肯定的。
考慮到每個人擁有的技能和機會不同，很難做出籠統的陳述，但有一點是确定的—— OpenAI 的每一個角色，以及每個人對待工作的謹慎程度都很重要，對 OpenAI 組織文化的每一項貢獻也很重要。
在通往更強大 AI 的道路上，每一次產品的部署都會發揮重要作用，比如影響行業規範，以及人們認知和監管 AI 的方式。
在 OpenAI 工作，無論是 AI 的安全與保障，抑或是 AI 能力和產品方面的研究，發揮個人的能動作用來推動 AI 安全都是非常有影響力的。
下面這段話，似乎是 Brundage 的一段隔空喊話，寫給他仍在 OpenAI 工作的前同事們：
「任何在 OpenAI 工作的人都應該認真對待這樣一個事實：他們的行為和言論有助于組織文化，并且當這個組織開始掌管極其先進的能力時，可能會創造正面或負面的路徑依賴。文化對任何組織都很重要，但在前沿 AI 的背景下尤其重要，因為大部分決策不取決于監管法規，而是來自公司中的人。」
正如 Brundage 在前文所表示的，他認為某些政策研究最好在外部進行，AI 的安全和保障工作有時也是如此。盡管 OpenAI 内部确實需要一些人來推動公司采取良好的政策立場，但存在獨立的安全研究也很有價值。
參考資料
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/
