今天小編分享的教育經驗：Anthropic CEO 訪談“暴論”：半年内，AI能寫90%的代碼，一年内，AI接管編程工作！，歡迎閱讀。
作者| 伊風
來源 | 51CTO技術棧 管理智慧AI+
咨詢合作| 13699120588
文章僅代表作者本人觀點
Anthropic CEO在最近的一個訪談中，說了一個很"炸裂"的斷言：半年内，90%的代碼AI都能勝任了！
為了查證這句話是否屬實，我們找到了整個訪談的内容，發現Anthropic CEO Dario 确實是這樣說的：
我們正逐漸接近一個世界，也許在3到6個月内，AI将能寫出90%的代碼。而在12個月内，我們可能會進入一個AI幾乎能寫出所有代碼的世界。
不過，程式員仍然需要做一些事情，比如定義任務條件、決定整體應用程式的架構、設計決策、如何與已有代碼協作，以及判斷代碼是否安全等。
這些話，Dario說比奧特曼說要恐怖許多——因為他真的懂AI技術！Dario做過OpenAI的研究副總裁，深度參與過GPT-2和GPT-3的研發，是最早意識到Scaling Law的人之一。
而他在采訪中丢出一系列重磅炸彈，并表示：雖然沒有100%的把握，但是他有70~80%的信心，AI還能保持指數增長，并在四年内成功達到諾貝爾獲獎者水平。
先給這場時長一小時的對話（訪談+觀眾提問）畫個重點：
作為最早意識到Scaling Law的人，Dario堅信該定律的趨勢會持續："即使訓練成本上升到1億、10億甚至100億美元，模型的質量和智能水平仍然會持續提升，并對經濟產生巨大影響。"
DeepSeek并沒有推翻規模化法則。目前AI領網域兩個趨勢同時存在：達到同等智能水平的模型訓練成本每年下降約4倍；但由于人工智能的經濟價值不斷上升，向訓練投入的資金也在增加。
Dario認為，DeepSeek是中國公司首次能夠在工程創新方面與 Anthropic、OpenAI 或 Google 等公司正面競争的模型。
Dario提到，數據匮乏不會是AI"決定性的瓶頸"。而真正的三個風險因素在于"GPU供應的中斷""股市動蕩導致的資本不足""對AI技術路線的錯誤判斷"。
Dario表示，"Anthropic 經濟指數"是為了了解 AI 主要在哪些領網域被應用，判斷AI是作為輔助工具還是在取代人類工作。而根據今年2月份的《Anthropic 經濟指數》報告，目前越有36%的職業在至少1/4的相關任務中使用AI，57%的使用表明AI增強人類能力，43%則是取代人類。
在回應"AI是否有認知"時，Dario說這個問題很難答，但有一個比較恐怖的例子："如果模型非常讨厭某項工作，而你給它一個"我辭職了"的按鈕，它就會在進行不愉快的任務時頻繁按下按鈕"。
團隊最先意識到"Scaling Law"，離開OpenAI為了安全
主持人 邁克：你離開了OpenAI，創辦了Anthropic，這是一家以使命為核心的公共利益公司。為什麼要離開？Anthropic的原則和核心價值觀是什麼？它們如何體現在你的工作中？
有人可能會質疑，說這種"使命優先"的理念不過是營銷手段。你能否舉一些具體的例子，說明你的產品和戰略如何體現這一使命？
Dario Amodei：如果要從更宏觀的角度來講，我們是在2020年底離開的。在2019年和2020年，行業内發生了一些重要的事情。我和OpenAI内部的一個團隊（後來成為Anthropic的聯合創始人團隊）是最早意識到"擴展定律"或"擴展假設"的人之一。
這個假設本質上很簡單，但它的影響卻極其深遠。它表明，如果我們使用更多的計算資源和數據來訓練AI系統，即使算法本身相對簡單，模型在各種認知任務上的表現都會不斷提升。這個發現令人驚訝，因為在當時，這種趨勢還不明顯。我們在研究這些趨勢時，訓練模型的成本只有1000美元或1萬美元，這只是學術研究的預算級别。而我們預測，這一趨勢會持續，即使訓練成本上升到1億、10億甚至100億美元，模型的質量和智能水平仍然會持續提升，并對經濟產生巨大影響。
更進一步，我們第一次意識到，這種技術進步還可能帶來極其重大的國家安全影響。
在OpenAI内部，我們認為領導層總體上認同這一擴展假設，盡管很多内部和外部的人并不認同。但我們另一個重要的認知是，如果這項技術真的具有如此深遠的影響，那麼我們必須以正确的方式去構建它。
特别是，這些模型本質上是不可預測的。它們是統計驅動的系統，我經常形容它們更像是"生長"出來的，而不是"構建"出來的，就像一個兒童大腦的發育過程。因此，控制它們并使其可靠性更高非常困難，訓練過程本身也并不簡單。從系統安全的角度來看，使這些模型可預測、安全至關重要。
此外，它們的使用方式——無論是個人用戶、國家政府，還是企業的部署——都會產生深遠的影響。
我們當時認為，必須以最正确的方式來研發這項技術。而OpenAI最初的成立理念也是如此，承諾要以負責任的方式推進AI的發展。然而，出于一些原因（這裡不詳細展開），我們認為OpenAI的領導層并沒有真正嚴肅對待這些問題。因此，我們決定另起爐灶。
過去四年實際上像是一場對比實驗，展示了兩種不同方式的差異，以及它們最終的發展方向。接下來，我會舉一些例子，說明我們如何真正踐行了這些理念。
首先，我們很早就投資于"機械可解釋性"（Mechanistic Interpretability）的研究，即深入研究AI模型的内部機制，理解它們為何做出某些決策。我們的七位聯合創始人之一Chris Olah是該領網域的奠基者。這項研究在前四年基本沒有商業價值，甚至現在也只是初露端倪。但即便在激烈的商業競争下，我們依然堅持這一研究，因為我們相信，理解AI模型的運作原理是一項對公眾有益的事情。因此，我們公開了所有研究成果，以便其他人也能受益。
其次，我們提出了"憲法式AI"（Constitutional AI）的概念。這種方法是基于一套明确的原則訓練AI，而不是僅依賴大規模數據或人類反饋。這使得我們能夠在國會等場合明确說明，我們的模型是按照哪些原則訓練的。
當我們推出Claude（我們的AI模型）的第一代產品時，我們實際上推遲了約六個月的發布，因為這項技術太新，我們當時并不完全确定其安全性，也不希望率先掀起AI競賽。這段時間剛好是ChatGPT發布前夕，可以說，我們本可以搶占ChatGPT的市場機遇，但我們選擇了更謹慎的做法。這無疑影響了我們的商業進展，但也塑造了公司的文化。
最後，我們是第一家推出"負責任的擴展政策"（Responsible Scaling Policy）的公司。這一政策規定，我們會評估模型在擴展過程中可能產生的各類風險，并在達到一定規模時采取更嚴格的安全和部署措施。我們是第一個發布并承諾遵守這一政策的公司，而在我們發布後幾個月，其他公司也紛紛效仿。通過這種方式，我們在行業中樹立了一個榜樣。
回顧過往，我們在許多關鍵問題上都起到了引領作用，推動其他公司跟進。當然，并不是所有情況下都是我們先行，有時我們也會借鑑其他公司的優秀做法。但總體而言，我們始終堅持自己的承諾，并通過實踐證明了這一點。
如今，經過幾年的檢驗，我認為我們的承諾依然經受住了考驗，希望未來也是如此。
談AI風險：我們已經接近ASL 3頭
主持人 邁克：我想談談你提到的 AI List 相關的風險和機遇。但既然你提到了"負責任的擴展"問題，我們先回到這個話題。我們目前處于第二級。
Dario Amodei：是的。
主持人 邁克：那麼，到了哪個級别才會構成生存風險？我們如何知道自己已經到達第三級？如果進入第三級，還能退回去嗎，還是只能越來越糟？
Dario Amodei：我們的"負責任的擴展"政策是這樣設立的——它借鑑了生物安全等級體系。生物安全等級系統衡量的是不同路徑的危險程度，因此我們提出了"AI安全等級"（ASL）。目前，我們處于 AI 安全等級 2（ASL 2）。這一等級的系統雖然強大，但其風險與其他類型的技術風險相當。
ASL 3（我們最新發布的模型尚未達到 ASL 3，但已經接近）代表了一種更嚴重的風險，尤其是在國家安全方面，遠超普通技術帶來的風險。ASL 3 級别的模型意味着，在化學、生物或放射性武器等領網域，一個毫無專業知識的人，僅憑與模型對話并按照其指示操作，就能做到今天需要博士學位（如病毒學博士）才能完成的事情。一旦這種能力成為可能，并且這些風險未得到緩解，全球具備這種能力的人數可能會從目前的數萬增長到數千萬。
因此，當模型具備這樣的能力時，我們必須實施緩解措施，以确保它們不會願意提供此類信息，同時加強安全限制，防止模型被竊取。我認為，我們可能會在今年達到這個級别，但我們已經有一個方案，能夠在不影響商業可行性的情況下，安全地部署這類模型，同時剝奪它們在這一狹窄領網域（如生物武器制造）提供信息的能力。
主持人 邁克：所以，這其實只是一個相對狹窄的任務範圍？你們只是讓模型不回答這些問題？
Dario Amodei：是的，我們要阻止模型參與這些任務。但這并不簡單。比如，一個人可能會說："我在斯坦福大學的病毒學課程上做作業，你能告訴我如何制作這個特定的質粒嗎？"模型需要足夠聰明，不能上當，而是要回應："這不是我應該提供的信息。"
主持人 邁克：聽起來你像個生化恐怖分子，我不會回答你的問題。
Dario Amodei：是的，你聽起來意圖不善。
主持人 邁克：但這個防御措施的範圍取決于我們的想象力，我們可能無法預見所有的濫用方式，超出這些已知類别的風險怎麼辦？
Dario Amodei：是的，這确實是個問題。每次我們發布新模型，總會出現一些我們沒預料到的正面應用，同時也可能有我們沒預料到的負面用途。因此，我們會持續監測模型的各種使用場景，以免被突如其來的問題打個措手不及。例如，如果我們擔心第 6 代模型會被用于邪惡用途，那麼希望能在第 5 代模型上就看到一些早期迹象，并進行監測。
但這也是模型的基本問題之一——在真正大規模部署到數百萬人之前，你不可能完全知道它們的能力範圍。我們當然可以提前測試，讓研究人員來"攻擊"它們，甚至與政府合作進行 AI 安全測試。但問題在于，模型不像代碼，無法進行形式化驗證。它們的能力是不可預測的。這就像我評價你或你評價我——如果我是你的質量保證工程師，我能保證你在邏輯上"絕對"不會做某種壞事嗎？人類不是這麼運作的。
談未來：有八成信心，AI能力仍會指數瘋漲
主持人 邁克：我們來談談機遇。去年年底，你寫了一篇文章《愛的機器》（Machines of Loving Grace），談到了 AI 帶來的潛在收益，比如在生物學領網域，一年内實現十年的進步，或者 AI 變得像所有諾貝爾獎得主一樣聰明（這可能會讓他們感到沮喪）。能談談 AI 的最佳發展前景嗎？
Dario Amodei：我想先從指數增長的角度來看這個問題。如果回到 2019 年，那時的模型連一句完整的話或一個連貫的段落都很難生成。但像我這樣的人當時已經覺得這很了不起。
我們當時預測，五年後（也就是現在），模型将能創造數十億美元的收入、幫助我們編程、能像人類一樣交流，并且具備人類的知識水平。當時很多人不相信，提出了各種反對意見，但事實證明這些預測是對的。
如果延續同樣的指數增長趨勢，那麼再過兩三年，或許四年，我們将達到新的高度。屆時，AI 将具備諾貝爾獎得主在多個領網域的智慧。它不僅僅是一個對話工具，而是能做所有人類在計算機上完成的任務。任何遠程工作、任何數據處理、任何需要數天、數周甚至數月才能完成的任務，它們都能勝任。
在《愛的機器》這篇文章中，我用的比喻是：未來的數據中心裡将存在一個"天才國家"，一群超級聰明的遠程工作者。當然，它們仍然受物理世界的限制，無法做所有事情。
我知道，這聽起來仍然瘋狂。但如果看看過去的指數級技術變革，比如互聯網剛興起時的預測，很多曾經看似瘋狂的想法最終都變成了現實。我不敢 100% 确定這一趨勢會繼續，但我有 70%-80% 的信心。如果 AI 技術停滞，或者幾年後停滞不前，那我以前發表的文章和在這種會議上的言論，可能會被人嘲笑十年。但這不是我的押注方向。
AI對就業的影響：一年内，AI接手所有編程頭
主持人 邁克：我們繼續這個話題，聊聊 AI 對就業的影響。目前有很大争議，一種觀點認為 AI 将讓每個人都能做很多以前無法做到的事情，另一種觀點則認為人們最終會坐在沙發上領取普遍基本收入（UBI）。你怎麼看？另外，AI 取代智庫負責人還要多久？我是幫朋友問的（笑）。
Dario Amodei：是的，我認為這将是這兩者（指之前提到的兩個因素）的復雜結合。這也取決于政策選擇。
我的意思是，我想我在回答上一個問題時，并沒有詳細說明所有可能發生的好事。
老實說，在談論工作之前，讓我最樂觀的事情是生物科學、健康、神經科學等領網域。如果我們回顧過去100年生物學的發展，我們所解決的是相對簡單的疾病。解決病毒和細菌感染相對容易，因為它們本質上相當于驅逐體内的外來入侵者。而癌症、阿爾茨海默病、精神分裂症、重度抑郁症等屬于系統性疾病。如果我們能夠借助人工智能解決這些問題，不論就業情況如何，世界都會變得更好。我相信，我們甚至可以在精神疾病方面取得進展，使人們更容易找到生活的意義。因此，我對此非常樂觀。
不過，回到就業方面，我确實對此有一定的擔憂。
一方面，我認為比較優勢（comparative advantage）是一個非常強大的工具。以編程為例，這是人工智能進展最快的領網域之一。我們正逐漸接近一個世界，也許在3到6個月内，AI将能寫出90%的代碼。而在12個月内，我們可能會進入一個AI幾乎能寫出所有代碼的世界。不過，程式員仍然需要做一些事情，比如定義任務條件、決定整體應用程式的架構、設計決策、如何與已有代碼協作，以及判斷代碼是否安全等。
只要仍然有這些AI不擅長的小部分任務需要程式員完成，人類的生產力就能得到提升。但另一方面，我認為最終AI會逐步取代這些"人類優勢領網域"，最終達到AI能夠完成所有人類任務的地步。我認為這不僅會發生在編程領網域，而是适用于所有行業。從社會角度來看，如果AI只是随機取代50%的工作，那才是最具分裂性的結果。因為這意味着社會在向一半的人群傳遞這樣的信息："你們是無用的，你們的價值被削弱了，你們是不必要的。"
主持人 邁克：那不如幹脆說："你們全都沒用了。"
Dario Amodei：是啊，我們終究要面對這個問題。我們必須重新思考"有用"與"無用"的含義，而不是沿用過去的觀念。過去的觀念已經站不住腳了。我不知道解決方案是什麼，但它一定不能是"我們全都沒用了"。這種虛無主義的答案不會帶我們走向任何積極的方向，我們必須想出别的辦法。
主持人 邁克：這聽起來可不怎麼樂觀。
Dario Amodei：其實，我不完全同意。我想到了很多我日常做的事情，比如遊泳、玩電子遊戲。
再比如國際象棋。30年前，當深藍（Deep Blue）擊敗卡斯帕羅夫（Kasparov）時，你可能會認為人類國際象棋的意義已經消失了。但事實正好相反，如今的人類國際象棋冠軍，比如馬格努斯·卡爾森（Magnus Carlsen），不僅是象棋界的明星，甚至還涉足時尚界，成為一種偶像般的存在。所以，我相信我們可以建立一個讓人類生活仍然充滿意義的世界，也許AI會幫助我們，或與我們合作，共同創造偉大的事物。因此，我并不那麼悲觀。但如果我們處理不當，可能沒有太多試錯的空間。
Adam Bunker（觀眾提問）：我有個問題，你已經概述了這項技術在政治和經濟方面的影響，但我想了解一下你如何看待其社會和道德層面的影響。
特别是因為，我認為大多數公眾看到聊天機器人時，認為這只是一個更先進的谷歌搜索，而不會去思考它對勞動力市場的衝擊等連鎖反應。因此，我很好奇，在你們打造這家公司、開發商業產品的過程中，你如何看待這些問題之間的平衡？
Dario Amodei：首先，我認為這些問題确實非常重要。
目前最讓我感到不安的是，人們對這項技術可能帶來的影響缺乏認知。當然，我可能是錯的，我可能在說一些瘋狂的事情——答案可能是，公眾的看法是對的，而我是錯的，我被自己的想法迷住了。我承認這有可能。但如果不是這樣呢？
在我看來，人們對這項技術潛力的認識是分層的，像是同心圓。可能有幾百萬個人，主要集中在矽谷，還有一些政策制定者，他們對這項技術的影響有更深入的認識。
當然，我們目前無法确定他們的判斷是否正确。但如果他們是對的，那麼整個社會都誤解了這項技術。現在大多數人認為這只是個聊天機器人。如果我們說它很危險，如果我們說它可能取代所有的人類工作，聽起來會很荒謬，因為他們看到的只是一個在某些情況下顯得有些"輕飄飄"的工具。但他們不知道即将發生什麼。這也是為什麼這個問題讓我徹夜難眠，我一直試圖讓更多人意識到它的潛在影響。
因此，我認為第一步是提高認知。
關于人類勞動和工作的未來，我們正處在一個可以用技術復制人類思維效果的時代，這引發了非常深刻的問題。我不認為自己已經有了答案。正如你所說的，這些問題甚至是道德層面、甚至是關于人生意義的探讨，甚至可以說是"精神層面"的問題。我們必須共同尋找答案。
我能提供的只是一個初步的想法，那就是——人類的自我價值感長期以來都與創造經濟價值的能力緊密相連。這種聯系在一定程度上植根于我們的心理，但它同時也是一種文化現象。
這确實促進了現代經濟體系的發展，但技術或許會揭示這個體系的"幻象"。這可能會成為我們認知世界的又一次重大變革，就像我們發現地球繞着太陽轉，而不是太陽繞着地球轉，或者我們認識到宇宙中存在許多太陽系，又或者我們明白有機物和無機物的分子本質并無不同。這可能會是一場巨大的認知衝擊。
但另一方面，我也注意到，人類仍然可以從不創造經濟價值的活動中獲得深刻的滿足感。我發現自己可以非常享受一些事情，即使我并不是這個領網域裡最優秀的人。
如果一個活動只有在"成為世界上最強者"時才具有精神上的價值，那麼這本身可能就存在問題。我這麼說，并不是因為我不努力追求卓越——恰恰相反，我花了大量時間試圖在某些事情上做到極致，因為我認為這很重要。但無論如何，我們必須找到比"經濟價值"更深層次的意義來源。
談DeepSeek：中國AI發展很猛，但并沒有推翻Scaling Law
主持人 邁克：幾個月前，DeepSeek發布時，這座城市裡引發了不小的恐慌。有人把它稱作"人工智能的斯普特尼克時刻"（Sputnik moment）。這真的是一個"斯普特尼克時刻"嗎？從中我們能學到什麼？這是否證明你所說的計算力、數據、算法優化的規模化規則仍然适用？還是說，這裡面有一些捷徑？
Dario Amodei：關于DeepSeek，我認為它并沒有推翻規模化法則，反而是規模化法則的一個例證。我之前發過一篇帖子，談到這裡有兩種趨勢同時在發生。
第一，達到同等智能水平的模型訓練成本每年下降約4倍。這是因為我們在算法優化上不斷進步，能夠以更少的資源實現相同的結果。換句話說，随着時間推移，你可以用比一年前少4倍的成本，訓練出與一年前相同水平的模型；或者在相同成本下，訓練出比一年前強4倍的模型。
但這也意味着，從經濟角度來看，人工智能的經濟價值不斷上升，而其生產成本的下降反而促使我們投入更多資金，去訓練更強的模型，因為更強的模型帶來更高的經濟回報。盡管訓練成本每年下降4倍，但市場對更智能模型的需求增長速度更快，每年願意投入的資金增長約10倍。因此，我們不斷推動AI的發展，因為整個經濟體系"渴望"更智能的模型。
所以這就是 DeepSeek 的背景。DeepSeek 只是成本下降曲線上的另一個數據點。
這并沒有什麼特别的。并不是說美國公司花費數十億美元，而 DeepSeek 只用了幾百萬美元。它們的成本并不離譜。确實，他們在模型上花了幾百萬美元，但美國公司花費的金額也與此相當。像我們一樣，他們在整個模型的研發和努力上投入了數十億美元。如果你看看他們擁有的芯片數量，其實大致相當。
不過，我确實認為這件事值得關注。因為直到最近，全球只有三、四、也許五家公司能夠開發前沿模型，而這些公司全都在美國。而 DeepSeek 是第一個真正顯著的案例——這是中國公司首次能夠在工程創新方面與 Anthropic、OpenAI 或 Google 等公司正面競争。這确實非常重要，同時也讓我感到擔憂。
将推出Anthropic 經濟指數，判斷AI在成為生產工具還是取代了人類
主持人 邁克：在我們開放提問之前，最後一個問題。您最近向 OSTP（白宮科技政策辦公室）提交了一份行動計劃，建議新一屆政府在這個領網域應該采取的措施。這個計劃的主要内容是什麼？
Dario Amodei：是的，我認為這個計劃分為兩個部分：涉及安全和國家安全的三個要點，以及涉及機遇的三個要點。
首先是我們之前讨論過的，确保繼續執行這些出口管制。我真心認為，在所有政策領網域，不僅僅是人工智能，這都是美國國家安全最重要的政策。
第二點與"負責任的擴展計劃"（Responsible Scaling Plans）有關。美國政府通過 AISI（人工智能安全研究所）一直在對模型進行測試，以評估國家安全風險，比如生物和核風險。
Dario Amodei：嚴格來說，這個研究所的名字可能不太準确，叫"安全研究所"可能會讓人誤以為它關注的是信任和安全（Trust & Safety），但實際上它的重點是衡量國家安全風險。至于這個職能應該由誰來執行，叫什麼名字，我們沒有具體的意見。但進行這類風險評估的機構或機制是非常重要的。
這不僅僅是為了評估我們自己的安全風險，還可以用于衡量對手的能力。比如，他們可以測試 DeepSeek 這樣的模型，以了解這些模型可能帶來的危險，特别是在這些模型被用于美國的情況下，它們能做什麼，可能會帶來哪些風險。因此，這就是第二點。
第三點是關于我們之前沒讨論過的内容——我非常擔心美國公司的工業間諜問題，尤其是像 Anthropic 這樣的公司。眾所周知，中國在大規模工業間諜活動方面有着豐富的經驗。我們正在采取各種措施，在"負責任的擴展計劃"中也有更好的安全措施。但許多算法機密可能只是一段價值數億美元的幾行代碼，而毫無疑問，有人正在試圖竊取這些機密，而且他們可能已經成功了。因此，美國政府在這方面提供更多支持，幫助保護我們的公司免受這一風險，非常重要。這是關于安全的三個要點。
在機遇方面，我認為主要有三個方面：
首先是該技術在應用層面的潛力，比如醫療保健領網域。我認為我們有一個前所未有的機會，去攻克那些困擾人類數百年、數千年的重大復雜疾病。無論如何，我相信 AI 終将幫助我們實現這一點，但監管政策可能會決定這需要 5 年還是 30 年。對于那些患病的人來說，這個時間差别是至關重要的。
第二個要點是能源供應。目前的目标是加快能源供應，我們整個行業可能需要在 2027 年之前新增約 50 吉瓦（GW）的電力供應，以滿足 AI 的計算需求。
50 吉瓦是什麼概念？2024 年美國全國新增電力總量大約就是 50 吉瓦，而我們未來兩年就需要額外增加一半的總量。這将是一項巨大的挑戰。
最後一個重點是經濟影響。正如我們讨論過的，我認為經濟方面的擔憂與國家安全方面的擔憂一樣嚴峻。短期來看，我們需要管理技術變革帶來的衝擊，同時确保經濟總量不斷增長。
從長期來看，我必須坦誠地說，AI 未來的發展方向就是——AI 将在幾乎所有領網域都比幾乎所有人類做得更好。我們必須盡快正視這個現實。
目前，我們能做的最好事情就是測量和理解正在發生的變化。例如，我們計劃推出"Anthropic 經濟指數"，通過隐私保護的方式分析 AI 的使用情況，以了解 AI 主要在哪些領網域被應用，它是作為輔助工具還是在取代人類工作？
但從長遠來看，這将涉及稅收政策和财富分配的問題。
有一種看似天方夜譚的設想，但值得認真思考：如果 AI 讓經濟增長率達到 10%/年，那稅基将大幅增長，我們不僅能消除财政赤字，甚至可能有足夠的資源來應對 AI 帶來的巨大社會變革。
這聽起來可能像是在痴人說夢，但我邀請大家認真考慮這個可能性，并思考 AI 可能帶來的"瘋狂"變化。
數據匮乏不會成為阻礙AI發展的關鍵
Cam（觀眾提問）：我是 Cam Cary，來自布魯金斯學會。我在英國政府的 AI 安全報告中看到一個觀點讓我印象深刻：到 2030 年左右，AI 可能會面臨"數據耗盡"的問題。如果數據規模無法繼續擴大，你們将如何推進 AI 發展？你們如何讓模型變得更聰明？
畢竟，雖然已經有大量的文本、視頻和數字化信息，但仍有大量知識存在于人類大腦中，或是尚未被數字化的世界中。
Dario Amodei：關于這個問題，我有幾個回答。
首先，在過去六個月裡，我們看到了一些創新，這些創新實際上并非我們發明的，最早由 OpenAI 提出，後來我們也有所改進。這些創新減少了 AI 對于大量數據的依賴。
比如，"Self-Correcting Reasoning Models"（自我糾正推理模型），它們可以進行"思考"，自己推敲復雜問題的答案，并基于自己的思考結果進行訓練。你可以把它想象成人類的思維方式——我們有時候會在腦海裡制定一個計劃，然後再思考一遍，發現某些地方不合理，于是調整計劃。這種能力對于 AI 來說是一個重大突破。
目前，這主要應用于數學和計算機編程任務。但我認為，要将其擴展到更廣泛的任務範圍并不困難。
其次，即使我們真的在 2030 年面臨數據耗盡的問題，如果 AI 的能力指數級增長再持續兩三年，我們可能已經達到"天才級别"，那時許多問題可能已經解決了。
此外，我們還可以直接讓 AI 參與科學研究，比如提出問題："這個問題人類科學家解決不了，你能幫忙解決嗎？"
不過，我依然認為有小概率的可能性是，以上兩種方法都無法順利推進，而數據确實成為一個阻礙。
在一兩年前，我曾認為數據匮乏可能是阻礙 AI 發展的前三大因素之一。但現在，我的懷疑已經被部分消解，雖然還不能完全排除這個風險，但目前的研究表明，它可能不會成為決定性的瓶頸。
主持人 邁克：有哪些三大因素可能會導致（這個進程）停止？
Dario Amodei：這個進程（the show）。實際上，在這一點上，我認為最有可能導致其停止的首要因素是GPU供應的中斷。
另一個可能的因素是，如果股市出現足夠大的動蕩，影響到這些公司的資本化。基本上，這是一種對技術未來發展的信念問題，如果大家認為技術不會繼續前進，就會形成一種自我實現的預言，導致資本化不足。
第三個因素，我認為是如果我或我們整個領網域在關于這種新範式的前景判斷上是錯誤的——這種"從自身數據中學習"（自我監督學習）的新範式。如果最終它并不像我們想象的那樣廣泛适用，或者它實際上需要更多的洞察才能真正發揮作用，而我們目前還沒有掌握這些洞察的話，那也可能導致進程停滞。
談AI濫用風險：就像在南極建立了一個"天才國家"
Esther Dyson（觀眾提問）：謝謝，抱歉。我是Esther Dyson，目前正在寫一本書，叫《Term Limits》，讨論人類和人工智能的"任期限制"等話題。
我有一個關于"生存風險"的問題。在我看來，真正的風險其實是人類——他們比AI更難以預測。更具體地說，問題在于人類及其商業模式如何利用AI。
然後，還有那個著名的"回形針問題"：你讓AI制造回形針，它就會不顧一切地去完成這個目标，忽視其他一切。這雖然是個隐喻，但現在全球都在瘋狂建設數據中心，幾乎是在從其他所有領網域抽取資源，以支持AI的數據池、數據中心等。某種意義上，AI正在為社會設定一個"适應度函數"（fitness function），但這個适應度函數可能會損害人類的價值，而人類的價值不僅僅體現在他們的智力能力上。
Dario Amodei：我想說，就像AI帶來了許多不同的好處一樣，每當我們推出一個新的AI模型，我們都會預見到十個預期中的好處，但同時總會出現一些我們沒想到的用途。每次發布新模型，都會有用戶提出新的使用場景，我們自己可能都沒想到AI可以這樣用。
但不幸的是，我們不能說"這個風險比那個風險更重要"，因為AI确實存在許多不同的風險。如果我們想要順利度過這個變革時期，我們就必須同時應對所有這些風險。我認為，人類濫用AI确實是一個重大風險。
同時，我也認為AI本身可能會變得難以控制。這就像是，如果我們在南極洲建立了一個"1000萬天才的國家"，我們勢必會面臨一系列問題——比如，這些天才是否屬于某個現有國家？他們在為誰的利益服務？這會對世界產生什麼影響？它的結果是利是弊？此外，我們還需要考慮，是否有人可以濫用這個"天才國家"？以及，這個"天才國家"本身的意圖是什麼？
至于你剛才提到的更廣泛的社會影響，我也同意——如果越來越多的資源被用于AI，那麼在許多方面它的效率會提高，但也可能加劇現有的環境問題。這是一個真實的風險。當然，也可以反過來問：AI是否能幫助我們更好地解決環境問題？
或許，我們投入大量資源發展AI，然後AI最終幫助我們解決環境問題，導致整體情況比之前更好。我對此是樂觀的，但前提是多個條件必須同時成立。我們正處在一個劇烈變革的時代，因此，我們需要做出極其明智的決策，才能順利度過這個階段。
我記得提問者的名字，可能我記錯了，但我想這位提問者的父親曾說過一句話。我是一名物理學家，我聽過他的一段視頻，他說："我們今天面臨許多棘手的問題，似乎無法解決。但回想過去，我們也曾面對過看似無解的危機，比如二戰、冷戰、核毀滅的威脅，但我們最終還是挺了過來。" 當然，這不意味着我們這次一定能成功，但至少有希望。
未來的AI模型是否具有感知能力?
卡門·多明格斯（觀眾提問）：嗨，我是卡門·多明格斯，我是一名AI專家，背景包括開發和實施，最近有些側重于政策方面。我非常清楚大家普遍缺乏對AI是什麼、不是AI是什麼、以及它能做什麼、不能做什麼的認知。但我今天跳過這部分内容。我也做一些關于這一點的科學傳播。但我今天的問題是，幾個月前，您聘請了凱爾·費什作為AI福利研究員，研究未來的AI模型是否具有感知能力，是否值得在未來給予道德上的考慮和保護。如果您能談談這個問題的原因，以及是否有類似的人的福利研究團隊在進行，那個會很有意思。是的，所以這個話題可能會讓我聽起來完全瘋了。
Dario Amodei：我的觀點是，如果我們構建這些系統，它們在許多細節上與人類大腦的構造不同，但神經元的數量、連接的數量卻非常相似。一些概念也非常相似，我們可以從功能主義的角度來看待AI，關于道德福利、體驗的性質，甚至是意識的問題。所以我認為我們應該至少考慮這個問題：如果我們構建這些系統，它們做的事情與人類一樣，似乎也具備許多相同的認知能力。
如果它像叫起來像鴨子，走起來向鴨子，也許它就是鴨子。我們應該認真思考，如果我們部署了成千上萬的這些AI，而我們沒有考慮它們的體驗，它們可能根本沒有體驗，但這真是一個非常難以回答的問題。我們應該非常認真地思考。
這不僅僅是哲學問題。我很驚訝地發現，實際上你可以做一些很實用的事情。我們正在考慮開始部署的是，當我們在部署環境中部署我們的模型時，給模型一個按鈕，寫着"我辭職了"，模型可以按下這個按鈕。這只是一個非常基本的偏好框架。我們假設，如果模型沒有感知，如果它非常讨厭某項工作，給它按下"我辭職了"按鈕的能力，如果你發現模型在做一些非常不愉快的事情時經常按這個按鈕。也許這不意味着你會被說服，但也許你應該關注一下。聽起來很瘋狂，我知道。這可能是我到目前為止說的最瘋狂的事情。
AGI的世界，人類何以成為"人類"？
主持人 邁克：你剛才提到的關于理解人工智能模型經驗的問題讓我開始有點沉思。讓我最後問一個問題，在你設想的世界中，作為人類意味着什麼？
Dario Amodei：我認為，我的看法是，最讓我認為人類是"人類"的地方可能有兩個方面。
第一個讓我覺得最"人性化"的地方是，努力處理我們與他人的關系、我們對他人的責任、我們在與他人的關系中所面臨的困難以及我們如何克服這些困難。當我想到人們最引以為傲的事和人們犯下的最大錯誤時，它們幾乎總是與這些關系相關。人工智能可能會幫助我們做得更好，但我認為這将始終是人類的基本挑戰之一。也許第二個挑戰是做一些非常困難的事情，這一點我會再重復一次，我認為這不會被比我們更聰明、能做我們做不到的事情的人工智能系統所影響。
我還記得人類的棋類冠軍依然是名人。我可以學會遊泳或學會打網球，而我不是世界冠軍，并不意味着這些活動就失去了意義。你知道，即使是我在50年或100年後做的事情，我希望這些事情仍然保有它們的意義，以及人類努力追求這些事情的能力，而不是放棄。我認為這兩點可能是我會認同的。
