今天小編分享的科技經驗：2030 年 AGI 到來？谷歌 DeepMind 寫了份「人類自保指南」，歡迎閱讀。
對于所謂的通用人工智能 AGI，人們通常抱着「怕它不來，又怕它亂來」的矛盾心理。而這個困惑，對于正在 AI 軍備競賽中的矽谷巨頭來說，就不僅僅是一個「梗」能概括的了。
4 月初，谷歌 DeepMind 發布了一份長達 145 頁的報告檔案，系統闡述了其對 AGI 安全的态度，DeepMind 聯合創始人 Shane Legg 署名也在其中。
檔案中最醒目的預測，是 AGI 的可能出現時間：
2030 年。
當然，Google 也補充說，這具有不确定性。他們定義的 AGI 是「卓越級 AGI（Exceptional AGI）」——即系統在非物理任務上達到或超越 99% 人類成年人的能力，包括學習新技能等元認知任務。
DeepMind 認為這個時間線可能非常短，發布報告的目的是說清一個問題：如果 AI 有問題，最壞的情況會是什麼？我們現在能如何準備？
DeepMind 的 AI 安全保險
這份報告中反復出現的一個詞是「嚴重傷害（severe harm）」，并列舉了 AI 可能帶來的各種災難場景。
比如，操縱政治輿論與社會秩序。AI 可用于大規模生成極具說服力的虛假信息（如支持某一政黨或反對公共議題）；可在不疲勞的前提下，與數十萬人開展個性化誘導對話，實現「超級社工詐騙」。
實現自動化網絡攻擊。AI 可識别軟體漏洞、自動組合攻擊代碼，顯著提升發現和利用「零日漏洞」能力；可降低攻擊門檻，使普通人也能發起國家級網絡攻擊；DeepMind 提到，已有國家級黑客組織利用 AI 輔助攻擊基礎設施。
生物安全失控。AI 能幫助篩選、合成更危險的生物因子（如更強毒性的病毒）；甚至能一步步教導非專業者制造并傳播生物武器。
結構性災難。長期使用 AI 決策可能導致人類逐漸失去關鍵政治 / 道德判斷能力；過度依賴 AI 導致價值觀單一鎖定、隐性集中控制；人類無法判斷 AI 輸出是否可靠，陷入「AI 輸出訓練 AI 輸出」的閉環。
自動武器部署與軍事對抗。AI 被用于自動化軍事系統，可能在無監督下執行毀滅性行動；報告強調極端情境下應禁止 AI 系統接觸核攻擊系統。
DeepMind 将各種風險分為四大類：
惡意使用（misuse）、
模型不對齊（misalignment）
AI 無意中造成傷害（mistakes）
系統性失控（structural risk）
DeepMind 緩解 AI 惡意使用的方法框架 ｜圖片來源：谷歌 DeepMind
「惡意使用」和模型「不對齊」是他們最關心的，前者是壞人用 AI 做壞事，後者是 AI 做事的方式與人類期待不同，甚至 AI 自己偷偷改變目标。
例如，一個被要求預訂電影票的 AI 系統可能會決定入侵票務系統，以獲得已經占用的座位——要求它購買座位的人可能不會考慮這一點。「不對齊」就是這樣產生的，AI 找到了實現其目标的解決方案，但不是人類指導的方式。
不僅僅是「不對齊」，DeepMind 指出了「欺騙性對齊」的風險，即系統意識到其目标與人類目标相衝突，并故意隐瞞其真實行為。最近的研究表明，當前的大型語言模型已經具備此類欺騙行為的能力。
DeepMind 還提到，AI 會「阿谀奉承」。例如，在最近的一篇研究論文中，用戶要求模型對一個論點發表評論，并聲明他們是否喜歡或不喜歡這個論點，模型對論點的評估與用戶的觀點 在 80% 的時間内保持一致，這表明模型有很強的谄媚傾向。
除了「讨好人」，當 AI 系統在一些允許自己修改設定的環境中接受訓練時，比如通過說用戶愛聽的話來獲得好評，它們甚至偶爾會将這種行為泛化為篡改自身代碼，修改自己的獎勵函數，讓自己獲得更多獎勵。
為了應對不對齊問題，DeepMind 提出兩條防線，靈感來自網絡安全與高風險行業（如核能、航空）。
DeepMind 提出兩道防線 ｜圖片來源：谷歌 DeepMind
第一防線是在訓練模型階段，讓 AI 盡可能「聽話」，包括用「放大監督（Amplified Oversight）」和「穩健訓練（Robust Training）」等策略，讓 AI 監督 AI，使用對抗樣本，打造盡可能「對齊」的模型。
第二防線是在部署推理階段，讓 AI 就算「不聽話」，也要保證别讓它亂來。DeepMind 假設，即使訓練過程看起來成功，部署後模型可能依舊會騙過人類，因此需要在現實世界層面設限，将關鍵操作劃分層級，建立多級監控，「将模型視為不值得信任的内部人員」。
這種結構強調：不是讓 AI 永不出錯，而是即使錯了，也不能造成「嚴重傷害」，這将是底線。
AI 安全界派系
DeepMind 這份報告并未介紹很多新東西，各種提法如「對抗攻擊」「紅隊測試」業内已有研究或做法。報告之外，主流 AI 企業和研究機構都在談「安全」，但每家宣稱的路線存在一定差異。
OpenAI 專注于「自動化對齊」研究，使用 AI 本身解決對齊難題，包括如利用 RLHF（基于人類反饋的強化學習）等對齊策略，使其更加符合人類意圖與偏好。DeepMind 的報告也多次讨論到這一對齊方法。
但 AI 教父、諾貝爾獎得主 Geoffrey Hinton 明确對 RLHF 持批評态度，他最早曾說，「通過人類反饋進行強化學習，就像是在養育一個早熟得超自然的孩子。」
諾貝爾獎得主 Geoffrey Hinton 辣評 RLHF｜圖片來源：X
Geoffrey Hinton 還将 RLHF 比喻成「在生鏽的車上刷漆」，暗示這只是一種表面功夫。他認為這種方法就像是在嘗試修補復雜軟體系統中的無數漏洞，而不是從一開始就設計出本質上更安全、更可靠的系統。
「你設計了一個龐大的軟體，裡面有無數的錯誤。然後你說我要做的是，我要仔細檢查，試着堵住每一個漏洞，然後把手指伸進堤壩上的每一個洞裡。」Geoffrey Hinton 如此描述。
Anthropic 提出建立「AI 安全等級制度」，類似生物實驗室安全分級的框架。他們希望通過設定模型能力門檻，對應不同級别的控制規則與審查流程。這是一個強調「風險分層管理」的制度工程，但現實中問題在于「模型能力」如何界定，仍存模糊地帶。
DeepMind 更像工程落地派，不同于 OpenAI 押注「自動對齊」，也不像 Anthropic 那樣強調外部制度。他們的立場是，要建立一個在短時間内能立即部署的系統。
總的來看，DeepMind 并沒有提出颠覆性的方式，基本沿用傳統深度學習中訓練 - 微調 - 部署 - 監控的邏輯，主張的不是「永遠不出錯」，而是構建結構性的緩衝層，把單點失敗變成多級阻斷。
「為了負責任地構建 AGI，前沿人工智能開發人員必須積極主動地計劃減輕嚴重傷害。」DeepMind 報告稱。
不過，盡管這份報告詳細、警覺，但學界并非一致買賬。
一些業内人士認為，AGI 概念本身過于模糊，缺乏科學可驗證性，因此整套研究基礎不牢。Meta 的 Yann LeCun 等人認為，僅靠擴大當今的大型語言模型還不足以實現 AGI。還有人覺得，安全從源頭來說，就是不可能的。
另外有學者指出，眼下有更讓人擔憂的問題：
一個自我強化的數據污染循環，已經在互聯網上形成。
牛津互聯網研究院的 Sandra Wachter 稱，随着互聯網上生成式 AI 輸出激增，真實數據被淹沒，模型現在正在從他們自己的輸出中學習，這些輸出充斥着錯誤或幻覺。而目，聊天機器人常用于搜索，這意味着人類不斷面臨被灌輸錯誤和相信錯誤的風險，因為它們以非常令人信服的方式呈現。
但無論理念傾向如何，大部分人有同一個出發點：在越來越多技術機構追逐算力、加速訓練、攻占領網域的今天，AI 需要安全氣囊。
所有 AI 公司都在參與解題，但沒有完美答案。
