今天小編分享的科學經驗：ChatGPT老板警告：AI可能滅絕人類，歡迎閲讀。
圖靈獎得主 Bengio 和 Hinton，同時警告AI 可能滅絕人類！
就在昨夜，一封籤署名單多達 350 人的公開信迅速傳播開去，信中核心只有一句話：
" 降低 AI 滅絕人類的風險 "，應該像流行病和核戰争等其它社會規模的風險一樣，成為全球的優先事項。
籤署這封公開信的，既包括三大 AI 巨頭的 CEO，即 ChatGPT 老板、OpenAI的 Sam Altman，DeepMind的 Demis Hassabis 和Anthropic的 Dario Amodei；
也包括不少國内外高校的教授，除了 Yoshua Bengio 和 Geoffrey Hinton 以外，清華 AIR 院長張亞勤和斯坦福教授、圖靈獎得主Martin Hellman等人也名列其中。
這段時間來，關于 AI 風險的各種大小讨論也是接連不斷，OpenAI CEO Sam Altman 前段時間還倡議稱，人們應當像對待核設施一樣監管 AI。
所以，究竟是誰發起的這封公開信倡議，又是否有 AI 大牛反對這件事？
為何籤署這封信？
發布這封公開信的機構名叫 Center for AI Safety（CAIS），是一家關于 AI 安全的非營利組織。
在這封公開信的開頭，CAIS 反復強調：
包括 AI 專家、記者、政策制定者和公眾在内，越來越多的人開始讨論 AI 帶來的一系列重要和緊迫的風險。
即便如此，要想表達對先進 AI 的嚴重風險，可能還是有一定難度。這封公開信旨在克服這一障礙，并展開對相關議題的讨論，讓更多專家和公眾人物認識到這一點。
事實上，已經有不少籤署了這封信的 AI 大牛，最近發了關于 AI 風險的博客文章、或是在訪談中談到了自己的觀點。
例如前段時間，Yoshua Bengio 就寫了一封長信，警告稱 " 人類大腦是生物機器，一定會有超級智能 AI 超越它 "。
除此之外，包括 Stability AI 的創始人 Emad Mostaque、以及劍橋大學助理教授 David Krueger 等人，也都在最近的訪談中提到了關于 AI 帶來的潛在危害。
例如，Emad Mostaque 認為，10 年後包括 Stability AI、OpenAI 和 DeepMind 在内，這些 AI 公司的規模甚至會超過谷歌和 Facebook。
也正是因此，AI 風險是一個必須要考慮的事情：
我們可能正處于全面變革的風口浪尖，這些變革對于任何一家公司或是國家來説都太過龐大，以至于難以管理。
沒籤的 AI 大牛怎麼説？
當然，這波鬧得沸沸揚揚的 " 請求 AI 監管 " 浪潮下，也有不少反對的聲音。
目前為止，包括另一位圖靈獎得主 Yann LeCun、前特斯拉 AI 總監 Andrej Karpathy 還有吳恩達等AI 大牛在内，都還沒籤署這封聯名信。
吳恩達發推回應稱：
當我想到大部分人類生存面臨的風險時：流行病、氣候變化導致大規模人口減少、（撞擊地球的）小行星……
AI 将是我們尋找解決方案的關鍵部分。所以，如果你想讓人類在接下來的 1000 年裏生存和繁榮，那就讓 AI 發展得更快，而不是更慢。
LeCun轉發表示同意：
" 超人級 "AI 之所以不在風險列表榜首，很大程度上是因為它還不存在。至少我們在設計出達到狗智商（更不用説人類了）的 AI 之前，讨論它的安全性還為時過早。
對此，紐約大學教授Gary Marcus補充道：
不要把框架縮小到只關注人類滅絕的風險。AI 其實還存在許多其他的嚴重風險，包括可能幫助開發生物武器等。
不過，Gary Marcus 同樣沒有籤署這份 350 人公開信。
顯然包括不少 AI 大牛在内，反對者主要有兩種意見。
一種意見認為，AI 技術确實存在風險，但這封公開信涉及到的内容太泛泛。
如果有更精确的聲明如 " 減輕 AI 技術的潛在風險應該是科技行業、政府和該領網域學術研究人員的首要任務 "，那麼這封信還是可以籤署的。
這封公開信中的内容根本就是誇大其詞了，而且 AI 在氣候變化等領網域甚至可以起到降低風險的作用。
另一類意見則認為，這封信只不過是當前掌握最領先 AI 技術的人，試圖控制 AI 接下來的走向而已。
以 OpenAI 的 CEO Sam Altman 為例：
Sam Altman 要是真的擔心，大可以現在直接關掉 ChatGPT 伺服器。
所以，你認為按照現在的進度來看，AI 有可能滅絕人類嗎？
參考鏈接：
[ 1 ] https://www.safe.ai/statement-on-ai-risk
[ 2 ] https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html?smtyp=cur&smid=tw-nytimes
[ 3 ] https://twitter.com/AndrewYNg/status/1663584330751561735
[ 4 ] https://www.reddit.com/r/MachineLearning/comments/13vls63/n_hinton_bengio_and_other_ai_experts_sign/
