今天小編分享的科技經驗:Google 已經被OpenAI 超越了嗎?,歡迎閲讀。
Google DeepMind 的 CEO Demis Hassabis 前段時間登上了科技媒體 The Verge 的播客節目 Decoder。
Google DeepMind 是 Google 數個月前新成立的部門。這個新成立的部門中的兩個名字對大家而言都不陌生,Google 是搜索引擎巨頭,擁有一個名為 Google Brain 的人工智能開發團隊。
而 DeepMind 則是造出 AlphaGo 的公司,它在 2014 年并入 Google,後來成為 Google 母公司 Alphabet 旗下的獨立公司之一。現在它正式和 Google Brain 合并,成為 Google 裏面的一個部門。
随着微軟投資的 OpenAI 推出 ChatGPT ,特别是必應搜索融合了 GPT 技術,首次在 app 下載量上趕超 Google 後,Google 是否在人工智能領網域落後于對手成了人們關注的話題。
在這場訪問中,主持人 Nilay Patel 在多個方面向 Demis 進行了尖鋭的提問,其中既包括 Google DeepMind 的合并原因,兩個團隊在研究方向和企業文化之間的磨合、Demis 是如何為團隊做出正确的決策、以及 DeepMind 是如何把研究成果應用在 Google 的服務等等問題。
在 Demis 的回答裏,我們可以有幸一窺這位處在人工智能行業頂端的領導者,他是如何看待人工智能工具的發展方向的?在未來人工智能變得強大的情況下,人類屆時扮演的角色是什麼?人工智能發展的風險有哪些,人類又要如何解決?
同時,Demis 也解釋了他籤署了人工智能安全中心的關于「暫緩 GPT-4 以上的人工智能開發」倡議的原因。
劃重點:
1. 人工智能走入人們視野的原因,是 ChatGPT 開始能做一些人類本身就力所能及的事情,而不是做人類做不到的事情,業内還沒認識到這是人工智能發展的一個轉捩點。
2. 未來十年内可能會見到通用人工智能的誕生。
3. 随着人工智能變得更加通用、更加復雜和強大,人工智能的安全性問題就會變得非常重要。
https://www.theverge.com/23778745/demis-hassabis-google-deepmind-ai-alphafold-risks
以下為訪談全文,APPSO 做了全文校譯。
Q: The Verge 主編 Nilay Patel
A:Demis Hassabis
Q:您好,Demis Hassabis, Google DeepMind 的首席執行官。歡迎來到 Decoder 播客節目。
A:感謝您的邀請。
Q:我想 Decoder 從未遇見比你更完美的嘉賓了。人工智能是一個偉大的想法,它一直伴随着挑戰和問題。特别是對您來説,您有一個巨大的組織結構需要調整,還要做出一系列高風險的決策。我很高興您能來。
A:很高興來到這裏。
Q:讓我們先來聊聊 Google DeepMind 吧。Google DeepMind 是 Google 的一個新部門,由 Google 現有的兩個部分組成。一個是 Google Brain —— 我們熟悉的人工智能團隊,原先由傑夫·迪恩(Jeff Dean)負責。還有 DeepMind,這是一家由你創立的公司。
2014 年你将它賣給了 Alphabet(Google 的母公司)。而你直到之前都還不是 Google 的員工。因為 DeepMind 一直是 Alphabet 内部的一家獨立公司。那從一開始的時候説起好了,為什麼DeepMind和 Google Brain 要分開?
A:正如你所提到的,我們早在2010年就成立了 DeepMind,這是很久以前的事情了,尤其是站在現在「人工智能時代」往回看的時候,這有點像史前文明時期的事情。
那時我自己和 DeepMind 的其他聯合創始人意識到,我們來自學術界,看到了學術界正在發生的事情,比如像深度學習這樣的東西剛剛被發明出來。我們是強化學習(Reinforcement Learning)的忠實擁護者。
我們可以看到 GPU 和其他硬體正在逐漸用于人工智能的發展,如果我們可以專注在通用學習系統(General Learning Systems),并從神經科學和大腦工作原理中汲取一些想法,就能在這個領網域取得巨大的發展。
因此,我們在2010年将所有這些想法結合在一起。我們產生了一個這樣的理論:我們将取得快速進展。
這就像 DeepMind 一開始透過 AlphaGo 一鳴驚人的時候發生的事情。然後,我們在 2014 年時決定與當時的 Google 聯手,因為我們發現我們需要更多的計算能力。顯然, Google 當時擁有世界上最多的計算機。對于我們來説, Google 顯然是一個能夠讓我們集中精力以最快的速度來推動研究的地方。
Q:你們被 Google 收購,然後 Google 在某個時刻調整了公司的結構。Google 公司變成了 Alphabet,而 Google 成為 Alphabet 旗下的一個部門。
Alphabet 旗下還有其他的子公司,而 DeepMind 就是其中之一。這就是我一開始很好奇的部分,因為 Google 在 Google Brain 上也做了很多大語言模型方面都研究。
我記得六年前, Google 在 Google I/O 上展示了大語言模型,但 DeepMind 當時專注于赢得圍棋比賽和蛋白質折疊(「蛋白質折疊」是一個復雜的生物學問題問題,傳統的計算方法需要花費大量時間和資源,而 DeepMind 開發的 AlphaFold 算法可以透過人工智能預測蛋白質的折疊結構),這是一種截然不同的人工智能研究,DeepMind 當時所做的研究和 Google 完全不一樣 。
為什麼DeepMind 的研究領網域和 Google 完全不同?為什麼它會存在于 Alphabet 裏面?
A:這其實是我們在被收購時達成的協定中的一部分,就是我們将持續推進通用人工智能的研究,這是一種在當時「颠覆傳統的」(Out of the Box)一個系統,它可以完成廣泛的認知性的任務,基本具備人類所擁有的所有認知能力。
此外,利用人工智能加速科學的探索也是我的個人愛好之一。這也解釋了為何像 AlphaFold 這樣的項目會存在,我相信我們很快會重新投入到這個研究項目上。但同時,從 DeepMind 成立之初,甚至在 DeepMind 成立之前,我就認為棋類遊戲是一個高效、快速開發人工智能算法的完美測試或試驗場。
在人工智能研究的早期,我們發現使用棋類是一個很好的方法,這也是我們能夠取得成功,也是我們能夠在 AlphaGo 等項目上取得快速進展的重要原因。
這些都是整個領網域非常重要的證據,來證明這些通用學習技術确實有效。當然,我們在深度學習和神經網絡方面也做了很多工作。我認為我們的專長就是将這些成果與強化學習相結合,讓這些系統能夠主動解決問題、制定計劃,就像赢得一場比賽一樣。而關于你説的 DeepMind 和 Google Brain 之間的「不同」。
我們 DeepMind 始終致力于推動研究議程,推動先進科學的發展。這是我們的工作重心,也是我想要去做的。而 Google 内部的人工智能團隊,如 Google Brain,他們的職責略有不同,更接近產品端,也更接近 Google 的其他部門,他們的重心是為 Google 的業務加入驚豔的人工智能技術。
DeepMind 内部其實還有一個應用部門,負責将 DeepMind 技術引入到 Google 產品。但是,DeepMind 和 Google Brain 的内部文化和職責是完全不同的。
Q:從外界看來,事情發展的時間軸會是這樣的:所有人都在研究這個問題很多年了,我們也在這裏談論這個問題很多變。像是一群跟我差不多的書呆子記者,還有研究人員會聊的話題,我們在 Google 發布會裏不起眼的部分談論它。
然後突然間,ChatGPT 發布了,甚至它還不是一個實體產品。我甚至不認為 Sam Altman 在發布時會稱 ChatGPT 是一個偉大的產品。
但它始終還是發布了,人們現在就可以使用它。然後微軟發布了基于 ChatGPT 的必應,就像突如其來的變天,讓大家都被吓到了。而 Google 對此作出的反應是合并 DeepMind 和 Google Brain。這就是從外面看起來的樣子。從内部看是這樣嗎?
A:時間軸是正确的,但 DeepMind 和 Google Brain 的合并不是上述一系列事情的直接後果。從某種意義上説,只能算是有點關系。Google 和 Alphabet 的運作方式是這樣的。
他們讓内部的團隊能夠「百花齊放」(Let many flowers bloom),我認為這一直是拉裏·佩奇(Larry Page)和謝爾蓋·布林(Sergey Brin)在建立 Google 的時候就開始使用的方法。
這種方法為 Google 的發展提供了很大的幫助,它讓團隊可以有機地(Organically,也用來形容公司的發展主要依靠自身努力從零開始開發,而不是只依靠收購其他公司)創造出令人驚訝的成果,一步一步走到今天,成為一家了不起的公司。在研究方面,我認為它與我們的研究工作非常契合,這也是我們在2014年選擇 Google 作為合作夥伴的另一個原因。
我覺得他們真正理解什麼是「基礎研究」和「藍天研究」(Blue Skies Research,指一些由好奇心驅動的、沒有明确目标的研究,通常無法快速商用變現),什麼是雄心勃勃的研究。
現在你們已經看到了結果,對吧?
無論從哪個角度來看,AlphaGo、AlphaFold,以及 20 多篇自然和科學論文等等成果,都是我們能夠完成的令人驚嘆的前沿研究的正常指标。在某種程度上而言,ChatGPT 、人工智能大模型、以及公眾對此的反應已經證實了人工智能的發展已經進入了一個新時代。
順便説一下,公眾對 ChatGPT 的熱情讓我們當下所有人都感到驚訝,包括 OpenAI,因為我們和其他一些初創公司,比如 Anthropic 和 OpenAI,我們都有這些大語言模型。模型的能力是大致相同的。
因此,令人驚訝的并不是技術,因為我們都了解這是什麼,我們所驚訝的是公眾對這一技術的需求,以及由此引發的熱議。我認為,這表明了我們在過去兩三年中產生的一些想法,即這些系統現在已經達到了一定的成熟度和復雜度,可以真正走出研究階段和實驗室,為令人難以置信的下一代產品和體驗提供動力,并實現突破。
比如 AlphaFold 直接為生物學家的研究服務。因此,在我看來,這恰恰表明人工智能正處于一個新的階段,即在人們的日常生活中發揮實際作用,并能夠解決真正重要的現實世界中的難題,而不僅僅是好奇或有趣的問題,比如在棋類運動中的應用之類的。
當你意識到這一轉變時,我認為你就有必要去改變研究方法,改變對產品的關注程度了。我認為我們都意識到了這一點,那就是:現在是精簡我們對 AI 研究的架構,并且應當更加專注的時候了。由此得出的結論,很明顯就是DeepMind 和 Google Brain 需要進行合并。
Q:我想在這裏停一下,問一個哲學性的問題。
A:當然。
Q:我認為今年導致人工智能讨論度突然升高的「ChatGPT時刻」,真的是因為人工智能開始能夠做一些普通人能做的事情。我想讓它給我寫一封郵件,我想讓它給我寫一個劇本,也許大語言模型輸出的内容只是 C+ (及格)的水平,但人工智能依舊能完成這些任務。人們可以看到它如何發揮作用。
我希望您填滿這份藍圖的其餘部分。哪些是人們可以想象的,未來可以讓人工智能能夠完成的事情。也許人們不具有這方面的技能,但他們可以想象這樣做。
我們之前所看到的所有人工智能技術,包括你開發的那個,能模拟全世界的蛋白質折疊的 AlphaFold,顯然他做的事情我們做不到,應該交給計算機來完成。即使是微生物學家也會認為:「這太棒了。計算機能完成這件事情。我感到非常興奮,因為我無論我們花多少時間都不可能做到像 AlphaFold 一樣。」又或者是,比如我想在圍棋上擊敗世界冠軍。但我們根本做不到,只有電腦能做到。
上面這些事情看上去都離普通人有點遠,直到我們迎來了一個轉捩點——計算機開始做普通人在做的事情了,這些事甚至不一定是最復雜的任務,像是讓人工智能通讀網頁,然後給我提供摘要,類似這樣的事情。但正正是這種簡單的任務打開了每個人的想象力。
我想知道為什麼你認為這個行業還沒有預見到這一轉變的到來?因為過去整個人工智能行業都在專注于一些普通人無法完成的、非常困難的任務上,而現在我們可以讓計算機開始做人們日常接觸到的力所能及的事情時,似乎每個人都因此得到了啓發。
A:我認為這種分析是正确的。我認為,這就是大語言模型真正能進入公眾視野的原因,因為它就像一個普通人,即大眾能夠真正理解并與之互動的東西。而語言是人類智慧和日常生活的核心,我認為這也解釋了為什麼聊天機器人會以這樣的方式走紅。
盡管我想説的是,像 AlphaFold 這樣的東西,我這麼説當然有失偏頗,但我認為它實際上對人工智能世界產生了迄今為止最明确、最大的正面影響,如果你和任何生物學家交談,或者現在有 100 萬名生物學家、研究人員和醫學家使用過 AlphaFold。我猜全世界應該有 100 萬名生物學家。
每家大型制藥公司都在使用 AlphaFold 推進他們的藥物開發。我曾與多位諾貝爾獎得主級别的生物學家和化學家交談過他們是如何使用 AlphaFold 的。
因此,可以説,世界上所有的科學家都知道 AlphaFold,AlphaFold 產生了影響力,同時也極大地加速了他們重要的研究工作。但當然,普通人甚至不知道蛋白質是什麼,也不知道這些東西對藥物發現等工作的重要性。
不過對于聊天機器人來説,很顯然地每個人都能理解,這是很不可思議的。讓聊天機器人給你寫一首詩,或者一些每個人都能理解、處理和比較的東西,與人類所能夠做的結果相比,這就顯得非常直觀。
Q:這似乎是人工智能產品的重點:這些類似聊天機器人、或生成式人工智能產品可以給人們制作一些東西(文字、圖片、視頻等),而這也是人們關注的一個人工智能的風險。
但即使是關于風險的讨論也和以往不同,因為人們現在可以看到「哦,這些工具可以完成一些事情」。當你在開發 AlphaFold 的時候,你有沒有受到同樣程度的審查?似乎沒有人認為 「天啊,AlphaFold 會毀滅人類」。
A:确實沒有人會認為 AlphaFold 會毀滅人類,但依舊有很多針對 AlphaFold 的審查。但同樣的,這是在一個非常專業的領網域,對不對?我們與一些知名專家進行了讨論。
實際上,我們确實與該領網域的30多位專家進行了讨論,從頂級生物學家到生物倫理學家,再到生物安全專家。我們和我們的合作夥伴——歐洲生物信息研究所(European Bioinformatics Institute)合作,發布了包含所有蛋白質結構的 AlphaFold 數據庫,他們也指導我們如何安全地将其公開。
因此,我們确實遇到了大量的審查,我們咨詢過的絕大多數人中,他們給出的結論是,這樣做的好處遠遠大于任何風險。盡管我們确實根據他們的反饋意見對公開的結構進行了小幅調整。
但我們還是進行了大量的審查,不過這也只是在一個非常專業的領網域。回到你第一個關于生成模型的問題,我确實認為我們正處于一個令人難以置信的新時代的開端,這個時代将在未來對五年或十年内到來。
不僅是在人工智能的科學進步上,在產品層面,我們的工作也可以改善數十億人的日常生活。我們幫助他們提高效率,豐富他們的生活。我認為,我們今天看到的這些聊天機器人僅僅是表象。
除了生成式人工智能,還有更多類型的人工智能可以造福社會。生成式人工智能現在是 「流行」事物,但我認為,規劃能力、深度強化學習、解決問題和推理等能力将在下一波發展浪潮中與當前人工智能的能力一起卷土重來。因此,我認為在一兩年後,如果我們再次讨論,我們将讨論全新類型的產品、體驗和服務,這些產品、體驗和服務将具備前所未有的能力。
事實上,我對打造這些事物感到非常興奮。這也是我非常高興在這個新時代領導Google DeepMind,并專注于打造這些人工智能驅動的下一代產品的原因之一。
Q:讓我們繼續深入了解一下 Google DeepMind 好了。突然有一天,桑達爾-皮查伊(Sundar Pichai)找到你説:「好吧,我是 Alphabet 的 CEO,也是 Google 的 CEO。我可以直接做出這樣一個決定,我要把 DeepMind 和 Google Brain 合并,然後讓你來當新團隊的 CEO」。你當時對此有何反應?
A:事實不是這樣的。更多時候其實是各個相關團隊的領導和桑達爾·皮查伊之間的讨論,内容關于我們所看到的發展拐點、系統成熟度、產品領網域的可能性,以及我們可以如何改善數十億用户的體驗。
這聽起來很讓人興奮,還有作出合并這個決定的其整體的條件。研究重點的改變、研究方法的改變、必需資源(如計算資源)的組合。因此,我們作為一個領導團隊讨論了很多需要被考慮到的因素,然後得出結論,采取行動。這就包括合并 DeepMind 和 Google Brain,以及未來幾年的計劃和合并後的部門的工作重心。
Q:在 Google 内部擔任 CEO 和在 Alphabet 擔任 CEO 有什麼不同嗎?
A:現在説這個還為時尚早,但我認為應該都差不多,因為雖然 DeepMind 過去是 Alphabet 的一家公司,但卻跟其他「Bet」(指 Alphabet 旗下的其他公司)很不一樣,他們把我們稱為一個「Alpha Bet」 ,即我們已經與許多 Google 產品領網域的團隊和小組緊密結合和合作。
在 DeepMind 内部有一個應用團隊,他們的工作就是負責與 Google 的產品團隊合作,将我們的研究成果轉化為產品功能。因此,在過去幾年中,我們已經成功發布了數百個產品,只是 DeepMind 在幕後顯得默默無聞。事實上,你每天在 Google 使用的許多服務、設備或系統中,都會有DeepMind 技術的身影。我們已經有了這種整合結構。當然,我們因科學進步和遊戲進步而聞名,但在幕後,還有很多影響 Google 所有部門的基礎工作在進行。
我們與其他「Bets」不同,其他「Bets」必須在 Google 之外建立獨立的業務。即使我們之前也是一家獨立的公司,但我們不需要獨立于 Google 開展業務。現在,在 Google 内部,我們在產品服務方面更加緊密地和 Google 進行整合。
我認為這是一個優勢,因為我們實際上可以比那些 Google 以外的公司更深入地與其他產品團隊緊密合作,做更多令人興奮和雄心勃勃的事情。但我們仍然保留了一定的自由度來決定工作流程,讓我們能繼續聚焦在我們最初的使命上,即生產世界上最有能力和最通用的人工智能系統。
Q:有報道稱,其實 DeepMind 和 Google 之間存在企業文化衝突。您現在同時負責兩家公司。你是如何把這個團隊組織起來的?在你擔任 CEO 期間,Google DeepMind 是如何構建的,你又是如何管理兩家公司的企業文化融合的?
A:事實上,我們之間的企業文化的相似性比外界報道的要高得多。而結果就是,我們的合并過程是出乎意料地順利和愉快。因為兩個都是全球性的研究團隊,兩個世界上最好的人工智能研究機構,雙方都擁有最頂尖的人才和豐富的發展史。
在我們考慮和計劃合并的過程中,我們看了一些檔案,其中列出了兩個團隊在過去完成的十大突破。
從總體上看,在過去十年中,從深度強化學習到Transformers,80-90% 我們達成的突破都支撐着現代人工智能產業。這是一支不可思議的團隊,我們都非常彼此尊重。實際上,在過去十年中,雙方已經在項目層面上開展過大量合作。
所以,事實上我們都非常彼此了解。我只是認為這實際上是兩個團隊之間的關注點和相互協調的問題,更多時候,我們都在讨論我們之後要關注在哪個領網域的發展、兩個獨立團隊合作的其他地方是否有意義,也許我們之前會有一些重疊的工作範圍,而我們需要去除掉。老實説,這些都是顯而易見的事情。
更重要的是,現在我們正在進入人工智能的工程階段,這需要巨量的資源,包括計算、工程還有其他方面的資源。即使是像 Google 這樣規模的公司,我們也必須謹慎地選擇我們的賭注,并清楚「我們将把我們的木頭放在哪些箭頭後面」(編者按:「把更多的木頭放在一個箭頭後」意為「集中力量把單一產品做到最好更容易成功」,在文中指 Google DeepMind 需要決定集中力量把資源投入到哪些研究中),然後專注于這些「箭頭」上,然後大規模地取得成果。因此,我認為這是人工智能發展進程中自然演進的一部分。
Q:你談到的 「我們要把這些團隊合并起來,找到研究的方向,還有去掉一些重疊的工作範圍」。這些看起來都是結構性的問題。所以你們是否已經決定好了一個新的團隊架構?這個架構會是怎樣的?
A:架構目前還在調整中,我們才剛剛合并了幾個月。我們想确保我們沒有搞砸任何事情,确保這個架構是正常運作的。兩個團隊都非常高效,進行着非常出色的研究,同時也參與了非常重要的產品上的業務。我們會繼續努力進行下去。
Q:我聽你一直在説兩個團隊。你是把它看作兩個團隊,還是想整合一個團隊?
A:不,不,我沒有把他們看作兩個團隊,這肯定是一個統一的團隊。我喜歡稱之為 「超級團隊」(super unit),我對此感到非常興奮。但很明顯,我們仍在整合,形成新的團隊文化,組建新的團隊,包括組織結構。
将兩個大的研究小組這樣組合在一起是一件復雜的事情。但我認為,到今年夏天結束時,我們就會成為一個統一的實體,我認為這将非常令人興奮。我們已經感受到了,在剛整合的幾個月裏面,我就發現我們的優勢和長處已經體現在 Gemini 這樣的項目上。
您可能聽説過 Gemini,這是我們的下一代多模态大型模型。現在 Gemini 正在進行一些非常、非常令人興奮的工作,将兩個世界級研究團隊的所有最佳想法結合起來。這真是令人印象深刻。
Q:您還有很多的決策要去完成。你所描述的是一系列復雜的決策。然後,在世界上,我們應該如何監督這些工作是如何執行的?看起來也是一系列非常復雜的決策。
你是國際象棋冠軍,一個棋手。您的決策框架是什麼?我懷疑它比我聽到的其他框架要嚴謹得多。
A:是的,我想可能是的。我認為,如果你從四歲開始就認真地、有效地、專業地玩類似象棋的遊戲,我認為它對你的大腦非常有幫助。因此,我認為,在解決問題和制定戰略上,國際象棋中的策略對很多事情來説,都是非常有用的一種框架。
國際象棋的本質就是在對手的壓力下做出決策,它非常復雜,我認為這是一件非常棒的事情。我主張在學校裏教學生們國際象棋,将其作為學校課程的一部分。因為我認為國際象棋是解決問題和決策的絕佳訓練方法。但是,我認為實際上最重要的方法是科學方法。
因此,我認為我在攻讀博士、博士後,以及在神經科學領網域進行的其他教育。我在學習有關腦科學的知識的同時,也教會了我如何進行嚴格的假設檢驗和假設生成,然後根據經驗和證據進行更新。
科學上的研究方法以及國際象棋的策略,都可以轉化并用于商業領網域。你必須聰明地思考如何才能轉化這些能力,你不能在這些事情上做學術研究。通常,在現實世界中,在商業領網域,有很多不确定性和你不知道的隐藏信息。但是在國際象棋中,所有的信息都在棋盤上,因此你不能直接轉化這些能力。但我認為,如果應用得當的話,在某些方面它們會非常有幫助。
Q:在您做出的一些決定中,您是如何将這兩者結合起來的?
A:我每天都要做很多決定,現在很難立刻拿出一個例子來説清楚是怎麼結合起來了。但我傾向于在很多很多年前就開始計劃要做一個什麼樣的決策。所以我會告訴你,我處理事情的方式是,我會設定一個最終的目标。
我很擅長想象,這是一種不同的技能——去想象一個完美的結果是什麼樣子的,無論是基于組織、基于產品還是基于研究。然後,我再從終點出發,找出實現結果需要采取的所有步驟,并按順序重新排列,然後盡可能地實現這一結果。
我覺得這有點像是在下棋?從這個意義上説,你有一些計劃,你想把你的對手「将死」,但你離那個目标還有很多步。那麼,為了提高勝利的可能性,我們必須做哪些漸進的事情來調整棋子的布陣呢?我發現從最終目标回到當前狀态的搜索過程非常有用。
Q:讓我們接下來來聊聊產品吧。你説有很多 DeepMind 技術和很多 Google 的產品。現在大家都注意到的是 Bard 和你的「搜索生成體驗」(Search Generative Experience)。
在Google Photos 還有其他類似的產品中都有人工智能的存在,但專注于大語言模型的是Bard和搜索生成體驗。這些不可能是你們想要的最終成果,顯然還沒有完成。Gemini 即将到來,我們可能會透過新技術來改進這兩項功能,所有事情都存在可能。所以,當你考慮這些產品的最終形态時,你認為它們看起來是怎樣的?
A:圍繞 Google 的人工智能系統也不僅僅是指的是面向消費者的產物,還包括你可能沒有意識到的「引擎蓋下的東西」(Under the hood,藏在表面下深層次的本質)。
例如,我們最初将人工智能技術應用于谷歌數據中心的冷卻系統裏,這是一個巨大的數據中心,我們的 AI 讓冷卻系統的能耗降低了近 30%,如果将所有的數據中心和計算機節省下來的能耗來算的話,這是一個巨大的數字。實際上有很多事情都在利用人工智能來提高這些系統的效率。
但你説得對,目前的產品還不是最終形态,它們實際上只是發展路上的「路标」而已。用聊天機器人和類似這樣的 AI 作為例子的話,就是它們最終将成為強大的通用型個人助理,你每天都會使用它,讓它在日常生活中做一些幫助你的事情。
從閲讀書籍到推薦演唱會,從預訂旅行到為您規劃行程,再到協助您完成日常工作。我認為目前的聊天機器人離這個目标還很遠,我認為我們知道還缺少什麼:規劃、推理和記憶,我們正在這些朝着這些方面進行努力。我認為,也許再過幾年你就會發現倒閉時候的聊天機器人,會讓現在的聊天機器人的能力顯得微不足道。
Q:我之前是一個研究計算機的人。我認為計算機是一個模塊化系統。比如手機,它有螢幕、芯片、手機天線等等。
我是否可以同樣地認為人工智能系統也是如此——它有一個大語言模型,有一個能説服人類的語言界面、它的底層可能是AlphaFold,它實際上在進行「蛋白質折疊」?這是你所想象的把不同東西縫合在一起的方式嗎,還是説 AI 會有一種不同的進化途徑?
A:實際上,我們有一整個部門就是在研究所謂的「工具運用」。我有一種想法就是説,即這些大型語言模型或大型多模态模型,他們是「語言」領網域的專家,也許它們還有一些其他方面能力,比如數學或者編程。
但是,當你要求它們做一些專業的事情時,比如「折疊蛋白質」或「下棋」之類的事情,那麼實際上它們最終要做的事情是調用另一個工具,也有可能是另一個 AI ,然後就着這個特定的問題為人類提供解決方案。之後再通過中央大語言模型,以語言或影像的方式将答案傳回給用户。
因此,用户實際上可能看不到那些幫你解決問題的 AI 工具。因為對用户而言,它看起來就像一個擁有多種功能的大型 AI ,但在其内部,人工智能系統實際上可能被分解成具有不同專業化功能的小型系統。
實際上,我認為下一個時代的系統可能會出現這些功能。然後,您可以将中央系統視為一個開關語句,您可以有效地使用語言進行提示,然後它就會将您的問題傳遞給正确的工具,為您解決問題或提供解決方案。然後以一種非常容易理解的方式将其傳送回來,比如通過用户界面,使用自然的語言,這是最好的方法。
Q:這個過程會讓你的產品更接近通用人工智能嗎?還是説它會發展到一個大致的極限形态,然後我們不得不換個途徑來繼續推動通用人工智能的發展?
A:我認為這是達成通用人工智能的關鍵步驟。順便説一下,這也是我對 Google DeepMind CEO 這個職位感到非常興奮的另一個原因。事實上,我認為從現在開始的產品路線圖和研究路線圖,對朝向通用人工智能或相當于人類思維級别的人工智能的發展目标是非常互補的。
為了構建那些在日常生活中有用的產品,比如通用助手,我們需要推動某些關鍵能力的發展,例如規劃、記憶和推理,我認為這些能力對我們實現通用人工智能至關重要。因此,我認為產品和研究之間現在存在着非常巧妙的相互影響,它們可以有效地互相幫助。
Q:在這個播客節目剛起步的時候,我邀請了很多汽車公司的 CEO 來擔任嘉賓。我問他們,「你們認為我們什麼時候會有自動駕駛汽車?」他們都説五年後,但五年之後他們還在一直説再等五年,對嗎?
A:是的。
Q:我想把這個問題套在「通用人工智能」上,我覺得最近我跟越來越少人讨論這個問題了。你認為我們還有多少年才能達到通用人工智能的水平?
A:我認為在達到通用人工智能之前,需要多少次重大突破還存在着很大的不确定性。這些突破可能是革命性的、創新性的突破,而不僅僅是對現有解決方案的擴展。如果要説大致時間範圍的話,我覺得取決于還有多少突破要實現。
顯然,如果還需要很多重大突破,那麼就會更加困難,需要更長的時間來實現。但就目前而言,如果在接下來的十年内我們接近了類似于AGI或類似AGI的水平,我并不會感到驚訝。
Q:下一個十年...好吧,十年後我再來找你。我們要看看是否會發生。
A:當然可以
Q:但發展的過程不會一帆風順。你稱之為「關鍵路徑」(Critical Path)。而沿途會有一些需要突破的點,可能會打亂過去的發展,讓你沿着不同的道路前進。
A:研究從來不會一帆風順。如果是的話,那就不是真正的研究。如果你在開始研究之前就知道答案,那也不是研究。無論是有目的的研究還是更前沿的「藍天研究」總是存在不确定性的,這也是為什麼你無法真正準确預測時間表的原因。
但我們可以看趨勢的發展,看看當今正在進行的想法和項目的質量,觀察它們的進展情況。我認為在接下來的五到十年裏,會有兩種可能性。我們可能會趨近于某個極限,可能會在現有技術和擴展方面遇到瓶頸。
如果這種情況發生,我也不會感到驚訝:「我們可能會發現僅僅擴展現有系統會導致系統性能的遞減收益」(編者:指我們只依賴過去的研究成果來對現有的AI進行擴展可能會導致發展速度變慢。有可能需要颠覆性的創新,才會再次迎來高速發展)。
而實際上,這也預示着我們确實需要一些創新來取得進一步的發展。目前,我認為沒有人知道我們正處在發展的哪個階段。因此,答案就是你必須盡可能地推動兩方面的發展,既要對現有系統和現有理念進行擴展和工程化,也要對探索性研究方向進行大量投資。
你認為這些方向可能會帶來創新,從而解決現有系統的一些弱點。我們作為一家擁有大量資源的大型研究機構,我們其中一個優勢就是可以最大限度地投入在這兩個方面,某種意義上來説,我對 「我們是否需要更多突破,或者現有系統是否能一直擴展下去?」這個問題上持中立态度。我的觀點是,這是一個經驗問題,我們應該盡可能地推動這兩個方面的發展。然後結果将不言自明。
Q:我覺得現在存在一種尖鋭的矛盾,就是當你在 Alphabet 的 DeepMind 工作時,你非常專注于研究,然後把研究成果交給 Google , Google 的工程師将其轉化為產品。
你可以看到兩家公司之間的關系是如何運作的。現在,你已經在 Google 内部了。而作為一家公司, Google 目前面臨着巨大壓力想要赢得人工智能的競争。這些都是產品方面的問題。
這些都是 「讓人們感受到是真實的,并且能在市場上取得競争優勢的東西」。此前,有一份泄露的備忘錄流傳開來,據信是來自 Google 内部。
它説 Google 沒有「護城河」,開源的人工智能模型或泄露出來的模型将在人們的筆記型電腦上運行,它們遲早比我們自己做的人工智能模型要厲害,因為開放計算的歷史會超越閉源的競争對手。這份備忘錄是真的嗎?
A:我傾向于認為那份備忘錄是真實的。我認為 Google 的工程師們經常會撰寫各種檔案,有時這些檔案會被泄露并傳播開來。我認為這只是一個經常發生的事情,但我不會把它太當回事。這些只是工程師們自己的觀點。我認為聽聽他們的意觀點很有意思,但你必須制定自己的發展路線。
我沒有詳細閲讀那份具體的備忘錄,但我不同意其中的結論。我認為開源和公開對我們來説是非常顯而易見的。在 DeepMind 的發展史上,我們已經做了很多這樣的事情。我的意思是,AlphaFold 就是開源的,對吧?
所以,我們顯然相信開源,支持研究和開放性研究。這是科學讨論的關鍵内容,而我們一直是其中的重要一部分。當然,Google 也在發布 Transformer 和其他一些項目。還有 TensorFlow,你可以看看我們都做過什麼。
我們在這一領網域内做了大量的工作。但我也認為還需要考慮其他因素,顯然有商業上的考量,但也有關于訪問這些強大的 AI 時的安全問題。如果壞人可以訪問它怎麼辦?他們可能沒有那麼高的技術水平,所以他們不可能自己開發一個 AI,但他們肯定可以重新配置一個已經存在的系統。
對于這些情況應該怎麼辦?我認為這個問題迄今為止還相當理論化,但是随着這些系統變得更加通用、更加復雜和更加強大,這個問題就會變得非常重要。這個問題要求我們要有方法來阻止壞人把這些系統用于非預期的惡意目的。
這是我們需要越來越多地考慮的問題。但回到你的問題上來,看看谷歌和DeepMind在過去十年或更長時間内在提出新創新和突破方面所做的歷史。我敢打賭,我非常有信心,這種情況将在未來十年甚至更長時間内持續下去,我們将繼續創造出下一個重要突破,就像我們過去所做的一樣。
Q:你是否認為這就是 Google 的「護城河」:我們發明了大部分這代產品,所以下一代的產品也将由我們發明
A:我不認為這是 Google 的「護城河」,但我是一個好勝的人。這也許是我從國際象棋中得到的另一個啓發,許多研究人員也是如此。當然,他們這樣做是為了探索知識。歸根結底,我們存在的目的就是為了改善人類的生存條件。
但同時,我們也希望成為行業裏第一個做這些事情的人——負責任且地去做。相比世界上任何一家其他公司,我認為我們擁有世界上最多的優秀的研究人員。我們沒有理由不在未來繼續保持這一優勢。事實上,我認為我們的新組織結構和新環境可能更有利于我們,讓我們能取得比過去更多更快的突破。
Q:剛才我們也聊到了風險和監管。所以我也想談談這個問題,但我想從另一個角度開始。你在談論所有你們必須要完成的工作。你談論了 DeepMind 研究的強化學習還有他的工作原理。
我們與《紐約雜志》(New York Magazine)合作撰寫了一篇大型封面報道,講述了實際進行訓練和标注數據的任務執行者的故事。在人工智能的發展過程中,有很多跟勞動力有關的話題。比如好萊塢的編劇們現在正在罷工,因為他們不想未來讓ChatGPT寫一堆劇本。我認為這是恰當的。
但同時一種新的勞動方式也在逐漸發展,世界上有一群人坐在電腦前説:「沒錯,那是個停車标志。不,那不是停車标志。是的,那是你可以穿的衣服。不,那不是你能穿的衣服。」(這裏指的是「數據标注師」的職業)
那會是要長久持續下去的狀态嗎?還是説這些是因為 AI 的發展而產生的新工作呢?換個問法,這種工作形态會結束嗎?
A:我認為很難説。我認為現在确實是一個特定的時刻,我們需要這些工作者,這與 AI 目前的需求有關。我想你在那篇文章中也引用了我們一些研究人員的觀點,我們一直非常謹慎,只是從我們的角度來説,要非常小心地支付合理的工資,并負責任地處理此類工作,對我們的合作夥伴負責。
我們也有内部團隊在負責這些事情。實際上,我對我們在此類工作中的負責态度感到非常自豪。但展望未來,我認為這些系統可能會有自我啓動的方式,特别是當您擁有數百萬用户時。或者,我們可以想象人工智能能夠真正實現與自我對話或自我批評。
這就有點像把語言模型的系統變成一個類似遊戲的環境,當然,我們在這方面非常有經驗,我們一直在思考這些強化學習系統的不同版本如何以某種方式相互評價對方。它可能還不如人類評分員那麼好,但它實際上是一種可行的方案。
它們可以進行一些「面包和黃油」(Bread and butter,基礎的)的評分,最後可能通過與人類評分員核對這些評級來進行校準,而不是讓人類評分員負責評級所有内容。所以我認為我可以看到很多創新正在逐漸出現,這将有助于解決這個問題,并且可能意味着人類評分員的需求會減少。
Q:但你認為人類評分員會一直存在嗎?即使你越來越接近通用人工智能,似乎也還是需要有一個人來告訴計算機它是否正确。
A:讓我們以 AlphaZero 作為例子,我們的通用對弈系統最終學會了如何玩各種雙人棋類遊戲,包括國際象棋和圍棋。這很有趣,因為我們設定了讓系統能夠與自己對弈數千萬次。事實上,它建立了自己的知識庫。
它從一開始只是在随便行棋,然後通過與自己對弈,進行自我引導。最終訓練出更好的自己然後讓它們相互對弈進行比賽。但最後,您仍然希望将其與人類世界冠軍或類似的外部計算機程式進行對比,這些程式是以傳統方式構建的,以便您可以校準自己的指标,根據這些目标或指标判斷系統的改進情況。
但在你使用外部基準或度量進行校準之前,你無法确定。而校準的标準可以是人工評級員或人工基準,人類專家通常是将内部測試與之對比的最佳選擇。你需要确保确保内部測試實際上反映了現實情況。
再次強調一點,對于研究人員來説,這對產品來説是相當令人興奮的,因為當你将研究成果轉化為產品,并有數百萬人每天使用它時,那時才能獲得真實世界的反饋,這是不可回避的現實,也是對你所構建的任何理論或系統的最佳測試。
Q:您認為為人工智能數據标注師這項工作有意義嗎?有一種觀點類似像這樣就是,「我要告訴計算機如何理解這個世界,這樣它就可能在未來取代其他人」。這裏面有一個循環,似乎更值得道德或哲學上的思考。你曾經試過花時間思考這個問題嗎?
A:是的,我想過這個問題。我想我并不這麼認同這種觀點。我認為,評分員們正在做的是使這些系統變得更安全、對每個人更有用、更有幫助、成為更可靠的開發周期的一部分。所以我認為他們是一個關鍵的組成部分。在許多行業裏,我們都會對技術和產品進行安全測試。
而對 AI 來説,最好的方法就是有人工評分員的參與。我認為,在未來幾年,我認為我們在這方面還需要更多的研究。我一直在呼籲這樣做,包括我們自己也在這樣做,但這需要的不僅僅是一個組織來做這件事,而是要有一個強大可靠的能力評估标準,以便我們知道如果系統通過了這些基準,它具備某些特性,并且在特定方面是安全和可靠的。
而現在,我認為我們在學術界、民間社會和其他領網域的研究人員,他們都對這些測試提出了很多好的建議,但我認為這些建議還不夠穩健和實用。
我認為它們基本上是理論性和哲學性的,我認為它們需要變得更加實用,這樣我們就可以根據這些測試來經驗性地衡量我們的系統,從中為我們的系統性能提供一些保證。我認為一旦我們有了這些測試方法,那麼對人類評分員需求就會減少。
我只是認為,由于我們還沒有這些獨立的基準,所以我們現在才需要大量的人類評分員。部分原因是我們還沒有嚴格定義這些特性是什麼。我的意思是,這幾乎是神經科學、心理學和哲學的領網域,對于人腦來説,這些術語甚至還沒有得到恰當的定義。
Q:你已經籤署了一封來自人工智能安全中心的聯名公開信,包括 OpenAI 的 Sam Altman 在内的其他業内人士也籤署了這封有關人工智能帶來的風險的警告信。
然而,你剛才卻在説「我們還在繼續推進,谷歌已經在參與市場競争,你必須赢的這塊市場,你把自己描述為具有競争力的公司」,所以這其中是否存在一種矛盾?一方面你需要通過產品赢得市場,但另一方面你卻認為 「哦,天哪,請監管我們,因為如果我們不以某種方式阻止人工智能,資本主義将把我們都推下懸崖」。你是如何平衡這種風險的?
A:這确實是一個矛盾,或者説是具有創造性的矛盾。我們在 Google 常説我們要「既大膽而又負責任」。這正是我們試圖做到的榜樣。所謂的「大膽」是指我們勇敢和樂觀地看待人工智能能夠為世界帶來的益處,驚人的、巨大的好處。他們會協助人類應對最大的挑戰,無論是疾病、氣候還是可持續發展。
人工智能在幫助科學家和醫學專家解決這些問題方面起着重要作用,我們正在努力研究和投入這些領網域。正如我之前提到的 AlphaFold,它是我們在這方面所努力的典範。這就是我們「大膽」的一面。而「負責任」指的是我們盡可能審慎和帶有充分的遠見來工作。
我們要事先盡量預見如果我們取得成功之後可能會出現的問題,而不是當一個「事後諸葛亮」。這似乎在社交媒體市場就發生過,這是一個令人難以置信的增長故事。
顯然,它在世界上做了很多好事,但後來我們意識到在這些系統中也存在一些意想不到的後果,這可能是15年後的事情。我希望在 AI 領網域我們要走一條不同的道路,這将會是一個影響深遠且重要的強大技術。
我認為對于像 AI 這樣具有改變世界的潛力的技術,我們不得不這樣做。這并不意味着我們不會不會犯錯誤。這是一項非常新穎的事物,你無法預測所有事情。但是我認為我們可以盡力而為,做到最好。
這就是籤署這封信的目的,只是為了指出,我不認為這是不可能的。我們不确定它會什麼時候到來,但這是我們應該考慮的事情。當我們接近實現通用人工智能的時候,這些 AI 會做出什麼事情和可能做出什麼事情。
盡管我們現在還遠遠沒有達到這個水平。因此,這不是今天的技術問題,甚至也不是未來幾年的技術問題。但在某個時間點上,因為技術的飛速發展,會促使我們需要提前思考這些問題,而不是在這些問題快要發生的時候才開始思考。
我們需要利用現在的時間,也許是未來的5年、10年,不管是多少年,去做研究,去做分析,并與不同的利益相關者、民間團體、學術界、政府合作,以确定在這些技術迅速發展的同時,能最大程度地實現好處并最小化任何風險。
在當前階段,這主要包括加大對這些領網域的研究力度,例如制定更好的評估和基準,以嚴格測試這些前沿系統的能力。
Q:你談到了人工智能模型的工具使用,你可以要求大語言模型做一些事情,它就會去要求次級的模型,比如 AlphaFold 為你折疊蛋白質。
當這樣的系統被整合起來時,歷史上就出現了出乎意料的行為,出現了無法預測的事情。您會對此感到擔憂嗎?因為目前沒有一種嚴格的測試方法。
A:是的,完全正确。我認為這正是我們應該提前研究和思考的内容:随着工具使用的日益復雜化,您可以以不同方式将不同的AI系統組合在一起,然後讓他們做更多新的東西。
當然,這種新的東西可能是非常可取且極其有用的,但假如落在錯誤的人手中、或者遇到惡意的使用者,它也有潛在的危害性。
Q:比方説,一些大國都同意制定一些框架來規範人工智能,然後有些人説:「我才不管你的什麼規則。」然後他們專門利用人工智能幹一些壞事。你認為到時候結果會怎樣?你能預見這樣的世界嗎?
A:是的,我認為這是存在一定可能性的。這就是為什麼我一直在與政府進行對話,主要是英國、美國,以及歐盟。我認為在未來幾年内,無論是什麼樣的法規、約束或者其他形式的措施,最理想的情況下它們應該是國際性的,圍繞這些安全措施進行國際合作,并達成國際協定,以确保 AI 的部署以及其他相關事宜都符合規定。
不過,考慮到當前世界各地的地緣政治緊張局勢,我不知道有多大可能性可以達成國際性的合作,但這絕對是最好的狀态。如果可能,我們應該争取實現這一點。
Q:如果政府在這裏通過一項規則。它説:「OK,我們規定了 Google 可以這麼做,而微軟可以那麼做。你負責這個...你負責那個」。然後大家都説:「好吧,我們不會在我們的數據中心運行這些代碼。我們不會使用這些功能,因為這不合法」。
但如果你只是一個 MacBook 用户,你會因為 AI 可怕的的威脅而默默接受 MacBook 的功能受到控制嗎?這正是我所擔心的。實際上,如果我們确實有存在一些開源的大模型,我們沒法保證人們不會用它們來做奇怪的事情。
我們是否應該告訴英特爾,讓他們限制其芯片的功能?我們該怎麼做,以便能限制所有人不會胡亂使用人工智能?而不是説,如果 Google 做了我們不喜歡的事情,那麼我們就只把 Debis 你一個人扔進監獄就完事了。
A:我認為這些都是目前正在讨論的重大問題。我确實在擔心這個問題。一方面,開源有很多好處,可以加速科學讨論,帶來許多進步,并且為許多開發人員提供了機會。
但另一方面,如果有一些不良分子利用這種機會做壞事,可能會帶來一些負面影響。我認為這是未來幾年需要解決的問題。因為現在,我認為沒有問題,因為系統還沒有那麼復雜或強大,因此沒有那麼大的風險。
但我認為,随着系統的功能和通用性的增強,政府需要考慮訪問限制的問題,包括如何限制、控制或監控都非常重要。我無法給出任何答案,因為我認為這實際上是一個社會問題,需要整個社會的利益相關者走到一起,權衡其中的益處和風險。
Q:Google 在人工智能方面的工作确實引起了一些争議,圍繞關于責任、模型的能力與限制等問題。艾米麗·本德(Emily Bender)、蒂姆尼特·格布魯(Timnit Gebru)和瑪格麗特·米切爾(Margaret Mitchell)發表了一篇著名的 「随機鹦鹉」(Stochastic Parrots)論文,在 Google 内部引起了很大争議。這導致了他們最後離開了 Google 。
你是否讀過那篇論文,然後覺得 「好吧,這是正确的。大語言模型會對人們撒謊,而 Google 要對此負責」?在現在的審查環境下,你是如何思考這個問題的。
A:是的...你看,大型語言模型,我認為這是 Google 一直非常負責任的一個原因,因為我們知道他們會產生錯誤的信息,他們可能是不準确的。這也是未來幾年必須改進的關鍵領網域之一,那就是事實性和基礎性,确保它們不會傳播虛假信息等等。這也是我們最關心的問題。
我們有很多關于如何改進的想法。我們在幾年前發布 DeepMind 的 Sparrow 語言模型,就是一項實驗,旨在研究我們可以讓 AI 提供盡可能準确的事實并遵從設定好的規則。結果表明,我們或許可以将其提高一個數量級,但這有時會以犧牲語言模型的流暢性或創造性為代價,從而影響其實用性。
因此,這有點像「帕累托最優解」(Pareto Frontier, 最理想化的資源分配狀态,在文中的意思大致為:盡管 AI 的創造力、流暢度和準确性、可靠性無法做到二者兼得,但可以權衡出一個同時兼顧兩者的最優解),如果你提高了一個維度,就會降低另一個維度的能力。
理想情況下,在下一階段和下一代系統中,我們希望将兩者的優點結合起來——既保持現有系統的創造性、流暢度和趣味性,又提高其準确性和可靠性。我們在這方面還有很長的路要走。但我可以看到情況在不斷改善,而且我看不到任何理論上的理由,來解釋為什麼 AI 不能在未來幾年内達到極高的準确性和可靠性。
Q:當您使用 Google 搜索生成體驗時,您相信它所説的嗎?
A:我相信。我有時會再三檢查它輸出的内容,尤其是在科學領網域。很有趣的事,所有這些模型都會出現一種情況。就是,你會讓它們總結一個研究領網域。
他們會給你生成一些看似非常有用的東西,然後你去問它:「那麼,我應該讀哪些重要論文?」它們會給出一些聽起來非常合理的論文和作者。但當你仔細查看時,你會發現它們只是該領網域最有名的人或者兩篇不同論文的标題組合在一起。
但作為一個短句或詞組,他們看起來非常符合邏輯(但根本不是論文題目)。我認為 AI 系統需要理解引文、論文和作者列表是一個整體,而不是逐字分析。
這些系統需要改進的地方有很多,而我們作為希望推動科學前沿的人,這是一個特别有趣的應用場景,我們希望能夠改進和修復它,也是為了滿足我們自己的需求。
我希望這些系統能夠更好地為我總結出「這是關于某種疾病閲讀的前五篇論文」之類的内容,或者快速為你介紹某個特定領網域的基本知識。我認為這将非常有用。
Q:我告訴你,我在 Google 上搜索了我的朋友約翰-格魯伯(John Gruber),Google 搜索生成體驗自信地告訴我,他是在報業上嘗試使用 Mac 的先驅,并且發明了WebKit。
我不知道這些話從何而來。在向大眾推廣之前,是否這個功能本身需要達到一定的質量水平和真實性水平?
A:是的,我們一直在考慮這個問題,尤其是在Google,因為Google在搜索等方面有着非常的高标準,我們每時每刻都在依賴這些标準,并希望能達到那樣的可靠性水平。顯然,目前我們離這個目标還有很長的路要走。事實上也不僅是我們,每個生成式 AI 都是如此。
我們也希望能夠達到向以前 Google 搜索業務那樣的業内最高标準。實際上,工具使用在這裏變得非常有用,您可以通過構建這些系統使它們首先進行事實核查,甚至使用搜索或其他可靠的來源進行交叉引用,就像一個優秀的研究人員一樣,交叉引用您的事實。他們甚至對這個世界有更好的理解,什麼是研究論文?涉及哪些内容?
因此,這些系統需要對其處理的媒體有更好的理解。也許還應該賦予這些系統推理和規劃的能力,因為這樣它們可以對自己的輸出進行批判性評估。再次強調,這是我們在棋類遊戲的程式中擁有豐富經驗的領網域。
它們不僅會輸出你在國際象棋或圍棋中首先想到的第一步,實際上它們會進行一些搜索和規劃,然後再回溯。有時候它們會改變主意,選擇更好的一條路。您也可以想象在詞語和語言方面采用類似的過程。
Q:這就是「模型坍縮」(Model Collapse,指在訓練生成模型時,模型生成的輸出變得重復、無意義和缺乏多樣性)的概念了。假如我們将在大語言模型生成的數據上訓練大語言模型,這會進入一個循環。
當你談到交叉引用事實時,我想到了 Google —— 比如未來的 Google 試圖在網絡上試圖交叉引用一堆東西,但它引用的内容是錯的,引用的東西都是由 2023 年一個落後的大語言模型意外地生成的。你會如何防範這種情況?
A:我們正在研究一些非常酷的解決方案。我認為這個解決方案也适用于深度偽造(deepfakes),那就是使用一些加密水印技術。一個復雜的,無法輕易或根本無法去除的水印,它或許直接内置在生成模型中,成為生成内容的過程中的一部分。我們希望推出這樣的技術,甚至可能向第三方提供通用的解決方案。
但我認為整個行業需要有一個統一的解決方案,我們可以用某種标志(例如水印)來标識生成的媒體,無論是影像、音頻,甚至是文本,以向用户和未來的 AI 系統表明這些内容是由 AI 生成的。我認為這是當前 AI 發展的一個迫切的問題,如深度偽造和虛假信息等。但我認為解決方案會在不遠的未來出現。
Q:幾周前,微軟首席技術官兼人工智能執行副總裁凱文·斯科特(Kevin Scott)剛上了我的節目。他也説了一些非常類似的話。我答應過他,我們會做一集關于元數據(Metadata)的節目。希望你也會來參與。據我對我的觀眾們的理解,整整一小時有關元數據的節目将會是我們有史以來最受歡迎的一集。
A:好的,聽起來很完美。
Q:好的 Demis,非常感謝你來到 Decoder。你很快就有機會再回來了。
A:非常感謝。
*本文由陳澤鈞編譯
點擊「在看」
是對我們最大的鼓勵
>