今天小編分享的互聯網經驗：伯克利BAIR Mark Nitzberg ：可靠性問題仍是制約生成式AI發展的主要障礙，歡迎閱讀。
12 月 7 日，在北京市大興區舉辦的 2024T-EDGE 創新大會暨钛媒體财經年會上，暗物智能 DMAI 前美國 CEO、藍色遊標前美國總裁符海京和哈佛大學博士、加州大學伯克利分校人工智能實驗室執行董事、Dark Matter AI 聯合創始人、微軟 / 亞馬遜顧問 Mark Nitzberg 展開了一場深入對談，探讨生成式 AI 的潛力、困境與未來。
在 Mark Nitzberg 看來，盡管生成式 AI 在許多任務中展現了顯著的效率提升——例如回答復雜問題、生成高質量内容等——但這項技術仍處于實驗階段，可靠性問題成了制約其進一步發展的主要障礙。" 當前的模型在性能上的确進步巨大，但我們無法忽視它們在關鍵場景中的不一致性。例如，一個細微的輸入變化可能導致模型輸出答案出現巨大偏差，而這種不确定性是無法在醫療、交通等高風險領網域被接受的。"
與此同時，Mark Nitzberg 特别提到生成式 AI 在許多新興領網域中展現了指數級的效率提升。例如，他分享了瑞典對多個行業進行的分析研究，其中 " 建築修復 " 這一領網域因生成式 AI 的應用效率比傳統方法提升了約 100 倍。
不過他也保持了理性态度。Mark Nitzberg 提醒道：" 雖然這些效率提升令人興奮，但它們的可持續性依然取決于我們能否攻克技術可靠性的問題。"
Mark Nitzberg 特别強調，如果我們将生成式 AI 引入我們所做的每一個領網域，就需要确保我們對沒有它時的操作方式有清晰的理解。只有這樣，當我們引入 AI 并使其更高效、更快速地運行時，我們才不會将之前手動操作中的 " 問題部分 " 也自動化。
此外，Mark Nitzberg 認為生成式 AI 向智能體的轉變潛力巨大，但同時也伴随着復雜的技術挑戰和安全隐患，可靠性和控制機制是未來發展的重要研究方向。對于未來的研究重點，Mark Nitzberg 表示将集中在兩個方面：一是多模态數據的整合，二是因果推理的增強。
以下為符海京和 Mark Nitzberg 對話實錄，略經钛媒體 App 編輯：
中美都尚處于生成式 AI 的"實驗時代"
符海京：歡迎來到 2024 年 T Edge 大會。由于特殊情況，今天的特邀嘉賓無法親自到場與大家面對面交流，所以我們特别安排了連線對話。讓我們聊聊你的實驗室，以及 AI 領網域有什麼新的動态？
Mark Nitzberg：美國加州大學伯克利分校是全球頂尖的高等教育機構之一，同時也是一個非常優秀的 AI 實驗室所在地。這個實驗室很有趣，因為它是一個公共的 AI 實驗室。我們有 70 位教授，還有超過 400 名博士生，其中許多是中國籍學生，以及成千上萬的大學生。
AI 已經以某種方式融入了人類生活的方方面面。但我們實際上仍處于生成式 AI 的實驗時代，這一切才剛剛開始。
AI 的基礎是數字計算基礎設施，而這種基礎設施幾乎已經介入了人類的每一項活動。這背後是全球互聯網。幾年前的數據表明，人類每年創造的數字數據量達到 120 澤字節（zettabytes）。這是一個非常龐大的數字，相當于 1200 億 TB，而你手中的設備可能只有 1TB 的存儲空間。
互聯網可以說是人類最大的技術創造，連接了我們所有人以及無數設備。這些數據的生成為 AI 的突破奠定了基礎。這些數據的生成，以及提供服務的公司高度集中化，構建了數據、網絡和處理能力的基礎設施。這些基礎設施使得神經網絡的發明成為可能，因為訓練神經網絡需要大量的數據。
随後，大的技術突破是嵌入技術（embeddings）和 transformers 架構，它們催生了大型語言模型（LLMs），這一切始于 2017 年。因此，生成式 AI 的影響力源于我們生活在一個擁有超強傳感器、高度連接的設備和高度集中的數字服務的世界。這一切構成了生成式 AI 的基礎。
符海京：我想大家可能會好奇，生成式AI如何在不同的地理區網域和不同行業中產生影響？
Mark Nitzberg：生成式 AI 的出現有一些值得理解的關鍵點。如果你要構建一個控制像水電大壩這樣強大系統的計算系統，就需要應用典型的工程方法來限制其行為。比如，你需要設定運行速度的上限，或者确保它不會超過某些阈值。
這是一個令人興奮的前景——我們可以使用看似 " 智能 " 的語言模型來控制水電大壩。然而，這些變換器模型的本質是一個巨大的電路板，就像一個混音面板，但這個混音面板有數萬億個旋鈕。每個旋鈕在訓練過程中都會被調整。你輸入一些數據，如果輸出結果不符合預期，就調整旋鈕。這個過程重復上百萬億次，最終你會得到一個所有旋鈕都調整好的電路板，這就是我們現在使用的語言模型，比如 GPT-4 等。
這些商業模型有幾個共同點。首先，它們非常強大，能夠完成許多令人驚訝的任務，比如回答各種復雜問題、生成影像等，它們在廣泛的應用領網域中表現出色。
然而，它們也有一個共同的問題，那就是不可靠。也就是說，你不能指望一個語言模型去回答醫療問題。雖然我們可以在它們外面構建一個所謂的 " 安全層 "，但實際上很難對這些模型的行為提供任何形式的保證。這也在一定程度上限制了它們的應用範圍。
我們目前仍然處于生成式 AI 的實驗時代。無論是在美國、中國，還是世界其他地方。初步的結果表明，許多任務可以通過生成式 AI 顯著加速，并帶來更高質量的成果。結果的提升取決于用戶的經驗水平。例如，管理咨詢行業的效率可以提高 15% 到 50%，而在編程領網域，有些開發者報告稱他們的效率翻倍。
更有趣的是，我們看到一些新任務的效率提升可能是 " 指數級 " 的，比如在某些特定領網域，效率可能提升 100 倍。例如，我最近了解到，瑞典對其經濟各個行業進行了全面研究，發現生成式 AI 在 " 建築修復 " 這一領網域的效率提升最為顯著。這是一個你可能不會想到會有巨大影響的領網域，但确實如此。
不過，這些預測需要謹慎對待，因為我們還不知道是否能夠解決生成式 AI 的可靠性問題。
符海京：這背後的關鍵是什麼？作為一名科學家、實踐者和教育者，你認為這個轉型成功的最重要因素是什麼？
Mark Nitzberg：我認為，任何重大自動化技術的共同主題是：它必須适合其用途。如果我們将生成式 AI 引入我們所做的每一個領網域，就需要确保我們對沒有它時的操作方式有清晰的理解。這樣，當我們引入 AI 并使其更高效、更快速地運行時，我們不會将之前手動操作中的 " 問題部分 " 也自動化。
因此，我們在研究中心特别關注那些可能會失敗的系統，并設計它們時确保：如果發生故障，我們能夠追蹤到問題的來源，然後進行修正，避免未來再次出現類似的故障。這種設計理念是任何工程系統中都應具備的，例如飛機、核電站或大型水電大壩。然而，目前生成式 AI 才剛剛開始讓我們初步理解它是如何運行的。
創業者應在細分行業中探索
符海京：數據是生成式 AI 的 " 汽油 "，巨型企業比如美國的 significant seven 和中國的百度具有競争優勢，創業者應該如何在這場轉型競賽中取勝？
Mark Nitzberg：數字化工具正在為下一代提供應用 AI 的基礎，而這個領網域的應用仍然是 " 廣闊未定 " 的。創業者可以在各個行業中探索如何應用這些工具。
例如，我們正在與加州大學舊金山分校（UCSF）醫療中心合作，開發一種變換器模型的變體。與傳統的語言模型訓練文本不同，我們的模型是基于患者治療的臨床步驟進行訓練的。訓練數據包括數百萬個序列，例如患者首次出現症狀、進行的測試、可能開出的藥物、後續檢查等。這種訓練方法產生了一種完全不同的變換器系統，它更加 " 可解釋 "。比如，當模型建議進行胸部掃描時，你可以理解它這樣建議的原因可能是因為發現了肺部問題。這是一種新的方向，其核心仍然是 " 适合用途 "。
智能體更加考驗可靠性和安全性
符海京：我想談談 AI 的 " 推理 "reasoning 能力。我會分享微軟今天在 Yahoo Finance 上的最新聲明。他們提到自動化代理（automation agents），并使用了 "AI 可以更好地推理 " 的說法，同時也提到它們能夠以更復雜的方式感知環境。之前我們在暗物智能 DMAI 致力于認知 AI 的層次架構 （cognitive AI framework），你對微軟今天的聲明怎麼看呢？
Mark Nitzberg：這是一個非常有趣的方向，也是生成式 AI 未來發展的關鍵領網域之一。微軟提到的實際上是 AI 從工具型系統向更高級智能體（agent）轉變的标志。這意味着 AI 不僅能夠處理輸入和輸出，還可以在復雜環境中感知、推理并采取行動。
但這裡需要注意的是，所謂的 " 推理 " 并不是傳統意義上的邏輯推理，而是基于大量數據的統計相關性和模式識别。換句話說，當前的 AI 在某種程度上模拟了人類的推理過程，但它并不真正 " 理解 " 所做的事情。這種能力的提升更多依賴于模型的復雜性和訓練數據的質量。
此外，環境感知的復雜性也提出了新的挑戰。AI 需要處理多模态數據（例如文本、影像、聲音等），并在動态環境中實時做出響應。微軟的聲明表明，他們的目标是将 AI 從靜态的生成工具轉變為動态的智能體，能夠感知環境、推理因果關系并做出自主決策。
然而，這種轉變也帶來了更多的問題，尤其是關于可靠性和安全性的問題。一個能夠自主感知和推理的系統，如果沒有明确的限制和控制機制，可能會帶來意想不到的後果。因此，我們需要在開發這些系統時，确保它們的行為是可預測的，并且能夠在失敗時追蹤問題來源并進行修正。
符海京：你提到的可靠性和控制機制确實是一個關鍵問題。那麼，你認為在這一領網域，接下來的研究重點應該是什麼？
Mark Nitzberg：我認為接下來的研究重點應該集中在兩個方面：一是多模态數據的整合，二是因果推理的增強。
在多模态數據整合方面，我們需要開發更強大的模型，能夠同時處理和理解來自不同來源的數據。例如，一個智能體可能需要同時處理攝像頭捕獲的視覺數據、麥克風捕獲的音頻數據以及用戶輸入的文本指令。這需要模型具有更高的靈活性和适應性，同時也需要更高效的計算資源。
在因果推理方面，我們需要讓 AI 不僅僅停留在相關性分析上，而是能夠真正理解因果關系。這對于復雜環境中的決策至關重要。例如，在醫療診斷中，AI 需要知道某種治療方法為什麼有效，而不僅僅是基于歷史數據的模式預測。這種因果推理能力的提升将使 AI 在關鍵領網域（如醫療、自動駕駛和金融）中更具實用性和可靠性。
總的來說，AI 的未來在于從 " 工具 " 向 " 智能體 " 轉變，但這一轉變需要我們在技術、倫理和政策層面上進行全面的探索和協調。
符海京：這意味着AI可以執行更復雜的一系列任務。你是否樂觀地認為這真的在發生，還是說它依然是一個不可預測的 " 黑箱 "？在推理方面，Satya Nadella（微軟 CEO）提到，直到最近，語言模型的行為中确實存在一個很大的 " 缺口 "。它會給出一些荒謬的建議，無法正确地進行推理。比如，如果你告訴它 " 海倫是大衛的母親 "，它無法推理出 " 大衛是海倫的兒子 "。在這方面，它的推理能力并不完善。不過，經過顯著的訓練、架構上的調整和優化，它的表現确實有了很大的提升。
Mark Nitzberg：然而，我們仍然不知道這種提升的極限在哪裡。同樣，也沒有任何可靠的保證。所以我認為，微軟所談論的是讓這些系統在某些特定任務中達到一個實用的可靠性水平——而這些任務以前是無法實現的。但我不确定是否可以對這些系統在高關鍵性任務中使用下注。因為即便是一個小小的請求變化，也可能導致答案產生巨大的差異，這種不确定性使它們的可靠性受到質疑。
因此，目前仍然存在争議。微軟聲稱這些技術即将解決我們所有的問題，這是有一定道理的，但我們也有理由保持謹慎。我認為，測試方法和評估機制在這方面很有幫助。我們可以盡可能地進行詳盡的測試，但即便如此，這些系統仍然只是充滿潛力，結果如何還有待觀察。（本文首發于钛媒體 APP，作者｜蔡鵬程，編輯｜劉洋雪）
更多嘉賓精彩分享，點擊進入 2024T-EDGE 創新大會官網查看（https://www.tmtpost.com/event/dzb/tedge2024）
