今天小編分享的科技經驗：可以互相交談的人工智能來了，歡迎閲讀。
文 | 追問 nextquestion
僅憑口頭或書面指令，人類就能執行新任務，還可以通過描述，使他人能夠重復執行該任務。這項能力是人類溝通的基石，但對人工智能仍是一個挑戰。
日内瓦大學（UNIGE）的一個團隊成功地模拟了一個能夠進行這種認知能力的人工神經網絡。在學習和執行一系列基本任務之後，這個 AI 能夠向一個 " 姐妹 "AI 提供它們的語言描述，讓後者執行這些任務。這項成果尤其對機器人學領網域具有重要意義，現已發表在《自然 - 神經科學》雜志上。
▷Riveland, Reidar, and Alexandre Pouget. "Natural language instructions induce compositional generalization in networks of neurons." Nature Neuroscience ( 2024 ) : 1-12.
01 遵循指令與下達指令
無需事先訓練，僅基于口頭或書面指令執行新任務，這是人類獨有的能力。更重要的是，一旦我們學會了任務，我們也能夠描述它，以便另一個人復制。這種雙重能力區分了我們和其他物種：其他物種為了學習新任務，需要無數次的嘗試，需伴随着正面或負面的強化信号，且無法将知識其傳達給同類。
人工智能（AI）的一個子領網域——自然語言處理——旨在復制這種人類的能力，讓機器能夠理解和響應語音或文本數據。這種技術基于人工神經網絡，靈感來自于我們的生物神經元以及它們在大腦中相互傳遞電信号的方式。然而，現在還沒有神經計算能實現上述認知壯舉。目前，使用 AI 的對話代理能夠整合語言信息來生成文本或影像。但據我們所知，它們還不能将口頭或書面指令轉化為感覺運動行為，更不用説将其解釋給另一個人工智能以便它能夠復制。
02 模拟語言交流的人工智能
該研究成功開發了一個具有這種雙重能力的人工神經網絡模型。研究人員從一個現有的人工神經元模型 S-Bert 開始，它有 3 億個神經元，并且已經預訓練以理解語言。研究人員将其‘連接’到另一個更簡單的幾千個神經元的網絡上 "。
在實驗的第一階段，神經科學家們訓練這個網絡來模拟韋尼克區——大腦中使我們能夠感知和解釋語言的區網域。在第二階段，網絡被訓練來復制布洛卡區，該區網域在韋尼克區的影響下，負責單詞產生和發音。整個過程都可在筆記型電腦上完成。接着，研究人員向 AI 傳遞英文指令，例如：指向感知到的刺激的位置——左邊或右邊；在刺激的相反方向做出反應；或者更復雜的，從兩個視覺刺激中選擇對比度略有差異的一個，指出更亮的一個。
然後，科學家們評估了模型的結果。該模型模拟了特定條件下的指向或移動，一旦學會這些任務，網絡就能夠将它們描述給第二個網絡——第一個網絡的副本——以便它能夠復制它們。這是第一次兩個 AI 能夠以純粹的語言方式相互交流，盡管該模型仍然需要事先訓練。
▷圖 1. 實驗任務和模型輸入輸出示例圖。圖源：論文。
該研究訓練遞歸神經網絡（RNNs）模型執行一系列心理物理任務，利用預訓練語言模型處理每個任務嵌入的自然語言指令。研究中表現最好的模型可以利用這些嵌入來進行全新的模型，平均正确率達到 83%。通過利用指令嵌入和任務表示的共享組合結構，模型能對練習過任務和新穎指令之間關系進行推斷，從而可以很好地推斷出未見任務所需的感覺運動轉換。該研究還構建了一個人工神經網絡，可以僅基于其觀察到的感覺運動來為任務提供語言描述。
03 實驗意義
該模型對大腦區網域中整合語言信息以控制感覺運動區網域的神經表征做出了幾個預測。首先，模型的層次結構表明，當人類必須根據指令泛化一組相關任務時，指令的語義表征有層次結構，生物大腦也有感覺運動區網域。
該模型指出，語言區網域中等效任務相關結構的出現對于人類按指令行動至關重要。該研究還預測，參與實施感覺運動映射的個體單元應該根據輸入指令的語義在逐次試驗的基礎上進行調整，并且未能以預期方式調整會導致泛化性能差。這一預測在解釋人類的如何執行多步驟任務時可能特别有用。
最後，當模型語言描述包含基于任務集的感覺運動需求時，模型的性能有所提升，該研究的作者猜測在學習過程中，模型語言處理層次的最高級别也受到伴随語言輸入的具身過程的影響，例如運動規劃或可供性評估。
語言使用者能夠以更靈活的方式組織任務中的多個子組件，在更廣泛的情境中重新組合，并傳播其中藴含的知識，這是人類得以成為萬物之靈的關鍵。開發可解釋的人工神經網絡既能理解指令以指導特定感覺運動反應，也能将感覺運動學習的成果作為可理解的語言指令進行交流。該模型的借此幫助我們解釋語言是如何在編碼和在神經元網絡中傳遞知識的，這為理解語言和行為之間的互動開辟了新的視野。該研究還可以指導未來的實驗工作，即檢驗人類中語言和感覺運動技能的相互作用。
該研究對機器人學領網域尤其有意義，開發使機器能夠相互交流的技術是該領網域的一個關鍵問題。雖然該研究開發的網絡非常小。但未來的研究者完全可以在此基礎上開發更復雜的網絡。這些網絡将被集成到既能理解人類語言和意圖，也能理解彼此的仿人機器人中。未來研究可整合自回歸語言模型和表現最好的感覺運動模型中的表征，以描繪參與指令遵循的每個階段的大腦區網域的完整過程，從低級别的下一個詞預測到更高層次的結構化句子表征，再到語言控制的感覺運動。
