今天小編分享的科學經驗：Meta開源多感官大模型，AI用6種模态體驗虛拟世界，聽引擎聲就會畫汽車，歡迎閲讀。
Meta 最新6 模态大模型，讓 AI 以更接近人類的方式理解這個世界。
比如當你聽見倒水聲的時候就會想到杯子，聽到鬧鈴聲會想到鬧鍾，現在 AI 也可以。
盡管畫面中沒有出現人類，AI 聽到掌聲也能指出最有可能來自電腦。
這個大模型ImageBind以視覺為核心，結合文本、聲音、深度、熱量（紅外輻射）、運動（慣性傳感器），最終可以做到 6 個模态之間任意的理解和轉換。
如果與其他 AI 結合，還可以做到跨模态的生成。
比如聽到狗叫畫出一只狗，同時給出對應的深度圖和文字描述。
甚至做到不同模态之間的運算，如鳥的影像 + 海浪的聲音，得到鳥在海邊的影像。
團隊在論文中寫到，ImageBind 為設計和體驗身臨其境的虛拟世界打開了大門。
也就是離 Meta 心心念念的元宇宙又近了一步。
網友看到後也表示，又是一個掉下巴的進展。
ImageBind 代碼已開源，相關論文也被 CVPR 2023 選為 Highlight。
對于聲音 - 影像生成，論文中透露了更多細節。
并不是讓 AI 聽到聲音後先生成文字的提示詞，而是 Meta 自己復現了一個 DALL · E 2，并把其中的文本嵌入直接替換成了音頻嵌入。
結果就是 AI 聽到雨聲可以畫出一張雨景，聽到快艇發動機啓動聲可以畫出一條船。
如果想看更多示例，這裏也放上論文的補充視頻。
其中比較有意思的是，床上沒有人，但 AI 也認為打呼噜聲應該來自床。
ImageBind 能做到這些，核心方法是把所有模态的數據放入統一的聯合嵌入空間，無需使用每種不同模态組合對數據進行訓練。
并且用這種方法，只需要很少的人類監督。
如視頻天然就把畫面與聲音做了配對，網絡中也可以收集到天然把影像和文字配對的内容等。
而以影像 / 視頻為中心訓練好 AI 後，對于原始數據中沒有直接聯系的模态，比如語音和熱量，ImageBind 表現出湧現能力，把他們自發聯系起來。
在定量測試中，統一多模态的 ImageBind 在音頻和深度信息理解上也超越了對應的專用模型。
Meta 團隊認為，當人類從世界吸收信息時，我們天生會使用多種感官，而且人僅用極少數例子就能學習新概念的能力也來自于次。
比如人類在書本中讀到對動物的描述，之後就能在生活中認出這種動物，或看到一張不熟悉的汽車照片就能預測起發動機的聲音。
過去 AI 沒有掌握這個技能，一大障礙就是要把所有可能的模态兩兩組合做數據配對難以實現。
現在有了多模态聯合學習的方法，就能規避這個問題。
團隊表示未來還将加入觸覺、語音、嗅覺和大腦 fMRI，進一步探索多模态大模型的可能性
對于目前版本，Meta 也放出了一個簡單的在線 Demo，感興趣的話可以去試試。
Demo：
https://imagebind.metademolab.com/demo
GitHub：
https://github.com/facebookresearch/ImageBind
論文：
https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf
參考鏈接：
[ 1 ] https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
