今天小編分享的互聯網經驗：Meta大動作！開源多感官AI模型，不僅能看會聽，還能“感知溫度”，歡迎閱讀。
前段時間，帶着開源模型 LlaMA" 殺的 " 谷歌和微軟 " 措手不及 " 的 Meta，又一次在 AI 戰場上丢下了一顆重磅炸彈。
今天，Meta 重磅開源了多感官 AI 模型 ImageBind（https://github.com/facebookresearch/ImageBind）。以視覺為核心，結合文本、聲音、深度、熱量（紅外輻射）、運動（慣性傳感器），最終可以做到 6 個模态之間任意的理解和轉換。
這也是第一個能夠整合六種類型數據的 AI 模型。
如何讓 AI 以更接近人類的方式理解這個世界 ? ——也讓 AI 擁有多種感官，學會 " 腦補 "。
一張大海的照片可以讓我們的腦海裡響起海浪的聲音，回憶起海邊腥鹹的味道。當我們聽到瀑布聲，腦海裡便會浮現恢弘的瀑布奇觀。
Meta 指出，未來還将有其他可以被添加到模型中的感官輸入流，包括 "觸摸、講話、氣味和大腦 fMRI（功能性磁共振成像）信号"。
與此同時，ImageBind 還可以進行跨模态檢索，如火車喇叭音頻，文本、深度、圖片和視頻。
盡管目前 ImageBind 只是一個研究項目，但它展示了未來人工智能生成多感官感知的可能性，或許也使 Meta 的元宇宙夢更近了。
Meta 在論文中解釋稱，他們把不同模态數據串聯在了一個嵌入空間（Embedding Space），讓其從多維度理解世界。
有網友評價道，imageBind 的出現使 AI 發展過程中又迎來了激動人心的時刻：
" 這項創新為 AI 搜索能力、沉浸式 VR 體驗和更高級的 AI 技術鋪平了道路。對于 AI 愛好者和專業人士來說，激動人心的時刻即将到來！"。
有網友評論稱，ImageBind 的誕生就是為了模拟人類感知。ImageBind 面世，賈維斯也不遠了。
英偉達科學家 Jim Fan 點評道：自 LLaMA 以來，Meta 就在開源領網域大放異彩。
不過，對于 Meta 開源大模型的做法，也有人提出了質疑。如 OpenAI 便表示，這種做法對創作者有害，競争對手可以随意復制且可能具有潛在的危險，允許惡意行為者利用最先進的人工智能模型。
更接近人類感知的元宇宙？
相比 Midjourney、Stable Diffusion 和 DALL-E 2 這樣簡單的将文字與影像配對的生成器，ImageBind 試圖讓 AI 更接近人類的思考和感知方式：
可以連接文本、影像 / 視頻、音頻、3D 測量（深度）、溫度數據（熱）和運動數據（來自 IMU），且它無需先針對每一種可能性進行訓練，直接預測數據之間的聯系，類似于人類感知或想象的方式。
這個模型利用到了影像的綁定（binding）屬性，只要将每個模态的嵌入與影像嵌入對齊，就會實現所有模态的迅速對齊。
簡單來說就是影像成為了連接這些模态的橋梁。
例如 Meta 利用網絡數據将文本與影像連接起來，或者利用帶有 IMU 傳感器的可穿戴相機捕捉到的視頻數據将運動與視頻連接起來。
Meta 在論文中指出，ImageBind 的影像配對數據足以将這六種模态綁定在一起。
模型可以更全面地解釋内容，使不同的模态相互 " 對話 "，并找到它們之間的聯系。
例如，ImageBind 可以在沒有一起觀察音頻和文本的情況下将二者聯系起來。這使得其他模型能夠 " 理解 " 新的模态，而不需要任何資源密集型的訓練。
具體而言，ImageBind 利用網絡規模（影像、文本）匹配數據，并将其與自然存在的配對數據（視頻、音頻、影像、深度）相結合，以學習單個聯合嵌入空間。
這樣做使得 ImageBind 隐式地将文本嵌入與其他模态（如音頻、深度等）對齊，從而在沒有顯式語義或文本配對的情況下，能在這些模态上實現零樣本識别功能。
與此同時，Meta 表示，ImageBind 可以使用大規模視覺語言模型（如 CLIP）進行初始化，從而利用這些模型的豐富影像和文本表示。因此，ImageBind 只需要很少的訓練就可以應用于各種不同模态和任務。
如果與其他 AI 結合，還可以做到跨模态的生成。
比如聽到狗叫畫出一只狗，同時給出對應的深度圖和文字描述。
甚至還做到不同模态之間的運算，如鳥的影像 + 海浪的聲音，得到鳥在海邊的影像。
對此，Meta 在其官方博客中也說道，"ImageBind 可以勝過之前為一種特定模式單獨訓練的技術模型。但最重要的是，它能更好地一起分析許多不同形式的信息，從而推進人工智能的發展。"
Meta 團隊認為，ImageBind 為設計和體驗身臨其境的虛拟世界打開了大門。或許也讓 Meta 離幻想中的元宇宙世界更近了一步。
可以怎麼搜？
模型具體可以怎麼用？Meta 開放了模型演示，具體包括：
使用影像檢索音頻
以影像或視頻作為輸入，可以生成音頻。比如選擇一張小狗的圖片，就能夠檢索到狗吠的音頻。
使用音頻檢索影像
通過一個音頻片段，給出一張對應的圖。聽着鳥鳴，小鳥的圖片便出現了。
使用文本來檢索影像和音頻
選擇下面的一個文本提示，ImageBind 将檢索與該特定文本相關的一系列影像和音頻片段。
使用音頻 + 影像來檢索相關影像
給一段狗叫聲再加一張海灘的圖片。ImageBind 可以在幾分鍾内檢索出相關影像。
得到了一張 " 狗望海 " 的圖：
使用音頻來生成影像
要想實現音頻生影像，ImageBind 需要和其他模型一起結合用，比如 DALL-E 2 等生成模型。
來個下雨譁啦啦的聲音，身在其中的意境圖就來了。
ImageBind 的性能有多卓越？——打敗專家模型
在 Meta 研究科學家于近期發布的題為《IMAGEBIND: 一個嵌入空間綁定所有模态》（《IMAGEBIND： One Embedding Space To Bind Them All》https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf）的論文中指出，ImageBind 模型的第一大優勢在于，僅通過很少的樣本及訓練，模型性能便可提高：
此前，往往需要收集所有可能的配對數據組合，才能讓所有模态學習聯合嵌入空間。
ImageBind 規避了這個難題，它利用最近的大型視覺語言模型，将零樣本能力擴展到新的模态。
Meta 的模型具有小模型所不具備的出色能力，這些性能通常只會在大模型中才會呈現。比如：音頻匹配圖片、判斷照片中的場景深度等等。
Meta 的研究表明，視覺模型越強，ImageBind 對齊不同模态的能力就越強。
在實驗中，研究人員使用了 ImageBind 的音頻和深度編碼器，并将其與之前在 zero-shot 檢索以及音頻和深度分類任務中的工作進行了比較。
結果顯示，ImageBind 可以用于少量樣本的音頻和深度分類任務，并且優于之前定制的方法。
而以影像 / 視頻為中心訓練好 AI 後，對于原始數據中沒有直接聯系的模态，比如語音和熱量，ImageBind 表現出湧現能力，把他們自發聯系起來。
在定量測試中，研究人員發現，ImageBind 的特征可以用于少樣本音頻和深度分類任務，并且可以勝過專門針對這些模态的先前方法。
在基準測試上，ImageBind 音頻和深度方面優于專家模型
比方說，ImageBind 在少于四個樣本分類的 top-1 準确率上，要比 Meta 的自監督 AudioMAE 模型和在音頻分類 fine-tune 上的監督 AudioMAE 模型提高了約 40% 的準确率。
Meta 希望，AI 開發者社區能夠探索 ImageBind，來開發其可以應用的新途徑。
Meta 認為，關于多模态學習仍有很多需要探索的地方。ImageBind 這項技術最終會超越目前的六種 " 感官 "，其在博客上說道，" 雖然我們在當前的研究中探索了六種模式，但我們相信引入連接盡可能多的感官的新模式——如觸覺、語音、嗅覺和大腦 fMRI 信号——将使更豐富的以人為中心的人工智能模型成為可能。"
