今天小編分享的科技經驗：280萬條多模态指令-響應對，八種語言通用，首個涵蓋視頻内容的指令數據集MIMIC-IT來了，歡迎閱讀。
機器之心報道
編輯：蛋醬
在包含 280 萬條多模态上下文指令 - 相應對的數據集上訓練之後，Otter 展現出了優秀的問答能力，并在 ChatGPT 及人類的兩項評估中獲得了很高的評價。
近段時間來，AI 對話助手在語言任務上取得了不小的進展。這種顯著的進步不只是基于 LLM 強大的泛化能力，還應該歸功于指令調優。這涉及到在一系列通過多樣化和高質量指令的任務上對 LLM 進行微調。
借助指令調優獲得零樣本性能的一個潛在原因是，它内化了上下文。這很重要，特别是當用戶輸入跳過常識性的上下文時。通過納入指令調優，LLM 獲得了對用戶意圖的高度理解，即使在以前未見過的任務中也能表現出更好的零樣本能力。
然而，一個理想的 AI 對話助手應該能夠解決涉及多種模态的任務。這需要獲得一個多樣化和高質量的多模式指令跟随數據集。比如，LLaVAInstruct-150K 數據集（也被稱為 LLaVA）就是一個常用的視覺 - 語言指令跟随數據集，它是使用 COCO 影像、指令和從 GPT-4 中獲得的基于影像說明和目标邊界框的響應構建的。但 LLaVA-Instruct-150K 具有三個局限性：有限的視覺多樣性；使用圖片作為單一視覺數據；上下文信息僅包含語言形态。
為了推動 AI 對話助手突破這些限制，來自新加坡南洋理工大學、微軟雷蒙德研究院的學者們提出了多模态上下文指令調優數據集 MIMIC-IT，這是一個包含 280 萬條多模态上下文指令 - 相應對的數據集，涵蓋各種現實生活場景。
論文地址：https://arxiv.org/pdf/2306.05425.pdf
此外，為了高效地生成指令 - 響應對，研究者還介紹了「Sythus」，這是一個受 self-instruct 方法啟發的指令 - 響應注釋的自動化 pipeline。Sythus 采用系統信息、視覺注釋和上下文中的例子來指導語言模型（GPT-4 或 ChatGPT）根據視覺語境生成指令 - 響應對，針對視覺語言模型的三個基本能力：感知、推理和規劃。此外，英文的指令和響應被譯成七種語言，以支持多種語言的使用。
特别值得注意的是，研究者在 MIMIC-IT 上訓練了基于 OpenFlamingo 的多模态模型「Otter」。通過 ChatGPT、人類兩個方面的評估，Otter 的多模态能力超越了近期的其他視覺 - 語言模型。
在一系列 Demo 中，研究者展示了 Otter 的多模态問答能力：
Q：接下來出哪張牌？
A：八筒。這樣你就能留着四條和五條，等着湊成順子。
Q：我想着陸了，怎麼操作？
A：按一次左下按鈕，左轉，要着陸時拉右邊的手刹。
Q：接下來怎麼辦？
A：把球傳到中路，跑到球門，尋找進球機會。
接下來，讓我們看看研究細節。
MIMIC-IT 數據集
MIMIC-IT 數據集包括 280 萬個多模态指令 - 響應對，涵蓋了基本能力：感知、推理和計劃。每個指令都伴随着多模态的對話背景，使在 MIMIC-IT 上訓練的 VLM 能夠在互動式指令中表現出很好的熟練度，并能進行零樣本的概括。
相比于 LLaVA，MIMIC-IT 的特點包括：
( 1 ) 多樣化的視覺場景，包含了一般場景、自我中心視角場景和室内 RGB-D 影像等不同數據集的影像和視頻；
( 2 ) 多個影像（或一個視頻）作為視覺數據；
( 3 ) 多模态的上下文信息，包括多個指令 - 響應對和多個影像或視頻；
( 4 ) 支持八種語言，包括英文、中文、西班牙文、日語、法語、德語、韓語和阿拉伯語。
下圖進一步展示了二者的指令 - 響應對對比（黃色方框為 LLaVA）：
如表 1 所示，MIMIC-IT 的數據源來自七個數據集：COCO、Spot-the-diff ( SD ) 、ScanNetV2 ( SN ) 、VisualStorytelling ( VIST ) 、DenseCaption/Activity caption（DC）、TVCaption（TVC）和 Ego4D（E4D）。「上下文」這一列的「lang.」表示語言，「vis.」表示視覺。
Sythus：自動化指令 - 響應對生成 pipeline
同時，研究者提出了 Sythus（圖 3），這是一個自動化 pipeline，用于生成多種語言的高質量指令 - 響應對。在 LLaVA 提出的框架基礎上，研究者利用 ChatGPT 來生成基于視覺内容的指令 - 響應對。為了确保生成的指令 - 響應對的質量，該 pipeline 将系統信息、視覺注釋和上下文中的樣本作為 ChatGPT 的 prompt。系統信息定義了所生成的指令 - 響應對的預期語氣和風格，而視覺注釋則提供了基本的影像信息，如邊界框和影像描述。上下文中的樣本幫助 ChatGPT 在語境中學習。
由于核心集的質量會影響後續的數據收集過程，研究者采用了一個冷啟動策略，在大規模查詢之前加強上下文中的樣本。在冷啟動階段，采用啟發式方法，僅通過系統信息和視覺注釋來 prompt ChatGPT 收集上下文中的樣本。這個階段只有在确定了令人滿意的上下文中的樣本後才結束。在第四步，一旦獲得指令 - 響應對，pipeline 會将它們擴展為中文（zh）、日文（ja）、西班牙文（es）、德文（de）、法文（fr）、韓文（ko）和阿拉伯語（ar）。進一步的細節，可參考附錄 C，具體的任務 prompt 可以在附錄 D 中找到。
經驗性評估
随後，研究者展示了 MIMIC-IT 數據集的各種應用以及在其上訓練的視覺語言模型 ( VLM ) 的潛在能力。首先，研究者介紹了使用 MIMIC-IT 數據集開發的上下文指令調優模型 Otter。而後，研究者探索了在 MIMIC-IT 數據集上訓練 Otter 的各種方法，并讨論了可以有效使用 Otter 的眾多場景。
圖 5 是 Otter 在不同場景下的響應實例。由于在 MIMIC-IT 數據集上進行了訓練，Otter 能夠為情境理解和推理、上下文樣本學習、自我中心的視覺助手服務。
最後，研究者在一系列基準測試中對 Otter 與其他 VLM 的性能進行了比較分析。
ChatGPT 評估
下表 2 展示了研究者利用 MMAGIBench 框架 [ 43 ] 對視覺語言模型的感知和推理能力進行廣泛的評估。
人類評估
Multi-Modality Arena [ 32 ] 使用 Elo 評級系統來評估 VLM 響應的有用性和一致性。圖 6 ( b ) 顯示 Otter 展示了卓越的實用性和一致性，在最近的 VLM 中獲得了最高的 Elo 評級。
少樣本上下文學習基準評估
Otter 基于 OpenFlamingo 進行微調，OpenFlamingo 是一種專為多模态上下文學習而設計的架構。使用 MIMIC-IT 數據集進行微調後，Otter 在 COCO 字幕 ( CIDEr ) [ 27 ] 少樣本評估（見圖 6 ( c ) ）上的表現明顯優于 OpenFlamingo。正如預期的那樣，微調還帶來了零樣本評估的邊際性能增益。
圖 6：ChatGPT 視頻理解的評估。
讨論
缺陷。雖然研究者已經迭代改進了系統消息和指令 - 響應示例，但 ChatGPT 容易出現語言幻覺，因此它可能會生成錯誤的響應。通常，更可靠的語言模型需要 self-instruct 數據生成。
未來工作。未來，研究者計劃支持更多具體地 AI 數據集，例如 LanguageTable 和 SayCan。研究者也考慮使用更值得信賴的語言模型或生成技術來改進指令集。
© THE END
轉載請聯系本公眾号獲得授權
投稿或尋求報道：[email protected]
