今天小編分享的科學經驗：為多模态LLM引入ControlNet理念，開源插件解決災難性遺忘，歡迎閲讀。
多模态大模型内嵌語言模型總是出現災難性遺忘怎麼辦？
像文生圖那樣有 ControlNet 即可解決。
這就是由 360 人工智能研究院提出的IAA的核心思路。該研究成果已被 AAAI 接收，并且開源。
IAA 工作的思路，就是希望能把多模态理解能力像文生圖領網域中的 ControlNet 一樣，作為插件添加到基座的語言模型之上，從而實現在完全不影響語言模型原有能力的前提下，實現多模态能力的插件化，并進一步形成一種全新的語言模型生态體系。
針對語言模型研究全新插件控制機制
當前的多模态大模型（LMM：Large Multimodal Model）主流采取的是以 LLaVA 系列為代表的橋接式結構：視覺編碼器與 LLM 之間通過模态橋接器 projector 進行連接實現多模态理解能力。
橋接式結構的優點是結構簡單，訓練成本低（幾十萬微調數據即可實現基本的影像理解能力），目前主流的 LMM 模型包括 QwenVL、DeepSeekVL、internVL 以及研究院自研的 360VL（https://github.com/360CVGroup/360VL）等都是采用這種結構。
但橋接式結構一直存在一個難以克服的缺點：模型多模态能力的提升不可避免地帶來原有文本能力的下降。
這背後的深層原因是，為了盡可能提升 LMM 在多模态理解任務上的性能表現，主流模型中内嵌的 LLM 語言模型參數都要在多模态訓練中打開參與學習，這樣雖然可以比較容易刷高多模态任務上的指标，但語言模型原有的文本理解能力會因為參與多模态訓練而發生災難性遺忘的問題。
這也是為什麼當前主流的多模态模型都獨立于語言模型之外存在，并冠以 -VL 進行區分的原因。
上圖清晰地比較了多模态訓練前後，内嵌語言模型在文本任務（MMLU 和 C-eval）上因為災難性遺忘的發生而出現的能力下滑情況。
另外從實用的角度來説，當前的多模态模型需要獨立于語言模型之外單獨部署，意味着應用時需要翻倍的部署成本，從經濟的角度來説也亟待新技術的突破。
"IAA 工作的靈感來自于我們同時負責的多模态生成方向的研究。" 冷大炜博士表示。
" 文生圖領網域有着與語言模型領網域完全不同的繁榮生态。在文生圖領網域中，大家是圍繞着一個基座模型，通過接入不同的插件來完成不同的任務，而不是像語言模型領網域這樣要求一個模型完成所有任務。IAA 工作借用了這一思路。"
在 IAA 的研究中作者發現，簡單地将文生圖領網域的 ControlNet 結構復制到語言模型上的表現并不好，背後的原因是當前語言模型主流是 Transformer 堆疊的結構，這與文生圖模型中的 UNet 結構有着很大的差異，為此針對語言模型需要研究全新的插件控制機制。
在實驗比較了一系列不同的結構後，最終形成了 v1 版的 IAA 插件網絡結構如下：
與主流的 LLaVA 結構相比，IAA 在網絡設計上保持基座語言模型參數不變，從而避免了災難性遺忘問題的發生；對于多模态知識的學習，則是通過多個新增的插入層進行專門處理。
推理時，IAA 網絡只需要部署一套模型權重，text-only 任務走 text-only workflow，而多模态任務則走 multimodal workflow，從而避免了既要部署一套語言模型還要另外部署一套多模态模型的成本難題。
此外，IAA 插件結構不僅适用于多模态任務，對于需要在基座模型能力上特别加強的任務，如 code、math 等任務，一樣可以通過插件的方式進行專門增強，實現 " 基座模型 + 專業插件 " 處理專業任務的全新用法和生态。
在通用多模态 benchmark 上比較了 IAA 與其它相關工作的表現，驗證了 IAA 在保持模型原有能力的同時，能有效提升其在多模态任務上的表現。
關于360 人工智能研究院
在 360 集團 All in AI 的大背景下，360 人工智能研究院發揮自身的智力優勢，承擔多模态理解和多模态生成大模型（俗稱圖生文和文生圖）的戰略研發任務，并在兩個方向上持續發力，陸續研發了 360VL 多模态大模型，BDM 文生圖模型，可控布局 HiCo 模型，以及新一代 DiT 架構 Qihoo-T2X 等一系列工作。
近日，研究院在多模态理解方向的工作 IAA 和在多模态生成方向的工作 BDM 分别被 AI 領網域的 top 會議 AAAI 接收，這兩項工作的研發負責人為冷大炜博士。
據悉本屆 AAAI 2025 會議收到近 1.3 萬份投稿，接收 3032 份工作，接收率僅為 23.4%。
Arxiv: https://www.arxiv.org/abs/2408.12902
Github: https://github.com/360CVGroup/Inner-Adaptor-Architecture
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
