今天小編分享的科學經驗：融合ChatGPT+DALL·E 3，賈佳亞團隊新作開源暢玩：識圖推理生圖一站解決，歡迎閱讀。
允中 發自 凹非寺
量子位 | 公眾号 QbitAI
在開源社區中把 GPT-4+Dall · E 3 能⼒整合起來的模型該有多強？
香港中文大學終身教授賈佳亞團隊提出多模态模型Mini-Gemini：
更高清影像的精确理解、更高質量的訓練數據、更強的影像解析推理能力，還能結合影像推理和生成，堪稱王炸。
Mini-Gemini 還提供了 2B 小杯到 34B 的超大杯，最強模型在多個指标上相比谷歌的 Gemini Pro 甚至 GPT-4V 都不遑多讓。
目前，Mini-Gemini從代碼、模型到數據已全部開源，登上了 PaperWithCode 熱榜。
Mini-Gemini線上 Demo 也已發布，超會玩梗，一起來體驗下！
接近商業閉源模型水平
Mini-Gemini Demo 放出後受到廣大網友關注，一番 " 品嘗 " 後，他們認為 Mini-Gemini 跟商業模型差不了多少。
目前，絕大多數多模态模型僅支持低分辨率影像輸入和文字輸出，而在實際場景中，許多任務都需要對高清影像進行解析，并用影像的形式進行展現。
如下圖所示，Mini-Gemini 不僅能夠根據圖片對做面包的過程進行手把手教學，也能夠準确将不同電腦品種根據圖片中的各種參數進行對比。
有網友開玩笑說，這下媽媽不用擔心我獨自生活了。
更重要的是，Mini-Gemini 在保留超強的影像理解和推理能力的同時，還解鎖了影像的生成能力，就如同 ChatGPT 和生成模型的結合。
下面，讓我們通過幾個例子來更直觀地感受這種能力：
還記得 Google Gemini 的官方演示視頻麼？當用戶給出兩個毛線團并問出能用它們做什麼時，Gemini 可以識别出圖片内容并給出相應的建議。
當我們把相似的輸入給到 Mini-Gemini，它會怎麼回答呢？
可以發現，Mini-Gemini 也可以識别出圖片中的元素，并且合理地建議，同時生成了一只對應的毛線小熊。
通過一些抽象的多模态指令來讓模型給出推理，并生成合适的圖片，這個操作就很像是 ChatGPT 和 DALL · E 3 的聯動了。
接下來讓 Mini-Gemini 做自己最擅長的推理和圖片理解，看看它表現：
比如理解圖片中的矛盾點并舉一反三——輸入冰川中的仙人掌，它會解釋其中的矛盾并生成一張熱帶雨林中北極熊的圖片：
圖片呈現了仙人掌的典型栖息地與冰的存在之間的視覺矛盾，因為在沙漠環境中自然不會出現冰。這種矛盾的類似例子可能是一只北極熊出現在熱帶雨林中，因為北極熊适應于寒冷、覆蓋着冰的環境，在炎熱潮溼的氣候中無法生存。這種并置創造了一個引人注目且超現實的視覺效果，挑戰觀眾的期待，并可能引發人們對氣候變化、環境适應或不同生态系統融合的思考。
同時，正如 ChatGPT+DALL · E 3 的夢幻結合一樣，Mini-Gemini 的 " 推理生成 " 功能還可以在多輪對話中通過簡單指令生成連環小故事。
比方說，讓它根據用戶輸入講一個貴族小老鼠的故事，Mini-Gemini 會根據前文的文字生成結果和用戶輸入進行推理，在保持一致性的情況下對圖片進行修改，使其更符合用戶的要求。
當然，Mini-Gemini 對于多模态模型的傳統技能圖表理解也不在話下。比方讓模型理解輸入曲線圖的數學意義（高斯分布），并讓它使用代碼復現這張圖，通過運行生成的代碼，模型可以高質量地還原曲線圖，節省了復現的時間。
又或者讓 Mini-Gemini理解梗圖，通過其強大的 OCR 和推理能力，也可以準确指出笑點。
在另一個案例中，Mini-Gemini 除了理解梗圖本身，甚至推測了制作者的深層意圖。
高清復雜的多圖表理解和歸納也是小菜一碟，Mini-Gemini 直接秒變打工人效率提升的超級外挂。
技術細節：
那麼問題來了，Mini-Gemini 是怎樣做到這種驚豔的效果呢？
核心在于三點：
( 1 ) 用于高清影像的雙編碼器機制
( 2 ) 更高質量的數據
( 3 ) 訓練階段結合生成模型數據拓展
大道至簡，Mini-Gemini 的整體思路并不復雜。其中的 Gemini（雙子座 ) 表達的是使用視覺雙分支的信息挖掘（Mining-Info in Gemini）解決高清影像理解問題。
詳細來說，Mini-Gemini 将傳統所使用的 ViT 當做低分辨率的 Query，而使用卷積網絡（ConvNet）将高分辨率的影像編碼成 Key 和 Value。
使用 Transformer 中常用的 Attention 機制，來挖掘每個低分辨率 Query 所對應的高分辨率區網域。從而在保持最終視覺 Token 數目不變的情況下去提升對高清影像的響應，保證了在大語言模型（LLM）中對于高清影像的高效編碼。
值得一提的是，由于高分辨率分支卷積網絡的使用，可以根據需要對影像所需的分辨率自适應調整。對于影像的生成部分，Mini-Gemini 借助了 SDXL，使用 LLM 推理後所生成的文本鏈接兩個模型，類似于 DALL · E 3 的流程。
對于數據，Mini-Gemini 進一步收集并優化了訓練數據的質量，并加入了跟生成模型結合的文本數據進行訓練。在僅使用 2-3M 數據的情況下，實現了對影像理解、推理和生成的統一流程。
Mini-Gemini 在各種 Zero-shot 的榜單上毫不遜色于各種大廠用大量數據訓練出來的模型。
量化指标：
可以看出，Mini-Gemini 提供了多種普通和高清版本的模型，并且覆蓋了 2B 的小杯到 34B 的超大杯，各個版本都取得了相似參數量下領先的效果，在許多指标上甚至超越 Gemini Pro 和 GPT-4V。
在線可玩：
值得一提的是，Mini-Gemini 的影像理解和生成能力已經出了 Demo，可以在線跟自定義影像對話的那種。
操作也極其簡單，直接跟輸入影像或文字進行對話即可，歡迎來撩！
Github 地址：https://github.com/dvlab-research/MiniGemini
Demo 地址：http://103.170.5.190:7860/
論文地址：https://arxiv.org/pdf/2403.18814.pdf
模型地址：https://huggingface.co/collections/YanweiLi/mini-gemini-6603c50b9b43d044171d0854
數據地址：https://huggingface.co/collections/YanweiLi/mini-gemini-data-660463ea895a01d8f367624e
* 本文系量子位獲授權刊載，觀點僅為作者所有。
— 完 —
量子位 QbitAI
վ ' ᴗ ' ի 追蹤 AI 技術和產品新動态
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
