今天小编分享的科学经验：融合ChatGPT+DALL·E 3，贾佳亚团队新作开源畅玩：识图推理生图一站解决，欢迎阅读。
允中 发自 凹非寺
量子位 | 公众号 QbitAI
在开源社区中把 GPT-4+Dall · E 3 能⼒整合起来的模型该有多强？
香港中文大学终身教授贾佳亚团队提出多模态模型Mini-Gemini：
更高清影像的精确理解、更高质量的训练数据、更强的影像解析推理能力，还能结合影像推理和生成，堪称王炸。
Mini-Gemini 还提供了 2B 小杯到 34B 的超大杯，最强模型在多个指标上相比谷歌的 Gemini Pro 甚至 GPT-4V 都不遑多让。
目前，Mini-Gemini从代码、模型到数据已全部开源，登上了 PaperWithCode 热榜。
Mini-Gemini线上 Demo 也已发布，超会玩梗，一起来体验下！
接近商业闭源模型水平
Mini-Gemini Demo 放出后受到广大网友关注，一番 " 品尝 " 后，他们认为 Mini-Gemini 跟商业模型差不了多少。
目前，绝大多数多模态模型仅支持低分辨率影像输入和文字输出，而在实际场景中，许多任务都需要对高清影像进行解析，并用影像的形式进行展现。
如下图所示，Mini-Gemini 不仅能够根据图片对做面包的过程进行手把手教学，也能够准确将不同电腦品种根据图片中的各种参数进行对比。
有网友开玩笑说，这下妈妈不用担心我独自生活了。
更重要的是，Mini-Gemini 在保留超强的影像理解和推理能力的同时，还解锁了影像的生成能力，就如同 ChatGPT 和生成模型的结合。
下面，让我们通过几个例子来更直观地感受这种能力：
还记得 Google Gemini 的官方演示视频么？当用户给出两个毛线团并问出能用它们做什么时，Gemini 可以识别出图片内容并给出相应的建议。
当我们把相似的输入给到 Mini-Gemini，它会怎么回答呢？
可以发现，Mini-Gemini 也可以识别出图片中的元素，并且合理地建议，同时生成了一只对应的毛线小熊。
通过一些抽象的多模态指令来让模型给出推理，并生成合适的图片，这个操作就很像是 ChatGPT 和 DALL · E 3 的联动了。
接下来让 Mini-Gemini 做自己最擅长的推理和图片理解，看看它表现：
比如理解图片中的矛盾点并举一反三——输入冰川中的仙人掌，它会解释其中的矛盾并生成一张热带雨林中北极熊的图片：
图片呈现了仙人掌的典型栖息地与冰的存在之间的视觉矛盾，因为在沙漠环境中自然不会出现冰。这种矛盾的类似例子可能是一只北极熊出现在热带雨林中，因为北极熊适应于寒冷、覆盖着冰的环境，在炎热潮湿的气候中无法生存。这种并置创造了一个引人注目且超现实的视觉效果，挑战观众的期待，并可能引发人们对气候变化、环境适应或不同生态系统融合的思考。
同时，正如 ChatGPT+DALL · E 3 的梦幻结合一样，Mini-Gemini 的 " 推理生成 " 功能还可以在多轮对话中通过简单指令生成连环小故事。
比方说，让它根据用户输入讲一个贵族小老鼠的故事，Mini-Gemini 会根据前文的文字生成结果和用户输入进行推理，在保持一致性的情况下对图片进行修改，使其更符合用户的要求。
当然，Mini-Gemini 对于多模态模型的传统技能图表理解也不在话下。比方让模型理解输入曲线图的数学意义（高斯分布），并让它使用代码复现这张图，通过运行生成的代码，模型可以高质量地还原曲线图，节省了复现的时间。
又或者让 Mini-Gemini理解梗图，通过其强大的 OCR 和推理能力，也可以准确指出笑点。
在另一个案例中，Mini-Gemini 除了理解梗图本身，甚至推测了制作者的深层意图。
高清复杂的多图表理解和归纳也是小菜一碟，Mini-Gemini 直接秒变打工人效率提升的超级外挂。
技术细节：
那么问题来了，Mini-Gemini 是怎样做到这种惊艳的效果呢？
核心在于三点：
( 1 ) 用于高清影像的双编码器机制
( 2 ) 更高质量的数据
( 3 ) 训练阶段结合生成模型数据拓展
大道至简，Mini-Gemini 的整体思路并不复杂。其中的 Gemini（双子座 ) 表达的是使用视觉双分支的信息挖掘（Mining-Info in Gemini）解决高清影像理解问题。
详细来说，Mini-Gemini 将传统所使用的 ViT 当做低分辨率的 Query，而使用卷积网络（ConvNet）将高分辨率的影像编码成 Key 和 Value。
使用 Transformer 中常用的 Attention 机制，来挖掘每个低分辨率 Query 所对应的高分辨率区網域。从而在保持最终视觉 Token 数目不变的情况下去提升对高清影像的响应，保证了在大语言模型（LLM）中对于高清影像的高效编码。
值得一提的是，由于高分辨率分支卷积网络的使用，可以根据需要对影像所需的分辨率自适应调整。对于影像的生成部分，Mini-Gemini 借助了 SDXL，使用 LLM 推理后所生成的文本链接两个模型，类似于 DALL · E 3 的流程。
对于数据，Mini-Gemini 进一步收集并优化了训练数据的质量，并加入了跟生成模型结合的文本数据进行训练。在仅使用 2-3M 数据的情况下，实现了对影像理解、推理和生成的统一流程。
Mini-Gemini 在各种 Zero-shot 的榜单上毫不逊色于各种大厂用大量数据训练出来的模型。
量化指标：
可以看出，Mini-Gemini 提供了多种普通和高清版本的模型，并且覆盖了 2B 的小杯到 34B 的超大杯，各个版本都取得了相似参数量下领先的效果，在许多指标上甚至超越 Gemini Pro 和 GPT-4V。
在线可玩：
值得一提的是，Mini-Gemini 的影像理解和生成能力已经出了 Demo，可以在线跟自定义影像对话的那种。
操作也极其简单，直接跟输入影像或文字进行对话即可，欢迎来撩！
Github 地址：https://github.com/dvlab-research/MiniGemini
Demo 地址：http://103.170.5.190:7860/
论文地址：https://arxiv.org/pdf/2403.18814.pdf
模型地址：https://huggingface.co/collections/YanweiLi/mini-gemini-6603c50b9b43d044171d0854
数据地址：https://huggingface.co/collections/YanweiLi/mini-gemini-data-660463ea895a01d8f367624e
* 本文系量子位获授权刊载，观点仅为作者所有。
— 完 —
量子位 QbitAI
վ ' ᴗ ' ի 追踪 AI 技术和产品新动态
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
