今天小编分享的科学经验：阿里开源首个视觉推理模型，击败GPT-4o，网页一度404，欢迎阅读。
过年关啦！阿里送上了今年最后一份礼物——
" 眼睛 " 模型 QVQ，其中 V 代表视觉。它只需读取影像和指令，就可以开始思考。
I ’ m watching you！
据介绍，这可能是全球第一个视觉推理模型，也可以把它理解为上个月开源的阿里版 o1 模型 QwQ 的视觉版本。
可以解决数物化生等各领網域问题。
读梗图、数鸭子也不在话下。
目前该模型处于实验阶段，开放测试。
结果可能因为访问过多，网页一度还 404 了。
从性能表现上看，QVQ 在 MMMU 上的得分为 70.3，这一结果超过 GPT-4o、Claude 3.5 Sonnet，但比 o1 模型还差了那么一点。
官方给了几个演示 Demo，让咱们好好感知一下它的推理能力。
首先来看这道数学题。
解题思路如下：
再来个几何题，算算这个沙发的面积。
它的推理过程如下：
高中化学题：图片中的滤液 E 是什么化学物质？
它的答案是：硫酸亚铁溶液。
他们在四个数据集对眼睛模型 QVQ-72B-Preview 进行了评估，包括 MMMU、MathVista、MathVision、OlympiadBench，主要考察数学多模态推理以及综合理解推理方面的能力。
QVQ-72B-Preview 在 MMMU 基准测试中取得了 70.3 分，大大超过了其前身 Qwen2-VL-72B-Instruct。
此外，在其余三个以数学和科学问题为重点的基准测试中，该模型也表现出了卓越的性能，缩小了与 o1 模型之间的差距。
不过目前该模型属于是团队的实验研究模型，不是特别稳定，有几个限制需要注意。
语言混合和代码切换：该模型可能会意外地混合语言或在语言之间切换，从而影响回答的清晰度。
递归推理：模型可能会陷入循环逻辑模式，产生冗长的回复而无法得出结论。
安全和道德方面的考虑：该模型需要加强安全措施，以确保性能可靠和安全，用户在部署时应谨慎。
性能和基准限制：尽管该模型在视觉推理方面有所改进，但它不能完全取代 Qwen2-VL-72B-Instruct 的功能。此外，在多步骤视觉推理过程中，模型可能会逐渐失去对影像内容的关注，从而导致幻觉。
好好预防针打了，那咱们浅浅实测一波。
比如这道考验谷歌版 o1 的题目：
如何利用这些数字加起来等于 30？
结果它识别出来了这几个球对应的数字，没有意识到 9 号球可以翻转成 6 号球，然后就陷入无尽的思考之中。。。
在 blog 最后，他们也透露了接下来的目标——增强视觉语言基础模型，使其具备基于视觉信息进行深度思考和推理的高级能力。
把时间拉长，他们计划是将更多的模态整合到统一的模型中，能够应对复杂的挑战并参与科学探索。
（模型尽头是 AI For Science？）
参考链接：
[ 1 ] https://x.com/Alibaba_Qwen/status/1871602879972405626
[ 2 ] https://qwenlm.github.io/blog/qvq-72b-preview/
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
