马斯克的首款多模态大模型来了，GPT-4V又被超越了一次

今天小编分享的科技经验：马斯克的首款多模态大模型来了，GPT-4V又被超越了一次，欢迎阅读。

机器之心报道

机器之心编辑部

自从 2023 年 11 月 Grok 首次亮相以来，马斯克的 xAI 正在大模型领網域不断取得进步，向 OpenAI 等先行者发起进攻。在 Grok-1 开源后不到一个月，xAI 的首个多模态模型就问世了。

昨天，xAI 推出了 Grok-1.5V，该模型不仅能理解文本，还能处理文档、图表、截图和照片中的内容。

官方博文表示：「Grok-1.5V 在许多领網域都能媲美当前顶尖的多模态模型，从多学科推理到理解文档、科学图表、图表、截图和照片。」 xAI 还表示，在接下来的几个月里，预计将在影像、音频和视频等各种模态上显著提高模型能力。

我们看到了 Grok-1.5V 与 GPT-4V、Claude 3Sonnet、Claude 3 Opus 和 Gemini Pro 1.5 的测试对比。其中特别提到的是：「Grok 在理解物理世界方面的能力尤其令我们兴奋。在我们新推出的 RealWorldQA 基准测试中，Grok 的表现优于同类产品。对于下面的所有数据集，我们都是在没有思维链提示的情况下对 Grok 进行评估的。」

如果 Grok-1.5 能在类似于 Grok-1 的开源许可证下发布，这将成为当下 LLM 竞争格局的一个重要节点。

Grok-1.5V 表现如何？

目前，Grok-1.5V 还没有完全开放，但会很快提供给早期测试者和现有的 Grok 用户。不过，博客中展示了 Grok-1.5V 的七个示例。

第一个是将流程图的白板草图转换为 Python 代码：

Prompt：Can you translate this into Python code?（你能把它翻译成 Python 代码吗？）

Grok：当然！您提供的流程图描述了一个简单的竞猜游戏：计算机生成一个随机数，用户必须猜出它。下面是表示流程图中逻辑的 Python 代码：

import random

def guess_number ( ) : # Generate a random number between 1 and 10

target = random.randint ( 1, 10 )

while True: guess = int ( input ( "Guess a number between 1 and 10: " ) )

if guess == target: print ( "You won!" ) break else: print ( "Wrong guess, try again!" )

if __name__ == "__main__": guess_number ( )

第二个是计算卡路里：

Prompt：How many calories are there in 5 slices of this?（5 片有多少卡路里？）

‍

Grok：如果一份是 3 片，含有 60 卡路里，那么 5 片就含有大约 100 卡路里。计算方法是首先确定每片的热量：60 卡 / 3 片 = 20 卡 / 片。然后，将每片的卡路里乘以片数：每片 20 卡路里 * 5 片 = 100 卡路里。

第三个是将草图转化为睡前故事：

Prompt：My son drew this, can you tell a short bedtime story based on his drawing?（这是我儿子画的，你能根据他的画讲一个简短的睡前故事吗？）

Grok：

很久很久以前，在一个充满冒险和奇迹的国度里，有一个勇敢的小男孩，名叫提米。提米和家人住在舒适的小房子里，他最喜欢的事情就是探索周围的世界。

在一个阳光明媚的日子里，提米决定去附近的森林探险。他带上了自己最喜欢的零食、指南针和他最信任的笔记本，准备把看到的所有令人兴奋的事物都画下来。

当 Timmy 走进森林深处时，他发现了一条在阳光下闪闪发光的神奇河流。这条河是如此迷人，以至于提米决定做一艘小纸船，顺流而下，作为给森林精灵的特别讯息。

提米小心翼翼地折好纸船，在上面画了一个笑脸，希望能给森林精灵带来欢乐。然后，他把小船放在河面上，看着小船载着他的友谊和对大自然的爱漂走了。

夕阳西下，提米知道是时候回家了。他为自己在森林里度过的神奇的一天感到庆幸，他知道自己将永远铭记这次探险。

回到家后，提米和家人分享了他的故事，家人听到他在森林里度过的神奇一天都非常高兴。他们一致认为，提米勇敢、善良的精神是一种真正的激励，他们知道，提米今后还会有更多精彩的冒险经历。

就这样，带着满心的爱和满腦子的梦想，提米渐渐进入了梦乡，他渴望发现在他的想象世界里还有什么新的冒险在等着他。

第四个是解释梗图：

Prompt：I don't get it, please explain（我不理解，啥意思？）

Grok：

这幅图幽默地将初创公司和大公司作了对比。在标有 " 初创企业 " 的左侧，有一群人在一起挖洞。他们都在积极参与，洞已经挖得很深了。

在标有 " 大公司 " 的右侧，有一群人围着一个洞站着。然而，与初创公司不同的是，只有一个人真正在挖洞，其他人都在观看或从事其他活动。

这幅图的幽默感来自于对初创企业和大公司之间差异的夸大。在初创公司，人们往往有一种紧迫感，希望每个人都能直接为手头的任务做出贡献。相比之下，大公司往往被描述为官僚主义更严重，所有团队成员对每个项目的直接参与更少。

第五个是将表格转换为 CSV 檔案格式：

Prompt：Please convert this table to csv.（请将此表转换为 csv。）

Grok：

medal,name,sport,event,date1 gold,El Amin Chentouf,Athletics,Men's marathon - T13,11 September1 gold,Mohamed Amguoun,Athletics,Men's 400m - T13,15 September1 gold,Azeddine Nouiri,Athletics,Men's shot put - T34,15 September2 silver,Mahdi Afri,Athletics,Men's 400m - T12,9 September2 silver,El Amin Chentouf,Athletics,Men's 5000m - T13,15 September3 bronze,Mahdi Afri,Athletics,Men's 200m - T12,17 September3 bronze,Mohamed Lahna,Paratriathlon,Men's PT2,10 September

CSV 格式不支持样式或格式設定，因此信息以纯文本格式呈现。

第六个是辨别木头的腐朽程度：

Prompt：These holes are appearing around the screws in my deck. Is it rotten? Should I get my boards replaced?（这些孔出现在我的甲板上的螺钉周围。是不是烂了？我应该更换吗？）

Grok：

甲板上的木材似乎已经开始腐烂。这表现在螺丝周围出现孔洞，这是木材腐烂的常见迹象。

为了确保露台的安全和使用寿命，建议更换受影响的木板。这将有助于防止其受到进一步损坏，并保持其结构的完整性。

如果您不确定如何更换木板，咨询专业的露台建造商或承包商可能会有所帮助。他们将能够评估损坏的程度，并就最佳行动方案向您提供专家建议。

第七个是解决编程问题：

Prompt：Can you write Python code that solves this?（你能编写 Python 代码来解决这个问题吗？）

Grok 回复如下：

def find_triplets ( nums ) : result = [ ] nums.sort ( ) for i in range ( len ( nums ) - 2 ) : if i > 0 and nums [ i ] == nums [ i - 1 ] : continue target = -nums [ i ] left = i + 1 right = len ( nums ) - 1 while left < right: if nums [ left ] + nums [ right ] == target: result.append ( [ -target, nums [ left ] , nums [ right ] ] ) left += 1 right -= 1 while left < right and nums [ left ] == nums [ left - 1 ] : left += 1 while left < right and nums [ right ] == nums [ right + 1 ] : right -= 1 elif nums [ left ] + nums [ right ] < target: left += 1 else: right -= 1 return result

RealWorldQA 基准

本次发布还有一个亮点：xAI 推出了一个新的基准「RealWorldQA」。

下载地址：https://data.x.ai/realworldqa.zip

「为了开发有用的真实世界人工智能助手，提高模型对物理世界的理解至关重要。」xAI 希望借助该基准更好地评估多模态模型的基本真实世界空间理解能力。「虽然当前基准中的许多示例对人类来说相对容易，但它们往往对前沿模型构成挑战。」

目前，RealWorldQA 包含 700 多张图片，每张图片都有一个问题和易于验证的答案。

在真实世界的影像外，该数据集还包括从车辆上拍摄的匿名影像。这对于自动驾驶领網域来说，或许是个好消息。

巧合的是，微软研究院前段时间更新了跨语言、模态、模型和任务的基准测试 MEGAVERSE，包含 22 个数据集，涵盖 83 种语言（包括资源匮乏的非洲语言）。微软还在基准测试中加入了两个多模态数据集，并比较了 LLaVA 模型 GPT-4-Vision 和 Gemini-Pro-Vision 的性能。