今天小编分享的互联网经验：万众期待的Gemini大模型：比GPT-4强，但强的不多？，欢迎阅读。
谷歌憋了好几个月的大招、人类迄今为止最强大的 AI 模型—— Gemini，终于发布了。按照谷歌的说法，它可以像人类一样理解我们周围的世界，处理代码、文字、音频、影像和视频通通不在话下。Google DeepMind 团队称，Gemini 在 32 项基准性能测试中的 30 项上超过了 GPT-4。
然而，多位科技分析人士认为，虽然 Gemini 的性能的确优于现有的多模态模型，但它和 GPT-4 的差距并没有那么夸张。从谷歌放出的演示视频来看，很少有什么我们在过去一年的 AI 炒作狂潮里没见过的东西。
如果以谷歌的算力资源、研发能力和丰富的数据都仅能做到勉强击败 GPT4，更大问题在于，Gemini 或许就是以人类目前的技术，能够打造的大模型的上限了。
比 GPT-4 强，但强得不多
根据谷歌放出的演示视频，Gemini 是玩 " 你画我猜 " 的一把好手，不仅可以准确地描述测试者在纸上画出的图形，还能根据测试者画出的轮廓猜测她绘制的是什么东西。
在另一个例子中，测试者给 Gemini 展示了一张煎蛋卷在平底锅中烹饪的图片，并用语音询问煎蛋卷是否已经煮熟，Gemini 也用语音回答道：" 还没有煮熟，因为鸡蛋还是液态的。"
看起来很新鲜，但 Gemini 真的如谷歌所言的全方位超越 GPT-4 吗？
不见得。
基准的 MMLU 测试用于衡量 AI 模型在文本和影像的任务上的表现，包括阅读理解、大学数学以及物理、经济学和社会科学中的多项选择测验。谷歌 CEO 劈柴表示，在 MMLU 测试中，Gemini 全面击败 GPT4。对于纯文本问题，Gemini 得分为 90，人类专家得分为 89。GPT-4 得分为 86；对于多模态问题，Gemini 得分为 59，而 GPT-4 得分为 57。
圣达菲研究所的 AI 研究员 Melanie Mitchell 对媒体表示，Gemini 基准测试的表现令人印象深刻，这的确说明 Gemini 是一个非常复杂的人工智能系统，但她指出，自己并没有明显感受到 Gemini 和 GPT-4 在实际能力上的差距。
Mitchell 还指出，Gemini 在语言和代码基准测试上的表现要比在影像和视频上表现更好：
" 多模态基础模型仍然有很长的路要走，才能在许多任务里任务大范围、可靠地应用。"
斯坦福大学基础模型研究中心主任 Percy Liang 也对媒体表示，虽然 Gemini 具有良好的基准分数，但由于我们不知道训练数据中的内容，很难知道如何解释这些数字。
Google DeepMind 还称，在人类测试者的帮助下，Gemini 减轻了幻觉出现的频率，在回答问题时已经变得更加准确，在被要求时可以给出信源，并且不会再遇到难回答的问题时胡编乱造。
不过，这一点同样需要谷歌公开更多数据，否则目前也很难去验证。
仓促上阵
深度学习教父杰夫 · 辛顿（Geoffrey Hinton）在四月份离开谷歌时对媒体表示
" 谷歌一直非常谨慎地向公众发布 AI 产品，可能发生的坏事太多了，谷歌不想毁了自己的声誉。面对看似不值得信赖或无法销售的技术，谷歌采取了谨慎的态度，因此错过了更关键的机会。"
可能正是因为意识到了这一点，所以谷歌在推动 Gemini 上线时非常着急。
Gemini 最强大的满血版 Gemini Ultra，还需要等待几个月才能和公众见面。谷歌称，Ultra 版目前只会提供给部分客户、开发者、合作伙伴以及安全与责任专家使用。
有分析人士指出，谷歌甚至自己也不了解 Gemini Ultra 的所有新功能，也没有为 Gemini 制定出货币化战略。考虑到人工智能模型训练和推理的高昂成本，谷歌可能需要很长时间才能想出盈利策略。
会不会是谷歌的营销策略导致了今天产品发布的失败？也许是吧。又或者，打造最先进的生成式人工智能模型真的很难——即使你重组了整个人工智能部门来加快进程，效果可能也不尽如人意。
