今天小编分享的科技经验：谷歌员工曝AI改进速度放缓，Gemini已成立新团队解决问题，欢迎阅读。
编译｜依婷
编辑｜Panken
智东西 11 月 14 日消息，据外媒 The Information 报道，一位参与工作的内部人士称，谷歌最近一直在为提升其聊天机器人产品 Gemini 的性能而努力，该公司希望模型性能提升的速度可以与去年相当，这促使研究人员专注于其他方法来勉强取得效果。
这种情况和 OpenAI 的遭遇类似。此前有报道称，OpenAI 模型性能提升速度有所放缓，该公司正改变技术策略来解决问题。
回到谷歌本身，上述人士称，谷歌在投入了大量算力和训练数据，如来自网页的文本和影像后，并没有实现一些高管所期待的性能提升。当研究人员使用更多的数据和算力来训练模型时，过去版本的 Gemini 大模型改进速度更快。
谷歌的经历是 scaling law（缩放定律）受到考验的另一迹象。许多研究人员认为，只要使用更专业的 AI 芯片来处理更多的数据，模型就会以相同的速度改进。但目前来看，这两个因素似乎远远不够。
这个问题成为谷歌的心头大患。因为在开发者和客户数量方面，Gemini 模型落后于 OpenAI 的 GPT 模型，而谷歌一直希望它在算力资源方面的优势，可以助力它在模型性能方面超越 OpenAI。与此同时，两家公司都在开发由现有技术版本提供支持的新产品，这些产品可以帮助軟體程式员和其他办公人员，在处理繁琐及复杂工作时，实现自动化。
" 我们对在 Gemini 上看到的进展很满意，在合适的时机我们会披露更多消息。" 谷歌发言人称，公司正在重新考虑如何处理训练数据并在数据上大量投资。这位发言人说，谷歌还成功地加快了模型的响应速度，这 " 对于以谷歌的规模提供 AI 服务很重要 "。
在 OpenAI，研究人员发明了推理模型等新技术，以弥补在模型训练阶段，使用传统 scaling law 技术导致的性能提升放缓问题。谷歌似乎也在效仿。最近几周，DeepMind 在其 Gemini 部门内组建了一个团队，该团队由首席研究科学家 Jack Rae 和前 Character.AI 联合创始人 Noam Shazeer 领导，旨在开发类似 OpenAI 推理模型的能力。
开发 Gemini 的研究人员也一直专注于对模型进行手动改进。参与这项工作的人说，改进工作包括更改它们的 " 超参数（hyperparameters）"，或者是决定模型如何处理信息的变量，比如，模型在训练数据中不同概念或模块之间建立联系的速度。研究人员在称为 " 模型调优（model tuning）" 的过程中测试不同的超参数，以检验哪些变量会带来最佳结果。
上述人士说，谷歌在其传统方法中遇到的一个问题是，它在用于开发 Gemini 的数据中发现了相同信息的副本。他们说，这可能损害了 Gemini 的表现。对此，谷歌发言人回复称，此类问题对团队来说并不新鲜。
另外，该人士还透露，谷歌研究人员曾尝试使用 AI 生成的数据（也称为合成数据），以及音视频作为 Gemini 的训练数据来改进模型性能，但没有产生显著效果。
结语：巨头遇到瓶颈，"AI 泡沫 " 还是 AGI？
一周时间，OpenAI 和谷歌这两大 AI 巨头接连被爆出模型性能提升缓慢问题，且目前来看两家公司都没有找到有效解法，scaling law 的有效性受到挑战。
从公司个体来看，两巨头的技术领先地位将面临极大挑战；从行业来看，技术瓶颈长期无解可能会导向悲观派所说的 "AI 泡沫 "。
世界离 AGI 还有多远？还要看这些巨头公司们多久突破技术瓶颈。
来源：The Information
