今天小编分享的科技经验:速度秒杀GPT们10倍,国外的DeepSeek时刻来了?,欢迎阅读。
什么?AI 界又整新活了?
这次虽然没像 DeepSeek、Manus 们那样搞得人尽皆知,但可能对 AI 界发展的影响还真不小。
前段时间,有个名不见经传的小公司 Inception Labs 搞了个大新闻,说是开发出了全球首个商业级扩散大模型 Mercury。
而这个所谓的扩散大模型,可能会掀起一股浪潮,彻底颠覆大模型 3 年多来的基础路线。
人家也实打实放出了数据,在一众测试里,Mercury Coder 基本是一路吊打 GPT-4o Mini 和 Claude 3.5 Haiku,这些大家都快用烂的模型了。
而且,这些同台竞技的模型们,还特地专门为生成速度进行过优化,但 Mercury 还是比他们快了多达 10 倍。
不仅如此,Mercury 还能在 NVIDIA H100 芯片上,实现每秒超过 1000token 的处理速度,而常见的大模型想要实现这个速度,往往都得用上专门定制的 AI 芯片。
要知道,为了实现更高的 token 处理速度,定制化 AI 芯片几乎成了各个厂商的新战场。
除了速度超级超级超级快之外,我们也能从 Artificial Analysis 的测试坐标系里看出,Mercury 的生成质量也是杠杠的。
虽然目前还不如顶尖的 Claude3.5 Haiku 等,但考虑到它是一目十行的效率,能保持这个生成质量已经是非常哇塞了。
我们也在官方放出的 Mercury Coder Playground 里简单试了几个例子,一顿测试下来发现生成效果确实不错,而且速度真的是极快。
提示词:用 HTML5 写一个贪吃蛇游戏。
注意,这里的生成录屏动图并未加速
提示词:用 HTML5,CSS 和 Javascript 写一个扫雷游戏。
提示词:用 HTML5 做一个 Pong 游戏。
可能不少差友看到这估计决定,这也没多牛啊,说什么 AI 界可能要变天了?
Mercury 的厉害的点倒不是它的实际效果有多棒,更重要的是它给 AI 界带来了一种新可能:谁说大语言模型就一定要走 Transformer 的路线?
在这个 AI 时代,Transformer 和 Diffusion 大家估计都听得耳朵起茧子了,一会是 Transformer 单干,一会是 Diffusion 单飞,又或者是两者一起合作。
但本质上来说,这两者其实代表了 AI 的两个不同进化方向,甚至可以说,Transformer 和 Diffusion 的 " 思维 " 机制不同。
Transformer 是 " 典型 " 人类的链式思维,它有一个自回归的属性,就是它有个先后的概念,你得先生成了前面的结果,才能想出后面的玩意儿。
所以我们现在看到的 AI 生成,都是逐字逐句,从上从下一点点长出来的。
就像这样(这还是加速过的生成速度)
而 Diffusion,则是反直觉的,直接从模糊去噪从而到清晰的过程。
就是你问他问题,他不会有整理逻辑,按 1、2、3、4…… 步骤回答你的想法,而是腦子直接想好了所有答案雏形,但这些答案全都是模糊不清的,然后一步步把所有答案一起变清晰,直到生成结果。
用生活里的一个最常见的例子就是去配眼镜,当你拿掉眼镜看东西的时候,一整片都朦胧不清,但你确实都看到了,随着一片片镜片加上去,最终你看清了每一个字。
所以 Mercury 生成的结果都是一大片模糊的乱码,然后一顿 quickly quickly biu biu biu,ber 得一下就全搞定了。
就像这样
关于这俩的效果对比,我感觉历史上曾经有一个著名发布会上,有人曾用过更直观的对比,可能更形象化地帮助大家理解。
CPU 就好比如今的 Transformer
GPU 就好比如今的 Diffusion
其实光从我们这么简单的描述看起来,大家也能明白,Transformer 的确是更符合大家逻辑的思维方式,所以在大语言模型刚爆红的时候,基本就是 Transformer 一个人勇闯天涯。
但逐渐的,Transformer 开始展露自己的不足。
其中最让人头疼的就是,Transformer 的注意力机制看起来很优秀的背后,是计算复杂度指数级别增长。
计算复杂度的爆炸增长带来了多方面的制约,比如模型推理速度显著下降,在长文本、视频等领網域,生成速度显然无法满足实际需求。
进一步的,复杂度不断升高,所需要的硬體资源也同样指数级增长,这种硬體需求阻止了 AI 真正走进大家生活。
所以一直以来,业界都在想着法地缓解 Transformer 模型的计算复杂度。
像通过量化、蒸馏、压缩模型的 DeepSeek 能够爆火出圈,其实也是建立在这种迫切需求上。
那 Mercury 的出现,似乎也在提醒大家,如果降低 Transformer 的计算复杂度太难的话,要不试试新路子?
而且 Mercury 背后的 Diffusion 路线,大家并不陌生。
比如早期爆红的 stable Diffusion,Midjournery、DALL-E 2 里,都看到了 Diffusion 模型的应用。
甚至还出现了像是 OpenAI 的 sora 模型,就是利用了 Diffusion Transformer 这种 Transformer 和 Diffusion 混合双打模型。
虽然理想很美好,但 Diffusion 此前几乎都被各路人马判了死刑,因为他们觉得这货驾驭不了语言模型。
因为 Diffusion 的特点是没了自回归,不用依赖上下文,从而可以节省资源,加快生成速度。
但这么一来,生成精度有点难以把握,就像现在文生图、文生视频的各种模型,依旧难以控制手部、吃面条、文字等高精度的生成。
可这次 Mercury 的突破性成果,的确也第一次向大家验证了,Diffusion 也能干 Transformer 的活。
不过可惜的是,目前 Mercury 并没有公开任何技术文档,我们无法进一步得知它是如何搞定生成内容质量难关的。
但我们从它挑的对手比如 Claude3.5 Haiku、GPT4-omini、Qwen2.5 coder 7B、DeepSeek V2 lite 等等这些袖珍版大模型里,也能看出来,显然最强大的 Diffusion 语言模型 Mercury 也还没法做得特别大。
甚至经过我们测试发现,除了官方推荐的提示词生成效果比较精准以外,如果用一些自定义提示词,它的出错概率就高得有点夸张了。
而且生成的稳定性也相当一般,经常第一次生成效果还不错,再测试一次结果反而不会了。
提示词:用 HTML 画出太阳系的模拟动画。
但毫无疑问,Mercury 的成果是了不起的,特别在考虑到 Diffusion 在多模态生成上的强势地位,也让人不禁想象,如果 Diffusion 的路线才是 AI 大模型更正确的道路,未来的联动进化好像更水到渠成些。
前不久,差评君刚看了一部名为《降临》的电影,里面的外星人就不是按照人类这样 1、2、3、4…… 的链式思维逻辑,不同的思维方式显然会带来更多的可能性。
那问题来了,谁说 AI 就得要像人类一样思考呢?对他们来说,是不是 Diffusion 的思考方式更符合 " 硅基生命 " 的属性呢?
当然,这些都是差评君的瞎扯淡,不过有意思的是,Mercury 既是太阳系的水星,也是罗马神话中的信使,他们俩的特点就是跑得飞快,而在占星学里,它又代表着人的思维方式和沟通能力。
我们也不妨期待,Mercury 的出现,能给 AI 带来新的路子。