今天小编分享的科技经验:ChatGPT和Sora其实限制了我们对大模型的想象?,欢迎阅读。
最近一份美国市场研究机构发布的报告火了。报告详细分析了 OpenAI 部署 Sora 所需的硬體资源,计算得出,在峰值时期 Sora 需要高达 72 万张英伟达 H100 来支持,对应成本是 1561 亿人民币。
同时,还有一条新闻也在刷屏。一名微软的工程师爆料,为了训练 GPT-6 而搭建了 10 万个 H100,结果却把电网直接搞崩了。
而且这些新闻让关心大模型的人们开始嘀咕:
费这么大劲把地球资源都耗尽了,就为生成几个文字,生成几个视频,真的值得吗?
(图源:Factorial funds)
其实,某种程度上,ChatGPT 和 Sora 限制了人们对大模型的想象力——
生成文字可以 " 通过预测下一个 token 就理解世界 ",生成视频可以变成 " 理解物理世界的引擎 ",于是所有资源都投入到生成文字与影像上去。
但,大模型的想象力就这样了吗?
不看不知道,行业大模型已经有多强
最近行业里流传的一系列有趣的案例,大大突破了 ChatGPT 和 Sora 提供的样本,给大家看到了生成式 AI 更多的想象空间。
图中是一个 AI 正在生成体检报告,是的,它在生成 " 未来 " 的体检报告。
在健康管理行业,如何更早的对人们的健康状况作出风险预警,是个关键的问题。
那么,既然生成式 AI 这么强大,让 AI 直接生成未来的体检报告如何?
AI 还真的就给你生成了。未来的体检结果让你必须重视。
不只是人类体检报告,AI 还可以生成复杂的水电机组的未来 " 体检报告 "。
可以看到,AI 直接给出了具体的时间,精确到分钟的运行状况,提示可能发生的高温故障。
提示老师傅检查,并调整检测和运行的策略。
这些案例就来自 AI 公司第四范式在产业界的一些实践。这些行业大模型基于一个叫做先知 AIOS 的行业大模型平台,涵盖各类 AI 模型的开发、纳管和应用,这个平台已经进化到了 5.0 版。
AI 生成一切,一切 AI 都是生成
敏锐的读者一定已经发现,这些神奇的案例有个共同特点:
其实它们都在 "Predict the next X"。而这个 X,不只是 ChatGPT 等大语言模型在处理的 " 语言 ",而是更多更丰富的各个行业的 X 模态数据。
某种程度上,ChatGPT 证明使用大量数据进行预训练,然后以 "Predict the next token" 的方式,是可以产生智能的。而 Sora 则证明了这种 "Predict the next X" 的方式不应只局限在 token 代表的文本数据。
ChatGPT 和 Sora 的出现,都证明了"Predict the next X" 这个路线的正确。
因此进一步打开想象空间和发挥大模型价值的方向,就是让 "Predict the next X" 里的 X,这一未知数的指代形式不断扩展延伸。
这个 X,可能是体检报告、水文数据,可能是监测数值和应急预案。这些行业的大模型,需要行业里很多形态的数据,很强的行业知识,最终去生成特定行业的 X。
比如下面这个垂直行业从业者开发的声效大模型。
当你要为一个音乐厅设计最佳的声音体验时,只需要让这个行业大模型去生成不同方案下的声音方案,让它提供具体的数据,并用直观的影像展示出来。
这种生成声音体验,完全无法用预测下一个单词的方式,但在使用大量声音行业的专有形态和特殊的数据训练一个行业大模型后,就这样被生成了。
而要开发这样的模型,一个重要前提显然是把主动权交给各行各业的从业者,让专业的知识和数据发挥作用。
他们需要的可能不是一个传统的大语言模型,不是基于大语言模型微调行业数据,而是真正基于自己行业里不同形态的数据训练出的基座大模型。
第四范式的 AIOS 5.0 可以接受各种各样的 "X",再基于这些 X 构建对应的垂直行业大模型,以他们的话说—— "种瓜得瓜,种豆得豆。" 语文模型解不了数学题。
其实,这样的思路已经被越来越多的重要公司所接受。就连 OpenAI 也不认为最终会有一个万能的大模型来解决一切问题。OpenAI COO 最近在一场论坛上表示," 你当然不需要一个一体化模型来解决所有问题。人们应该根据具体使用场景动态调用不同的模型,从而更好地分配智能资源。"
所以,不要被 ChatGPT 和 Sora 所局限了,"Predict the next X" 的 X 应该有更多的可能性。而这些可能性只会从各个行业里发芽生长起来,当它们连成一片,AGI 可能会更快到来。