今天小编分享的科学经验:Sora之后,视频生成模型的中国牌局,欢迎阅读。
Sora,自 2 月 16 日 OpenAI 发布后一直被吐槽是 " 技术期货 ",终于在 12 月 10 日,正式版 Sora 露面了,可以生成最高 1080p 分辨率、最长 20 秒的视频。
OpenAI CEO 奥特曼称,Sora 正式版是视频生成领網域的 GPT-1 时刻。
但国内 AI 企业,并没有像跟进 GPT 时期一样,在视频生成领網域也与 OpenAI 保持同步,而是呈现出更复杂的态度。
有人选择跟进,比如 Sora 问世之后,互联网公司如阿里、字节跳动、快手、腾讯等,AI 公司如智谱 AI、MiniMax、爱诗科技、生数科技等,都陆续发布了视频生成模型,不少都表示达到或超越了预览版 Sora。
也有人选择不跟进,包括互联网公司中的百度,李彦宏曾明确表示," 无论 Sora 多么火爆百度都不去做 "。AI 公司如百川智能,也明确表示不会做类 Sora 模型,月之暗面、商汤科技、零一万物虽然都有文生视频模型,但都不作为重点。
视频生成赛道,不再延续 GPT 时代的发展模式,即 OpenAI 打出一张王牌,国内科技企业抢着要跟。Sora 之后,国内 AI 牌局开始有了自己的节奏,也呈现出更为复杂的局势。
有能力做通用基础大模型的国内科技公司,在技术路线、商业前景等判断上,开始出现明显分野。我们就从国内企业跟进 Sora 的选择与否,聊聊视频生成的中国牌局。
首先我们要明确一下,国内对标 Sora 模型的科技公司,到底在做什么?
简单来说,Sora 视频生成模型的核心技术路线是 Diffusion+Transformer 相结合,通过文本(自然语言)、图片、视频作为提示词 prompts 进行视频生成。
对标 Sora 的模型,至少要具备几个特点:
1. 通用性,不针对某一类风格、行业、角色等,任意内容的视频都可以生成。
2. 高质量,画质精度高(达到 1080p)、视频时间长(最长达一分钟)、画面一致性强(理解物理规律)。
面对 Sora,国内科技企业不像 ChatGPT 推出时那样毫无准备。但到底跟 or 不跟,却不再像 ChatGPT 那样高度一致,而是分化成了三类:
第一类,明确跟进。
互联网公司阵营中,以视频为核心业务的字节跳动、快手等,以及综合科技公司腾讯,数字基建成熟,技术人才资源充沛,内部有视频产品基因,几乎第一时间选择了跟进。字节跳动推出了即梦 Dreamnia,快手也发布了可灵大模型。腾讯以混元大模型作为核心,发布并开源了混元多模态生成模型,被认为是腾讯版 Sora。
大模型初创企业中,智谱 AI 的行动最为敏捷,今年 7 月发布了 AI 视频生成工具清影,支持用户通过文本 / 图片,生成 10 秒、4K、60 帧视频。MiniMax 的海螺 AI 也在十月增加了视频生成能力,支持文本提示词生成 6 秒视频片段。
第二类,坚决不跟。
与第一类企业的态度截然相反,互联网公司和大模型创企中也有坚决不跟 Sora 的。比如 Sora 问世之后,百川智能的王小川就表示,团队有人提出要做 Sora,但他明确表态称不会跟进这个方向。
同样想法的还有百度李彦宏,尽管百度已经在视频生成领網域取得了一定的成果,但他不做 Sora 的态度也非常坚决,原因是 Sora 的商业化可能要五年甚至十年,目前百度更聚焦在大语言模型、多模态大模型,没有类 Sora 的产品化尝试。
第三类,浅尝辄止。
除此之外,还有大量国内企业对于 Sora,出于 FOMO" 恐惧错过 " 心理有所布局,但并不重点投入,处于一种浅尝辄止的状态。
比如阿里系中的阿里妈妈团队发布了 tomoVideo,试水电商营销的视频生成场景;" 大模型六小虎 " 中,月之暗面也推出了视频生成模型,但仍聚焦在 kimi 产品上;零一万物入局 B 端业务,而视频生成模型面向的影视制作行业正处于调整期,类 Sora 产品也很难成为核心增长点。
总结一下,如果说全球大模型是一场 " 斗地主 ",那么游戏规则不再是 OpenAI 打出一张王炸,国内科技公司纷纷跟上,而是各自按照自己手里的牌面、业务重要性和优先级,来确定 Sora 的出牌策略。
为什么到了 Sora,大模型行业的游戏规则就变了?
国内科技企业的表现说明,对于 Sora 存在非共识,整体还是比较混乱、规则模糊的阶段。迷雾中的领網域,游戏规则自然只能自行探索。
如今视频生成领網域的现状,笼罩着三重迷雾。
技术迷雾:OpenAl 认为 Sora 是世界模拟器、通往 AGl 的一条有前途的途径,这一技术路线目前存在不少争议。
比如李飞飞、lecun 等人认为,Sora 不能实现 AGI。李飞飞提出,Sora 仍是二维影像,只有三维空间智能才能实现 AGI。Sora 预览版展示的 " 日本女性走过霓虹闪烁东京街头 " 的生成视频,就无法把攝影機放在女子背后,说明 Sora 并没有真的理解三维世界。学术大神 Lecun 也点名不看好 Sora,说它根本不是真正的世界模型,并且仍会面临 GPT4 的巨大瓶颈。
确实,即使是正式版 Sora,生成的手部细节不准确,动态过程中的一致性等问题,依然存在。
而国内公司坚定不跟进 Sora 的原因之一,也是对这一技术路线保留意见。比如百川智能的王小川就认为,Sora 只是阶段性产物,技术高度、突破性以及应用价值均不及 GPT。总之,实现 AGI、模拟物理世界的技术路线的开放性,决定了 Sora 并非唯一解。
商业迷雾:视频生成模型的商用前景、投资回报比,在短期内都不明朗,成为劝退国内企业的另一重阻碍。
预览版和正式版 Sora,都延续了 OpenAI 的 " 暴力美学 ",OpenAI 研究科学家 Noam Brown 表示,Sora 是 scale 力量最直观的展示,也就是通过堆算力、对数据、对参数量的方式,来尝试让大模型涌现出理解物理世界的能力。这种方法成本高、资源投入大。是否跟进 Sora,就取决于各家对模型的商用预期和投资回报比。
如果视频生成模型面向 ToB 收费,通过 API 或 SaaS 服务,都需要基础模型厂商投入大量人力去优化业务流程、开发互動页面,而影视行业正处于调整周期,AI 影视制作业务的增长有限。这就在无形中增加了 AI 企业的机会成本,因为同样的人力、物力、算力,投入到金融 AI、教育 AI、大型政企等领網域,显然收效更大。所以,百度、零一万物等公司,都将视频生成领網域作为边缘业务,并不重点投入。
而 ToC 场景中,一方面个人付费意愿不高,视频生成并不是大众日常使用的高频场景,而且生成成本和订阅费一般都比文本模型高,加上 Sora 模型都没能解决幻觉、一致性难题,未必能创造实际价值,所以 C 端付费规模十分有限。另一方面,模型完全免费,把视频生成模型产品作为企业的流量入口,这一商业模式只适合将视频作为核心业务的企业。
比如快手、字节跳动,本身就有核心的视频业务,可以快速实现模型的规模化。面向 C 端用户或 B 端生产力工具,这类企业能够快速将视频生成能力与现有产品进行集成与整合,模型研发的边际成本是会随着规模商用而下降的。
整体来看,对国内绝大多数基础模厂,视频生成领網域都是一个相对边缘、投资回报比不高的业务。
第三重迷雾,就是市场格局的竞争迷雾。
虽然视频生成模型现在商业前景不明,但有没有可能以后会爆发,企业悄悄投入然后惊艳所有人?这种押注边缘赛道 " 捡大漏 " 的商业神话,在大模型身上恐怕很难发生。
当前,大模型的产品化、商业化前景普遍比较模糊,通用模型厂商都需要尽快从一大堆不甚明朗的产品中,选出一个更高成功概率和更大市场潜力的选项,重点投入。而在所有产品中,视频生成模型是一个尤为沉重且具有挑战性的项目。这种情况下,肯定要优先考虑成功率更高的产品,降低视频生成模型的业务优先级。
换一个角度,即便企业将视频生成模型的优先级放到最高,恐怕也很难建立起竞争优势。因为当前大模型的市场竞争情况跟 GPT 时期不太一样,如今各家在基础训练设施、核心架构设计与技术储备等方面都有了一定积累,复现 Sora 并上线类 Sora 应用的技术壁垒,其实没有 ChatGPT 时期那么难了。这也意味着,即使企业先发布了视频生成模型,也未必能长期保持竞争优势和市场垄断地位,这种竞争态势也削弱了 Sora 的商业想象空间。
技术迷雾、商业迷雾、竞争迷雾,仍然笼罩在视频生成领網域,导致 Sora 这一场牌局有着太多的不确定,和太多可能。哪种理解是对的,哪条路线是最终赢家,目前都言之过早,各家只能按照自己的游戏规则玩下去。
大模型技术必须继续发展下去,但从 Sora 开始,国内科技企业不再紧跟着 OpenAI 亦步亦趋,开始有了自己的节奏感。
具体表现在,对于 Sora 这样一鸣惊人的新东西,国内企业在大模型产品化、商业化上都有了自己的理解与思考,开始自己定义玩法,跟进 Sora 展现的是实力,不跟进 Sora 展现的是心态与战略定力。
此外,不一味跟进产品,但 OpenAI 的叙事能力仍然值得学习。
无论是 2 月用 Sora 抢走谷歌风头,还是近期 Sora 正式上线,OpenAI 总能一次次带动节奏、設定议题、吸引关注,这对于资本密集型 AI 企业是非常重要的能力。
可以不跟进 Sora,但不能遗漏关键技术。
以百度为例,虽然没有推出 Sora 产品的计划,但自身也没有缺席关键技术,比如自研了多模态可控生图技术,能够在保持实体特征不变的情况下,实现影像的高泛化生成,而可控性的提升,恰恰是视频生成下一阶段核心中的核心。此外,百度也没有完全无视视频生成领網域,目前投资了视频生成初创公司生数科技、AI 视频短剧公司井英科技等。
聚焦主赛道,以自身核心业务、商业优先级等多元因素来确定追赶 Sora 的轻重缓急。大模型的牌局,国内企业正在找到自己的节奏感。