AI生成视频：有点惊艳，有点离谱

今天小编分享的科技经验：AI生成视频：有点惊艳，有点离谱，欢迎阅读。

AIGC 的最后一块拼图，要拼上了？

定焦（dingjiaoone）原创

作者 | 黎明

编辑 | 魏佳

AI 生成的视频，正在入侵互联网。

此前，我们已经见识了完全由 AI 制成的科幻预告片《Trailer：Genesis》，以及用 AI 合成的《芭比海默》预告片。这两部腦洞大开的片子，让我们见识了 AI 的神奇。

现在，越来越多 AI 视频工具正在被开发出来，批量制造短视频和电影片段，其生成效果让人惊叹，使用门槛却低到 " 令人发指 "。

比如用 Pika 生成的这个：

用 Runway Gen-2 生成的这个：

以及用 Neverends 生成的这个：

不需要复杂的代码，也不需要深奥的指令，只需要一句话，或者一张图片，AI 就能自动生成动态视频。如果想修改，同样只需要一句话，指哪改哪。喜欢做视频的同学，再也不用四处找素材、熬夜剪辑了。

在创投圈，视频生成类 AI 正在取代大语言模型，成为近期最热门的赛道。前段时间出圈的 Pika，给这团火又添了一把柴。

AI 视频这阵风，能吹多久？

AI 生成视频，这次有点东西

用 AI 生成一段视频不是什么难事，区别在于生成什么样的视频。

经常剪视频的人可能知道 " 一键成片 "，在剪映等视频工具里输入脚本，系统可直接生成与脚本匹配的视频；在一些数字人平台上传一张照片，AI 生成一个数字人，在口播时能自动对口型。

这是 AI，但不是我们今天讨论的 AI。

本文提到的 AI 生成视频，指的是生成有连续逻辑的视频，内容之间有关联性与协同性。它不是根据脚本把图片素材拼接成视频形式，也不是用程式驱动数字人 " 动手动嘴 "。它更接近于 " 无中生有 "，实现难度更高。

比如以下这段视频，就靠一句指令生成：

视频中的汽车、树叶、光影，是 AI 靠自己的知识储备和经验 " 画 " 出来的，或者说是 " 瞎编 " 的。当然，是根据用户的要求 " 瞎编 "。

再看以下这段视频，就靠一张静态图片，AI 自动拓展成视频。

图片中的人物、船只、水流本来都是静止的，AI 将它们变成了动态。

AI 还可以对原视频进行扩充，把场景 " 补 " 齐，比如从只有上半身扩充到全身，以及构造出人物背后的全景。这跟最近很火的 AI 扩图有点像，AI 根据自己的理解，以小见大，以树木见森林。

以上三种生成视频的方式，就是现在流行的AI 视频 " 三件套 "：文生视频、图生视频、视频生视频。简言之，无论是文字、图片还是视频，都能作为原始素材，通过 AI 生成新的视频。

从技术角度，这依托跨模态大模型。在输入端，输入自然语言、影像、视频等形式的指令，最后都能在输出端以视频的形式呈现。

生成只是第一步，后续还能用 AI 修改。

请看 X 网友发布的一段视频：

这个视频体现了两个重要的功能：一键换装，一键增减物品。这也是 Pika 在 1.0 版本上线时重点介绍的功能。在 Pika 的宣传片中，只需要一句话输入指令，就能给猩猩戴上墨镜，给一位行走中的女士换装。

这其中的厉害之处不在换装，而在换装的方式——用自然语言的方式下指令，且整个过程非常丝滑，毫无违和感。通过 AI，人们能够轻松编辑并重构视频的场景。

AI 还能改变视频风格，动漫、卡通、电影，通通不在话下，比如将现实中的实拍镜头转换为卡通世界，它的效果跟 P 图軟體的滤镜有点像，但更高级。

现在用 AI 生成的视频，已经能达到以假乱真的效果，国内还有一批公司在研发更新的技术。

这两排人物，每排的六个人动作都一模一样，就像 " 一个模子里刻出来的 "。没错，它们就是通过人物静态图片，绑定骨骼动画生成的。

这是阿里研究院正在进行的一个项目，叫 Animate Anyone，它能让任何人动起来。除了阿里，字节跳动等公司也在研发类似技术，且技术迭代很快。

效果很好，但别高兴太早

用简单的自然语言让 AI 生成定制化的视频，给行业带来的兴奋跟去年的 ChatGPT 差不多。

文生视频的原理与文生影像类似，但由于视频是连续的多帧影像，所以相当于在影像的基础上增加了时间维度。这就像快速翻动一本漫画书，每页静止的画面连起来，人物和场景就 " 动 " 起来了，形成了时间连续的人像动画。

华创资本投资人张金对「定焦」分析，视频是一帧一帧构成的，比如一帧有 24 张图片，那么 AI 就要在很短时间内生成 24 张图片，虽然有共同的参数，但图片之间要有连贯性，过渡要自然还是很有难点。

目前主流的文生视频模型，主要依托 Transformer 模型和扩散模型。通过 Transformer 模型，文本在输入后能够被转化为视频令牌，进行特征融合后输出视频。扩散模型在文生图基础上增加时间维度实现视频生成，它在语义理解、内容丰富性上有优势。

现在很多厂商都会用到扩散模型，Runway 的 Gen2、Meta 的 Make-A-Video，都是这方面的代表。

不过，跟任何技术一样，刚开始产品化时让人眼前一亮，同时也会有一些漏洞。

Pika、Runway 等公司，在宣传片中展示的效果非常惊艳，我们相信这些展示是真实的，也的确有人在测试中达到类似的效果，但问题也很明显——输出不稳定。

不论是昨日明星 Gen-2，还是当红炸子鸡 Pika，都存在这个问题，这几乎是所有大模型的通病。在 ChatGPT 等大语言模型上，它体现为胡说八道；在文生视频模型上，它让人哭笑不得。

瀚皓科技 CEO 吴杰茜对「定焦」说，可控性是文生视频当前最大的痛点之一，很多团队都在做针对性的优化，尽量做到生成视频的可控。

张金表示，AI 生成视频确实难度比较大，AI 既要能理解用户输入的语义，图与图之间还要有语义连贯性。

AI 生成视频的评估标准，通常有三大维度。

首先是语义理解能力，即 AI 能不能精准识别用户的指令。你让它生成一个少女，它生成一个阿姨，你让一只猫坐飞机，它让一只猫出现在飞机顶上，这都是理解能力不够。

提示词为 A cat flying a plane,Cartoon style

其次是视频生成效果，如画面流畅度、人物稳定性、动作连贯性、光影一致性、风格准确性等等。之前很多生成的视频会有画面抖动、闪烁变形、掉帧的问题，现在技术进步有所好转，但人物稳定性和一致性还有待提高。我们把一张马斯克的经典照片输入给 Gen-2，得到的视频是这样的：

马斯克的脸怎么变得这么有棱角了？还有，这个手是怎么回事 ......

另外，画面主体的动作幅度一大，就很容易 " 露馅 "，比如转动身体的少女一会儿是瓜子脸一会儿是大饼脸，或是奔跑中的马甩出 " 无影腿 "。

还有一点是产品易用度。AI 生成视频最大的变革之一，是大幅降低了使用门槛，只用输入很少的信息就能实现丰富的效果，过去视频工作者用 PR、AE 制作视频，要在复杂的操作界面点击各种按钮，调节大量参数，现在你只用打字就可以了。

产品是否易用，是技术能否大规模普及的一个重要前提。AI 扩图最近被人们 " 玩坏 "，也是因为操作简单，但效果感人。当普通小白也能像 P 图一样 P 视频，那离爆款产品诞生就不远了。

就当前而言，以上三项指标已有很大进步，尤其是刚上线不久的 Pika1.0，各方面表现均衡。但输出不稳定依然是共性问题。

视频时长也是一大限制。现在主流的文生视频产品，正常生成的视频时长一般在 3 到 4 秒，最长的没有超过 30 秒。生成视频的时间越长，对 AI 的理解、生成能力要求越高，露馅的概率也越大。

因此很多人不得不使用 " 续杯 " 的方式，同时还得结合其他素材，才能实现理想效果。而在《芭比海默》《Trailer：Genesis》这两部预告片中，作者用到了 Midjourney（处理影像）、Gen-2（处理视频）、CapCut（剪辑视频）等多种工具。

吴杰茜表示，当前市面上的 AI 文生视频产品，生成的视频时长最多也就十多秒，瀚皓科技即将推出的产品试图做到生成任意时长，比如 15 秒短视频、1 分钟左右的短剧，这也能成为一个差异化的特色。

所以就当前而言，想靠 AI 直接生成一整部大片，还有点早。

争抢 AIGC 的最后一块拼图

在 AIGC 的各大细分赛道中，AI 文生视频被认为是最后一块拼图，是 AI 创作多模态的 " 圣杯 "。整个行业的热潮，已经逐步从文生文、文生图，转向了文生视频领網域。

成立于 2018 年的美国公司 Runway，一度引领 AI 生成视频浪潮。它在 2023 年 2 月推出的 Gen-1，主打视频转视频，能改变视频风格；3 月推出的 Gen-2，实现了用文字、影像或视频片段生成新视频。

Gen-2 将生成视频的最大长度从 4 秒提升到了 18 秒，还能控制 " 镜头 "，用 " 运动笔刷 " 随意指挥移动，一度是文生视频领網域最先进的模型。

Runway 的创始团队有很强的影视、艺术背景，因而客户主要是电影级视频编辑和特效制作者，他们的技术被用在了好莱坞大片《瞬息全宇宙》中。2023 年下半年，Runway 完成一笔过亿美元的融资，公司估值超过 15 亿美元。

最新玩家是 Pika，这家公司由两个在美国读书的华人女博士退学创办，公司成立仅 8 个月，员工 4 人。Pika 进展神速，11 月底发布的全新文生视频工具 Pika 1.0，在各大社交媒体迅速走红。再加上创始人爽文大女主的人设，被国内媒体疯狂报道。

一位 AI 创业者对「定焦」说，Pika 采用了差异化的打法，主打动画生成，规避了 AI 生成视频在逼真度和真实性方面的缺陷。另外 Pika 在正式推出 1.0 版本之前，已经在 discord 积累了一定数量的用户。

除了这两家公司，AI 视频领網域的玩家还有 Stability AI，它最知名的产品是文生图应用 Stable Diffusion，11 月刚发布了自己的首个文生视频模型 Stable Video Diffusion；Meta 发布了 Make-A-Video；Google 推出了 Imagen Video、Phenaki。