今天小编分享的科技经验：PIKA正式上线唇形同步 - 给AI视频注入新的"想象"，欢迎阅读。
本来又准备睡了 ... 但是好死不死的，睡前又看了一眼几家 AI 产品的更新动态 ...
然后 ...
PIKA 在沉寂了 3 个月后，终于又更新了 ...
没有去卷模型，没有去卷控制，而是继续奔赴他们 1.0 最开始所设定的目标：
对话。
PIKA 的模型，有一个跟所有的其他 AI 视频产品都不同的地方在于。
当你生成人物的时候，大概率会说话，也就是唇形会动起来，模拟人物正在对话的感觉。
PIKA 认为，这样的效果，才能更符合真正的 " 短片 " 效果，毕竟，一个短片，想要好看，人与人之间的对话那是必不可少的。
对话才有戏，冲突才有张力。
而如果是传统的 Runway 等等，做的镜头，都是空镜，对话很多时候都只能以旁白的形式去做。那样，观众在看片子的时候，沉浸感会大幅降低。
但是去年 PIKA1.0 上线的时候，其实是并没有跟语音打通的，意思是说，你只能跑出一个正在瞎特么动的嘴，但是没有声音。
声音你需要自己去 11Labs 或者魔音工坊里面跑。然后用剪映啥的，把你跑的语音和 AI 片段拼起来。
但是这就有一个问题是：唇形和发音，是不匹配的。
所以 PIKA 做唇形同步，是绝对的情理之中，他们一定会做，且必做。
这不，就来了。先看一眼 PIKA 的新预告片吧。
>不过 PIKA 的预告片 ... 你懂的。
还是得自己亲自上手试一下。
正好这个唇形同步，也对超级合作者开放了，于是，我就来测一下。
进入 PIKA 首页，传一段视频或者传一张图片后，你就能看到这么一个功能：
这个就是唇形驱动。
点开以后，就能看到语音制作区網域。
PIKA 也跟 11Labs 合作了，把 11Labs 的 TTS 给拿了过来，上面的区網域就可以选择特定的发音人，然后输入文字，变成语音。
当然，你也可以上传你自己的音频。
我还是习惯自己用 11Labs 或者魔音工坊跑音频出来，毕竟那两个玩意的可用性高一点。
传上去以后，就可以开始合成了。
我大概跑了几十个 case，从 1/2 正面，测到 1/5 正面，从正脸测到侧脸，从写实跑到 2D，从图片跑到视频 ... 也算了测了个遍
先看几个我觉得效果还不错的例子：
但是还有很多，是 Bad case。
整体上我实验下来，我更建议是先用文 / 图生成视频后，用视频再去进行唇形同步，而不是直接用图进行唇形同步。
因为两者效果大差不差，而用视频驱动的话，还能实现一些大运镜或者变动的背景。
PIKA 上唇形同步，想象力一定是非常强的，因为不管是 Heygen 或者奇妙元，能做的都是静态的照片说话，在效果上，有一定的局限性，因为背景不会动。
比如很久之前我用奇妙元弄的这个特朗普。
而 PIKA 自身的 AI 视频再加上唇形同步，会做出一些以前实现起来非常复杂但是很有戏的效果，能给 AI 视频，带来一些新的想象力。
>但是在唇形同步的效果上，坦率的讲，跟 Heygen 和奇妙元相比，还有一定的距离要走。
比如只支持正脸，侧脸一些就会崩。
比如面部有一些遮挡物的时候，就识别出错。
比如有一些背景人脸的时候，会一起识别出来。
比如唇部经常在抖不够稳定。
比如有时候唇部会糊。
等等。
但是毕竟 PIKA 这次的更新，还是 Test 版本，还没有向大众公开。
还有非常大的优化空间。
想想 MJ 的 V1 时刻，对吧。
我很期待 PIKA 后续在唇形同步上的优化，给 AI 视频，注入一些新的活力。
不过，我怎么有一种感觉。
11Labs，这个做 AI 配音的，反而是最大的赢家呢。。。
