今天小编分享的科学经验：AI视频又炸了！照片+声音变视频，阿里让Sora女主唱歌小李子说rap，欢迎阅读。
Sora 之后，居然还有新的 AI 视频模型，能惊艳得大家狂转狂赞！
有了它，《狂飙》大反派高启强化身罗翔，都能给大伙儿普法啦（狗头）。
这就是阿里最新推出的基于音频驱动的肖像视频生成框架，EMO（Emote Portrait Alive）。
有了它，输入单张参考影像，以及一段音频（说话、唱歌、rap 均可），就能生成表情生动的 AI 视频。视频最终长度，取决于输入音频的长度。
你可以让蒙娜丽莎——这位 AI 届效果体验的老选手，朗诵一段独白：
年轻俊美的小李子来段快节奏的 rap 才艺秀，嘴形跟上完全没问题：
甚至粤语口型也能 hold 住，这就让哥哥张国荣来首陈奕迅的《无条件》：
总之，不管是让肖像唱歌（不同风格的肖像和歌曲）、让肖像开口说话（不同语种）、还是各种 " 张冠李戴 " 的跨演员表演，EMO 的效果，都让咱看得一愣一愣的。
网友大感叹：" 我们正在走进一个新的现实！"
（2019 版《小丑》说 2008 版《蝙蝠侠黑暗骑士》的台词）
甚至已经有网友开始对 EMO 生成视频开始了拉片，逐帧分析效果究竟怎么样。
如下面这段视频，主角是Sora 生成的 AI 女士，本次为大家演唱的曲目是《Don ’ t Start Now》。
推友分析道：
这段视频的一致性，比以往更上一层楼了！
一分多钟的视频里，Sora 女士脸上的墨镜几乎没有乱动，耳朵、眉毛都有独立的运动。
最精彩的是 Sora 女士的喉咙好像真的有呼吸哎！她唱歌的过程中身体还有微颤和移动，我直接大震惊！
话说回来，EMO 是热门新技术嘛，免不了拿来与同类对比——
就在昨天，AI 视频生成公司Pika也推出了为视频人物配音，同时 " 对口型 " 的唇形同步功能，撞车了。
具体效果怎么样呢，我们直接摆在这儿
评论区网友对比过后得出的结论是，被阿里吊打了。
EMO 公布论文，同时宣布开源。
但是！虽说开源，GitHub 上仍然是空仓。
再但是！虽然是空仓，标星数已经超过了 2.1k。
惹得网友们真的是好着急，有吉吉国王那么急。
与 Sora 不同架构
EMO 论文一出，圈内不少人松了口气。
它与 Sora 技术路线不同，说明复刻 Sora 不是唯一的路。
EMO 并不是建立在类似 DiT 架构的基础上，也就是没有用 Transformer 去替代传统 UNet，其骨干网络魔改自 Stable Diffusion 1.5。
具体来说，EMO 是一种富有表现力的音频驱动的肖像视频生成框架，可以根据输入视频的长度生成任何持续时间的视频。
该框架主要由两个阶段构成：
帧编码阶段
部署一个称为 ReferenceNet 的 UNet 网络，负责从参考影像和视频的帧中提取特征。
扩散阶段
首先，预训练的音频编码器处理音频嵌入，人脸区網域掩模与多帧噪声相结合来控制人脸影像的生成。
随后是骨干网络主导去噪操作。在骨干网络中应用了两种注意力，参考注意力和音频注意力，分别作用于保持角色的身份一致性和调节角色的运动。
此外，时间模块被用来操纵的时间维度，并调整运动的速度。
在训练数据方面，团队构建了一个包含超过 250 小时视频和超过 1500 万张影像的庞大且多样化的音视频数据集。
最终实现的具体特性如下：
可以根据输入音频生成任意持续时间的视频，同时保证角色身份一致性（演示中给出的最长单个视频为 1 分 49 秒）。
支持各种语言的交谈与唱歌（演示中包括普通话、广东话、英语、日语、韩语
支持不同画风（照片、传统绘画、漫画、3D 渲染、AI 数字人）
在定量比较上也比之前的方法有较大提升取得 SOTA，只在衡量口型同步质量的 SyncNet 指标上稍逊一筹。
与其他不依赖扩散模型的方法相比，EMO更耗时。
并且由于没有使用任何显式的控制信号，可能导致无意中生成手等其他身体部位，一个潜在解决方案是采用专门用于身体部位的控制信号。
EMO 的团队
最后，来看看 EMO 背后的团队有那些人。
论文显示，EMO 团队来自阿里巴巴智能计算研究院。
作者共四位，分别是 Linrui Tian，Qi Wang，Bang Zhang 和 Liefeng Bo。
其中，薄列峰（Liefeng Bo），是目前的阿里巴巴通义实验室 XR 实验室负责人。
薄列锋博士毕业于西安电子科技大学，先后在芝加哥大学丰田研究院和华盛顿大学从事博士后研究，研究方向主要是 ML、CV 和机器人。其谷歌学术被引数超过 13000。
在加入阿里前，他先是在亚马逊西雅图总部任首席科学家，后又加入京东数字科技集团 AI 实验室任首席科学家。
2022 年 9 月，薄列峰加入阿里。
EMO 已经不是第一次阿里在 AIGC 领網域出圈的成果了。
有 AI 一键换装的OutfitAnyone。
还有让全世界小猫小狗都在跳洗澡舞的AnimateAnyone。
就是下面这个：
如今推出 EMO，不少网友在感叹，阿里是有些技术积累在身上的。
如果现在把所有这些技术结合起来，那效果……
不敢想，但好期待。
总之，我们离 " 发给 AI 一个剧本，输出整部电影 " 越来越近了。
One More Thing
Sora，代表文本驱动的视频合成的断崖式突破。
EMO，也代表音频驱动的视频合成一个新高度。
两者尽管任务不同、具体架构不同，但还有一个重要的共性：
中间都没有加入显式的物理模型，却都在一定程度上模拟了物理规律。
因此有人认为，这与 Lecun 坚持的 "通过生成像素来为动作建模世界是浪费且注定要失败的 "观点相悖，更支持了 Jim Fan 的" 数据驱动的世界模型 "思想。
过去种种方法失败了，而现在的成功，可能真就来自还是强化学习之父 Sutton 的《苦涩的教训》，大力出奇迹。
让 AI 能够像人们一样去发现，而不是包含人们发现的内容
突破性的进展最终通过扩大计算规模来实现
论文：
https://arxiv.org/pdf/2402.17485.pdf
GitHub:
https://github.com/HumanAIGC/EMO
参考链接：
[ 1 ] https://x.com/swyx/status/1762957305401004061
