今天小编分享的科学经验：首个登上央视春晚的 AI 视频 · 制作复盘，欢迎阅读。
编者荐语：
有人发现了吗？央视春晚中有个节目用到了 AI 生成视频。作者海辛和 Simon 阿文带来背后制作过程 & 用到开源技术的全面复盘～
以下文章来源于全民熊猫计划 ，作者海辛
23 年年底，数字栩生的宋震老师邀请我和 @Simon 阿文 ，加入春晚节目组一起制作了央视春晚任素汐演唱的《枕着光的她》中的 AI 视频，以下是 AI 视频完整段落。
舞者：王圣哲、高贾雪
在这个 AI 视频项目中，我们使用到了开源社区中最新的技术：ControlNet, AnimateDiff, LCM, IPAdapter.
我们相信我们的实践经历对 AI 视频技术开源社区有正向的参考价值，所以决定将项目经验复盘分享给大家。
项目本身的需求是 将一段真人双人舞用 AI 的风格转绘成陶瓷的舞蹈 ，基于此需求，我们在项目开始时，对工作流进行了如下设计：
搭载在 ComfyUI 上，工作流高度自定义、省显存。
使用 ControlNet Lineart + OpenPose 模型，参考拍摄视频的线条及骨骼，生成新的 AI 动画。
使用 AnimateDiff 达到稳定不抖动的 AI 动画效果。
使用 LCM 提高生成速度。
由于跑高清的长视频对算力有较高的要求，英伟达的何展老师借给了我们一块 48GB 显存的显卡，加上我们自己的 4090，在整个项目中起到了非常关键的作用。
但即使如此，我们依然遇到了不少挑战。
挑战一：双人舞中角色稳定性问题
双人舞之所以会难做，是因为 AI 会将两个角色之间的特征进行混淆，所以经常会出现性别交换等问题。
为了解决这个问题，我们尝试将单人先 roto 出来进行转绘，再进行双人合成。
但这个工作模式的问题很大，一是大量抠像需要工期太长；二是视频速度一旦上来，动态模糊后会带来大量抠像困难；三是合成后尤其肢体衔接处会不自然。
我们最后还是回归双人直接转绘的方案，但是接入了 ControlNet tile 模型，让其参考原视频的角色细节特征，从而固定住角色特征。
挑战二：瓷器材质的实现
在项目刚开始时，我们进行了大量的材质探索。在 SDXL 和 Civitai 开源模型和 lora 的加持下，这并不算什么难题。
项目组很快就敲定了白瓷风格，于是我们继续在 SDXL 中推进静帧测试，并迅速达到了大家都很满意的效果。
但当我们把静帧参数套用到视频工作流时，发现生成的视频质量是这样的：
我们发现，SDXL 结合上 AnimateDiff 后，画面会因为过于追求稳定而折损大量细节，且在当时（去年 12 月份）几乎无解。
我们只能寄希望于生态更加完整的 SD1.5 ，但这也意味着我们失去了 SDXL 强大的生成能力……同样的 Prompt 在 SD1.5 里的效果是这样的：
本来以为得训练 SD1.5 的瓷器 LoRA，但峰回路转地，我们发现这其实是一个 " 关键词 " 就可以解决的问题。
然后我们开始在 SD1.5 上逐渐复刻出我们想要的瓷器材质。
除了关键词以外，我们还发现了一个 prompting " 神器 "：IPAdapter，用一张参考图来引导 AI 生成指定材质效果。
有了新的工作流，我们顺利生成了第一版 " 瓷娃娃 " 质感的视频：
以及青花瓷和翡翠质感的版本：
每一组动态测试，在 4090 显卡下的渲染时间一般在 10 分钟以内。
挑战三：换装稳定性测试
节目的设计是双人舞三个阶段变装，包括结婚、婚后、老年三个阶段。利用 AI 来实现丝滑的变装是重要的需求。
我们首先在 pr 里对齐了剪辑，在生成时通过 prompt travel 的方式（不同关键帧描述不同的内容）进行了实现。
需要提到的经验是，我们发现 prompt travel 只对比较短的视频有用，当生成帧数大于 800 帧以后，AI 就会开始不遵循关键词。所以分段小批量的进行转绘是让画面更加稳定符合预期的重点。
在攻克所有难题后，我们最终完成了这个作品，1200+ 帧左右在 Nvidia 4090 下一共渲染了 4-5 小时。
四、结语
我们在整个项目的过程中成长了许多，熟悉了很多开源社区最新的技术，也探索了这些技术在具体项目中的可能性。同时也结识了很多开源社区的好朋友，特别感谢 Jerry Davos 毫无保留的工作流分享和技术指导！
当然，最终能达成满意效果的原因，不仅有赖于开源社区无私的共享，也源于王圣哲、高贾雪两位舞者本身卓越的舞蹈技术和表现力；春晚编导及节目组的精心设计：春晚副总导演大治老师、节目视效导演申子、美娇老师、最后播出 AR 团队封毅老师、舞蹈指导谢长慧老师、数字栩生宋震老师；以及任素汐老师对《枕着她的光》这首曲目的出色演绎。
《枕着她的光》是我们对于 AI 可能性的一个答卷，也是人与 AI 合作的一种可能，我们期待着与更多优秀的艺术家一起在 2024 年探索这种可能。
感谢你阅读到这里，祝你新春愉快，阖家幸福。
—— 海辛 & 阿文
