今天小編分享的科學經驗：首個登上央視春晚的 AI 視頻 · 制作復盤，歡迎閱讀。
編者薦語：
有人發現了嗎？央視春晚中有個節目用到了 AI 生成視頻。作者海辛和 Simon 阿文帶來背後制作過程 & 用到開源技術的全面復盤～
以下文章來源于全民熊貓計劃 ，作者海辛
23 年年底，數字栩生的宋震老師邀請我和 @Simon 阿文 ，加入春晚節目組一起制作了央視春晚任素汐演唱的《枕着光的她》中的 AI 視頻，以下是 AI 視頻完整段落。
舞者：王聖哲、高賈雪
在這個 AI 視頻項目中，我們使用到了開源社區中最新的技術：ControlNet, AnimateDiff, LCM, IPAdapter.
我們相信我們的實踐經歷對 AI 視頻技術開源社區有正向的參考價值，所以決定将項目經驗復盤分享給大家。
項目本身的需求是 将一段真人雙人舞用 AI 的風格轉繪成陶瓷的舞蹈 ，基于此需求，我們在項目開始時，對工作流進行了如下設計：
搭載在 ComfyUI 上，工作流高度自定義、省顯存。
使用 ControlNet Lineart + OpenPose 模型，參考拍攝視頻的線條及骨骼，生成新的 AI 動畫。
使用 AnimateDiff 達到穩定不抖動的 AI 動畫效果。
使用 LCM 提高生成速度。
由于跑高清的長視頻對算力有較高的要求，英偉達的何展老師借給了我們一塊 48GB 顯存的顯卡，加上我們自己的 4090，在整個項目中起到了非常關鍵的作用。
但即使如此，我們依然遇到了不少挑戰。
挑戰一：雙人舞中角色穩定性問題
雙人舞之所以會難做，是因為 AI 會将兩個角色之間的特征進行混淆，所以經常會出現性别交換等問題。
為了解決這個問題，我們嘗試将單人先 roto 出來進行轉繪，再進行雙人合成。
但這個工作模式的問題很大，一是大量摳像需要工期太長；二是視頻速度一旦上來，動态模糊後會帶來大量摳像困難；三是合成後尤其肢體銜接處會不自然。
我們最後還是回歸雙人直接轉繪的方案，但是接入了 ControlNet tile 模型，讓其參考原視頻的角色細節特征，從而固定住角色特征。
挑戰二：瓷器材質的實現
在項目剛開始時，我們進行了大量的材質探索。在 SDXL 和 Civitai 開源模型和 lora 的加持下，這并不算什麼難題。
項目組很快就敲定了白瓷風格，于是我們繼續在 SDXL 中推進靜幀測試，并迅速達到了大家都很滿意的效果。
但當我們把靜幀參數套用到視頻工作流時，發現生成的視頻質量是這樣的：
我們發現，SDXL 結合上 AnimateDiff 後，畫面會因為過于追求穩定而折損大量細節，且在當時（去年 12 月份）幾乎無解。
我們只能寄希望于生态更加完整的 SD1.5 ，但這也意味着我們失去了 SDXL 強大的生成能力……同樣的 Prompt 在 SD1.5 裡的效果是這樣的：
本來以為得訓練 SD1.5 的瓷器 LoRA，但峰回路轉地，我們發現這其實是一個 " 關鍵詞 " 就可以解決的問題。
然後我們開始在 SD1.5 上逐漸復刻出我們想要的瓷器材質。
除了關鍵詞以外，我們還發現了一個 prompting " 神器 "：IPAdapter，用一張參考圖來引導 AI 生成指定材質效果。
有了新的工作流，我們順利生成了第一版 " 瓷娃娃 " 質感的視頻：
以及青花瓷和翡翠質感的版本：
每一組動态測試，在 4090 顯卡下的渲染時間一般在 10 分鍾以内。
挑戰三：換裝穩定性測試
節目的設計是雙人舞三個階段變裝，包括結婚、婚後、老年三個階段。利用 AI 來實現絲滑的變裝是重要的需求。
我們首先在 pr 裡對齊了剪輯，在生成時通過 prompt travel 的方式（不同關鍵幀描述不同的内容）進行了實現。
需要提到的經驗是，我們發現 prompt travel 只對比較短的視頻有用，當生成幀數大于 800 幀以後，AI 就會開始不遵循關鍵詞。所以分段小批量的進行轉繪是讓畫面更加穩定符合預期的重點。
在攻克所有難題後，我們最終完成了這個作品，1200+ 幀左右在 Nvidia 4090 下一共渲染了 4-5 小時。
四、結語
我們在整個項目的過程中成長了許多，熟悉了很多開源社區最新的技術，也探索了這些技術在具體項目中的可能性。同時也結識了很多開源社區的好朋友，特别感謝 Jerry Davos 毫無保留的工作流分享和技術指導！
當然，最終能達成滿意效果的原因，不僅有賴于開源社區無私的共享，也源于王聖哲、高賈雪兩位舞者本身卓越的舞蹈技術和表現力；春晚編導及節目組的精心設計：春晚副總導演大治老師、節目視效導演申子、美嬌老師、最後播出 AR 團隊封毅老師、舞蹈指導謝長慧老師、數字栩生宋震老師；以及任素汐老師對《枕着她的光》這首曲目的出色演繹。
《枕着她的光》是我們對于 AI 可能性的一個答卷，也是人與 AI 合作的一種可能，我們期待着與更多優秀的藝術家一起在 2024 年探索這種可能。
感謝你閱讀到這裡，祝你新春愉快，阖家幸福。
—— 海辛 & 阿文
