今天小編分享的科學經驗：騰訊圖生視頻全面開源，更懂物理規律，一手實測來了，歡迎閲讀。
就在剛剛，騰訊版 Sora 補齊了又一重要拼圖——圖生視頻。
而且還是熟悉的配方，和去年 12 月發布的文生視頻模型 HunyuanVideo 一樣，發布即開源。
那麼，此次上新的「圖生視頻」到底有多強呢？
有網友直接用它制作了一部電影：
可以看到，新功能在畫質、物體一致性等方面有了很大提升。
目前該功能已上線騰訊混元 AI 視頻，人人都可免費體驗（有次數限制）。
話不多説，量子位一手實測走起 ~
實測騰訊混元「圖生視頻」
有一説一，圖生視頻這項功能本身在視頻 AI 領網域已不新奇，但難的是生成效果好。
而在各位玩家狂卷生成效果的途中，一些老大難問題逐漸 " 露面 "，并成為檢驗和驅動視頻 AI 進化的法寶。
所以，為了直觀展示騰訊版 Sora 的「圖生視頻」能力，我們直接從這些難題入手。
難題 1：是否符合現實物理規律
眾所周知，從視頻 AI 誕生至今，生成符合現實物理規律的視頻堪稱行業難題。
一不小心就各種手腳滿天飛，讓人直呼恐怖：
所以這第一關，我們直接來個大招——讓騰訊混元視頻 AI 還原運動員跳水。
而且為了整活兒，選取的原圖就有 " 炸魚 " 的傾向了 ( doge）：
（右側為 AI 生成的原圖和提示詞，選取 2K 視頻）
最終效果 be like：
首先，為了保證畫質，我們一開始就特意選了「2K 視頻」（默認為高品質），并選擇更通用的混元圖生 1.0（另一個針對人像優化）。
從結果可以看到，整體畫面還是比較高清的，随手一截都有點像體育頻道報道。
質量上，相比早期的 " 手腳亂飛 " 也明顯有很大進步，一眼看去沒有明顯錯誤。
然鵝，如果要拿放大鏡來看，一些細節還是經不起推敲。
比如運動員左手的大小比例在下面這個瞬間有點問題，手掌明顯過寬；另外手勢在變換的過程中，摳圖感明顯，能從這裏看出視頻由 AI 生成。
所以，要想實現 100% 還原真實物理規律，大噶還得加油啊 ~
BTW，雖然生成的視頻目前只有 5 秒，但不難想見這位小哥落水時即将炸魚了。
難題 2：能否 " 無中生有 "
Okk，難題繼續。
為了考驗視頻生成 AI 的可控性，我們來看這樣一張原圖：（草原上沒有一只動物）
輸入 prompt，" 圖中出現了一匹馬 "，最終結果如下：
可以看到，視頻中确實出現了一匹白色駿馬在草原上慢慢行走。
除此之外，我們繼續搬出大家心心念念的一個功能來挑戰——在畫面中生成文字（中文或英文）。
個人多次實測後發現，目前暫時無法在視頻中憑空生成文字（大家有成功案例可以在評論區補充）。
不過也有一種間接方法能夠實現：先在圖片中生成文字（可以用騰訊豆包 AI 的畫圖功能），再将圖片轉換成動态視頻。
嗯，也是給量子位打上了賽博廣告（doge）~
所以，在讓視頻 " 無中生有 " 這方面，除了添加文字不可控，其他元素已經可以輕松拿捏了。
難題 3：能否準确遵循指令
接下來，圖片搭配文字提示詞，也能用來考察視頻生成 AI 是否理解用户意圖了。
騰訊混元視頻 AI，在上傳圖片後，可以通過正面（想要哪些畫面）和反面（不想要哪些）提示詞來設計整個畫面。
這裏我們又拿騰訊混元視頻的" 獨家藝能 "來測試。早在文字生成視頻的功能發布後，他們就主推了在畫面主角保持不變的情況下自動切鏡頭的這項功能，當時号稱這是業界大部分模型所不具備的能力。
所以，我們這次的 prompt 如下：
一位外國美女穿着漢服，頭發飄揚，背景是長城，然後鏡頭切換到正面特寫。
最終生成結果如下：
乍看之下，鏡頭從側臉切換到正臉銜接挺自然，連發絲都始終在空中飄揚。
但是一摳細節，後來的黃色發夾有點突兀了，所以在整體一致性上仍有完善空間。
難題 4：能否保證連貫一致性
當然，光是準确還原指令還不夠，更重要的是要讓所有元素自然鋪開。
換句話説，還要考察圖片轉化成視頻後的動作、場景過渡是否自然流暢，有無明顯的卡頓、跳躍或不連貫的情況。
嗯，依舊上難度——鏡子題材下的運動一致性考驗。
穿着白床單的幽靈面對着鏡子。鏡子中可以看到幽靈的倒影。幽靈位于布滿灰塵的閣樓中，閣樓裏有老舊的橫梁和被布料遮蓋的家具。閣樓的場景映照在鏡子中。幽靈在鏡子前跳舞。電影氛圍，電影打光。
最終效果如下：
一般來説，鏡子題材可以用來考驗模型對光影的理解，以及鏡子内外主體運動是否能保持一致。
而上面這個生成效果着實驚豔，當身披白床單的幽靈 " 手舞足蹈 " 時，鏡子裏的動作非常一致，而且連地上的光影變換也非常符合物理規律。
整體看起來相當絲滑 ~
Okk，幾個堪稱最難的測試到此告一段落。實測下來，騰訊混元的「圖生視頻」新功能在這些最難挑戰上有了很大進步，但離 100% 符合物理規律和完全一致性仍有一段距離。
最後附上來自官方的寫 prompt 小 tips：
用法 1：提示詞 = 主體 + 動作 （相對簡短的表述效果更優）
主體：視頻的主要表現對象要與與輸入圖片一致，可以為人、動物、植物、物品等，簡單描述即可，比如一個女孩、一個熊貓等。
動作：對主體動作或狀态的描述，用詞建議簡單且清晰具體，最好有動态感，比如戴眼鏡 -> 用手戴上眼鏡，喝水 -> 用手舉起杯子喝水。
用法 2：提示詞 = 主體 + 動作 + 運鏡方式
運鏡方式：鏡頭的運動方式，比如靜止鏡頭、鏡頭平移向右，鏡頭縮放等。
網友瘋狂試玩 ing
與此同時，網友們的第一波鮮測也出爐了：
感興趣的童鞋可以玩起來了 ~
在線免費體驗：
https://video.hunyuan.tencent.com/
Github:
https://github.com/Tencent/HunyuanVideo-I2V
Huggingface：
https://huggingface.co/tencent/HunyuanVideo-I2V
參考鏈接：
[ 1 ] https://x.com/TXhunyuan/status/1897558826519556325
[ 2 ] https://x.com/iamhk/status/1897557803755253850
