今天小編分享的互聯網經驗:騰訊混元發布并開源圖生視頻模型,歡迎閲讀。
獵雲網從騰訊混元微信公眾号獲悉,騰訊混元發布圖生視頻模型并對外開源,同時上線對口型與動作驅動等玩法,并支持生成背景音效及 2K 高質量視頻。
基于圖生視頻的能力,用户只需上傳一張圖片,并簡短描述希望畫面如何運動、鏡頭如何調度等,混元即可按要求讓圖片動起來,變成 5 秒的短視頻,還能自動配上背景音效。此外,上傳一張人物圖片,并輸入希望 " 對口型 " 的文字或音頻,圖片中的人物即可 " 説話 " 或 " 唱歌 ";使用 " 動作驅動 " 能力,還能一鍵生成同款跳舞視頻。
目前用户通過混元 AI 視頻官網即可體驗,企業和開發者可在騰訊雲申請使用 API 接口使用。此次開源的圖生視頻模型,是混元文生視頻模型開源工作的延續,模型總參數量保持 130 億,模型适用于多種類型的角色和場景,包括寫實視頻制作、動漫角色甚至 CGI 角色制作的生成。
混元視頻生成模型開源以來,一直保持較高的熱度,去年 12 月登頂 huggingface 全站趨榜第一,目前 Github 平台上 Star 數超過 8.9K。多位開發者自發制作基于社區 Hunyuanvideo 的插件與衍生模型,積累超過 900 個衍生版本。更早開源的混元 DiT 文生圖模型,在國内外衍生模型數量多達 1600 多個。
目前,混元開源系列模型已經完整覆蓋文本、影像、視頻和 3D 生成等多個模态,在 Github 累計獲得超 2.3 萬開發者關注和 star。