今天小編分享的互聯網經驗：騰訊版“Sora”加入文生視頻戰場，歡迎閱讀。
作者 | 黃昱
編輯 | 周智宇
年初，" 文生視頻 " 模型 Sora 的出現，掀起了全球競逐 AI 視頻生成的熱潮；近 10 個月過去，Sora 遲遲沒有對外開放，而作為後來者的騰訊混元，搶先加入了這一戰場。
12 月 3 日，騰訊混元大模型正式上線視頻生成能力，C 端用戶通過騰訊元寶 APP 就可申請試用，企業客戶通過騰訊雲提供服務接入，目前 API 同步開放内測申請。
把文生視頻擺上牌桌，這是繼文生文、文生圖、3D 生成之後，騰訊混元大模型的又一新裡程碑。與此同時，騰訊開源該視頻生成大模型，參數量 130 億，是當前最大的視頻開源模型。
據華爾街見聞了解，騰訊混元的視頻生成幾乎沒有門檻，用戶只需要輸入一段文字描述，騰訊混元生成視頻大模型就可以生成一段五秒的視頻。
相較于 Sora 分鍾級别以及一些 " 類 Sora" 產品 10s 的視頻生成時長，騰訊混元的視頻生成時長不太讓人振奮。
在當日的媒體溝通會上，騰訊混元多模态生成技術負責人表示，視頻時長不是技術問題，而是純算力和數據問題，因為時間擴長一倍，它的算力是一個平方級的上升，所以不是很劃算。
此外，他指出，大部分人用視頻的情況下都是一個鏡頭接一個鏡頭，所以混元視頻生成模型第一版先放 5s 時長的出來，優先滿足大部分的需求。" 未來如果大家有很多強烈需求，要做很長的一鏡到底，我們再去做更新。"
騰訊混元生成視頻目前主要呈現四大特點：寫實畫質、語義遵從、動态流暢、原生轉場。
在技術路線上，騰訊混元視頻生成模型選擇了跟 Sora 類似的 DiT 架構，并在架構設計上進行多處更新，包括引入多模态大語言模型作為文本編碼器、基于自研 Scaling Law 的全注意力 DiT、自研 3D VAE 等。
騰訊混元多模态生成技術負責人指出，混元算是業内首個或者特别少數拿多模态大語言模型來做文本編碼器的視頻生成模型。業界現在更多還是選用 T5 模型和 CLIP 模型作為文本編碼器。
之所以這樣選擇，是因為騰訊混元是看中了這條技術路線的三大優點，包括增強復雜文本的理解能力、原生圖文對齊能力以及支持系統提示詞。
此外，騰訊混元多模态生成技術負責人提到，在做 GPT 之前，OpenAI 花了很多心思去驗證 Scaling Law（用更多的數據訓練更大的模型）在語言模型中的有效性，但在視頻生成領網域學術界或業界沒有把 Scaling Law 是否有效公開出來。
在此背景下，騰訊混元團隊自己把影像、視頻生成的 Scaling Law 驗證了一邊，最終得出結論，影像 DiT 有，視頻基于影像 DiT 做二階段的訓練一樣是有 Scaling Law 的性質在的。
" 所以我們首版騰訊混元視頻生成模型是基于這套比較嚴格的 Scaling Law 的推論，做了一個 130 億的模型。" 騰訊混元多模态生成技術負責人說道。
與此同時，騰訊混元也在疾行視頻生成生态模型的探索，包括圖生視頻模型、視頻配音模型、驅動 2D 照片數字人等。
騰訊混元多模态生成技術負責人指出，相較于文生視頻，圖生視頻模型在可用性的推進上進展會更快，可能在不到一個月之内混元會發布最新進展。
自去兩年前 ChatGPT 掀起的 AI 大模型熱潮以來，大語言模型技術路徑已收斂，而視頻生成模型仍處于探索期。
東方證券分析師指出，在 OpenAI 的技術方向引領下，目前語言模型的技術路徑基本就是 GPT 這一條路。而多模态技術方面，目前沒有一家公司處于絕對領先地位，技術路徑仍存在探索的可能。
騰訊混元多模态生成技術負責人也表示，文生視頻整體都處于不太成熟的階段，綜合合格率都不高。
作為多模态生成中難度最大的領網域，視頻生成對算力、數據等資源要求較高，目前相較于文本、影像成熟度更低，同時面臨商業化、產品化進展較慢的挑戰。
OpenAI 也宣布由于算力短缺而推遲 Sora 的更新，導致至今尚未對外開放。
盡管如此，為了更快搶占市場，去年十一月以來，視頻生成領網域的成果密集落地。
截至目前，國内外不少大模型廠商都實現了類 Sora 產品落地，包括國内 MiniMax、智譜、字節、快手、愛詩科技等，海外 Runway、Pika、Luma。不過，由于算力和技術等因素，視頻生成時長一般在 10s 以内。
為了推進商業化，大模型廠商必須找到更多視頻生成的應用場景。這次，騰訊給出的思路是：混元視頻生成模型畫面具備高質感，可用于工業級商業場景例如廣告宣傳、動畫制作、創意視頻生成等場景。
視頻 AI 是多模态領網域的最後一環，也是更容易催生爆款應用的領網域，但如何在算力投入與商業化之間缺的平衡，依然是目前 " 類 Sora" 的視頻生成模型們必須解決的一大難題。
