今天小編分享的互聯網經驗：文生視頻模型為何遲遲沒有“aha moment”？，歡迎閱讀。
出品｜虎嗅科技組
作者｜宋思杭
編輯｜苗正卿
頭圖｜AI 生成
" 多模态目前的水平仍處于 GPT 2～3 中間，尚未迎來智能湧現的臨界點 "，視頻生成模型公司 " 智象未來 " 創始人兼 CEO 梅濤對虎嗅坦言。這位曾主導微軟研究院多模态 AI 體系建設的科學家、前京東副總裁，如今正帶領團隊占領視頻生成高地。
回溯 2023 年初 ChatGPT 引爆國内市場之時，中國的大語言模型水平還處在 GPT 2 的程度，如此計算，多模态模型與大語言模型拉開的差距則至少是兩年起步。
而在過去的兩年時間裡，無論是國内的可靈、MiniMax 還是 Vidu，抑或是海外的 Sora，也都是雷聲大雨點小。盡管是估值較高的 MiniMax 也将主要目标市場瞄向了海外。
在這場關乎未來的技術競速中，三個關鍵問題亟待解答：造成這種差異的原因究竟是什麼？多模态何時迎來 "iPhone 時刻 "？創業公司又如何在大廠圍剿中突圍？
梅濤的成長軌迹恰似一部微縮版行業進化史。
今年是梅濤創業的第三年。在微軟研究院期間，梅濤曾探索過文生視頻的路線。可以說，今天從文字到圖片 / 視頻的生成，是站在過去從圖片 / 視頻到文字這塊墊腳石之上的。
十年前，被大眾所接受的路線并非是從文字到圖片，或從文字到視頻的生成，而是一種反過來的邏輯，即從圖片 / 視頻到文字的生成。但當時間來到十年後的今天，後者才是被大眾接受的路線，前者則被認為是反直覺。
從文字到圖片 / 視頻，這個如今再正常不過的生成邏輯，在十年前卻鮮少有人敢于嘗試。而梅濤等人正是首批研究這種逆向路徑的人。作為第一批吃螃蟹的人，梅濤需要突破的是一種 " 維度詛咒 "。
簡單理解是，因為圖片和視頻都是多維信号，而文字是單一維度，從多到一可以有标準答案，但從一到多卻有多條發展路線 / 技術路線。這種技術範式的颠覆，也注定了行業内長達十年的技術蟄伏期。可以說，直到今天，這條路線都還未有收斂迹象。
技術架構的迭代勾勒出清晰的進化圖譜：2015 年深度神經網絡突破、2017 年 Transformer 架構革命、2020 年 Diffusion 模型崛起、2024 年自回歸架構創新 ...... 每個節點都暗藏玄機。讓梅濤真正走向創業道路的是一個重要的技術迭代契機：
2022 年末 Stable Diffusion 架構點燃文生圖賽道，這讓梅濤嗅到了視頻生成的技術拐點，也讓他重拾起自己 5 年前的研究成果。彼時，受限于技術架構發展，視頻生成模型的研究探索遲遲未能有突破。
2023 年，梅濤成立了 " 智象未來 "。巧合的是，這一年也正是國内的大模型元年。
梅濤告訴虎嗅，目前，視頻生成類產品之所以還沒有像大語言模型一樣跨越大眾認知門檻，一方面是因為閱聽人範圍較小，更偏重專業人士，因為它不像大模型一樣能給人算命、提供問答；另一方面從模型能力來說，它的确還沒出現太多次的 "aha moment"。
另據虎嗅獨家獲悉，智象未來預計 5 月中旬上線 C 端視頻生成類 Agent 應用。此前，智象未來在 C 端應用上所發力的重點則更聚焦在海外。值得一提的是，上周智象未來開源了 image 模型，截至目前，該模型在 Hugging Face 上排名第三。
然而，如今多模态模型正在面臨現實窘境： 一邊是 DeepSeek 開源勢力帶來的衝擊，另一邊是大廠生态資源的碾壓。
更深層的行業拷問仍在延續：當下技術路線遠未收斂，算力成本高企不下，這場多模态長征還需要多少時間與耐心？在這條征途上，中國創業者能否走出差異化創新路徑？答案或許藏在下一個技術奇點的晨光裡。
" 工具革命 " 的生死時速
虎嗅：你能介紹下你在微軟研究院做視頻生成模型的背景嗎？
梅濤：研究生期間，我的博士論文題目就是視頻分析，當時做的第一個工作是做 Sports video，分析足球籃球運動的視頻。
後來又開始做廣告，當時世界上第一批視頻廣告插入的專利就是我們寫的。再後來到了 2015 年左右， 開始研究深度神經網絡。那個時候做過 Captioning，即圖片 / 視頻生文。
到 2017 年的時候，業界的普遍認知是從圖片 / 視頻到文字會更簡單。彼時微軟是第一批把這個技術用在 office 和工業場景裡的企業。
虎嗅：所以之前一直都是視頻到文字，現在是反過來。
梅濤：當時很少有人敢嘗試，因為覺得這個事情沒有标準答案。原因很簡單，要做一對多很難 justify。但我們在 2017 年就做過一些文生視頻的實驗，就打算反過來，研究從文字到視頻。
（虎嗅注：梅濤認為文字是一維信号，圖片是二維信号，視頻是三維信号。當時研究的都是多個維度到單一維度，會相對比較簡單；而反過來，當時很難找到标準答案）
虎嗅：那你在京東做的事情也是這些嗎？
梅濤：我們在京東做的事情不太一樣。因為 DiT 是 2024 年出來的，Diffusion 應該是 2020 出來。但直到 2022 年底才有人把它變成 Stable Diffusion。這也是為什麼我們從 2017 年做完，一直到 2023 年中間就沒有做過生成。
所以智象是從 2023 年開始用 UNet 架構，到 2024 年是 Diffusion Transformer（DiT），2025 年就開始用 DiT+AR（自回歸）架構。
虎嗅：現在在 AI 時代做大模型的、做多模态的創業者基因上有很大不同，有些來自從矽谷圈，有些來自大廠，還有一類人是移動互聯網時代的。你覺得這幾類人創業做 AI 會有什麼差異嗎？
梅濤：差異很大，大家優勢不一樣。
第一，移動互聯網這波人對商業化非常敏感，可能會做出一些短平快的產品，很快就能爆。但 AI 時代做產品不容易。
不過如果他能知道技術的邊界，他依然可以。因為人性的需求在那裡。所以有些人從移動互聯網時代進入到 AI 時代，他依然能做出不錯的產品，但上限不高。
因為 AI 時代，不像移動互聯網，現在不是模式創新，是工具創新、工具革命，是利用工具來提高生產效率，降低成本。那麼現在首先需要的是替代以前的工具，再從工具做到平台。
而過去是直接做平台，是一個新的模式。以前沒有手機，只能在 web 端做，有手機後，就產生了很多新的生產場景，這就創造了新的商業模式。所以當時的邏輯比較簡單，模式對了，投資人就會有投資的意願，而對技術本身的要求并不高。
第二，從大廠出來的人，會對商業化思考更多，尤其是對技術和商業化的碰撞上面。但我們會追求一個更大的機會，比如颠覆掉從前的工具，再從工具到平台，從平台到社區。
第三，從學術界出來的人，他們在商業化方面，比如對用戶的需求、對場景的認知，以及對產品怎樣做增長，要做渠道診斷、拓客方面仍需要更多探索。但同時他們的長處也很明顯，他們特别有科研精神。
所以到底什麼時間适合出來，是需要考量的。如果這個技術在實驗室已經非常成熟了，還有一個特别懂商業化的合夥人，出來做會比較合适。
虎嗅：這兩年大模型圈有一個共識，大家會覺得大模型、多模态商業化是很難的事情。難點在于找 PMF 的過程中，不僅是找不到 "M"，可能有些人連 "P" 是什麼都不清楚。所以你怎麼看這裡面的 P 和 M？
梅濤：目前大模型找 PMF 确實花了點時間。但宏觀來講，站在 AI 長期發展的角度來看，大家太着急了，整個市場上都比較迫切地在尋求所謂最優解，基本上每年都在跟一個新的風向。
虎嗅：着急會不會是因為大家還是延續過去的模式走？
梅濤：對，因為在思考鏈路上有一種惰性的慣性思維，這很難改變。今天很多人說 AI 泡沫，AI 肯定有泡沫。像很多公司估值過高，但收入卻并不能覆蓋成本。
但從人工智能發展來看，從 1950 年代開始至今共經歷了三起三落。現在回頭再看十年前會覺得是小兒科。所以說要學習歷史。 AI 發展一定是長期的過程，今天看的東西不是終局。
當然現在找 PMF 并沒有像模式創新時那麼快。剛才我講了工具革命，首先我們要把工具革掉，這個時間會稍微長一點。
在移動互聯網時代，做一個新的模式也需要很長時間。比如字節跳動最開始也做過幾個失敗產品，到後來才找到信息流。後來做視頻也花了很久。所以我覺得大家對 AI 還是要有點耐心。
另外，我并沒有覺得多模态找 PMF 會比大模型慢。舉幾個例子，比如 Midjourney 2022 年 11 個人收入做到 1 億美金，2023 年是 2 億美金，2024 年是做到 5 億美金的 ARR。你難道還說他找不到 PMF 嗎？
再比如海外的 HeyGen，也做到了幾千萬美金的 ARR，以及 Photoroom 這種傳統做影像處理的，現在加了 AI，也是大幾千萬美金的 ARR，所以我并不認為多模态 PMF 特别難。
虎嗅：你想做國内的 Midjourney？ 還是其他什麼場景？
梅濤：我們不會復制别人。我們想做全球化的視頻創作開發平台，會為設計師或者泛設計師人群設定非常低門檻的在上面，讓他們高效實現創意。
它首先是一個高效工具。這個工具未來可能是我們自研，也有可能由第三方提供一部分。在平台上也會有很多種設計創意，可以叫它模板或者工作流，可以供大家使用。
其實今天的平台包括 Canva 還存在一個問題，就是用戶創作完之後需要在第三個平台上變現。
中間過程非常割裂。我們希望一個平台上既有我們的業務，比如遊戲公司做宣發，影視公司做前期宣傳，文旅集團做 IP 二創等等，它會把想法發布到我們平台上，我們會連接最合适的創意，創作者生成作品後，我們會有流量平台分發出去。最後再這些用戶反饋也會回到創作者那邊。我們希望實現整個流程的閉環。
虎嗅：這個事情很難嗎？
梅濤：現在還沒有人做到。智象未來也在努力。這裡面首先需要生產力工具平台，其次是業務，還要有創作者生态的建設。
虎嗅：這件事大概什麼時間會看到希望？
梅濤：預計明年能有雛形吧。
開源與技術架構的雙重圍城
虎嗅：你們為什麼會選擇在這個時間點開源？會不會受到 DeepSeek 影響？
梅濤 ：我們現在這個階段要迎接變化，之前我們對開源的認知是不夠的。
DeepSeek 開源之後起到很大的作用。所有人使用大模型的門檻降低了，應用的天花板提高了，因為每個人都能創作出好用的東西。這對社區的貢獻是非常大，同時也提高了他的品牌影響力。
第二，開源之後讓大家認識到中國的公司其實有很強的技術。現在大模型裡開源做比較好的兩家，一個是 DeepSeek，一個是阿裡的 Qwen 系列。這是大家比較認可的。我們自己作為創業公司是想構建社區。
虎嗅：那你們開源和商業化之間是怎麼平衡的？
梅濤 ：我們開源了 1.0 版本，另外還有一個 Pro 版，效果會比這次的開源好，參數也會更大。
還有一點，我們開源的是影像模型，這也是我們在做試點操作過程中很關鍵的一步。因為很多時候，用戶是先生成一張圖片，基于圖片再去上面修改做成視頻的。這是目前比較主流的創作方式。
另外，我們也希望把它拿出來，讓大家共同來把事情做得更好一點，同時也加速我們的技術迭代。
商業化方面我們靠視頻模型。但目前視頻模型暫無開源計劃，不過也根據商業化情況調整。
虎嗅：之前聽一些獨角獸公司說他們講到并不是說用戶數越多，模型能力就會變得越強，所以說現在很多其實也并不是很 care 用戶多不多。
梅濤 ：對，這個我同意。用戶數量大并不意味着能留存下來。目前用戶普遍的留存度不高，用戶還沒有形成完整的工作流習慣。現在大家更多是幾種工具間來回切換，用戶會看效果看成本。
我覺得今天還是比較早期的競争态勢，它并不代表未來的結果。對于我們來說，我們并沒有去大量的投流和投放，現在都是自然增長。
虎嗅：現在做視頻生成模型，除了缺數據，技術上還存在哪些卡點？
梅濤：還有互動，比如我要拿這個杯子，我要遞給你，然後你要接住這個杯子，還要喝水。這個過程是很難的。
4 月 7 日我在香港參加了一個 panel discussion，跟學術屆一起聊這個事情。大家普遍認為現在大家把大模型的能力邊界擴得很大，包括 Sam Altman 也在講他對 AI 的期望有點高。他覺得 AI 其實就是一個非常 powerful 的工具。
我們以前的一些同事，像香港大學的馬毅教授、香港理工的楊紅霞教授，還有我們中科大的姚欣教授，我們在論壇上都一致認為今天 AI 即使再 powerful，也只在 memorizing the world，就是用 token 的方式把整個世界記住。
但還遠遠沒有達到智能，現在它只是在建立連接。它也不一定能理解 2 和 3 是什麼意思，3 一定比 2 要多一個 1。它只是在不斷的輸出。
但你也不能說它輸出的沒有價值。因為從神經學的角度來說，它其實在構建連接。這跟人的學習方式也有些類似，但人的學習方式更復雜。一個簡單的邏輯就是現在的大模型也相當于在建立人的神經網絡、神經元的連接。
但是我們現在大模型做的東西非常粗淺。跟人完全比不了。但即使這樣，已經對工業界產生了極大的影響。
技術上哪怕是一點點的小進步，對世界的經濟影響都是很大的。比如我們以前在微軟做搜索，提高 0.1 個點的搜索準确率，廣告收入就是幾十億美金。
所以說一方面我們要認可今天 AI 還不是那麼 super（高級），也不是那麼通用。但是它已經足夠強大到成為一個非常好的工具。這個工具能對工業界和我們的生活產生巨大的影響，但同時也不要把它過分地擴大，說我們今天就要實現 AGI 了。
虎嗅：現在市面上 Sora、MiniMax、可靈等等，大家視頻生成的風格都不太一樣，這個風格的差異是怎麼形成的？
姚霆（智象未來 CTO）：最直接的來源肯定是數據，數據決定一切。如果沒有對應的數據，你做不了任何風格，這個是從模型側的角度來看。我不知道其他公司的側重點是什麼，我們的側重點是在叙事性。
實際上，今天無論是生圖還是視頻，用戶買單的都是叙事能力。舉個例子，比如我腦海中就想講述一個故事，那每一幅圖它需要長成什麼樣？它的景别是什麼樣？每幅圖應該都有所不同，因為它是一個叙事的過程，一開始可能是近景，然後是中景、遠景等等，這樣才知道我要生成是什麼樣的圖。
接下來，生成好每一幅圖或者視頻幀以後，我再把它變成一個視頻，這樣才能夠串起來一個故事。
如果它不是一個故事的話，說實話今天所有的素材可能價值都不大，因為那樣就失去了靈魂，所以說叙事性是要貫穿始終的。
虎嗅：最新開源的 image 模型是 170 億參數。那視頻呢？
姚霆：視頻肯定比圖片更大，幾百億的參數吧。
虎嗅：選擇多大參數，數據可能是一方面，還有其他方面的考量嗎？
姚霆：今天去看模型訓練的好壞，選擇多少的參數比較合适，是要看在訓練過程中，需要多大量級的模型能夠把訓練數據 " 重現 " 出來，這是我們的核心點。先不管訓練數據有多少，如果模型訓練到一定程度發現能把訓練數據完全重現了，那這就是一個相對好的匹配。
如果當數據量極大的情況下，模型沒辦法完全重現訓練數據，那就要增大參數量，因為模型的容量不夠。
所以說參數量不能過大也不能過小，過大會造成浪費模型能力和成本，過小會沒法完全壓縮數據内容和知識，所以這是一個匹配的過程。
虎嗅：你們的數據是從哪裡獲取的？
姚霆：一部分是公開網域的數據，另一部分是和影視公司合作的，包括有版權的視頻數據等，不過商業化大部分都是私網域數據。
虎嗅：之前國内在視頻生成領網域，也出現過版權糾紛案。從行業角度來講，視頻生成模型廠商會不會考慮使用幾大視頻平台的數據？或者會如何使用？
姚霆：其實這種海量數據更多會用在預訓練。後訓練會少一些，因為它和應用場景是強耦合的。等到後訓練的時候會找一些特定應用場景的數據。
虎嗅：智象使用的是 DiT+AR 的架構。這兩年也一直有讨論 DiT 其實并不能完全滿足視頻生成模型。所以想問這個 DiT+AR 目前解決了哪些問題？行業裡這方面的探索進行到什麼程度了？
姚霆：對，這個我們内部一直也會有讨論，到底是什麼樣的一套架構是我們要選擇的。目前路線也在不斷變化，還沒有收斂。
我猜測 GPT-4o 用的也是類似融合的架構，雖然他們在報告中沒有詳細的介紹。目前我們正在用 DiT 和自回歸（AR）融合的方式，但如果你問終局是什麼，現在還很難說。
另外也要看你的目标是什麼，對我們來說自回歸和 DiT 的融合已經能滿足大部分場景了。
DiT 具備較高的生成質量，但它需要多步的加噪去噪過程，因此推理速度較慢；而傳統的自回歸模型 AR 通過離散影像編碼結合整圖的自回歸建模實現了較快的推理速度，但離散影像編碼會帶來一定的信息損失，影響生成質量。因此我們采用 DiT+AR 的技術路線，在保持連續影像編碼的同時實現自回歸過程和輕量化擴散過程的結合，從而提升推理速度的同時保持了生成質量，而且自回歸的過程也能天然地和上下文語境理解适配和對齊，從而達到更強的指令跟随特質。
（虎嗅注：2025 年 4 月 3 日，一篇揭秘 GPT4o 影像生成架構的論文正式發表，該論文指出 GPT-4o 很可能采用了 AR+Diffusion 架構，而智象未來也提到，HiDream 模型于 2024 年末開始使用 DiT+AR 架構）
虎嗅：用自回歸和 DiT 融合的架構對成本也會有節省嗎？
姚霆：會。極致的話可能節省 50% 以上，甚至 80% 都有可能，但要是看怎麼去組合和平衡。例如擴散過程做的特别輕，那可能會影響生成效果。但如果重心都放到擴散過程中，前面自回歸建模部分做的輕量級，那其實推理成本上節省的就不多了。實際上，這個 DiT+AR 技術路線裡面的訓練機制方式非常復雜，并不是一個簡單的積木拼接，需要結構上巧妙地組合和優化。
" 文生視頻模型至今沒出現 aha moment"
虎嗅：考慮到現在 Deepseek 還有大廠，他們可能更有場景，你們怎麼看待來自外部的競争，智象的護城河在哪？
梅濤：我們并不會關注和創業公司的競争，但我們最擔心就是大廠的競争。對我們來說，他們有更多的場景、數據、現金流、資源等等。
目前來說，大廠是在 C 端流量上競争非常激烈。但我們目前還并沒有去競争純 C 端。
當然初創公司從零開始肯定得有過程，但也不是說不能做了。像我剛剛提到很多 ARR 過億的都是小公司。
所以還是有機會。另外大廠的劣勢是反應速度沒有初創公司那麼敏捷。雖然它資源多，但具體到某一個細分場景下，它的人員、資源的配置反而不像小公司那麼極致的。它比較零散，很難聚匯聚到一起。
虎嗅：你怎麼看 ARR 過億的應用都是小公司做出來的？
梅濤：AI 這一波趨勢很明顯。回到兩年前，當時做得比較好的產品基本都是創業公司的。投資人也基本只看了小公司，不看大公司。
因為首先大公司很難去做一個很大的決定，比如 all in 某個地方，它有很多的包袱。相比之下，小公司沒有包袱，組織架構比較輕盈，投資人也願意在某個細分領網域去砸。
虎嗅：但大公司優勢可能也在于生态。
梅濤：生态是雙刃劍吧。說實話，所謂的生态是你有沒有一個好的產品，好的場景。有的話生态是可以跟着你走，但并不是說生态會一直跟着你走。在商業社會大家都講商業利益。
現在 AI 做的是增量市場。比如 DeepSeek 很迅速地幫創業公司把大眾的認知鴻溝邁過去了。同樣地，Midjourney 去年也達到 5 億美金 ARR。他們都很垂。
所以 AI 不是一個存量市場，我也不認為大公司在這個增量市場裡一定會找到自己的位置。
虎嗅：Deepseek 出現之後，很多人認為 Deepseek 暫時還沒有入局多模态，那麼 AI 創業公司在多模态還是有機會的。但是這個事情有沒有壁壘？
梅濤：他們已經做了一個很簡單的影像模型，架構也是用 AR 自回歸，不保證它将來不會重投入。因為多模态大家都能看得見，如果要做物理模型、世界模型，肯定要結合多模态的數據。這樣多模态模型才會離商業化更近，離那個物理世界更近。
我不認為現在還有人從零開始做多模态這件事能有很好的排名。它的壁壘可能不在于模型本身，自研也好，用開源也好，真正的壁壘在于有沒有自己的版權數據，有沒有把生态建起來。還有就是能否基于模型構建用戶粘性高的產品，這是很重要的。
目前來說，模型還沒有收斂。現在多模态還處于 GPT 2 的階段，等到了 GPT 5 ，類似于做到了連續幾個 aha moment。那個時候就可以從模型到完整產品了。
虎嗅：那現在出現了幾次 aha moment？
梅濤：視頻生成領網域中的幾個要素：穩定性、可控性和叙事性。這三個難點解決後才會出現，未來慢慢會出現的。
虎嗅：那在數據方面你們會考慮和具身智能公司合作嗎？
梅濤：其實我們正在和機器人公司做一些合作。因為我們本來就是從視頻到世界模型之間中間缺了一步，就是具身智能的數據。但具體合作方式我們還在談。
