今天小編分享的互聯網經驗:對話芒果TV CTO盧海波:AI資本投入不設上限,歡迎閲讀。
圖片由钛媒體 APP 拍攝
AI 視頻大模型進化的使命之一,是颠覆現有工業級影視制作。Sora 第一批想打動的客户,是好萊塢的專業人士(好像也不大成功)。
不過,比起國外導演、編劇以集體罷工的形式對抗 AI,國内本土的影視工作者," 不妨先試試看 " 的心态更為明顯。
去年 3 月底,Sora 剛正式問世 1 個多月,第十一屆中國網絡視聽大會上,作為國家隊的代表,湖南廣電首曝了大模型的進展,稱内部很早就搭建了 " 芒果大模型 ",聚焦在應用層。
這一消息的發布,比後來的跻身 AI 視頻大模型應用一線梯隊的海螺 AI、可靈 AI 和即夢 AI 還要早。而後,抖音(即夢 AI)和快手(可靈 AI)也借勢率先上線了全流程的 AI 短劇和 AI 電影。
把 " 敢為人先 " 刻進骨子裏的芒果 TV,一向很懂用户真心要的是什麼,然而,外界卻很少感知到其大模型能力落地 C 端的成果。
一年時間過去了,在今年舉辦的第十二屆中國網絡視聽大會期間,钛媒體 APP 見到了芒果 TV 副總裁、CTO 盧海波,與他聊了聊視頻大模型,虛拟拍攝和超高清等當前廣電行業關心的前沿技術話題。
芒果 TV 副總裁、CTO 盧海波,圖片由钛媒體 APP 拍攝
在他看來,消費級 AI 視頻應用,有很多平台提供了一些工具,普通人可以做出一些趣味性的視頻,已經很普及了。
但是,專業影視制作要求高,更多的是要創新,而不是模式化和套路化生成,以目前大模型的能力,還不能滿足真實影視制作需要。
"AI 影視内容的成熟,是需要一段時間的。目前很多 AIGC 制作内容做出來,很多只是滿足于‘做出來’,它的品質其實不是很高。" 盧海波钛媒體 APP 説。
他認為,如果只是做出一些很普通的内容,就價值不大,大家不會去電影院看它,也不會為它付費,那麼,可能只是收獲了 " 一些流量上的商業價值而已,在互聯網領網域 "。
" 我們芒果 TV 的 AI 大模型,一開始就定位于做專業的工業級視頻制作,所以我們是沒有暫時沒有對外部發布這個能力。" 他説,真正到可以 " 出來説 " 的時候,是觀眾已經看不出作品是靠 AI 做的。
他用了一個比較形象的比喻:" 即便我們内部很多 AI 制作的效果,可以説是非常好了,但我們依然不敢説這句話,是因為覺得還沒到這個階段,就像是冷兵器時代快結束的時候,出現了一把什麼槍,雖然子彈打得很遠,但是用起來很麻煩,還不如人家很優秀的弓箭手。"
即便如此,芒果 TV 在 AI 上投入的決心,比想象的還要多。
去年 7 月,芒果 TV 自主研發的 " 芒果大模型 " 通過了中央網信辦的生成式人工智能備案,是廣電行業首批備案的大模型。
芒果大模型垂直于廣電行業的數據,主要落地的場景是,節目創意策劃、内容生成、角色拟人對話等功能,覆蓋了視聽領網域 70 多個業務場景,開發 20 多款產品。
2024 年,芒果 TV 付費會員數增至 7331 萬,年收入首次突破了 50 億元,部分得益于 AI 的驅動。
盧海波稱,現在,芒果 TV 幾乎所有的業務都要全面 AI 化,不僅包括主業的内容生產制作商,同時還有内容電商、數字文博和出海等衍生出來的新興業務,還要重點打造一批垂類大模型。
芒果 TV 現場展示的除了大模型,還有内容電商與 IP 衍生品,圖片由钛媒體 APP 拍攝
" 我們的财務跟我説,這些技術投入,只要你們認為是值得的,可以説是沒有上限,因為我們認為這是必然要投入的,而且投入會非常大。" 盧海波説。
強烈的決心已經抛出了,但顯然,大家都清楚一個現狀,比起全球頂級的科技大廠和流媒體巨頭,未來一段時間内以每年千億級資金投入,參與打造這一場有史以來最猛烈的 AI 軍備競賽,芒果 TV 眼中的 " 不設上限 ",可能都入不了主線戰局。
芒果 TV 的 AI 影視内容創作還在初期階段,底層算法和模型能力更多地聚焦于本土化場景,優先級是服務于現有的業務及其商業化,再加上,是上市公司,還會受制于盈利壓力。
與此同時,當前廣電系統整體面臨着歷史遺留的結構性包袱,傳統業務逐漸式微,轉型、改制、人才流失的消息頻出。
也許重重壓力之下,AI 既是救命稻草,也可能成為新的增長引擎。
與其他視頻平台不同的是,芒果 TV 具有 " 國有屬性 + 市場化運作 " 的特殊基因。
因此,除了打造 AI 大模型相關的能力,今年,芒果 TV 還要完成一道廣電系統的大作業題:三年前,國家廣電總局提出,到 2025 年底,标清頻道基本關停,高清電視成為電視基本播出模式,超高清電視頻道和節目供給形成規模。
标清頻道關停是硬性要求,也給終端設備提出了更新的需求。政策要求到 2025 年,有線電視網絡和 IPTV 的标清機頂盒逐步淘汰,全面普及超高清智能機頂盒。
這一目标,使得各級廣電機構手頭一個緊要任務是,加速技術轉型,比如,更新播出設備和調整傳輸網絡等,與此同時,超高清内容對帶寬和存儲的需求會大幅增加。
芒果 TV 是超高清視頻内容制作和播出的試點部門之一。
對此,芒果 TV 智能研究中心第一副總經理宋施恩對钛媒體 APP 介紹説,一方面,芒果 TV 新出品的自制綜藝與電視劇,均按照國產超高清标準生產。同時,考慮到成本問題,會先在產量相對較低的紀錄片品類上,全面普及 4K 超高清。
另一方面,芒果 TV 會将存量視頻内容通過 AI 算法,轉化為超高清的格式。去年,芒果 TV 已經完成了 1.8 萬小時的轉化,今年還計劃完成 3.7 萬小時的轉化。
相較之前,AI 的引入,能夠降低芒果 TV 的超高清的制作成本,但在傳輸端的投入,還是很有壓力。
盧海波對钛媒體 APP 透露,去年,僅去年綜藝節目《歌手 2024》一季的節目量,通過超高清直播,就新增了 3000 萬元的帶寬成本。
" 這是很高的,大家都沒想到的數字,而且是額外產生的成本。我們一方面希望給大家帶來更好的視聽體驗,另一方面,也希望我們作為試點部門,能夠得到一些資金與政策上的支持。" 盧海波説。
以下是钛媒體 APP 與盧海波的對話實錄,經編輯:
钛媒體 APP:芒果 TV 希望在 AIGC 上做一些工業級的實踐,在 AIGC 視頻上,去年行業内已經有一些關于 AI 短劇和 AI 電影的項目落地了,但是目前看到芒果 TV 沒有類似的案例出來,這是出于什麼考慮?
盧海波:我説一下我個人的看法。我覺得 AI 影視内容的成熟,是需要一段時間的。目前很多 AIGC 制作内容做出來,很多只是滿足于 " 做出來 ",它的品質其實不是很高,這就不太好判斷。
如果我們只是做出一些很普通的内容來,但是價值不大,大家也不會去電影院去看,也不會為它付費,那可能你可以去做一些流量上的商業價值而已,在互聯網領網域。
還有一個,估計有很多家公司也説,我又做出什麼内容來了,是不是過程中感覺都很好?你不知道的,只有他自己知道,是不是真的很爽,然後會很便利?這也是不知道的,我認為它還沒有到達非常完美的階段。
芒果 TV 是在内容上面應用的 AI。我可以分享一個故事,我們内部審片的時候,他們問,這個片子用到很多 AI 技術,為什麼沒看到?
其實在這裏面,我們的 AI 生成的内容片段,已經跟當前的實際拍攝做了深度的融合,别人感知不到相關的一些痕迹,所以是這樣的一個狀态。
AI 制作的内容,需要一個量變到質變的過程,現在并沒有到質變,它不能夠很壓倒性地替換。其實很多 AI 制作的内容,"AI 感 " 會很重。這并不代表我們做得不好。
即便我們内部很多 AI 制作的效果,可以説是非常好了,但我們依然不敢説這句話,是因為覺得還沒到這個階段,就像是冷兵器時代快結束的時候,出現了一把什麼槍,雖然子彈打得很遠,但是用起來很麻煩,還不如人家很優秀的弓箭手。
所以,反而我們是扎扎實實在下功夫做了練内功,在大量的視頻裏面制作裏面去做嘗試,我們已經有很多節目裏面的視頻是用了很多 AI 内容的。
但是有一天,當大部分是靠 AI 來制作,而且我們很滿意,效果很好,把人的創造性和 AI 的執行效率結合起來,我就覺得可以説是正式進入了 AIGC 時代了。
比如説,我們的紀錄片《中國官箴 2》,裏面有大量的内容其實是用 AI 做的,别人看不出來,但是我們不會説,這個是一個 AIGC 紀錄片。
钛媒體 APP:芒果大模型的方向主要在視頻生成,關于視頻大模型,去年因為 Sora 和 Suno 等革命性變化,大家看到多模态是一個很有前景的賽道,但是到了今年,外界感覺到這個方向有點降温,大家談論更多的是文本推理模型和深度思考之類的話題,你怎麼看待這個變化?
盧海波:我個人覺得多模态是個基礎。沒有多模态,大家做的東西都會差不多,多模态可能是更決勝負的一個領網域。其實我們芒果 TV 内部也經常説,AI 也分 1.0 和 2.0 的時代。
早在沒有大模型的時候,我們就在積累我們的多模态數據了,我們在四五年前就啓動了一些項目,叫新型的媒資庫、媒資結構,我們完全按我們自己的格式重新定義我們的内容,其實我們的畫面每一幀我們都分析過的。
説實話,我們可以從海量的内容裏找到任何一個人,如果你哪天參加了我們一個節目,作為觀眾被拍進去了,我們要找到你很容易的。不管是歷史内容,還是現在的内容,我們都記錄下來了。
還有場景、物體、商品的廣告、品牌等各種維度的信息,我們都做了海量的積累,這些都用于我們内容的推薦,内容的創作,廣告的投放等很多方面。
現在有了推理模型,就是在這個基礎上多了一把鐵鍬,會更好地挖掘這些資源。我們認為那些多模态的模型,是我們芒果 TV 一個寶貴的财富,我們有很好的算料。
钛媒體 APP:芒果大模型現階段重點打磨或者突破的方向是什麼?
盧海波:其實會有幾個部分。我們當前在做的,是我們的一個垂類的多模态大模型,它是面對我們整個廣電的業務場景,打造的一個產業大模型。
然後,我們其實更側重于一個内容生產者的角色,雖然我們方方面面做了很多技術創新,但是可能相對别人來説,我們更在意内容生產這個領網域,因為這是我們的核心業務。
我們在補足的,一方面是針對我們的業務場景來打造我們的產業模型,其次,會補足當前通用模型在一些場景運營裏面不足的能力,比如説,一些人物的大幅動作連貫性、説話嘴型等問題,要用我們自己打造的模型來解決。
然後,我們還在優化我們的模型的推理速度。我們發現,文生圖,或者文生視頻,特别是圖生視頻,它的推理速度很慢的,我們現在跟一些高校合作,比如,上海交大,看看怎麼把模型推理進行加速。
钛媒體 APP:最近大家讨論 AI Agent 和 Agentic AI 也比較多,一些觀點認為,這是 AI 大模型現階段和下一個階段的重點,你怎麼看待這樣的趨勢?
盧海波:這些本身都是基于大模型的能力,有一定的自主的感知和決策能力的智能體。其實是把我們的大模型能力,針對不同的業務和場景做應用的載體,或者是把這樣的技術框架做廣泛的應用。
我們在内部也打造了不少的智能體,有些是用來幫助我們節目人員的,有些是幫助其他人員的。我們現在也計劃在我們平台發布相關的計劃。
其實我們去年就打造了芒果智能平台,已經搭建了針對我們公司業務場景、運營場景、辦公場景和内容策劃場景,打造了 70 多種不同的智能體,我們的一些内容生成,都是通過這些智能體來搭建的,這些是對内使用的。
接下來,我們也計劃做面向我們平台用户的智能體。用户來我們平台是為了消費内容、尋找内容、與内容互動,或是進行 " 二創 " 等。
對普通用户來説,如果有個助手,有個屬于他的智能體幫助他,他就會更有更好的觀影體驗。對我們的平台來説,用户也會更活躍,也會消費我們更多的内容。
钛媒體 APP:現在各大視頻平台都在力推虛拟拍攝,芒果 TV 也在做虛拟拍攝,你們的核心優勢是什麼?
盧海波:我們做虛拟拍攝重點解決的一個問題是,我們要用非常低的成本拍出影視級的效果,主要是從幾個方面來做。
第一,怎麼樣解決資產的問題,包括我們的 AIGC 生成三維模型,包括我們使用 AIGC 生成的場景,解決我們建模的時效,或者是類似的問題。
第二,是設備,我們現在是想用綠幕拍攝的方式達到 XLED 屏的拍攝效果。
第三,在算法層面,我們重點會解決虛實的融合的問題。比如説,我們近期也會打造的燈光的數字孿生的系統,它是在棚内就可以來模拟打光,來指導我們真實拍攝。
真實拍攝的時候,我們的燈光布置,光線的技術很重要,如果虛拟拍攝能夠解決虛實融合的燈光問題的話,效果會更好。
钛媒體 APP:光線是虛拟拍攝一個比較核心的技術難點?
盧海波:對。我們一方面會致力于虛拟拍攝的核心難點的攻堅,另一方面,我們會研發相關的知識的系統軟體。
因為任何一個工作只要做得久,就會有很多的細節的積累,知識經驗的積累,我們都會把它積累到軟體裏面去。
這使得以後我們的人員哪怕水平沒那麼高,生產效率也會很高,我們既然要做這件事,就不會只追求一兩項技術突破,而是将整個流程的綜合能力沉澱到軟體中。
所以,我們在研發了一個軟體,包括燈光的設定等,相關的預演等。因為虛拟拍攝的時候,人還要提前去走位,或者很多類似這樣的工作。
一般科技公司想不到這一點的,我們拍得多就知道,這些事情很耗時間,很耗人力,我們就用虛拟人去走位,解決這個問題。
這就是我們軟體的一個功能點,它可能不是一個什麼非常尖端的技術,但是做了就對這個行業有好處。
在實操的過程,把大家的難點,或者需要解決的問題,形成了一套資源、一個產品,來節約大家的制作和拍攝的時間。
還有一個,是剛才講的大模型,其實芒果 TV 發展這麼多年,為什麼要走自主研發的路線?因為好多外面通用的能力,包括之前的 AI 能力,後來的大模型的能力,我們用于實戰,就會發現它有這樣、那樣的不足,它是個通用的產品,所以并不好用,我們就自研,或者在開源的基礎上把它加強。
但凡我們自己做的領網域有一些特定場景裏面,我們普遍會比外面的商業通用大模型,能力要強出不少,比如説,AIGC 生成照片或者是視頻,我們生成的動作幅度就會更大、更高清。因為發現我們真正用到節目制作裏面去,就要有這樣的能力。
钛媒體 APP:也就是説,現在虛拟拍攝比拼的是工程化的能力,而不是技術本身?
盧海波:就好像早期大家都做 " 換臉 " 軟體,以為會做 " 換臉 " 就怎樣。但是,我們實際業務中,除了要 " 換臉 ",還要換好多東西,要很精準的。結果這些沒人做,只有我們自己突破瓶頸,自己來做了,我們很多技術就是這麼做出來的。
因為我們的技術,不像第三方的科技公司,我們是因為有業務需求而去研發的技術,所以成功率會比較高,不會説是做出來之後,不知道到哪裏去應用。
钛媒體 APP:今年 AI 和 IP 是兩個很熱的關鍵詞。其實芒果 TV,包括湖南衞視,這麼多年下來積累了很多很好的 IP,你們有沒有想過把這兩個概念結合起來,做一些項目或者商業化的嘗試?
盧海波:我們這幾年有個戰略性業務叫小芒電商,其實是利用我們的 IP 去做電商的轉化,不是傳統的廣告或者會員費。
小芒電商成立了四年,現在一年的 GMV 也有一兩百億了,今年應該會走向盈利,去年是微微虧損。它就是做 IP 的衍生商品,興趣圈子和追星人群。
大家一起喜歡一種玩具,棉花娃娃或者機甲等,有共同興趣,就上這個平台,也可以説是個社區,這是我們的新業态。
另外,我們今年還有個新的戰略重點是小遊戲。我們基于 IP 來研發相關遊戲。也許做遊戲我們不是專業的,當然,我們肯定不是專業的,比騰訊和米哈遊,我們肯定比不過。
但是,我們基于 IP 做遊戲,可能就有優勢,用户邊看内容邊去玩遊戲,甚至他玩遊戲的結果,又融合到節目裏面去,成為内容的一部分。
比如説,你玩一個遊戲,結束之後,發現超過了何炅,然後,何炅在節目裏面説,這個網友是誰,一下子就超過我了,就很好玩。我們做這些互動小遊戲,結合 IP 來做,這是我們的重點。
钛媒體 APP:小遊戲是在芒果 TV APP 上運行嗎?
盧海波:我們芒果 TV 上有自己的小程式平台,有自己的小遊戲平台,但是我們不會局限于在這裏,微信小程式裏面也可以讓大家可以玩,只是芒果 TV 可能是讓他最先看到的,因為他在看節目過程中,他就更有衝動玩這個遊戲。
事實上,我們孵化出了一些小遊戲,尤其是社交類的小遊戲,數據是挺好的。我們去年底有個遊戲發布了出來,有人連玩了 30 個小時,普通用户也平均玩了兩個多小時。
钛媒體 APP:如果把 "AI+IP" 組合起來,會更有想象空間嗎?
盧海波:結合起來肯定就創作能力更強了,比如説,我們做的互動影遊也與此相關。互動影遊,也就是前幾年是叫互動劇,你看視頻不簡單一條線路了,是各種分支,根據你的不同的選擇不同表現,劇情不同發展,其實是視頻的遊戲化了。
我們今年做了個更新,把内容能夠發布到實際的平台,發布到小程式平台,所以,你看這個内容的時候,你能夠參與它,改變這個結果。
如果基于一個已經有 IP 來制作互動影遊,原來就遇到過一個問題,有好多視頻片段,你要重新拍,這就更麻煩了,現在,我們取得授權的情況下,就可以用 AI 重新生成。
還是你這個人穿這件衣服,但變成另外一個劇情,我不需要再拍了,因為 AI 已經學習到了,生成了各種分支,各種特效,按照我們的互動影遊編輯平台,發布新的接近于遊戲的内容,大家就去玩了。
舉個簡單例子,劇裏這個男的,最後選擇了那個女的,我恨死了,我就硬是要改變結局。
我個人認為,互動影遊最終結局就是 AIGC。這是我們憧憬的一個方向,我認為也不會太遠。
钛媒體 APP:但其實有些偉大的作品,可能故事不是你想要的結局,但它帶來衝擊和遺憾,反而讓你印象更深,念念不忘。AI 可以生成多種結局,彌補遺憾,但該怎麼去考慮與藝術創作之間的關系?
盧海波:你説的缺憾,是有,但是人類發展的趨勢就是想越來越爽。短劇,大家看不就是為了爽嗎?一個人窮得要死,最後把一個上市公司的老總給幹趴下來了。你想要這個結果,就給你這個結果。本來主角被人害死了,穿越了,又回去又把對方給打敗了。短劇不就在做這個事情嗎?(本文獨家首發于钛媒體 APP,作者|李程程)