今天小编分享的互联网经验:对话芒果TV CTO卢海波:AI资本投入不设上限,欢迎阅读。
图片由钛媒体 APP 拍摄
AI 视频大模型进化的使命之一,是颠覆现有工业级影视制作。Sora 第一批想打动的客户,是好莱坞的专业人士(好像也不大成功)。
不过,比起国外导演、编剧以集体罢工的形式对抗 AI,国内本土的影视工作者," 不妨先试试看 " 的心态更为明显。
去年 3 月底,Sora 刚正式问世 1 个多月,第十一届中国网络视听大会上,作为国家队的代表,湖南广电首曝了大模型的进展,称内部很早就搭建了 " 芒果大模型 ",聚焦在应用层。
这一消息的发布,比后来的跻身 AI 视频大模型应用一线梯队的海螺 AI、可灵 AI 和即梦 AI 还要早。而后,抖音(即梦 AI)和快手(可灵 AI)也借势率先上线了全流程的 AI 短剧和 AI 电影。
把 " 敢为人先 " 刻进骨子里的芒果 TV,一向很懂用户真心要的是什么,然而,外界却很少感知到其大模型能力落地 C 端的成果。
一年时间过去了,在今年举办的第十二届中国网络视听大会期间,钛媒体 APP 见到了芒果 TV 副总裁、CTO 卢海波,与他聊了聊视频大模型,虚拟拍摄和超高清等当前广电行业关心的前沿技术话题。
芒果 TV 副总裁、CTO 卢海波,图片由钛媒体 APP 拍摄
在他看来,消费级 AI 视频应用,有很多平台提供了一些工具,普通人可以做出一些趣味性的视频,已经很普及了。
但是,专业影视制作要求高,更多的是要创新,而不是模式化和套路化生成,以目前大模型的能力,还不能满足真实影视制作需要。
"AI 影视内容的成熟,是需要一段时间的。目前很多 AIGC 制作内容做出来,很多只是满足于‘做出来’,它的品质其实不是很高。" 卢海波钛媒体 APP 说。
他认为,如果只是做出一些很普通的内容,就价值不大,大家不会去电影院看它,也不会为它付费,那么,可能只是收获了 " 一些流量上的商业价值而已,在互联网领網域 "。
" 我们芒果 TV 的 AI 大模型,一开始就定位于做专业的工业级视频制作,所以我们是没有暂时没有对外部发布这个能力。" 他说,真正到可以 " 出来说 " 的时候,是观众已经看不出作品是靠 AI 做的。
他用了一个比较形象的比喻:" 即便我们内部很多 AI 制作的效果,可以说是非常好了,但我们依然不敢说这句话,是因为觉得还没到这个阶段,就像是冷兵器时代快结束的时候,出现了一把什么枪,虽然子弹打得很远,但是用起来很麻烦,还不如人家很优秀的弓箭手。"
即便如此,芒果 TV 在 AI 上投入的决心,比想象的还要多。
去年 7 月,芒果 TV 自主研发的 " 芒果大模型 " 通过了中央网信办的生成式人工智能备案,是广电行业首批备案的大模型。
芒果大模型垂直于广电行业的数据,主要落地的场景是,节目创意策划、内容生成、角色拟人对话等功能,覆盖了视听领網域 70 多个业务场景,开发 20 多款产品。
2024 年,芒果 TV 付费会员数增至 7331 万,年收入首次突破了 50 亿元,部分得益于 AI 的驱动。
卢海波称,现在,芒果 TV 几乎所有的业务都要全面 AI 化,不仅包括主业的内容生产制作商,同时还有内容电商、数字文博和出海等衍生出来的新兴业务,还要重点打造一批垂类大模型。
芒果 TV 现场展示的除了大模型,还有内容电商与 IP 衍生品,图片由钛媒体 APP 拍摄
" 我们的财务跟我说,这些技术投入,只要你们认为是值得的,可以说是没有上限,因为我们认为这是必然要投入的,而且投入会非常大。" 卢海波说。
强烈的决心已经抛出了,但显然,大家都清楚一个现状,比起全球顶级的科技大厂和流媒体巨头,未来一段时间内以每年千亿级资金投入,参与打造这一场有史以来最猛烈的 AI 军备竞赛,芒果 TV 眼中的 " 不设上限 ",可能都入不了主线战局。
芒果 TV 的 AI 影视内容创作还在初期阶段,底层算法和模型能力更多地聚焦于本土化场景,优先级是服务于现有的业务及其商业化,再加上,是上市公司,还会受制于盈利压力。
与此同时,当前广电系统整体面临着历史遗留的结构性包袱,传统业务逐渐式微,转型、改制、人才流失的消息频出。
也许重重压力之下,AI 既是救命稻草,也可能成为新的增长引擎。
与其他视频平台不同的是,芒果 TV 具有 " 国有属性 + 市场化运作 " 的特殊基因。
因此,除了打造 AI 大模型相关的能力,今年,芒果 TV 还要完成一道广电系统的大作业题:三年前,国家广电总局提出,到 2025 年底,标清频道基本关停,高清电视成为电视基本播出模式,超高清电视频道和节目供给形成规模。
标清频道关停是硬性要求,也给终端设备提出了更新的需求。政策要求到 2025 年,有线电视网络和 IPTV 的标清机顶盒逐步淘汰,全面普及超高清智能机顶盒。
这一目标,使得各级广电机构手头一个紧要任务是,加速技术转型,比如,更新播出设备和调整传输网络等,与此同时,超高清内容对带宽和存储的需求会大幅增加。
芒果 TV 是超高清视频内容制作和播出的试点部門之一。
对此,芒果 TV 智能研究中心第一副总经理宋施恩对钛媒体 APP 介绍说,一方面,芒果 TV 新出品的自制综艺与电视剧,均按照国产超高清标准生产。同时,考虑到成本问题,会先在产量相对较低的纪录片品类上,全面普及 4K 超高清。
另一方面,芒果 TV 会将存量视频内容通过 AI 算法,转化为超高清的格式。去年,芒果 TV 已经完成了 1.8 万小时的转化,今年还计划完成 3.7 万小时的转化。
相较之前,AI 的引入,能够降低芒果 TV 的超高清的制作成本,但在传输端的投入,还是很有压力。
卢海波对钛媒体 APP 透露,去年,仅去年综艺节目《歌手 2024》一季的节目量,通过超高清直播,就新增了 3000 万元的带宽成本。
" 这是很高的,大家都没想到的数字,而且是额外产生的成本。我们一方面希望给大家带来更好的视听体验,另一方面,也希望我们作为试点部門,能够得到一些资金与政策上的支持。" 卢海波说。
以下是钛媒体 APP 与卢海波的对话实录,经编辑:
钛媒体 APP:芒果 TV 希望在 AIGC 上做一些工业级的实践,在 AIGC 视频上,去年行业内已经有一些关于 AI 短剧和 AI 电影的项目落地了,但是目前看到芒果 TV 没有类似的案例出来,这是出于什么考虑?
卢海波:我说一下我个人的看法。我觉得 AI 影视内容的成熟,是需要一段时间的。目前很多 AIGC 制作内容做出来,很多只是满足于 " 做出来 ",它的品质其实不是很高,这就不太好判断。
如果我们只是做出一些很普通的内容来,但是价值不大,大家也不会去电影院去看,也不会为它付费,那可能你可以去做一些流量上的商业价值而已,在互联网领網域。
还有一个,估计有很多家公司也说,我又做出什么内容来了,是不是过程中感觉都很好?你不知道的,只有他自己知道,是不是真的很爽,然后会很便利?这也是不知道的,我认为它还没有到达非常完美的阶段。
芒果 TV 是在内容上面应用的 AI。我可以分享一个故事,我们内部审片的时候,他们问,这个片子用到很多 AI 技术,为什么没看到?
其实在这里面,我们的 AI 生成的内容片段,已经跟当前的实际拍摄做了深度的融合,别人感知不到相关的一些痕迹,所以是这样的一个状态。
AI 制作的内容,需要一个量变到质变的过程,现在并没有到质变,它不能够很压倒性地替换。其实很多 AI 制作的内容,"AI 感 " 会很重。这并不代表我们做得不好。
即便我们内部很多 AI 制作的效果,可以说是非常好了,但我们依然不敢说这句话,是因为觉得还没到这个阶段,就像是冷兵器时代快结束的时候,出现了一把什么枪,虽然子弹打得很远,但是用起来很麻烦,还不如人家很优秀的弓箭手。
所以,反而我们是扎扎实实在下功夫做了练内功,在大量的视频里面制作里面去做尝试,我们已经有很多节目里面的视频是用了很多 AI 内容的。
但是有一天,当大部分是靠 AI 来制作,而且我们很满意,效果很好,把人的创造性和 AI 的执行效率结合起来,我就觉得可以说是正式进入了 AIGC 时代了。
比如说,我们的纪录片《中国官箴 2》,里面有大量的内容其实是用 AI 做的,别人看不出来,但是我们不会说,这个是一个 AIGC 纪录片。
钛媒体 APP:芒果大模型的方向主要在视频生成,关于视频大模型,去年因为 Sora 和 Suno 等革命性变化,大家看到多模态是一个很有前景的赛道,但是到了今年,外界感觉到这个方向有点降温,大家谈论更多的是文本推理模型和深度思考之类的话题,你怎么看待这个变化?
卢海波:我个人觉得多模态是个基础。没有多模态,大家做的东西都会差不多,多模态可能是更决胜负的一个领網域。其实我们芒果 TV 内部也经常说,AI 也分 1.0 和 2.0 的时代。
早在没有大模型的时候,我们就在积累我们的多模态数据了,我们在四五年前就启动了一些项目,叫新型的媒资库、媒资结构,我们完全按我们自己的格式重新定义我们的内容,其实我们的画面每一帧我们都分析过的。
说实话,我们可以从海量的内容里找到任何一个人,如果你哪天参加了我们一个节目,作为观众被拍进去了,我们要找到你很容易的。不管是历史内容,还是现在的内容,我们都记录下来了。
还有场景、物体、商品的广告、品牌等各种维度的信息,我们都做了海量的积累,这些都用于我们内容的推荐,内容的创作,广告的投放等很多方面。
现在有了推理模型,就是在这个基础上多了一把铁锹,会更好地挖掘这些资源。我们认为那些多模态的模型,是我们芒果 TV 一个宝贵的财富,我们有很好的算料。
钛媒体 APP:芒果大模型现阶段重点打磨或者突破的方向是什么?
卢海波:其实会有几个部分。我们当前在做的,是我们的一个垂类的多模态大模型,它是面对我们整个广电的业务场景,打造的一个产业大模型。
然后,我们其实更侧重于一个内容生产者的角色,虽然我们方方面面做了很多技术创新,但是可能相对别人来说,我们更在意内容生产这个领網域,因为这是我们的核心业务。
我们在补足的,一方面是针对我们的业务场景来打造我们的产业模型,其次,会补足当前通用模型在一些场景运营里面不足的能力,比如说,一些人物的大幅动作连贯性、说话嘴型等问题,要用我们自己打造的模型来解决。
然后,我们还在优化我们的模型的推理速度。我们发现,文生图,或者文生视频,特别是图生视频,它的推理速度很慢的,我们现在跟一些高校合作,比如,上海交大,看看怎么把模型推理进行加速。
钛媒体 APP:最近大家讨论 AI Agent 和 Agentic AI 也比较多,一些观点认为,这是 AI 大模型现阶段和下一个阶段的重点,你怎么看待这样的趋势?
卢海波:这些本身都是基于大模型的能力,有一定的自主的感知和决策能力的智能体。其实是把我们的大模型能力,针对不同的业务和场景做应用的载体,或者是把这样的技术框架做广泛的应用。
我们在内部也打造了不少的智能体,有些是用来帮助我们节目人员的,有些是帮助其他人员的。我们现在也计划在我们平台发布相关的计划。
其实我们去年就打造了芒果智能平台,已经搭建了针对我们公司业务场景、运营场景、办公场景和内容策划场景,打造了 70 多种不同的智能体,我们的一些内容生成,都是通过这些智能体来搭建的,这些是对内使用的。
接下来,我们也计划做面向我们平台用户的智能体。用户来我们平台是为了消费内容、寻找内容、与内容互动,或是进行 " 二创 " 等。
对普通用户来说,如果有个助手,有个属于他的智能体帮助他,他就会更有更好的观影体验。对我们的平台来说,用户也会更活跃,也会消费我们更多的内容。
钛媒体 APP:现在各大视频平台都在力推虚拟拍摄,芒果 TV 也在做虚拟拍摄,你们的核心优势是什么?
卢海波:我们做虚拟拍摄重点解决的一个问题是,我们要用非常低的成本拍出影视级的效果,主要是从几个方面来做。
第一,怎么样解决资产的问题,包括我们的 AIGC 生成三维模型,包括我们使用 AIGC 生成的场景,解决我们建模的时效,或者是类似的问题。
第二,是设备,我们现在是想用绿幕拍摄的方式达到 XLED 屏的拍摄效果。
第三,在算法层面,我们重点会解决虚实的融合的问题。比如说,我们近期也会打造的灯光的数字孪生的系统,它是在棚内就可以来模拟打光,来指导我们真实拍摄。
真实拍摄的时候,我们的灯光布置,光线的技术很重要,如果虚拟拍摄能够解决虚实融合的灯光问题的话,效果会更好。
钛媒体 APP:光线是虚拟拍摄一个比较核心的技术难点?
卢海波:对。我们一方面会致力于虚拟拍摄的核心难点的攻坚,另一方面,我们会研发相关的知识的系统軟體。
因为任何一个工作只要做得久,就会有很多的细节的积累,知识经验的积累,我们都会把它积累到軟體里面去。
这使得以后我们的人员哪怕水平没那么高,生产效率也会很高,我们既然要做这件事,就不会只追求一两项技术突破,而是将整个流程的综合能力沉淀到軟體中。
所以,我们在研发了一个軟體,包括灯光的設定等,相关的预演等。因为虚拟拍摄的时候,人还要提前去走位,或者很多类似这样的工作。
一般科技公司想不到这一点的,我们拍得多就知道,这些事情很耗时间,很耗人力,我们就用虚拟人去走位,解决这个问题。
这就是我们軟體的一个功能点,它可能不是一个什么非常尖端的技术,但是做了就对这个行业有好处。
在实操的过程,把大家的难点,或者需要解决的问题,形成了一套资源、一个产品,来节约大家的制作和拍摄的时间。
还有一个,是刚才讲的大模型,其实芒果 TV 发展这么多年,为什么要走自主研发的路线?因为好多外面通用的能力,包括之前的 AI 能力,后来的大模型的能力,我们用于实战,就会发现它有这样、那样的不足,它是个通用的产品,所以并不好用,我们就自研,或者在开源的基础上把它加强。
但凡我们自己做的领網域有一些特定场景里面,我们普遍会比外面的商业通用大模型,能力要强出不少,比如说,AIGC 生成照片或者是视频,我们生成的动作幅度就会更大、更高清。因为发现我们真正用到节目制作里面去,就要有这样的能力。
钛媒体 APP:也就是说,现在虚拟拍摄比拼的是工程化的能力,而不是技术本身?
卢海波:就好像早期大家都做 " 换脸 " 軟體,以为会做 " 换脸 " 就怎样。但是,我们实际业务中,除了要 " 换脸 ",还要换好多东西,要很精准的。结果这些没人做,只有我们自己突破瓶頸,自己来做了,我们很多技术就是这么做出来的。
因为我们的技术,不像第三方的科技公司,我们是因为有业务需求而去研发的技术,所以成功率会比较高,不会说是做出来之后,不知道到哪里去应用。
钛媒体 APP:今年 AI 和 IP 是两个很热的关键词。其实芒果 TV,包括湖南卫视,这么多年下来积累了很多很好的 IP,你们有没有想过把这两个概念结合起来,做一些项目或者商业化的尝试?
卢海波:我们这几年有个战略性业务叫小芒电商,其实是利用我们的 IP 去做电商的转化,不是传统的广告或者会员费。
小芒电商成立了四年,现在一年的 GMV 也有一两百亿了,今年应该会走向盈利,去年是微微亏损。它就是做 IP 的衍生商品,兴趣圈子和追星人群。
大家一起喜欢一种玩具,棉花娃娃或者机甲等,有共同兴趣,就上这个平台,也可以说是个社区,这是我们的新业态。
另外,我们今年还有个新的战略重点是小游戏。我们基于 IP 来研发相关游戏。也许做游戏我们不是专业的,当然,我们肯定不是专业的,比腾讯和米哈游,我们肯定比不过。
但是,我们基于 IP 做游戏,可能就有优势,用户边看内容边去玩游戏,甚至他玩游戏的结果,又融合到节目里面去,成为内容的一部分。
比如说,你玩一个游戏,结束之后,发现超过了何炅,然后,何炅在节目里面说,这个网友是谁,一下子就超过我了,就很好玩。我们做这些互动小游戏,结合 IP 来做,这是我们的重点。
钛媒体 APP:小游戏是在芒果 TV APP 上运行吗?
卢海波:我们芒果 TV 上有自己的小程式平台,有自己的小游戏平台,但是我们不会局限于在这里,微信小程式里面也可以让大家可以玩,只是芒果 TV 可能是让他最先看到的,因为他在看节目过程中,他就更有冲动玩这个游戏。
事实上,我们孵化出了一些小游戏,尤其是社交类的小游戏,数据是挺好的。我们去年底有个游戏发布了出来,有人连玩了 30 个小时,普通用户也平均玩了两个多小时。
钛媒体 APP:如果把 "AI+IP" 组合起来,会更有想象空间吗?
卢海波:结合起来肯定就创作能力更强了,比如说,我们做的互动影游也与此相关。互动影游,也就是前几年是叫互动剧,你看视频不简单一条线路了,是各种分支,根据你的不同的选择不同表现,剧情不同发展,其实是视频的游戏化了。
我们今年做了个更新,把内容能够发布到实际的平台,发布到小程式平台,所以,你看这个内容的时候,你能够参与它,改变这个结果。
如果基于一个已经有 IP 来制作互动影游,原来就遇到过一个问题,有好多视频片段,你要重新拍,这就更麻烦了,现在,我们取得授权的情况下,就可以用 AI 重新生成。
还是你这个人穿这件衣服,但变成另外一个剧情,我不需要再拍了,因为 AI 已经学习到了,生成了各种分支,各种特效,按照我们的互动影游编辑平台,发布新的接近于游戏的内容,大家就去玩了。
举个简单例子,剧里这个男的,最后选择了那个女的,我恨死了,我就硬是要改变结局。
我个人认为,互动影游最终结局就是 AIGC。这是我们憧憬的一个方向,我认为也不会太远。
钛媒体 APP:但其实有些伟大的作品,可能故事不是你想要的结局,但它带来冲击和遗憾,反而让你印象更深,念念不忘。AI 可以生成多种结局,弥补遗憾,但该怎么去考虑与艺术创作之间的关系?
卢海波:你说的缺憾,是有,但是人类发展的趋势就是想越来越爽。短剧,大家看不就是为了爽吗?一个人穷得要死,最后把一个上市公司的老总给干趴下来了。你想要这个结果,就给你这个结果。本来主角被人害死了,穿越了,又回去又把对方给打败了。短剧不就在做这个事情吗?(本文独家首发于钛媒体 APP,作者|李程程)