今天小编分享的科学经验:这个让你「看片更爽」的领網域,腾讯一次拿了15个世界冠军,欢迎阅读。
中国队在技术竞赛这事儿上,真是大发了:
就在刚刚结束的一场音视频领網域国际顶级比赛中,来自中国的技术团队,一口气包揽了全场所有冠军!
这样的画面,出现在MSU 视频编码器大赛上。这一赛事至今已走过十几个年头,是视频编解码领網域全球权威赛事,被外界评价为 "行业发展的风向标"。
刚刚揭晓结果的的 FullHD(全高清)赛道,本次共設定 1/5/30 fps 三个速度档位,每个速度档位有 5 个关键指标,总计 15 个关键指标。腾讯编码器包揽了全部 15 项第一。其中,腾讯自研编码器 Tencent266夺得 12 项第一,第一总数最多。
在所有标准(含 H.266/H.265/AV1)编码器中,Tencent266 更是取得了 3 个速度档 15 项关键指标全部第一的优异成绩。
此外,腾讯 Tencent-TVC 编码器取得 6 项第一,Tencent TXAV1/V265 编码器在 AV1/H.265 编码器中保持行业领先。
虽说技术细节听上去有些垂直,但说实话,这还真和我们所有人都关系紧密——
一句话概括,就是能让你 " 看片 " 更爽。
并且基于这些技术,这回咱中国用户的产品体验,还冲在了世界前列。
具体是怎么一回事,咱们今天就掰开揉碎,详细聊聊 ~
压缩视频也是个技术活儿
先说回到 MSU 编解码器大赛本身,竞逐在这个赛场上的,可不只是腾讯一家大厂,阿里字节,都是常客。
之所以如此受到业界关注,原因很简单:
这一大赛由莫斯科国立大学图形与媒体实验室主办,测评业界开源和私有编码器性能,经过连续 17 届的发展,已经成为全球最知名的视频编码器比赛之一。因此竞赛成绩,也已被视作厂商实力的一种客观评价标准。
毕竟视频编码器,简单来说干的就是一个压缩视频大小,节省带宽流量成本,同时还要保证视频画质,让观众老爷们看得过瘾的活儿,可以说是音视频厂商们安身立命的技术之一了。
在今天,你在线上看到的每一个视频,都经历过视频编码器的 " 瘦身 "。否则,不仅是厂商们的存储、传播成本吃不消,你的手机流量也会分分钟变成负数。
在 MSU 编码器大赛中,又属 FullHD 赛道竞争最为激烈。
FullHD 视频,也就是大家熟悉的 1080p 视频,是目前视频服务中最常见的分辨率之一。
常见归常见,相比 720p、480p 等其他分辨率,因为更高清包含更多像素,从技术的角度来说,要对 1080p 视频进行压缩就更难,视频编码器面临的挑战更大:需要更高的压缩率来降低带宽成本,同时要尽量降低画质损失。
此番 FullHD 比赛,同样高手如云,腾讯、百度、网易、B 站都有编码器团队参赛。
具体而言,本次比赛的规则是这样的:为了更好地评估编码器在各个应用场景中的表现,首次引入 3 个速度档位,即 1 fps(Slow)、5 fps(Medium)、30 fps(Fast)转码,分别面向不同热度(即不同转码成本)视频的转码策略,热度越高的视频值得投入更多的算力来取得更高的压缩率,以降低热度视频的带宽成本。
值得注意的是,目前常见的视频业务,主要采用的就是 5fps、30fps 以及附近的转码速度档位,因此这两项指标对于实际业务性能和成本至关重要。
而在 5 fps 和 30 fps 相关的 10 项指标中,腾讯符合最新一代视频编码标准 H.266/VVC 的 Tencent266 编码器全部位列第一。在 1 fps 中,Tencent266 也拿下两项指标第一。
在视频编解码领網域最为常用的 PSNR(峰值信噪比)指标,以及业界常用来评判用户实际观感的 VMAF-NEG 指标中,Tencent266 也全部位列第一。
在本次比赛 H.266 赛道中,Tencent266 获得了三个速度档位 15 项关键指标全部第一。H.266/VVC 是目前最先进、压缩率最高的视频编码标准,本次 Tencent266 在 H.266 赛道取得全面第一充分展现了 Tencent266 的技术先进性。
具体压缩效果对比如下:
以 PSNR 指标为例,Tencent266 编码器在 1 fps、5 fps、30 fps 这 3 个速度档位上,相比于 x265 编码器,可以分别节省 50%、53%、52% 的带宽。
所以,腾讯团队究竟做了哪些技术准备,最终才在一众大厂团队中脱颖而出拿下冠军?
自研 300+ 算法,搞定 3 大环节
要想了解这一切,还得先从冠军团队采用的H.266 标准说起。
H.266,又称为多功能影像编码 VVC(Versatile Video Coding),是继 H.264 和 H.265 之后的新一代视频压缩标准。
新的视频压缩标准出现,往往意味着新一代视频编解码技术的变革——
如H.262推动了数字电视落地、H.264让互联网也充满视频,H.266不仅将视频分辨率从 4k 提升至 8k、视频类型还支持了 360 ° 全景……
但新标准的出现,并不意味着视频各行业就会立刻迎来 " 技术大更新 "。
毕竟对视频内容生产平台而言,是否支持最新一代标准,还得先评估一波编解码产品落地成熟度;对各开发厂商而言,更是需要考虑新标准的技术专利费等问题,一不留神就容易被 " 卡脖子 " ……
为了推动新一代视频编解码技术的落地,从制定标准开始、到编解码器的研发、再到产品应用落地,腾讯决定每一步都 " 亲自上阵 "。
首先是在标准制定上,腾讯不仅参与其中,还贡献了一波技术创新 " 点子 "。
一方面,在负责开发 H.266/VVC 标准的联合视频专家组 JVET 中,腾讯多媒体实验室的研究人员担任了多个关键职位,如参考軟體联合主席等;
多媒体实验室负责人刘杉博士,还担任了 H.266/VVC 标准的联合主编。
另一方面,腾讯还深度参与了 H.266/VVC 的标准制定,提交的技术提案中,光是被采纳的就有 100 余项,数量在德国知识产权平台 IPlytics 上显示位于世界前列。
△来源于 IPlytics
最终,H.266/VVC 标准相较上一代 H.265/HEVC 标准,在主观视频质量相同的前提下,成功将码率降低了近 50% ——视频传输数据更少,观看效果却完全不变。
BUT,光是参与制定标准还远远不够,距离落地还有相当的距离。
在参与制定过程中腾讯发现,相比 H.265/HEVC 标准,H.266/VVC 标准虽然增加了不少新的视频压缩工具、大幅提升了压缩率,但同时也带来了更高的编码复杂度。
光是 H.266/VVC 参考軟體 VTM,其编码复杂度就是 H.265 参考軟體 HM 的 8 倍多,还有不少可优化空间。
(这就类似装修时的模範房,虽然也能住,但毕竟没有自己设计得舒服)
因此接下来,就必须自研 H.266 视频编解码器了。
这其中的核心难点又在于编码器(也是这次比赛的重点)。
毕竟相较只需 " 疯狂加速 " 的解码器,编码器不仅得考虑 " 加速 ",还得考虑压缩率。
鉴于已有的编码工具非常多、压缩率收益和复杂度也各异,直接使用已有技术 or 軟體又可能被 " 卡脖子 ",腾讯团队干脆从 0 到 1 自己打造了一整个编码器。
这个自研编码器,也就是我们看到的 Tencent266。
为了打造它,团队前后一共设计了 300 多种编码加速和质量优化算法,在提升压缩速度的同时也能提升视频压缩率和主观质量。
以 H.266 标准中的多类型树(MTT)为例。这种结构虽然能提升压缩性能,但却增加了不少编码复杂度。
为此,团队提取并评估了像素特征与分块模式的关系,配合编码信息累计提出了好几十种方法对多类型树进行 " 修剪 " 加速。
实测表明,这种方法在压缩性能损失小于 4% 的情况下,成功将编码速度提升 8 倍以上。
此外,团队还对代码和内存结构进行了精心设计,并配合深度优化的汇编代码,来进一步提升压缩速度。
当然,在这次比赛之外,团队也有自研的Tencent266解码器,同时也在不断提升其效率。
△O266 是腾讯内部对 Tencent266 的简称
最后,即使自研出了 Tencent266 编解码器,还得有 " 用武之地 ",也就是将它真正落地到产品上去。
因此,在技术打磨上,团队继续不断提升 Tencent266 的编码速率,过去一年多里将它提速了 30 多倍,并在这次的 MSU 比赛中取得十几个赛道领先的成绩。
在产品落地上,Tencent266 也早已在 2021 年 7 月就上线腾讯云,成为全球首家支持新一代国际视频编解码标准 H.266 的云厂商;
2023 年 2 月,Tencent266 又上线了腾讯云直播,成为业界首个支持 H.266 直播的云厂商。
总体来看,从视频编解码行业的制定标准、技术研发到产品落地,腾讯这次都走在了世界前列。
那么,在这项技术上取得突破,对于我们的日常生活乃至各行各业而言,又有着什么样的意义?
不止是刷视频看直播更 " 爽 "
或许可以从三个角度来看待这件事。
首先,对日常生活而言,最直观的感受就是,看视频和看直播能变得更丝滑流畅了。
以我们看视频的分辨率为例。分辨率更高、画面更清晰的视频,需求的数据量也会更高,如 8k 视频更清晰,但檔案通常比 4k 视频更大。
正如 H.265 标准推动了 4k 视频落地一样,H.266 标准就是为了更好地支持 8k 视频而出现。
如何在观看高画质视频的同时、还能保证更多设备 " 不卡 ",就是视频编解码器技术发挥作用的关键。
随着这项技术的成熟落地,未来在更多设备上纵享 8k 视频丝滑也不是梦。
而对视频产业来说,则意味着无论是视频转码、还是直播,市面上能为各种视频业务提供不同速度档位服务的产品已经出现,并具备全面落地能力。
以点播和直播为例,这两者是视频编解码技术的核心应用场景,但各自对于编码速度和编码延时的需求都不相同。
点播业务更关注编码器的压缩能力,相较编码速度,更关注压缩率和画质的情况;
直播业务则不止关注压缩能力,还需要编码速度稳定达到视频帧率以避免卡顿,同时互動式直播场景还需要极低的编码延时来保证互動可行性。
因此,如何在尽可能节省成本的情况下,为不同视频业务提供不同速度档位的服务,让大家 " 更省钱看得更爽 ",正是视频编解码技术致力于解决的难题。
如今,最新上线的 Tencent266 已经支持 1080p 的直播能力,未来还能被拓宽到所有直播场景中。
当然,腾讯自己也有充足的落地需求。比如在腾讯视频看电视剧,就会大量用到视频编解码技术。
最后,对于科技领網域而言,更是一次重要突破,意味着国内在整个视频标准这块不再会被 " 卡脖子 "。
此前,国际主流视频标准一直被国外厂商 " 攻占 "。
作为各厂商之间一种通用的视频规范,视频编码标准的编写,往往意味着核心技术的掌控。国际行业巨头如三星、索尼、爱立信等公司,一度从中收取了巨额专利费用。
当时,国内不少企业由于不具备相关视频标准专利,往往不得不化身 " 打工人 "、给这些国际大厂缴纳专利费,90 年代 VCD、DVD 企业就是如此。
不仅如此,这类技术专利的过度收费也会阻碍技术的进一步推进落地,反过来影响用户的使用。
为了在音视频技术上取得突破、真正掌握相关领網域的国际话语权,这些年来腾讯一直在大力投入并发展相关技术方向。
不仅于 2017 年成立了腾讯多媒体实验室,而且还请来了多媒体方向的大牛刘杉坐镇。
刘杉博士本科毕业于清华大学电子工程系,在美国南加州大学取得硕博学位,曾在多家国际知名企业担任高级技术和管理职位职务,现任腾讯云副总裁、腾讯多媒体实验室总经理、腾讯视频智能创作与内容平台部副总经理、腾讯杰出科学家。
她带领团队在国际标准 H.266/VVC、MPEG-5 EVC、MPEG PCC、MPEG Systems、IETF、3GPP、国家标准 AVS2 & AVS3、开放媒体联盟(AOMedia)标准 AV2 等的制定,取得突破性成果。
同时,刘杉团队将包含编解码在内的多项多媒体核心技术,实现并应用于众多腾讯产品,并通过腾讯云,腾讯视频,腾讯游戏等广泛业务服务全球亿级用户,创造巨大的商业和社会价值。
刘杉博士表示:
腾讯(多媒体实验室)将继续推动多媒体及相关领網域的国际和国家标准制定,打造音视频、互动沉浸和智能媒体核心能力矩阵,基于核心能力的产品实现,通过腾讯业务平台服务全球用户、助力各行业发展并践行科技向善。
如今,随着腾讯等更多国内厂商加入到 H.266 标准制定、完成技术研发和产品落地这一行动中来,被国外巨头支配的视频标准时代已经 " 一去不复返 "。
不仅是腾讯,国内包括阿里、华为、字节、快手等各大头部厂商,都已经纷纷推出各自的 H.266 方案,加速推进这一视频编解码标准的落地。
未来随着这项技术的进一步落地,距离国内引领视频技术标准的时代,或许也不远了。
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>