今天小編分享的科技經驗:用抖音同款視頻能力,這些行業找到了新的增長密碼,歡迎閱讀。
作者 | 鄭玄
供人們娛樂的視頻技術,用到另一個行業,就有可能成為重要的生產力工具。
看 2022 年的卡達世界杯,抖音的超低延時轉播讓人印象深刻。老球迷應該都有印象,之前觀看世界杯直播,網絡和電視之間會有數秒甚至十多秒的延時——有的時候網絡直播裡球員還在傳球,電視機前的朋友就已經開始歡呼進球。
2022 年卡達世界杯上,抖音首次在體育賽事中引入了 RTM(Real Time Media,低延時直播)技術。這是一種新型的直播解決方案,其網絡傳輸層是基于 WebRTC 技術(RTP/RTCP 協定),相比傳統的直播技術,可以實現端到端延時達到 1 秒級别,卡頓也更小。
從「5 秒 +」到「1 秒内」,熬夜看球的體驗有了明顯的提升,比如發朋友圈、微博的速度,手機上看球的球迷再也不會永遠「慢人一拍」。
人類的娛樂需求推動技術進步,技術進步反過來又會推動其他行業的發展,視頻技術也不會例外。近兩年,字節跳動将這些為視頻直播構建的技術能力,通過旗下的火山引擎視頻雲開放給視頻傳媒以外的其他行業。
「1 秒内」的超低延時直播技術、抖音的超高清直播、PICO 的 VR 看球——這些世界杯上用到的更高清、更互動、更沉浸的視頻技術,在更多賽道找到了自己的用武之地。
01 從汽車到金融,視頻技術不止用來「恐龍抗狼」
近兩年智能駕駛發展迅速,但要用人工智能替代人工駕駛,始終有幾個需要解決的痛點。
運人和運物是智能駕駛的兩大主要場景,其中運人出于安全性的考慮,自動駕駛的落地相對謹慎。相比之下,運物場景下的自動駕駛發展更快,美團、京東等線上零售平台和物流公司,已經在探索用無人車解決物流配送最後一公裡的難題。
但物流無人車要投入商用,必須要解決遠程監控和平行駕駛的問題。讓運營人員或雲端系統可以随時監控車輛狀态,并在有必要的時候快速遠程介入,避免造成交通事故。這就需要引入實時影像傳輸技術,但過去的技術存在幾個痛點。
延時。傳統的視頻傳輸存在數秒的延時,這在大多數直播場景中影響有限,但在分秒必争的車輛行駛過程中是致命傷。
成本。流視頻的實時傳輸是一筆不小的帶寬成本,物流是低毛利行業,無法負擔高額的網絡傳輸成本。
可靠性。車輛駕駛過程中,一個不留神就會導致事故的發生,不論是視頻傳輸到中控還是将指令下達車端,卡頓丢包都有可能釀成嚴重的後果。
火山引擎視頻雲将技術能力開放後,他們找到了自動駕駛 AI 公司毫末智行,一起探索将視頻雲的技術能力應用到遠程車輛運營平台。
毫末智行與火山引擎視頻雲合作的遠程車控解決方案丨來自:毫末智行
雙方通過在車機場景引入采集編碼傳輸優化、多網卡傳輸策略、車牌人臉脫敏 AI 算法等技術,為遠程監控和平行駕駛場景的音視頻和信令傳輸提供超低延時、穩定可靠、安全合規的解決方案,應用于遠程監控(哨兵模式)、遠程輔助泊車、遠程應急接管等場景。
視頻平台的興起,加上編解碼、視頻制作等技術的發展,構建視頻能力的技術門檻已經大為降低。依托抖音平台多年來積累的音視頻技術能力構建的火山引擎視頻雲,其給行業用戶最大的價值,是幫助各行各業打造面向用戶體驗的視頻能力,提升用戶體驗進而提升業務效率,從而促成業務增長。
金融也是一個典型的行業場景。金融是一個高度依賴營銷的行業,近年來随着視頻這種新媒體形式的快速發展,金融從業者需要快速适應時代變化并轉移自己的營銷陣地。
但金融行業在利用直播、短視頻營銷時,遇到了兩個痛點。第一是内容供給上,相比過去的文字、圖文的宣傳媒介,視頻和直播的制作門檻更高;第二是審核層面,由于金融營銷存在各種合規性問題,發出的内容需要經過合規性的審核,但相比文字審核視頻審核的工作量提升了數十倍,幾乎無法通過人工或者過去的機器審核技術來完成。
金融直播合規場景需求丨來自:火山引擎
對此,火山引擎視頻雲結合智能創作雲,幫助國信證券打造了一系列面向最終客戶的視頻產品。内容供給上,引入智能創作雲的文生視頻工具,只需輸入一段簡單的文字新聞就能生成視頻内容;金融審核上,火山引擎視頻雲基于直播平台,結合 AI 影像識别、語義檢測等能力輸出了完整的全鏈路金融審核方案。
除了汽車和金融,火山引擎視頻還将技術引入雲遊戲、VR/AR、語音房等泛娛樂場景,比如将彈幕技術與雲遊戲結合,開發出「彈幕互動」的遊戲直播新玩法,為直播平台創造出新的内容增量。此外,視頻雲還将技術能力運用到了教育、營銷、辦公等 B 端場景,幫助這些不同行業的用戶打造了各種不同的應用解決方案。
02 衝進行業 TOP 5,火山引擎視頻雲「憑」什麼
火山引擎視頻雲的技術能力,脫胎于字節跳動的視頻中台體系。
字節跳動從 2013 年開始做視頻技術的積累和沉澱,最初是用于今日頭條。2016 年抖音開始孵化,加上同樣需要視頻技術的飛書、西瓜和頭條等產品,為了服務不同的業務線,字節跳動加大了視頻技術的研發投入,并以中台的形式組織和調度。這是火山引擎視頻雲的前身。
2020 年火山引擎開始孵化。視頻雲作為第一批商業化拓展的產品線,第一個客戶是懂球帝,後者當時正在嘗試社區的視頻化轉型和更新。這也讓剛剛走出字節體系的火山引擎視頻雲技術團隊,一起打磨和完成了覆蓋直播、點播和圖片處理的全鏈路音視頻解決方案。
2021 年和 2022 年,視頻雲開始規模化的拓展市場,咪咕、移動視頻、虎牙、央視頻等先後成為視頻雲的客戶。2021 年底視頻雲支持羅振宇的《時間的朋友》跨年演講直播,在提供了高穩定性、高處理性能的視頻點直播服務的同時,超大規模的觀看量也讓視頻雲完成了一次重要的「壓力測試」。
之後就是 2022 年的世界杯,火山引擎視頻雲累計支持了 106 億人次直播觀看的技術支持,還抗住了世界杯決賽 2.3 億觀看人次這樣的峰值壓力。同時世界杯期間引入的 RTM 超低延時等新技術,和邊看邊聊等場景創新,這些規模化的服務能力被沉澱到視頻雲產品裡。
2023 年,視頻雲開始了新的嘗試,将客戶從流媒體行業向更多行業開拓,上文提到的汽車、金融案例就是這種新嘗試的部抽成果。火山引擎視頻雲透露,目前其行業客戶已經超過千家。根據 2023 年 4 月 IDC 發布的視頻雲行業追蹤報告,火山引擎視頻雲在解決方案領網域進入 Top 5。
依托過去 10 年的實踐和沉澱,今天火山引擎視頻雲已經構建出了一個完整的音視頻產品服務矩陣。
火山引擎視頻雲 產品矩陣丨來自:火山引擎
如上圖所示,整個產品矩陣的底座基石是其自研異構算力平台,包括基于 AI 大模型的智能生產和處理能力,以及全球部署的傳輸網絡和在抖音沉澱的億級多媒體處理框架。
在這之上,打造了集視頻直播、視頻點播 & 智能處理、實時音視頻、圖片處理、企業直播、雲遊戲、雲手機、慢直播等一站式音視頻產品服務,可以幫助企業快速集成端到端的視頻服務能力。
最後面對各行各業的多樣性,在解決方案層面,不僅推出了通用的雲端一體解決方案 veVOS;還基于行業實踐,把視頻能力與業務形态、場景需求融合,在營銷、知識傳遞、商業鏈接和拓展等企業的業務場景進行體驗創新,沉澱了一系列的行業場景化方案。
火山引擎不是第一個做端到端視頻解決方案的雲服務商,對于火山引擎視頻雲的優勢,火山引擎視頻雲負責人 Yongyuan 告訴極客公園,是抖音等億級 DAU 產品的大規模應用實踐,沉澱給火山引擎的技術和產品資產。
「我們内部大規模的視頻應用場景,給我們的技術和產品提供了練兵場,這些在内部是驗證過,只要标準化應用到客戶場景裡,會比其他視頻雲做產品和技術孵化的過程中更有優勢。」
大規模應用還帶來了規模化優勢。每天龐大的視頻内容消費量,使視頻雲更有動力研究降本方法,包括自研編解碼芯片、投入幾百個博士做編解碼、研究算力調度方案、AI 算法、傳輸協定、視頻标準的制訂等,今天視頻雲已經應用了多種技術降本方案,其中大多數都是小規模的應用團隊需要但無力投入自研的技術能力,而通過火山引擎視頻雲對外提供,後者也是希望借此推動行業的視頻化進程。
此外,抖音對于技術指标和業務的理解,以及其内部實踐積累的方法論,也是視頻雲的重要優勢。在抖音内部的業務實踐中,會将技術指标和業務指标做一一對應,比如分析視頻明亮度和用戶留存的關系、主播口播時長與帶貨轉化率的關聯……
抖音在打造用戶粘性上的成功,靠的是實驗而不是經驗,視頻雲也将這些多年積累的數據分析經驗和方法論沉澱到了客戶解決方案當中,幫助客戶打造更好的面向最終用戶體驗的視頻解決方案。
03 視頻雲的未來:算力、AI 和 VR/AR
日活達到 6 億的抖音,還在繼續探索音視頻技術的可能性,并通過火山引擎視頻雲這個出口,将新的技術不斷外溢到千行百業。
目前,視頻雲有三個比較重要的視頻技術方向:異構算力、3D 視頻(VR/AR)和 AI。
前面提到,為了服務内外部客戶,火山引擎已經建立起了一個龐大的異構算力平台,其中既有通用的 CPU、GPU,也有自研的視頻編解碼專用芯片、ARM 伺服器集群等自研產品。
火山引擎視頻雲異構算力平台丨來自:火山引擎
通用芯片足以滿足大多數普通人甚至小規模的視頻應用平台的算力需求。但對需要支持抖音和外部客戶的火山引擎視頻雲來說,自研芯片從而用軟硬結合的方式來完成視頻處理等計算工作,為更多大算力要求的場景來提供支持。所以從三四年前,字節跳動的視頻中台團隊就開始研究将抖音的視頻編解碼能力硬體化。
最初,視頻雲嘗試将算法能力固化到 FPGA,從而驗證了這種思路的可行性。但 FPGA 的成本依然高昂,所以在思路驗證完後,視頻雲技術團隊開始自研芯片,于 2022 年底完成初代芯片的成功流片,并計劃會在未來 12 個月到 18 個月迭代一次,從而滿足字節跳動内部和外部的處理用量需求。
據悉,這款自研的視頻編碼處理芯片,可以支持 HDR 和 8K 轉碼。相對于 x265 medium 檔位,具有 35%-50% 的編碼效率提升。由于其超高的算力密度和低成本,能對大量 / 甚至全量的點播 / 直播視頻使用高質量的轉碼從而降低業務帶寬成本并提升用戶體驗和業務指标(使用時長、留存等);另外在實時的場景,ASIC 方案有更低的轉碼延時,從而降低端到端延時,提升用戶體驗。
除了視頻編碼芯片,火山引擎視頻雲還自研了一款高密度 ARM 陣列伺服器。在轉碼場景相比 x86 資源可以節省超過 40% 的成本,在雲遊戲、雲手機、雲測試等場景,也都能提供高性價比的算力。
自研芯片更多是對已有的視頻場景降本增效,VR/AR 和 AI 則代表了火山引擎視頻對新技術的探索方向。
2021 年以後,火山引擎視頻雲加快了對 3D 和 VR/AR 視頻技術的探索。其中 8K 360 ° VR 直播全鏈路解決方案,去年至今廣泛應用于字節内外部的應用場景,落地案例包括企業新品發布會、文旅項目、Asoul 虛拟偶像演唱會、世界杯賽事直播、PICO VR 直播間等
火山引擎視頻雲 VR 雲制播解決方案丨來自:火山引擎
AI 則是另一個重要的技術方向。事實上,在這波大模型熱開始前,視頻雲一直在探索利用 AI 和模型來處理視頻,探索方向包括 AI 視頻修復、編解碼等場景。抖音龐大的業務體量決定了其必須使用技術方案來處理各類視頻需求,而不能靠人工解決。
結合火山引擎智能創作雲的 AIGC 能力,火山引擎視頻雲在商品營銷、互動娛樂、在線教育、數字金融、智能駕駛等場景引入了數字人、虛拟直播間等 AIGC 能力,助力企業降本增效、提升用戶體驗。近期,火山引擎視頻雲還首次将自研的 AIGC 視覺模型應用于老片修復場景,對經典老片進行全面的畫質提升。
火山引擎智能創作雲負責人廖謙介紹,智能創作雲已經為近千家企業提供了從腳本創意、視頻制作、内容發布和數據回饋的完整 AI 能力,大幅降低了企業和商家的視頻使用門檻。未來,智能創作雲還将持續探索 AIGC 腳本撰寫、文生圖、批量海報制作、數字人分身等多項能力。
AIGC 這波熱潮,對年輕的雲服務商火山引擎來說,也是一場十年難得一遇的機遇。左手是中國最大最優質視頻資源的抖音、右手是過去數年積累的 AI 視頻場景實踐,火山引擎有了「釘子」,也有了做出「好錘子」的養料,俨然是這場視頻 AI 競賽的「種子選手」。