今天小編分享的娛樂經驗:資本永不眠,AI數字人有一顆做“通訊社”的野心,歡迎閲讀。
作者 | James
"AI王冠"項目是中央廣播電視總台視聽新媒體中心旗下的一項技術創新項目,它代表了國内媒體領網域對人工智能應用的典型探索和實踐。
"AI王冠"項目起源于2020年,當時總台希望逐步創建元宇宙形象,把傳統真人出鏡的模式轉換到數字分身,并應用于元宇宙場景。"我們的核心出發點是:以自動化、智能化的生產體系來應對财經、證券類資訊的潮汐式湧現,實現前台展示和後台生產的全流程自動化。"
通過創建AI虛拟主播,應用到新媒體日常新聞播報、兩會重點項目,以及商業化項目等場合,"AI王冠"填補了内容生產的空白,加速了新聞制作過程,在節省資源的同時,保持了内容的質量穩定。"AI王冠"在央視頻的賬号有近6000粉絲和超780萬總播放量。目前,同樣的技術已經在CGTN等總台更多部門應用和鋪開。
在這個項目中,"AI王冠"的原型,财經評論員王冠是如何深度參與到其中的?開發團隊面臨怎樣的挑戰,又是如何克服了這些挑戰?"AI王冠"在央視頻等平台上的應用情況,以及其在當前媒體生态中的地位和潛力又是如何呢?
請看視智未來對總台"AI王冠"項目團隊負責人,以及王冠老師的專訪。
受訪者:
總台視聽新媒體中心技術應用部副主任 姚遠
總台視聽新媒體中心内容一部制片人 高躍
總台财經節目中心"548A紅人館"工作室制片人 王冠
總台财經節目中心"548A紅人館"工程師 王京源
---以下為采訪實錄---
項目起源
請介紹一下"AI王冠"項目是如何立項的,當時确定的目标有哪些?
2020年,元宇宙概念在全球爆發。那時我們考慮逐步創建總台的元宇宙形象。我們想要将傳統的真人出鏡模式轉換為數字分身,應用于元宇宙場景。以技術創新跟進時代的腳步,是我們的初衷。
同時在2020年春,恰逢美股熔斷的大新聞頻發,央視頻多次邀請王冠老師深夜上線,直播解讀美股市場動态。全球主要資本市場,尤其是美股均在北京時間夜間進行交易,而國内的廣電财經媒體在北京時間晚上10點後内容更新較少,與世界主要資本市場的活躍時間存在明顯時差。我們顯然不能期望所有主持人、編輯和記者以常态化、高強度工作狀态應對全球資本市場的突發情況。
全球資本市場永不休眠!美股在夏令時期間,同我們有12個小時的時差。海外資本市場的行情走勢該如何在北京時區工作人員下班之後也能及時得到處理?因此,我們認為在流媒體的财經資訊領網域,虛拟主持人可以發揮重要作用,尤其可以彌補北京時間的當日晚間到次日早晨這一時段的内容生產空白。
雖然财經類APP的文字更新迅速,但目前其視頻化的產能和播報服務占比很低。基于這一點,我們進一步明确目标:首先創建一個财經播報的虛拟主持人,并進一步探索自動化的AI生產體系。
1、全流程自動化
我們的核心出發點是:以自動化、智能化的生產體系來應對财經、證券類資訊的潮汐式湧現,實現前台展示和後台生產的全流程自動化。
中國上市公司的數量不斷增長,目前已超過5000家。每家上市公司每年至少發布四份财報,這意味着在固定時間視窗内,會有海量的财報密集發布。此外,還有各種突發新聞及周期性經濟數據發布,如國家統計局和各地統計局的月報、年報等。
面對這種潮汐式的信息發布,傳統的人力資源在處理這些海量信息時顯得力不從心。因此,我們希望研發的不僅僅是一個視覺化的AI超仿真人,而是一個全流程的、AI化的、自動化的生產工具。
2、在财經領網域先行試點是可行的
我們在内容端進行了一系列策劃和嘗試,進一步去系統論證AI虛拟人技術在财經内容領網域的必要性和可行性。這樣重大的創新項目對于總台來説當然是一項重資產的技術研發和成本投入,我們必須謹慎起步。
之所以認為财經領網域AI自動化生產内容可行,也是基于财經内容的特質和基調:理性、客觀,使得數字虛拟人的情感波動不大,其人物呈現狀态整體上相對冷靜。當AI主播報道股票漲跌和數據統計等新聞時,不會像文藝和體育類主播那樣,有很大的情感振幅和節奏變化,在研發起步階段對算力的要求相對不高。
"AI王冠"項目從2021年第三季度開始,至今已經超過兩年的時間。财經中心團隊與王冠老師緊密合作,深度參與項目的完成。
本創新項目中會涉及各維度的供應商,它們是項目的重要支撐。而整個項目的技術把控和效果評估,都是由總台視聽新媒體中心(即央視頻)以及财經節目中心共同主導完成的。
當初為什麼選定王冠老師來做數字分身的試點?
我們接受采訪時,常被問及為什麼選擇王冠老師進行此項工作。這是要從技術和内容兩個維度進行評估。
王冠老師是總台财經評論員,也是财經節目中心的資深主持人。總台成立前,在中央人民廣播電台工作時期,王冠老師就曾經與科大訊飛合作,制作了語音版AI主播"央小廣"。開始我們考慮,是否可以在此基礎上增設人物形象?但後來發現技術上不可行,還是需要另起爐灶。
同時,在項目研發過程中,我們需要具有财經内容生產經驗的專業人員來動态評估和把關,方便我們動态調整,研以致用。我們選擇王冠老師,并不僅僅是為了使用一個主持人的形象,更多的是因為王冠老師和其欄目組團隊能夠全程參與,積極配合。如果只是使用他的形象,這項工作将難以進行。
王冠老師本人和其内容團隊,對于這個項目的參與度很高。同時他們也向财經節目中心領導就項目設想進行了詳細匯報,并得到了中心領導層的大力支持。這其實也反映了總台内部的良性創新氛圍,面對未知領網域的探索,從上到下都齊心協力,躍躍欲試。跨中心、跨欄目的動态組合,往往能迸發更多創新的火花。
自總台在2018年3月成立後,"融合發展"即成為既定戰略。這種融合主要體現在傳統廣播電視内容向新媒體平台的延伸。2020年8月,王冠老師所負責的财經談話類品牌欄目《王冠紅人館》,在總台技術局和視聽新媒體中心的共同努力下,率先突破傳統音頻渠道,在央視頻客户端實現視頻化融媒直播,之後總台多檔廣播欄目和廣播頻率均依照此模式在央視頻實現視頻化播出。
《王冠紅人館——卡達世界杯特刊》在央視頻客户端的直播界面
在這個以技術引領的融合發展過程中,《王冠紅人館》節目組和央視頻相關技術團隊一直全程參與,緊密配合。大家彼此熟悉,合作起來非常順暢。"AI王冠"的項目研發,其重要基礎正是團隊的率先融合和彼此信任。
制作過程
在"AI王冠"制作過程中,都需要用到王冠老師的哪些個人信息和特征?
項目啓動伊始,首先需要全面采集王冠老師的生物信息,包括相貌體征、肢體軌迹、語言行為等。主要用于完善AI主播肢體運動軌迹的信息,包括面部信息、表情變化和聲音的特質,還有就是語言表達的習慣。
由于這是總台層面的重點創新項目,主要用途為财經新聞的内容生產,并不是與商業平台合作的產業項目,所以使用王冠本人的個人IP及身份信息授權問題并沒有明顯障礙。
基于培育總台的"新質生產力"、創新内容生產流程和提高生產效率的考慮,在優質的技術團隊把關和引領下,王冠老師全力配合整個信息采集過程,同時也積極參與内容生產體系設計與AI程式的工程搭建。
他表示:"這的确是一個全新的課題!作為主持人和财經評論員,參與到‘再造一個自己’這項工作中,感覺很奇妙,也難免惶恐,面對科技的日新月異,未來自己是否會飯碗不保?但時代浪潮滔滔,不舍晝夜。就像‘駱駝祥子’擔心内燃機和汽車的發展一樣,這是沒有意義的。我們真正應該做的,是去順應時代發展的潮流。"
"AI王冠"的聲音和形象還原度如何?
王冠老師認為,目前"AI王冠"的仿真度已經非常高了,但在一些細節之處的表達上,AI和本人還是有差距的。"我個人覺得肯定不如和本人的實際交流流暢,但‘AI王冠’最大的優勢,是提高生產效率和降低成本。我們研發的是财經新聞生產工具,不是藝術品。就像制造業的生產線,首先要确保產量和產品質量下限。這是工具,而不是還原與復刻。"
需要指出的是,目前主流媒體上的數字人主要通過動捕或光捕,進行形象、肢體或外貌的渲染展示。而"AI王冠"是一個真正的新聞生產工具,是一個生產力平台。"AI王冠"的首要目标是新聞生產全流程的自動化比例不斷提升,優化生產環節,提質增效。
從電視專業角度來看,在AI人物形象上,網友可能會注意到在豎屏畫面中有遠景和中景兩個景别。切換到中景時,人物分辨率稍顯"發虛"。這是因為我們并沒有針對近景重新渲染一次,從而保證影像生成速度更為快速,同時又不產生難以忍受的質量損耗。其實我們技術上可以做到同時渲染多機位,但對于全自動的财經快訊而言,速度快和成本低是第一位的,糾結于畫質精美度的必要性不大。
在制作"AI王冠"時,遇到了哪些技術挑戰?如何解決?
在技術上,我們遇到的主要困難包括:虛拟人視覺形象所呈現的自然度和流暢度問題,特别是在拟人化方面的訓練和更新。我們也致力于訓練其語音表達,盡量使其接近真實發音。此外,我們還關注語音的細節呈現,如音色和音調如何與文字内容的語境相貼合?這在播報不同内容的情緒轉換時尤為重要。
因為這是一個自動化的生產力平台,所以存在一些多音字處理的問題。同一個字在不同情境下可能需要不同的聲調。動态優化這些技術細節非常重要,尤其是在處理中英文的混合讀音時更為明顯。
另一個挑戰是時效性。我們逐步解決了時效性問題,從最初需要20-30分鍾生成1分鍾内容,更新到10分鍾生成1分鍾内容,甚至可以更快。
在外宣應用方面,處理多個語種不同發音,特别是特殊名詞、深層詞匯、組合詞和特殊人名也是一大挑戰。如何精确匹配它們的讀音、口型、語義和語調,是我們在技術方面面臨的最大挑戰之一,也是這兩年來我們不斷調優的重點。
提高時效性、真實度以及處理多音字的能力,對"AI王冠"項目的最終落地而言是非常關鍵的。
目前"AI王冠"的應用場景主要集中在央視頻App,它為什麼沒有在電視頻道和廣播頻率中常态化應用?
首先,"AI王冠"有過"上大屏"的電視報道經歷。在2022年的兩會報道中,《"冠"察兩會》是總台唯一一檔以"科技創新"标籤和視角來報道兩會的重點項目,此創新專欄被總台多個電視頻道報道,也被中國記協等機構表彰。不過"AI王冠"的主要應用陣地還是在央視頻。
2022年全國兩會期間,CCTV4《中國新聞》欄目對于《"冠"察兩會》進行報道
其實從媒體融合發展的視角來看,中國目前有10.9億網民和7.7億5G手機用户,很多網友在家通過投屏收看,或者用"低碳聽音"功能來收聽央視頻提供的内容。那麼,這究竟是電視、廣播還是手機端的内容?随着中國新基建的高速發展,現在媒體介質和渠道的界限其實非常模糊。
央視頻用户在家投屏收看《王冠紅人館》現場直播(網友供圖)
對公眾而言,區分廣播、電視和手機端是一個"偽命題",大家需要的是獲取信息和得到服務。總台成立央視頻的目的,正是堅決貫徹中央"加快構建全媒體傳播體系"的戰略。央視頻作為總台的旗艦平台,承載着奧運會、世界杯、春晚等優質版權内容的傳播與宣發。由此可見總台"全面走向移動互聯"的意志非常堅定。從我們團隊内部來説,糾結廣播、電視以及央視頻小屏的渠道之别沒有意義。我們要做的是,跟上總台全媒體傳播體系建設的腳步。
關于自動化
《"冠"察兩會》《"象舞指數"總台短視頻榜單播報》等項目的文案是AI還是人類撰寫的?
我們的文案制作其實論證和嘗試過好多套方案,會根據實際需要采用不同模式。實際上,目前來看,人工編寫的文案通常優于AI生成的文案。
我們發現,目前AI生成的稿件往往不能直接使用,往往需要進行小幅甚至大幅修改。因此,從實操效率角度來看,AI文稿還不盡如人意。
王冠老師説:"對于财經類内容,我們央媒有較為成熟的信息确權和審核體系,從而保證内容的準确性和客觀性。而目前的AI文字工具,有時候還不能準确辨識信息的源頭出處和保真度,我們需要人工确認比對信息,尤其是引用數據的靠譜程度。現在我們更關注的是,如何讓人工和大模型的AI生產工具更好地配合,形成更合理高效的流程分工。"
"AI王冠"在新聞采集、編稿到播發方面的全程自動化程度如何?
自動化程度取決于不同的產品。例如,我們目前的日更項目自動化程度非常高。通過我們的虛拟人生產力平台系統,稿件能在幾分鍾内完成,視頻也可以直接發布。
我們做了一個工具,但我們不可能每個系統都自己開發,反復發明輪子。這樣我們的效率不一定會提高。我們可以用成熟的第三方工具,經評估後确定實際的方案,比如做AI字幕識别,包括一些非編上的處理,都有非常成熟、高效的工具。我們嘗試過将這些外部工具整合進來,但後來評估發現可能效率不會高,效果還更差。這确實是一個重要的考慮因素。
如何确保生成内容的準确性和穩定性,減少人工審核時需要返工的概率?
我們的視頻一經制作完成,理論上可以直接發布,包括其對話内容和字幕等。不過,我們并不能保證產品100%無誤。我們在後期處理中關閉了一些自動化環節,例如字幕生成,這是出錯率最高的部分。我們通過人工幹預來處理字幕,盡管現在許多編輯軟體已經非常智能,但是在總台的平台上進行信息發布,我們務必要确保準确無誤。
通過其他軟體系統的再次檢查,我們可以快速生成并修正字幕。實踐證明,這種方法比集成所有功能到系統中要快得多,且減少了返工的需求。返工不僅涉及時間問題,還涉及成本和伺服器問題。因此,我們選擇去掉某些原本可以自動化的環節,實際上是為了提高整體效率。
"AI王冠"現在是否可以做到"自主發現新聞熱點"?
因為我們現在的更新頻率決定了它還不能像路透等一些通訊社那樣有7*24小時的不斷更新,所以熱點的事情,在我們這裏目前并不是一個常規的工作。單是對于财報季發布,以及統計局年報發布等重點時間視窗,我們是可以提前布局的。
從今年開始我們每天都在保持動态更新,這在目前國内的虛拟人使用頻率上已經是非常高了。因為很多類似產品大家也都了解,可能在某個時期會做很多的代言或其他活動,但往往是短周期内的強曝光狀态,而我們是長周期的高頻率使用。
但即便在這種情況下,我們每天的更新量也還沒有達到完全理想化的程度。因為實際上熱點新聞的發生有着動态性和随機性。我們目前每天往往是一篇或幾篇内容的更新量,還無法一天之内動态機動地發布信息組群。
為什麼不考慮将"AI王冠"輸出為一個7*24小時不間斷播報的直播信号?
如果做直播,觀看數據可能會更好,但内容填充度和信息更新量是一個挑戰,畫面的豐富度也是一個問題。這需要大量的人力和資源投入,我們必須評估性價比。雖然我們初步評估具備進一步擴產的能力,但還是需要有所克制。同時,如果用"AI王冠"的形象做24小時直播,可能會對王冠老師形象本身造成過度消費,任何時候打開這個直播間都是這個單一形象,對于用户的觀感而言就不是視頻了,變成了人物圖片加背景音。還有一種直播的畫面處理方式,大量使用圖表來填充,抛開圖表編輯的各項成本,單純就展示效果就好比PPT加背景音,審美疲勞也是不可避免的,這樣的直播反而可能對長期價值的構建不利。
在移動互聯網生态中,内容是碎片化的。使用大段單一内容填充并不能吸引用户注意,效果不佳。相比之下,碎片化的精品内容更能吸引和留住用户。
未來展望
"AI王冠"在央視頻有近6000粉絲和超780萬總播放量,在央視頻平台這是一個什麼水平?它是否有在其他社交平台的推廣和IP運作計劃?
這個數據目前的水平是"一般",基本屬于一個活躍賬号的正常水平,但還未達到頂級賬号的水平。當前的成就并不是我們預期的終極目标。
當然,并非所有内容都能達到頂級賬号的标準。首先,在央視頻,電影、電視劇、綜藝和體育等内容自然擁有更高的流量,一些知名的電視欄目賬号也吸引了眾多關注。相比之下,财經内容較為"冷門",這是和大眾的信息消費習慣需要息息相關的,也符合大多數綜合性媒體的内容分布。
其次,我們目前每天發布内容,保持日更。我們的理想狀态是持續發布信息,但發布的頻率和數量是不封頂的。
王冠老師認為:"雖然這個數據并不算高,我個人認為這在今年央視頻客户端上是非常可觀的成績。刨去前期研發成本和内部人力成本,這應該是總台最‘省錢’的流量。沒有主持人、化妝師、演播室硬體損耗和攝制組人員開支,這也是我們的立項初衷。"
至于進一步推廣和擴容IP的計劃,我們一直在通過央視頻的全網社交媒體賬号發布内容。這些賬号的粉絲數量非常龐大,可能達到數千萬甚至過億。目前日常内容更多是在央視頻客户端内發布。
我們的目标是通過"AI王冠"在全網範圍内傳播内容,無論是在我們自己的平台,還是其他平台。
當然,在進行全網推廣之前,需要找到合适的結合點。無論是在内容、用户還是平台訴求方面。很多大眾平台更偏向娛樂内容,我們必須确保所生產内容适合其他平台的用户需求。
"AI王冠"是一次性交付,還是會在幾年的期限内不斷迭代改進?會不會應用大模型技術來改進?
我們的錄制過程經過了多次迭代,逐步更新改進,"AI王冠"的呈現效果一直在動态優化。這包括聲音的采集、面部表情的采集以及聲音的補充采集等方面。2022年開始立項的時候,聲音技術還不夠完善,現在再做一次的話,聲音效果會好很多。
大模型的技術我們一直在AI平台上使用,但并未在"AI王冠"上廣泛應用。原因在于,它以王冠老師的名字命名,所以深度綁定了王冠老師的社會和個人形象。
有趣的是,當"AI王冠"推出後,我們面臨了一個挑戰,即如何使用它?盡管它只是一個數字分身,卻采用了王冠老師本人的形象和聲音。因此,當我們利用它發布内容時,它可能會被視為代表王冠老師的态度和立場。
在這方面,我們非常謹慎。我們專門探讨了數字分身與本人之間的關系。為此,我們與法務部門、總編室以及版權部門合作,經過一個多月的讨論,探讨了如何使用數字分身以及需要什麼樣的授權。這是一項關于倫理和法律的調研。
我們還考慮了如何開發數字分身。這不僅是法律問題,我們還需要對王冠老師負責。如果我們輕率地開發和使用數字分身,可能會產生問題。關鍵問題在于,數字分身的形象、态度和立場歸誰所有。
例如,我們可以将"AI王冠"與一個大模型連接,使其能夠回答任何問題。但是,這些回答是否能代表王冠老師?如果提出了不适當的問題或觀點怎麼辦?尤其是當前AIGC大模型可能會生成一些奇怪的内容。這些内容是根據收集的數據訓練而成,其觀點是通過發展模型匹配出來的,其真實性、準确性仍有疑問。
"AI王冠"包含了王冠老師真實的人設和觀點。如果使用它來做上面這些事情,我們認為這将是破壞性的。因此,我們盡量避免大模型直接參與内容生成。大模型只會參與輔助工作,而不會直接參與内容的核心部分。
"AI王冠"還會有其他的使用場景嗎?
關于"AI王冠",我們只是展示了一部分場景,我們還有很多其他的合作項目。我們還開展了一系列商業嘗試,為客户制作特定的AI内容。
當我們使用"AI王冠"時,我們會全面征詢王冠老師的意見。在"AI王冠"的使用上,有一個重要原則:不讓數字分身影響其本體。
現在,我們也在開發新聞頭條等項目,利用其時效性、低成本和快速性進行秒級響應,發布國際突發事件。跟"AI王冠"同樣的技術将用于CGTN的對外新媒體傳播,雖然不是王冠的形象,但用了一樣的技術支持。
《"冠"察兩會》入選中國記協2022年全國兩會報道融媒產品案例,請説説對它目前成果的總結和對未來的展望。
這項榮譽是對我們努力創新的認可,難能可貴。我們為兩會報道引入了一種新的形式,用一種活潑新鮮的方式輕松解讀兩會經濟報道,處理了一些沉重或重要的主題,這可能是其入選的原因之一。
我們認為,"AI王冠"作為一種新型主流媒體内容生產和傳播系統,代表了主流媒體擁抱AI時代的一次典型實踐。
AI化的最大意義在于它改變了生產方式。它将傳統的、需要大量技術和支持人員參與的重型生產方式轉變為了一種輕量化的方式。這使得内容的快速生產和迭代成為可能,實現了低成本、高效率的生產。這将從量變引發質變。未來,可能會有更多的虛拟主播參與各種節目。
目前,總台内部已經開始使用越來越多的數字分身或虛拟形象來完成各種工作。我們有多種類型的虛拟形象,比如播報型的、服務型的。例如,您可以看看央視頻的智能客服,它是一個服務型的虛拟人物;央視網小C是另一種形式的虛拟分身,更多是作為一個平台或總台的代言形象;還有問答型的機器人,提供各種服務和知識。
我認為,服務型的虛拟人物在各個領網域逐漸得到認可,這表明數字技術能夠產生重大影響。比如,我們去年為廣東茂名的荔枝節開發問答型機器人"荔小寶",以及為國際宣傳提供高效率、高時效性的頭條機器人。大家逐漸認可了AI和數字分身的這種生產模式。
以前,我們想要制作突發新聞時,需要準備主持人、内容團隊和演播室,但現在更多地依賴移動傳媒和新媒體平台。大家更加接受了這種新的生產方式、流程和關系。我認為,這正是AI價值體現的最重要方面。
最後,我們希望傳達的信息是,我們不期望"AI王冠"成為一個具有獨立思想的虛拟個體,像電影中那些極具智慧的角色一樣,能夠表達連王冠老師自己都無法表達的觀點。
在制作AI内容時,我們始終認為用户通過螢幕與AI接觸。我們不會創造一種幻覺,讓人們認為他們在現實生活中與"AI王冠"站在一起,進行互動和對話。
就像在日常生活中,你不可能看到一個虛拟人站在你面前并與你對話,那是非常"靈異"的。因此,在我們的傳播中,我們絕不應該給用户造成這樣的錯覺。我們在最初制作時就明确:虛拟人物始終生活在螢幕裏,在虛拟世界中。我們的原則是新聞立台,服務大眾。我們踏踏實實做好研發創新,不刻意追求标新立異的"出圈"效果。
我們很榮幸能參加本次深度采訪,來分享我們的工作實踐和所思所想。我們期待着能和更多志同道合的朋友進行合作。
>