今天小編分享的科技經驗：撕掉虛拟人「營業臉」，DreamTalk開源釋機會，歡迎閱讀。
搭上 AI 大模型的春風，元宇宙概念期出圈的虛拟數字人又火了一把。結合人工智能自然語言大模型，用 3D 動畫、動态捕捉、中之人等技術動起來、說起來的虛拟人，現在擁有 " 大腦 " 了。
AI 化後，原本就能以文字、聲音輸出内容的虛拟人，在與外界互動時更顯智能，輸出的内容也在豐富度、專業性上提升了一個等級。更重要的是，AI 提高了虛拟人在制作層面的生產力。
2023 年，各種添加了人工智能元素的虛拟人被廣泛用于内容播報、直播等場景中，成為電商、短視頻博主們的新寵。
然而，不足始終存在。拟真類的虛拟人在表情、聲音、動作上仍然能被識别到機器感，自然度、真實感遠不能與人類的肉身媲美。一些開發者試圖用 AI 大模型來彌補虛拟數字人的這個短板，DreamTalk 就是解決方案之一。
這個基于擴散模型的框架由阿裡巴巴、清華大學和華中科大共同研發，從 " 頭 " 開始，不僅能讓虛拟頭像開口說話、唱歌，還能模仿表情變化、同步嘴形。
最近，DreamTalk 開源了，這個框架有望為虛拟人注入 " 情緒 "。
01 為虛拟人豐富聲情言表
DreamTalk 的絕活兒是僅憑一張頭像圖片，就可以讓臉動起來，加上語音的輸入，說起來也不成問題，而且還能對上嘴型和神态，然後生成一段頭部說話的視頻。
拟人從 " 學習 " 開始。基于大模型框架，DreamTalk 可以從輸入的語音和肖像中學習并推斷出表達風格，生成有個性的表達視頻。 即使使用同一音源，頭像也能夠表現出生氣、開心、難過、鄙視等不同的情緒神态，并以相應的面部表情來表達。
DreamTalk 支持多種人物表情
DreamTalk 這類模拟人類表情的解決方案再次為虛拟人制作環節增加了一個工具，畢竟，情緒是當前虛拟人最匮乏的表現力。
喜上眉梢、橫眉怒目、涕泗橫流、笑逐顏開，人類的喜怒哀樂等情緒總是第一時間表達在臉上，再輔以語言呈現态度。而總想模拟人類的各種虛拟人人均一副 " 營業臉 "，表情包裡要麼是 " 微笑 "，要麼是 " 扮酷 "，情緒不能再多了，機器人語音雖然有各種腔調，但還是能讓人識别出機器感。
今年初，小冰公司啟動了 "GPT 克隆人計劃 "，将 AI 和虛拟人做了結合。由此而來的 AI 克隆人網紅 " 半藏森林 " 上線後引起關注，但其僵硬的表情也讓很多人吐槽體驗不佳。
近期，小冰的克隆人上線了淘寶旗艦店，面部僵化的問題依然存在，有買家評論吐槽： " 視頻通話假的要死，跟博主半毛錢關系沒有。 "
中國傳媒大學發布的調查顯示，對不同類型的虛拟數字人，大眾對其外形、人設、技術能力、服務能力有着明顯的期待差異：60% 以上的用戶最關注虛拟偶像的外形和作品，66% 的用戶關注虛拟主播的主持風格， 50% 的用戶認為虛拟員工最重要的是技術服務以及跨界合作能力。
随着虛拟人以直播等方式走進與人類互動的場景時，需求正在朝着虛拟人的個性化發展衍生，尤其是當 AI 大模型出現後，解決虛拟人情緒甚至情感的方案将成為一個獨立的賽道。
DreamTalk 的開發方之一阿裡巴巴此前就申請了 " 對話内容生成、虛拟對話、對話内容的數據處理方法 " 的專利。摘要顯示，該申請通過構建情感關聯圖，可以深度理解引發對話情感的具體關鍵詞，從而通過情感關鍵詞預測目标關鍵詞，有效地在對話回復内容中展現同理心，進而實現共情對話，提高對話内容生成的準确性。
進入 2024 年，市場對虛拟人的需求不再只是能說會動了，還得把 " 情緒價值 " 拉滿。
02 AI 給完「大腦」給「情緒」
能通過聲音、影像适配情緒的 DreamTalk 類 AI 方案有望讓虛拟人的 " 表情包 " 豐富起來，也會給虛拟人制作帶來了便捷工具。
在技術上，虛拟人有機會借助 AI 拟态工具擺脫真人驅動的限制。
在 " 算法驅動型 " 虛拟人之前，虛拟人應用的實現往往依靠真人驅動，這就是我們常說的 " 中之人 "，即借助真人通過動作捕捉設備進行形體、眼神、動作等的捕捉，然後才能進行驅動和渲染。一般而言，它的生產周期更長，成本也比較高。
花臉 AI 創始人劉威曾表示，只有實現虛拟人的快速生成，解決低成本大量復制、高頻次内容產出兩大問題，同時擺脫中之人的束縛，虛拟人才能有普遍的商業價值。
而 " 算法驅動型 " 的虛拟人，可以自驅動學習模特說話時的唇動、表情、語音，以及姿态和動作等等，不僅無需真人參與，還可以實現更快速的渲染，降低制作成本。所以，這種技術方法更适用于虛拟人的規模化制作。
在用戶體驗上，智能化的情感生成将有效提高虛拟人互動能力的提升。
目前已出現較多陪伴型虛拟人應用，其中一款名為 Talkie 的虛拟陪伴 APP 在在海外已有百萬日活。從去年 8 月開始，這款應用的下載量一直在高位徘徊，并長期霸占着美國 Google Play 娛樂應用下載榜前十的位置。除了美國之外，在新西蘭、英國、加拿大、澳大利亞這些發達市場，Talkie 同樣取得了不錯的成績。
Talkie 虛拟人主打 " 陪聊 "
但包含 Talkie 在内，目前的絕大多數主打陪伴場景的虛拟人應用，在情感互動層面表現單一。以 Talkie 為例，裡面的所有虛拟角色均以靜态圖片的形式出現在聊天背景中，互動的方式只有語言，主打一個 " 陪聊 "。
随着 AI 技術的突破發展，Talkie 這類應用絕不是虛拟陪伴產品的最終形态，它們将作為一種過渡形式，而解決數字人情緒表達的方案有望為虛拟人注入 " 靈魂 "，成為虛拟人產品革命性的機會。
