今天小編分享的科技經驗：視頻生成群雄逐鹿，哪些重要問題待解？這場GenAICon視頻生成研讨會将深入探讨，歡迎閲讀。
12 月 5-6 日，2024 中國生成式 AI 大會（上海站）「GenAICon 2024」将在上海中星鉑爾曼大酒店盛大舉辦。中國生成式 AI 大會已成功舉辦兩屆，迅速成長為國内生成式 AI 領網域最具影響力的產業峰會之一。
此次也是中國生成式 AI 大會首次登陸上海舉辦，由智一科技旗下智能產業第一媒體智東西、AI 與硬科技知識分享社區智猩猩共同發起。上海市人工智能行業協會為本次大會的指導部門。
大會上海站以 " 智能躍進 創造無限 " 為主題，将設定 " 主會場峰會 + 分會場研讨會 + 展覽區 "。其中，主會場将進行大模型峰會、AI Infra 峰會，分會場将組織端側生成式 AI、AI 視頻生成和具身智能三場技術研讨會。主會場與分會場外則設有展覽區。
50+ 位嘉賓将在大會上帶來致辭、演講、報告和對話讨論，以前瞻性視角為大家解構和把脈生成式 AI 的技術產品創新、商業落地解法、未來趨勢走向與前沿研究焦點。
作為大會上海站的三場技術研讨會之一，AI 視頻生成技術研讨會将在第二日上午的分會場進行，由主題報告和圓桌 Panel 兩個環節組成。
Sora 自年初問世以來，AI 視頻生成領網域風起雲湧，到年末來看，國内外都已是群雄逐鹿的局面。盡管如此，依舊有不少重要問題有待解決。目前，從學術界到工業界，都在致力于解決 AI 視頻生成尚未解決的問題，以期為視頻生成大模型及應用產品帶來更優質的體驗。
一、上海站三場研讨會之一，完整議程公布
目前，AI 視頻生成技術研讨會邀請到中存算董事長陳巍，上海交通大學人工智能研究院助理教授晏轶超，新壹科技 AI 算法主任架構師李璋，井英科技聯合創始人、CTO 王健，曠視研究院高級研究員李華東 5 位青年學者和技術專家帶來報告，将圍繞視頻大模型架構比較、三維數字人視頻生成、面向數字人生成的視頻垂直大模型、AI 短劇技術突破、可控人物視頻生成展開講解。
視頻大模型（VLM）正與短視頻產業結合并迎來新爆發點。中存算董事長陳巍将圍繞《視頻大模型架構對比及長序列模型加速》這一主題，從視頻生成大模型與世界模型的視角出發，對比主流架構（如 NaViT、RADM），探讨内存牆和通信牆對視頻大模型 GPGPU/TPU 集群訓練和部署的挑戰，并分享算力芯片級訓練部署的解決方案和系統經驗。
三維高斯、大模型等技術在過去一年快速發展，并與數字人技術進行了廣泛結合。上海交通大學人工智能研究院助理教授晏轶超将帶來主題為《先驗引導的三維數字人視頻生成》的報告，從數字人重建、生成與編輯等方向介紹三維數字人視頻生成的最新進展，并探讨三維數字人技術的發展趨勢。
在生成式 AI 技術的推動下，智能數字人已成為内容創作的重要方向。新壹科技 AI 算法主任架構師李璋将圍繞《視頻垂直大模型在智能數字人生成中的應用》，介紹從通用大模型到垂直大模型的技術演進，講解新壹視頻大模型在數字人視頻生成中的核心技術突破，并深入分析如何實現自然語言驅動的動作與表情生成，還将展示其在相關領網域的典型應用案例。
近期，井英科技通過視頻生成模型實現了 100 分鍾以上短視頻的制作，并成功實現了用户付費觀看的商業模式。公司聯合創始人、CTO 王健将在此次論壇上将分享 AI 短劇從最初的不可行到現如今可行的關鍵技術突破，主題為《AI 短劇拐點背後的技術突破》。
随着短視頻、影視和遊戲動畫的快速發展，傳統的視頻制作方式因耗時耗力而逐漸顯現局限性。視頻生成大模型算法為高效生成高質量視頻提供了新選擇，但現有算法的生成内容可控性不足。曠視研究院高級研究員李華東将以《可控人物視頻生成》為主題，介紹支持混合模态控制的人像視頻生成算法 MegActor 系列工作。
主題報告環節結束後的圓桌 Panel，将由中存算董事長陳巍，上海交通大學人工智能研究院助理教授晏轶超，井英科技聯合創始人、CTO 王健，以及曠視研究院高級研究員李華東一起帶來。
二、五位學者專家多維度講解 AI 視頻生成
1、中存算董事長 陳巍
陳巍博士，大模型 +AI 芯片專家，高級職稱，中存算等企業董事長。國際計算機學會（ACM）、中國計算機學會（CCF）專業會員，多個國際人工智能期刊審稿人。主要研究方向為大模型架構、稀疏量化壓縮與部署加速，存算一體與 3D Chiplet 處理器，相關技術成果已被廣泛應用于知名 IDC 和互聯網企業。
曾任領網域知名人工智能（自然語言處理）企業首席科學家，中國科學院副主任（2012），多個國家科技重大專項課題負責人。中國與美國發明專利軟體著作權約 70+ 項（約 50+ 項發明專利已授權）。著有《Sora 大模型技術精要—原理、關鍵技術、模型架構與未來趨勢》《GPT-4 大模型硬核解讀》《ChatGPT 大模型技術精要—發展歷程、原理、技術架構詳解和產業未來》《智能網聯汽車：激光與視覺 SLAM 詳解》等。
報告主題：《視頻大模型架構對比及長序列模型加速》
内容概要：随着大模型技術的快速發展，視頻大模型（VLM）正與短視頻產業結合并迎來新的爆發機遇，逐漸成為互聯網應用的熱點。
本次分享從視頻大模型與世界模型的角度，對比主流視頻生成大模型架構，探讨視頻生成的關鍵技術（包括 NaViT、RADM 等），分析視頻生成類大模型的主要挑戰與發展趨勢；探讨内存牆（Memory Wall）和通信牆對視頻大模型 GPGPU/TPU 集群訓練和部署的挑戰，并針對這類視頻長序列模型的算力芯片級訓練部署，結合具體項目給出軟硬結合的解決方案與系統經驗。
2、上海交通大學人工智能研究院助理教授 晏轶超
晏轶超，上海交通大學人工智能研究院助理教授，博士生導師。獲上海交通大學電子工程系學士、博士學位，法國裏昂中央理工學院碩士學位，曾擔任阿聯酋起源人工智能研究院研究科學家。主要研究方向為 AIGC 及三維數字人技術，發表包括 TPAMI、CVPR、NeurIPS 在内的論文 40 餘篇。先後主持國家自然科學基金青年項目、CCF- 阿裏巴巴青年科學家基金等項目 8 項。曾入選上海市海外高層次人才計劃，獲 2020 年度中國圖象圖形學學會優秀博士論文獎。
報告主題：《先驗引導的三維數字人視頻生成》
内容概要：" 人 " 一直是視頻生成的核心對象，面對大規模視頻的生成需求，利用生成式人工智能技術產生高拟真，規模化的虛拟數字人正逐漸成為研究熱點。三維高斯、大模型等技術在過去一年快速發展，并與數字人技術進行了廣泛結合，本次報告将從數字人重建、生成、編輯等方向介紹數字人視頻生成領網域的最近進展，對三維數字人技術的發展趨勢進行探讨。
3、新壹科技 AI 算法主任架構師 李璋
李璋，擁有中國科學院軟體工程碩士學位，是生成式人工智能領網域的資深技術專家。在深度學習、算法優化以及大模型研發方面具有深厚的理論基礎和豐富的實戰經驗。在新壹（北京）科技有限公司擔任 AI 算法主任架構師，主導設計并研發了多個具有行業标志性的 AI 項目。設計與研發了 " 新壹視頻大模型 " ——國内首個專注于視頻生成的生成式 AI 大模型。該模型在視頻内容生成、理解與優化方面取得了突破性成果，為推動國内生成式 AI 技術在視頻領網域的實際應用提供了強有力的支撐。
報告主題：《視頻垂直大模型在智能數字人生成中的應用》
内容概要：在生成式 AI 技術蓬勃發展的背景下，智能數字人已成為内容創作、虛拟助手和人機互動等領網域的重要應用之一。然而，傳統生成模型在高精度、多模态的智能數字人生成中仍面臨諸多挑戰。為此，垂直領網域的大模型提供了一條全新路徑。
本次演講，首先會介紹從通用大模型到垂直大模型的演進，之後将着重講解新壹視頻大模型的整體架構設計及其在數字人視頻生成與優化中的核心技術突破；此外，還将對智能數字人生成的技術難點，包括數字人生成中實現自然語言驅動動作與表情生成的關鍵技術等進行深入分析，并分享視頻垂直大模型驅動的智能數字人在相關領網域的典型應用案例。
4、井英科技聯合創始人、CTO 王健
王健，井英科技聯合創始人，CTO，國内視頻生成模型的首批創業者，從 2020 年起專注于視頻生成模型及相關應用。在參與創立井英科技之前，擔任觸寶科技聯合創始人、CTO，是觸寶輸入法主創，自然語言模型專家。
報告主題：《AI 短劇拐點背後的技術突破》
内容概要：自今年 2 月 OpenAI 發布 Sora 起，視頻生成大模型成為了熱點方向。但其具體落地的業務場景卻一直不明确。近期，井英科技通過視頻生成模型實現了 100 分鍾以上短視頻的制作，并成功實現了用户付費觀看的商業模式。本次分享将介紹 AI 短劇從最初的不可行到現如今可行的關鍵技術突破，并探讨了除視頻生成大模型之外的其他關鍵技術進展。
5、曠視研究院高級研究員 李華東
李華東，曠視研究院高級研究員，碩士畢業于清華大學計算機系。研究方向為計算機視覺，主要包括視頻生成與理解，深度估計等，已在 ECCV，AAAI 等人工智能頂級會議上發表多篇論文。
報告主題：《可控人物視頻生成》
内容概要：短視頻、影視和遊戲動畫創作正在迅速發展。然而，傳統的視頻制作過程耗時耗力，通常需要大量的人工後期編輯。視頻生成大模型算法提供了一種低成本、高效的高質量視頻内容生成解決方案。但視頻生成算法生成的内容可控性不足，限制了其實際應用的有效性。因此，如何實現視頻生成内容的可控性仍是一大關鍵挑戰。
在本次報告中，我将介紹 MegActor 系列工作，這是一種支持混合模态控制的人像視頻生成算法。該算法支持角色自定義（包括真實人物、二次元人物和遊戲人物等），并能夠通過視頻、音頻和文本輸入實現單獨和混合控制。其功能涵蓋了控制角色説話、唱歌和生成表情動畫等。MegActor 系列是社區内的首個開源可控人物視頻生成大模型，将持續優化以推動技術的不斷發展。
三、中國生成式 AI 大會上海站日程
