幻霄科技CTO高天寒：創新教育體驗—探索AIGC在元宇宙教學實訓中的無限潛能

今天小編分享的科學經驗：幻霄科技CTO高天寒：創新教育體驗—探索AIGC在元宇宙教學實訓中的無限潛能，歡迎閲讀。

近年來，教育數字化轉型和泛虛拟現實技術在教育領網域的應用越來越受到重視。

《中國教育現代 2035》中明确指出加快信息化時代教育變革是教育現代化的重要戰略任務之一。

在這個充滿變革和創新的時代，教培領網域正迎來前所未有的機遇與挑戰。其中，備受矚目的AIGC 技術，正在元宇宙教培領網域展現出巨大的潛力。

那麼，傳統教育模式在信息時代遇到了怎樣的限制與挑戰？元宇宙、AIGC 等新技術将如何開拓教培行業的新機遇？沉浸式學習體驗對于教育意味着什麼？

圍繞 AIGC 技術和元宇宙技術在創新教育中的應用，幻霄科技聯合創始人兼 CTO、首席科學家高天寒在「量子位 · 視點」直播中分享了他的從業經驗和觀點。

以下根據分享内容進行整理：

AIGC 是元宇宙的 " 靈魂 "

今天和小夥伴們來一起聊一下最近兩年在新一代信息技術領網域最為熱門的兩個話題：元宇宙和 AIGC。

什麼是元宇宙？

1992 年，尼爾 · 史蒂芬森在其所著的小説《雪崩》中提出了 Metaverse ( 元宇宙 ) 和 Avatar ( 化身 ) 兩個概念。Metaverse 擁有現實世界的一切形态，用户在 Metaverse 中均為第一人稱視角，并擁有一個專屬的可自定義形象的虛拟化身 Avatar。

元宇宙強調生态的完整性和用户的主觀能動性，電影《頭号玩家》中的虛拟世界 Oasis 被普遍認為是元宇宙的最終形态代表，電影《失控玩家》中的 Free City 也是元宇宙良好應用體現之一。

Facebook 是互聯網巨頭中第一個宣布 All in 元宇宙的公司。扎克伯格稱 Metaverse 為 " 移動互聯網的繼承者 "，并承諾将 Facebook 從一家社交媒體公司轉變為一家 Metaverse 公司。2021 年 7 月 26 日，Facebook 已經開始組建專門的 " 元宇宙 " ( Metaverse ) 產品團隊，加大推進在 VR/AR 及其他元宇宙相關領網域進行產品服務研發。

Research and Markets 發布的 " 全球元宇宙市場報告 " 顯示：元宇宙市場預計在預測期内（2022-2030 年）復合年增長率将達到 40%，到 2030 年市場收入将達到 7000 億美元。

在今年年初，國家《" 十四五 " 數字經濟發展規劃》中，也重點提及了元宇宙對于數字經濟發展的重要支撐。

從去年年中開始，各個地方層面對元宇宙產業扶持和人才培養的相關政策更是層出不窮。據不完全統計，截至 2023 年 4 月底，全國已有 23 個省級（含直轄市，下同）部門及 80 餘個市級部門發布了約 500 項明确支持元宇宙產業的相關政策。

元宇宙要素

元宇宙是一個迅速發展的領網域，其構建必須具備 5 大要素。

第一要素是具身互動，即用户可以進入虛拟世界并使用數字形象進行互動。這是元宇宙中最為落地的應用場景，類似于數字人或虛拟人。

第二要素是内容生成，第一代互聯網内容生成叫 PGC 模式，以移動互聯網為代表的第二代互聯網則由 PGC 轉向 UGC 模式，但随着人工智能技術的快速發展，AIGC 将成為新的趨勢。

第三要素是統一身份管理，必須有一種方法将不同的虛拟身份關聯到物理世界的實際用户上，以确保元宇宙的穩定性。

第四要素是虛拟經濟系統，區塊鏈技術的快速發展為其提供了支持。

第五要素是虛實融合，用户可以在真實和虛拟世界之間無縫切換，這一點背後重要的技術支撐涉及到 XR 技術。

總體而言，元宇宙發展已經形成了三條比較清晰的主線，分别是與虛實融合有關的互動、有吸引力的内容生成、以及經濟和治理的發展。在過去的幾年中，幻霄團隊持續發力，突破了一系列核心技術，尤其是在虛實融合方面的 XR 技術，即包括 VR、AR 和 MR，我們統稱定義為 " 泛虛拟現實 "。

AIGC 與元宇宙

XR 現在已經被定義為未來人機互動的全新形态，将會取代移動互聯網，成為下一代的移動計算平台。用一句話來定義 XR 和元宇宙的關系，我們認為 XR 是通向元宇宙的 " 蟲洞 "。

用户可以通過 XR 技術并配合相應的可穿戴設備進入到元宇宙中，期望在虛拟的元宇宙環境中進行全方位互動。

近年來，XR 技術在位置感知、手勢識别等方面取得了突破，同時腦機接口技術也有了巨大的進步，意念控制技術也開始被逐漸打開。因此，XR 技術作為元宇宙的入口非常清晰明确。

AIGC 是今年信息技術領網域最為熱點的概念，利用人工智能技術來自動生產内容，被認為是繼 PGC、UGC 之後的新型内容創作方式，已經可以自動生成文字、圖片、音頻、視頻，甚至 3D 模型和代碼。AIGC 已被定義成為數字内容創發展的新引擎，将重塑甚至颠覆數字内容的生產及消費方式，并極大豐富人們的數字生活，是元宇宙的重要底層基礎設施之一。

據艾媒咨詢數據顯示：預計 2023 年，中國 AIGC 行業核心市場規模為 79.3 億元，2028 年将達到 2767.4 億元，這是非常可觀的一個數字。

2018 年之後 AIGC 開始快速發展，但是初期階段它并不能為我們生成比較理想的内容，更多的關注在内容增強方面，例如，我們拍攝了一張低分辨率的圖片，通過影像超分增強影像的細節信息，生成高清圖片。再比如，對于老照片中的像素缺失部分，可通過智能增強技術進行内容復原。

從去年開始，随着人工智能的模型越來越成熟，已經開始能夠生成一些多模态形式内容，包含文本、圖片、聲音、視頻，甚至是 3D 模型、代碼等等。

在當今内容為王的時代，AIGC 經歷了短期内的快速變化。幾年前，它處于核心技術突破的早期階段。但是近年來，一系列相關的 AI 模型和技術已經大幅提升，并進入批量生產狀态。未來，關鍵技術将持續優化，最終目标是取代人類創建替代性内容。

在元宇宙中，如果 XR 技術為其入口，那麼 AIGC 就是其靈魂，AIGC 很快将成為元宇宙生產力的工具。雖然現在的元宇宙已經足夠精彩，但是當 AIGC 像我們之前描述的那樣，高效地生成高質量個性化内容時，它将變得更加輝煌。

總之，盡管元宇宙的概念只有兩年左右的時間，但已經迅速在教育、醫療、職業培訓、智能制造、工業等領網域中形成了大量落地場景。

教培領網域的痛點與機遇

教育培訓領網域存在 " 三高三難 " 痛點問題，包括投入高、損耗高、風險高、實施難、觀摩難、再現難。

元宇宙教培可以有效解決這些問題，将教學過程完全轉移到虛拟空間中，消除了除前期制作和設備成本外的任何支出和風險。此外，元宇宙教培可以通過虛拟環境提供更好的實施、觀摩和再現能力。這是元宇宙教育快速發展的原因，當然這也離不開政策的引導和支持。

比如在 2020 年 9 月份，教育部《關于開展職業教育示範性虛拟仿真實訓基地建設工作的通知》裏提到，遴選 100 個左右示範性虛拟仿真實訓基地，分級選 5000 門左右職業教育在線精品課。

在去年年底，教育部工信部聯合五部委進一步發布了《虛拟現實與行業應用融合發展行動計劃 ( 2022-2026 年 ) 》，在這個計劃當中更是明确指出，要大力推動教學模式向自主體驗更新，打造支持自主探究、協作學習的沉浸式新課堂。

沉浸式新課堂，實際上就是元宇宙教培的另一種诠釋。

在相關政策的大力扶持之下，我們團隊在過去的 2~3 年内，針對不同的年齡段，像 K12、職業教育、高等教育、通識教育等各個層面都做了大量的工作，完成了一系列探索以及項目落地。

目前元宇宙教育仍處于初級階段，面臨着一些挑戰和問題。

首先缺乏頂層設計和行業标準；其次，核心技術不夠成熟，過度依賴硬體實現；第三，缺乏高質量個性化的教育内容。為了應對這些挑戰，需要高層引領，進行統籌規劃，同時聚焦多通道自然互動等核心技術突破，注重元宇宙教育内容的創新和個性化程度提升，打造低門檻的個性化元宇宙内容制作平台。此外，AIGC 可能會給我們帶來新的思路。

基于元宇宙與 AIGC 的沉浸式教培探索 1）三大核心技術

用户可以使用 MetMaker 以低代碼或無代碼方式快速搭建元宇宙教育内容，正好在 6 月 1 日下午，MetMaker 正式上線；MetAssets 提供高質量的 3D 數字模型等專業素材；MetLab 則提供便捷的教育内容和學習方式。我們的核心目标是為教培元宇宙領網域賦能。在教育層面，MET 平台期望能夠無縫的去連接教、學、練、測教育領網域當中的核心環節。

在職業培訓層面，我們提出了 " 五位一體 " 概念，包括學習、實訓、考試、認證以及最終的就業，形成一個完整的閉環。同時我們期待基于 MET 平台能夠無限拉近企業、政府、院校、學生元宇宙教培領網域當中的 4 個核心角色，最終去實現互利共赢和生态共建。

MET 平台實現需要核心技術的支撐，第一個核心技術是 AIG3D，具有獨立自主知識產權，可集成到 MET 平台中。在元宇宙教育内容中，3D 數字資產是制作高質量教育内容的重要素材。目前，這些 3D 模型和場景的制作大多仍靠手工完成，投入了大量的人力物力。因此，AIG3D 技術在元宇宙教育 3D 數字資產制作環節具有非常重要的意義。

去年年底，我們發布了基于多張圖片對實物進行自動重建的技術路線，在今年 6 月中旬或 6 月底的時候，我們會發布全新的 AIG3D 技術，基于單張 RGB 影像不需要任何的深度信息，就能夠快速完成實物 3D 模型重建。

而且整個的 AIG3D 方案，支持零樣本學習，在重建的過程當中，支持實時 PBR 材質渲染，能夠在保證效率的前提下獲得更好的畫面效果。創作者能夠基于 AIG3D 技術，去快速生成高質量 3D 模型。這個模型可以一鍵式集成到 MET 平台中，輔助用户完成相應的元宇宙教培内容制作。

當然，除了單張圖片三維重建技術之外，我們還提出了基于波函數坍縮的建築集群自動生成方法和技術路線，以及基于 OSM 的城市交通網絡場景生成技術。這一系列的 AI 計算機技術極大程度助力了 MET 平台的研發，為用户提供了簡單便捷的創作工具。

第二個核心技術，我們要談及的是渲染優化。為了保證用户在浏覽器端能夠對元宇宙教培内容的體驗有更好的表現效果，我們針對不同圖形接口做了大量的渲染優化的工作，支持 webgl2.0 及 WebGPU，并在此基礎上進行了優化。

我們為 Webgl2.0 設計了一套針對 Opengl es3.0 的着色方案，采用 Forward+ 渲染，支持實時 PBR 材質渲染。這種方案在保證效率的同時，能夠獲得更好的畫面效果。同時，我們針對于 WebGPU 提供了一套 GPU 蒙皮方案，進一步提升整個模型制作效率，并在 MetMaker 中提供了基于延時渲染管線的 Voxel GI 方案，能夠進一步提升視覺效果。