幻霄科技CTO高天寒：创新教育体验—探索AIGC在元宇宙教学实训中的无限潜能

今天小编分享的科学经验：幻霄科技CTO高天寒：创新教育体验—探索AIGC在元宇宙教学实训中的无限潜能，欢迎阅读。

近年来，教育数字化转型和泛虚拟现实技术在教育领網域的应用越来越受到重视。

《中国教育现代 2035》中明确指出加快信息化时代教育变革是教育现代化的重要战略任务之一。

在这个充满变革和创新的时代，教培领網域正迎来前所未有的机遇与挑战。其中，备受瞩目的AIGC 技术，正在元宇宙教培领網域展现出巨大的潜力。

那么，传统教育模式在信息时代遇到了怎样的限制与挑战？元宇宙、AIGC 等新技术将如何开拓教培行业的新机遇？沉浸式学习体验对于教育意味着什么？

围绕 AIGC 技术和元宇宙技术在创新教育中的应用，幻霄科技联合创始人兼 CTO、首席科学家高天寒在「量子位 · 视点」直播中分享了他的从业经验和观点。

以下根据分享内容进行整理：

AIGC 是元宇宙的 " 灵魂 "

今天和小伙伴们来一起聊一下最近两年在新一代信息技术领網域最为热门的两个话题：元宇宙和 AIGC。

什么是元宇宙？

1992 年，尼尔 · 史蒂芬森在其所著的小说《雪崩》中提出了 Metaverse ( 元宇宙 ) 和 Avatar ( 化身 ) 两个概念。Metaverse 拥有现实世界的一切形态，用户在 Metaverse 中均为第一人称视角，并拥有一个专属的可自定义形象的虚拟化身 Avatar。

元宇宙强调生态的完整性和用户的主观能动性，电影《头号玩家》中的虚拟世界 Oasis 被普遍认为是元宇宙的最终形态代表，电影《失控玩家》中的 Free City 也是元宇宙良好应用体现之一。

Facebook 是互联网巨头中第一个宣布 All in 元宇宙的公司。扎克伯格称 Metaverse 为 " 移动互联网的继承者 "，并承诺将 Facebook 从一家社交媒体公司转变为一家 Metaverse 公司。2021 年 7 月 26 日，Facebook 已经开始组建专门的 " 元宇宙 " ( Metaverse ) 产品团队，加大推进在 VR/AR 及其他元宇宙相关领網域进行产品服务研发。

Research and Markets 发布的 " 全球元宇宙市场报告 " 显示：元宇宙市场预计在预测期内（2022-2030 年）复合年增长率将达到 40%，到 2030 年市场收入将达到 7000 亿美元。

在今年年初，国家《" 十四五 " 数字经济发展规划》中，也重点提及了元宇宙对于数字经济发展的重要支撑。

从去年年中开始，各个地方层面对元宇宙产业扶持和人才培养的相关政策更是层出不穷。据不完全统计，截至 2023 年 4 月底，全国已有 23 个省级（含直辖市，下同）部門及 80 余个市级部門发布了约 500 项明确支持元宇宙产业的相关政策。

元宇宙要素

元宇宙是一个迅速发展的领網域，其构建必须具备 5 大要素。

第一要素是具身互动，即用户可以进入虚拟世界并使用数字形象进行互動。这是元宇宙中最为落地的应用场景，类似于数字人或虚拟人。

第二要素是内容生成，第一代互联网内容生成叫 PGC 模式，以移动互联网为代表的第二代互联网则由 PGC 转向 UGC 模式，但随着人工智能技术的快速发展，AIGC 将成为新的趋势。

第三要素是统一身份管理，必须有一种方法将不同的虚拟身份关联到物理世界的实际用户上，以确保元宇宙的稳定性。

第四要素是虚拟经济系统，区块链技术的快速发展为其提供了支持。

第五要素是虚实融合，用户可以在真实和虚拟世界之间无缝切换，这一点背后重要的技术支撑涉及到 XR 技术。

总体而言，元宇宙发展已经形成了三条比较清晰的主线，分别是与虚实融合有关的互動、有吸引力的内容生成、以及经济和治理的发展。在过去的几年中，幻霄团队持续发力，突破了一系列核心技术，尤其是在虚实融合方面的 XR 技术，即包括 VR、AR 和 MR，我们统称定义为 " 泛虚拟现实 "。

AIGC 与元宇宙

XR 现在已经被定义为未来人机互動的全新形态，将会取代移动互联网，成为下一代的移动计算平台。用一句话来定义 XR 和元宇宙的关系，我们认为 XR 是通向元宇宙的 " 虫洞 "。

用户可以通过 XR 技术并配合相应的可穿戴设备进入到元宇宙中，期望在虚拟的元宇宙环境中进行全方位互動。

近年来，XR 技术在位置感知、手势识别等方面取得了突破，同时腦机接口技术也有了巨大的进步，意念控制技术也开始被逐渐打开。因此，XR 技术作为元宇宙的入口非常清晰明确。

AIGC 是今年信息技术领網域最为热点的概念，利用人工智能技术来自动生产内容，被认为是继 PGC、UGC 之后的新型内容创作方式，已经可以自动生成文字、图片、音频、视频，甚至 3D 模型和代码。AIGC 已被定义成为数字内容创发展的新引擎，将重塑甚至颠覆数字内容的生产及消费方式，并极大丰富人们的数字生活，是元宇宙的重要底层基础设施之一。

据艾媒咨询数据显示：预计 2023 年，中国 AIGC 行业核心市场规模为 79.3 亿元，2028 年将达到 2767.4 亿元，这是非常可观的一个数字。

2018 年之后 AIGC 开始快速发展，但是初期阶段它并不能为我们生成比较理想的内容，更多的关注在内容增强方面，例如，我们拍摄了一张低分辨率的图片，通过影像超分增强影像的细节信息，生成高清图片。再比如，对于老照片中的像素缺失部分，可通过智能增强技术进行内容复原。

从去年开始，随着人工智能的模型越来越成熟，已经开始能够生成一些多模态形式内容，包含文本、图片、声音、视频，甚至是 3D 模型、代码等等。

在当今内容为王的时代，AIGC 经历了短期内的快速变化。几年前，它处于核心技术突破的早期阶段。但是近年来，一系列相关的 AI 模型和技术已经大幅提升，并进入批量生产状态。未来，关键技术将持续优化，最终目标是取代人类创建替代性内容。

在元宇宙中，如果 XR 技术为其入口，那么 AIGC 就是其灵魂，AIGC 很快将成为元宇宙生产力的工具。虽然现在的元宇宙已经足够精彩，但是当 AIGC 像我们之前描述的那样，高效地生成高质量个性化内容时，它将变得更加辉煌。

总之，尽管元宇宙的概念只有两年左右的时间，但已经迅速在教育、医疗、职业培训、智能制造、工业等领網域中形成了大量落地场景。

教培领網域的痛点与机遇

教育培训领網域存在 " 三高三难 " 痛点问题，包括投入高、损耗高、风险高、实施难、观摩难、再现难。

元宇宙教培可以有效解决这些问题，将教学过程完全转移到虚拟空间中，消除了除前期制作和设备成本外的任何支出和风险。此外，元宇宙教培可以通过虚拟环境提供更好的实施、观摩和再现能力。这是元宇宙教育快速发展的原因，当然这也离不开政策的引导和支持。

比如在 2020 年 9 月份，教育部《关于开展职业教育示范性虚拟仿真实训基地建设工作的通知》里提到，遴选 100 个左右示范性虚拟仿真实训基地，分级选 5000 门左右职业教育在线精品课。

在去年年底，教育部工信部联合五部委进一步发布了《虚拟现实与行业应用融合发展行动计划 ( 2022-2026 年 ) 》，在这个计划当中更是明确指出，要大力推动教学模式向自主体验更新，打造支持自主探究、协作学习的沉浸式新课堂。

沉浸式新课堂，实际上就是元宇宙教培的另一种诠释。

在相关政策的大力扶持之下，我们团队在过去的 2~3 年内，针对不同的年龄段，像 K12、职业教育、高等教育、通识教育等各个层面都做了大量的工作，完成了一系列探索以及项目落地。

目前元宇宙教育仍处于初级阶段，面临着一些挑战和问题。

首先缺乏顶层设计和行业标准；其次，核心技术不够成熟，过度依赖硬體实现；第三，缺乏高质量个性化的教育内容。为了应对这些挑战，需要高层引领，进行统筹规划，同时聚焦多通道自然互動等核心技术突破，注重元宇宙教育内容的创新和个性化程度提升，打造低门槛的个性化元宇宙内容制作平台。此外，AIGC 可能会给我们带来新的思路。

基于元宇宙与 AIGC 的沉浸式教培探索 1）三大核心技术

用户可以使用 MetMaker 以低代码或无代码方式快速搭建元宇宙教育内容，正好在 6 月 1 日下午，MetMaker 正式上线；MetAssets 提供高质量的 3D 数字模型等专业素材；MetLab 则提供便捷的教育内容和学习方式。我们的核心目标是为教培元宇宙领網域赋能。在教育层面，MET 平台期望能够无缝的去连接教、学、练、测教育领網域当中的核心环节。

在职业培训层面，我们提出了 " 五位一体 " 概念，包括学习、实训、考试、认证以及最终的就业，形成一个完整的闭环。同时我们期待基于 MET 平台能够无限拉近企业、政府、院校、学生元宇宙教培领網域当中的 4 个核心角色，最终去实现互利共赢和生态共建。

MET 平台实现需要核心技术的支撑，第一个核心技术是 AIG3D，具有独立自主知识产权，可集成到 MET 平台中。在元宇宙教育内容中，3D 数字资产是制作高质量教育内容的重要素材。目前，这些 3D 模型和场景的制作大多仍靠手工完成，投入了大量的人力物力。因此，AIG3D 技术在元宇宙教育 3D 数字资产制作环节具有非常重要的意义。

去年年底，我们发布了基于多张图片对实物进行自动重建的技术路线，在今年 6 月中旬或 6 月底的时候，我们会发布全新的 AIG3D 技术，基于单张 RGB 影像不需要任何的深度信息，就能够快速完成实物 3D 模型重建。

而且整个的 AIG3D 方案，支持零样本学习，在重建的过程当中，支持实时 PBR 材质渲染，能够在保证效率的前提下获得更好的画面效果。创作者能够基于 AIG3D 技术，去快速生成高质量 3D 模型。这个模型可以一键式集成到 MET 平台中，辅助用户完成相应的元宇宙教培内容制作。

当然，除了单张图片三维重建技术之外，我们还提出了基于波函数坍缩的建筑集群自动生成方法和技术路线，以及基于 OSM 的城市交通网络场景生成技术。这一系列的 AI 计算机技术极大程度助力了 MET 平台的研发，为用户提供了简单便捷的创作工具。

第二个核心技术，我们要谈及的是渲染优化。为了保证用户在浏览器端能够对元宇宙教培内容的体验有更好的表现效果，我们针对不同图形接口做了大量的渲染优化的工作，支持 webgl2.0 及 WebGPU，并在此基础上进行了优化。

我们为 Webgl2.0 设计了一套针对 Opengl es3.0 的着色方案，采用 Forward+ 渲染，支持实时 PBR 材质渲染。这种方案在保证效率的同时，能够获得更好的画面效果。同时，我们针对于 WebGPU 提供了一套 GPU 蒙皮方案，进一步提升整个模型制作效率，并在 MetMaker 中提供了基于延时渲染管线的 Voxel GI 方案，能够进一步提升视觉效果。