中国最大开源MoE模型，255B参数无条件免费商用，元象发布

今天小编分享的科学经验：中国最大开源MoE模型，255B参数无条件免费商用，元象发布，欢迎阅读。

元象 XVERSE 发布中国最大 MoE 开源模型：

XVERSE-MoE-A36B，该模型总参数 255B，激活参数 36B，达到 100B 模型性能的「跨级」跃升。

同时训练时间减少 30%，推理性能提升 100%，使每 token 成本大幅下降。

在多个权威评测中，元象 MoE 效果大幅超越多个同类模型。

包括国内千亿 MoE 模型 Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B 以及 3140 亿参数的 MoE 开源模型 Grok-1-A86B 等。

MoE（Mixture of Experts）是业界最前沿的混合专家模型架构，将多个细分领網域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，保持模型性能最大化。

出于这个原因，行业前沿模型包括谷歌 Gemini-1.5、OpenAI 的 GPT-4 、马斯克旗下 xAI 公司的 Grok 等大模型都使用了 MoE。

值得一提的是，元象「高性能全家桶」系列全部开源，无条件免费商用，让海量中小企业、研究者和开发者能按需选择。

中国最大 MoE 开源模型

今年 4 月，元象推出 XVERSE-MoE-A4.2B，与传统 MoE（如 Mixtral 8x7B）将每个专家大小等同于标准 FFN 不同，元象采用更细粒度的专家设计，每个专家大小仅为标准 FFN 的四分之一，提高了模型灵活性与性能；还将专家分为共享专家（Shared Expert）和非共享专家（Non-shared Expert）两类。

共享专家在计算过程中始终保持激活状态，而非共享专家则根据需要选择性激活。这种设计有利于将通用知识压缩至共享专家参数中，减少非共享专家参数间的知识冗余。

此次推出 XVERSE-MoE-A36B，继续在 MoE 效率和效果方面进行技术创新。

（1）效率方面

MoE 架构与 4D 拓扑设计：MoE 架构的关键特性是由多个专家组成。由于专家之间需要大量的信息交换，通信负担极重。为了解决这个问题，我们采用了 4D 拓扑架构，平衡了通信、显存和计算资源的分配。这种设计优化了计算节点之间的通信路径，提高了整体计算效率。

专家路由与预丢弃策略：MoE 的另一个特点是 " 专家路由机制 "，即需要对不同的输入进行分配，并丢弃一些超出专家计算容量的冗余数据。为此团队设计一套预丢弃策略，减少不必要的计算和传输。同时在计算流程中实现了高效的算子融合，进一步提升模型的训练性能。

通信与计算重叠：由于 MoE 架构的专家之间需要大量通信，会影响整体计算效率。为此团队设计了 " 多维度的通信与计算重叠 " 机制，即在进行参数通信的同时，最大比例并行地执行计算任务，从而减少通信等待时间。

（2）效果方面

专家权重：MoE 中的专家总数为 N ，每个 token 会选择 topK 个专家参与后续的计算，由于专家容量的限制，每个 token 实际选择到的专家数为 M，M<=K<N。被选择到的专家计算完之后，会通过加权平均的方式汇总得到每个 token 的计算结果。这里专家的权重如何設定是一个问题，我们通过对比实验的方式来进行选择。

根据对比实验的效果，我们选择实验 2 的設定进行正式实验。

实验 1：权重在 topM 范围内归一化

实验 2：权重在 topK 范围内归一化

实验 3：权重在 topN 范围内归一化

实验 4：权重都为 1

实验结果如下：

假设 N=8，K=4，M=3（2 号专家上 token 被丢弃），不同专家权重的计算方式所得的权重如下图：

这让模型不再被初始语料集所限制，而是能够持续学习新引入的高质量数据，提升了语料覆盖面和泛化能力。同时通过调整采样比例，也有助于平衡不同数据源对模型性能的影响。

△不同数据版本的效果曲线图

学习率调度策略（LR Scheduler）：在训练过程中动态切换数据集，虽有助于持续引入新知识，但也给模型带来了新的适应挑战。为了确保模型能快速且充分地学习新进数据，团队对学习率调度器进行了优化调整，在每次数据切换时会根据模型收敛状态，相应调整学习率。实验表明，这一策略有效提升了模型在数据切换后的学习速度和整体训练效果。

下图是整个训练过程中 MMLU、HumanEval 两个评测数据集的效果曲线图。

训练过程中 MMLU、HumanEval 的性能曲线持续拔高

通过设计与优化，元象 MoE 模型与其 Dense 模型 XVERSE-65B-2 相比，训练时间减少 30%、推理性能提升 100%，模型效果更佳，达到业界领先水平。

不过此次也不是元象第一次开源。

2023 年 11 月，此前国内大部分开源参数多在 7B 到 13B，而行业共识是模型达到 50 到 60B 参数门槛，大模型才能 " 智能涌现 "，生态亟需 " 大 " 模型时，元象率先开源了 XVERSE-65B，是当时中国最大参数开源。

2024 年 1 月，元象又开源全球最长上下文視窗大模型，支持输入 25 万汉字，还附手把手训练教程，让大模型应用一举进入 " 长文本时代 "。

此次国内最大参数 MoE 开源，又是给生态贡献了一个助推低成本 AI 应用利器。

已落地应用

MoE 训练范式具有「更高性能、更低成本」优势，元象在通用预训练基础上，使用海量剧本数据「继续预训练」（Continue Pre-training），并与传统 SFT（监督微调）或 RLHF（基于人类反馈的强化学习）不同，采用了大规模语料知识注入，让模型既保持了强大的通用语言理解能力，又大幅提升「剧本」这一特定应用领網域的表现。

在此之前，借助在 AI 和 3D 领網域的客户积累，元象迅速将大模型推向商用。

2023 年 11 月，元象成为全国最早一批、广东省前五获得《生成式人工智能服务管理暂行办法》国家备案的大模型，具备向全社会开放的产品能力。

而在更早的 10 月，元象与腾讯音乐联合推出 lyraXVERSE 加速大模型，并借助该技术全面更新音乐助手 "AI 小琴 " 的问答、聊天与创作能力，让她情商与智商双高，为用户提供个性化、更深入、陪伴感十足的音乐互动体验。