今天小编分享的科技经验：参战万亿MoE模型！上海大模型独角兽出手，腾讯阿里米哈游参投，欢迎阅读。
智东西（公众号：zhidxcom）编辑 | ZeR0
智东西 4 月 17 日消息，今日，上海多模态大模型独角兽 MiniMax 正式推出 abab 6.5 系列模型，包含 abab 6.5 和 abab 6.5s 两个模型。
MiniMax 成立于 2023 年 1 月，是当前国内估值最高的大模型公司之一。今年 3 月，MiniMax 完成阿里参投的新一轮融资，投后估值超过 25 亿美元。此前米哈游、腾讯均有投资 MiniMax。
在 MoE 尚未成为行业共识时，MiniMax 已经押注 MoE 路线，今年 1 月发布其首款基于 MoE 架构的 abab 6，并在过去 3 个月潜心研发出性能更强的万亿参数 MoE 模型 abab 6.5，在核心能力测试中接近 GPT-4、Claude 3 Opus、Gemini 1.5 Pro 等顶尖大语言模型。
标注星号的是 MiniMax 调用 API 测试得到的结果，其余分数来自对应的技术报告。
abab 6.5 和 abab 6.5s 采用相同的训练技术、数据，支持 200k tokens 上下文长度。abab 6.5s 更高效，1 秒能处理近 3 万字的文本。
MiniMax 在 200k tokens 内进行了业界常用的 " 大海捞针 " 测试。在 891 次测试中，abab 6.5 均能正确回答。
MiniMax 团队称找到了越来越多加速实现 Scaling Laws 的途径，包括改进模型架构、重构数据 pipeline、训练算法及并行训练策略优化等。今天发布的 abab 6.5 和 abab 6.5s 是其加速 Scaling Laws 过程的阶段性成果。
abab 6.5 系列模型会滚动更新到 MiniMax 旗下的产品中，包括生产力产品海螺 AI 和 MiniMax 开放平台上。
