小米大模型交成绩单

今天小编分享的互联网经验：小米大模型交成绩单，欢迎阅读。

来源：猎云精选，文 / 王非

距 4 月 14 日雷军官宣杀入大模型不到 4 个月，小米大模型终于首次曝光，并交出了一份初步成绩单！

多方消息显示，小米大模型 MiLM-6B 现身 C-Eval、CMMLU 大模型评测榜单。

根据 GitHub 项目页给出的信息，MiLM-6B（下称：小米大模型）是由小米开发的一个大规模预训练语言模型，参数规模为 64 亿。

相关页面显示，小米大模型在 C-Eval 榜单中排名第 9、同参数量级排名第 1，在 CMMLU 中文向大模型排名第 1。

值得一提的是，雷军将于下周一（8 月 14 日）晚间的新品发布会上，发表年度演讲。

本次演讲以 " 成长 " 为主题，雷军发布的微博透露，" 当初做的一个决定，改变了我的一生。" 而且，这个决定让他庆幸至今。

外界猜测，雷军年度演讲的内容，除了与小米造车相关，或许还将与小米筹备已久的大模型有关。

小米大模型取得双 " 第一 "，下周一或亮相

C-Eval 榜单，全称 C-Eval 全球大模型综合性考试测试榜，是由清华大学、上海交通大学和爱丁堡大学合作构建的中文语言模型综合性考试评估套件。

该套件覆盖人文、社科、理工、其他专业四个大方向，包括 52 个学科，涵盖微积分、线性代数等多个知识领網域。共有 13948 道中文知识和推理型题目，难度分为中学、本科、研究生、职业等四个考试级别，能够更加全面的对模型的语言处理能力进行评估，对中文社区语言大模型的研发有着很好的参考价值。

具体而言，在 C-Eval 评估中，小米大模型的平均分为 60.2，在 STEM、社会科学、人文科学、其他这四个类别中，均取得了不错的表现。

其中，在 STEM（科学、技术、工程和数学教育）全部 20 个科目中，小米大模型得分 54.5，在计量师、物理、化学、生物等多个项目中获得了较高的准确率；在 10 个社会科学科目中，小米大模型得分 71.7，在教育学和地理外的所有科目中，获得了较为理想的准确率；在 11 个人文科学科目中，小米大模型得分 62.7，在历史与法律基础上，获得了不错的准确率；在其他分类下，小米大模型则得分 57.7。

整体而言，小米大模型在法学、数学、编程、概率论、离散数学等科目上的表现，仍然有明显进步空间。

CMMLU，则是由 MBZUAI、上海交通大学、微软亚洲研究院合作完成的，一个全面的中文大模型基准。它涵盖了 67 个主题，涉及自然科学、社会科学、工程、人文、以及常识等，可以全面地评估大模型在中文知识储备和语言理解上的能力。

在 CMMLU 中文向大模型评估中，小米大模型在 zero-shot 和 five-shot 测试中的平均分分别为 60.37 和 57.17，表现出良好的知识和推理能力。

在 zero-shot 测试中，小米大模型在人文学科得分 63.49，社会科学得分 66.2，其他得分 62.14，中国特定主题得分 62.07，平均分为 60.37。

在 five-shot 测试中，小米大模型在人文学科得分 61.12，社会科学得分 61.68，其他得分 58.84，中国特定主题得分 59.39，平均分为 57.17。

小米大模型首次曝光于上述两个评测榜单中，并取得 " 双第一 " 的不错成绩，也为其接下来的亮相，带来了充足底气。

至于亮相的时间，或许就在下周一，小米举办的新品发布会中，雷军的年度演讲环节。

此前，雷军曾表示，" 今年的演讲比前几年更长些，演讲之后是我们的年度新品发布，还会披露我们技术探索的新进展。今年内容也非常多，估计 3 小时左右。"

雷军口中的 " 技术探索的新进展 "，除了小米汽车，可能就要数小米大模型了。

任命栾剑做领头人，千人团队百亿研发护航

4 月 14 日，据澎湃新闻报道，小米集团发布内部邮件，任命栾剑担任技术委员会 AI 实验室大模型团队负责人，向技术委员会副主席、AI 实验室主任王斌汇报。

公开资料显示，栾剑现任小米技术委员会 AI 实验室语音生成团队负责人，曾任东芝研究院研究员、微软工程院高级语音科学家、微软小冰首席语音科学家及语音团队负责人等职位。

紧随其后，雷军于 4 月 14 日晚间在微博发文，首度谈及小米对大模型和 AIGC 的看法。

" 全力以赴、坚决拥抱 "，雷军为小米大模型发展定调！他还透露，对于大模型，小米 " 正在研发一些有趣的技术和产品，等我们打磨好了，再给大家展示。"

雷军在微博提及小米，在 AI 领網域有 AI 实验室、小爱同学、自动驾驶等团队。

此外，从服务能力协同来看，雷军手中亦有金山云这张底牌。金山云是金山軟體的附属公司，在公司掌舵人雷军超前布局下，是与阿里巴巴最早在中国全力进军云计算的企业。

要知道，ChatGPT 热潮带来的 AI 竞争，最直接的受益者正是云计算平台。一方面，生成式 AI 应用背后的大模型需要更强的算力；另一方面，区别于传统云计算平台提供的算力、存储等资源，拥有大模型的云厂商未来可以提供基于大模型开发应用。

早在今年 2 月的小米投资者日上，对于小米在 ChatGPT 上的布局，小米手机部总裁曾学忠就表示，ChatGPT 基于 AI 大模型、千亿级参数量、数据量、还有人工标注支撑，AI 大模型方面小米一直都有投入。手机和汽车业务有很多 AI 大模型落地的场景。

随后，在今年 3 月的 2022 年财报电话会议上，小米集团总裁卢伟冰谈到 ChatGPT 相关问题时表示，小米很早就在 AI 大模型方面进行了许多部署，同时采用了多技术路线并行的策略，小爱同学就是小米大模型落地的代表。

5 月 24 日晚，小米披露的 2023 年第一季度业绩数据中提到，目前小米 AI 领網域相关研发人员超 1200 人，未来小米将不断挖掘 AI 相关的用户场景，发挥技术优势，并以开放的态度与合作伙伴开拓更多机会。

卢伟冰再次强调，小米会积极拥抱大模型技术，但小米不会像 OpenAI 那样去做通用大模型，而是寻求大模型与自身业务的深度协同，例如与小爱同学、MIUI、机器人等业务相结合，同时也不断提升集团的内部工作效率。

小米副总裁、首席财务官林世伟也在业绩电话会上透露，" 已经把业内大模型团队都过了一遍 "，小米会采用惯用的 " 打法 "，也就是战略投资等方式，来实现 AI 大模型方面的生态合作。

第一季度业绩数据还显示，小米一季度持续投入研发，研发支出同比增长 17.7% 达 41 亿元。小米表示，预计 2023 年总研发投入将超 200 亿元。