今天小编分享的科学经验：开源模型首胜GPT-4！竞技场最新战报引热议，Karpathy：这是我唯二信任的榜单，欢迎阅读。
能打得过 GPT-4 的开源模型出现了！
大模型竞技场最新战报：
1040 亿参数开源模型Command R+攀升至第 6 位，与 GPT-4-0314 打成平手，超过了 GPT-4-0613。
这也是第一个在大模型竞技场上击败 GPT-4 的开放权重模型。
大模型竞技场，可是大神 Karpathy 口中唯二信任的测试基准之一。
Command R+ 来自 AI 独角兽 Cohere。这家大模型创业公司的联合创始人兼 CEO，正是Transformer 最年轻作者 Aidan Gomez（简称割麦子）。
这份战报一出，又掀起了一波大模型社区的热烈讨论。
大家伙儿兴奋的理由很简单：基础大模型卷了一整年，没想到在 2024 年格局还在不断地发展变化。
HuggingFace 联合创始人 Thomas Wolf 就说：
最近大模型竞技场上的情况发生了巨大的变化：
Anthropic 的 Claude 3 opus 在闭源模型中独占鳌头。
Cohere 的 Command R+ 则成为了开源模型中的最强者。
没想到，2024 年在开源和闭源两条路线上，人工智能团队的发展都如此之快。
另外，Cohere 机器学习总监 Nils Reimers 还指出了值得关注的一点：
Command R+ 最大的特色是对内置 RAG（检索增强生成）进行了全面优化，而在大模型竞技场中，RAG 这样的外挂能力并未纳入测试。
RAG 优化模型登上开源王座
在 Cohere 官方定位中，Command R+ 是一个 "RAG 优化模型 "。
就是说，这个 1040 亿参数的大模型主要针对检索增强生成技术进行了深度优化，以减少幻觉的产生，更适配于企业级工作负载。
和此前推出的 Command R 一样，Command R+ 的上下文視窗长度是 128k。
此外，Command R+ 还具备以下特点：
覆盖 10+ 种语言，包括英语、中文、法语、德语等；
能使用工具完成复杂业务流程的自动化
从测试结果来看，在多语种、RAG 和工具使用这三个维度上，Command R+ 都达到了 GPT-4 turbo 的水平。
但在输入成本方面，Command R+ 的价格仅为 GPT-4 turbo 的 1/3。
输出成本方面，Command R+ 则是 GPT-4 turbo 的 1/2。
正是这点引发了不少网友的关注：
不过，尽管在大模型竞技场这种人类主观评测上表现抢眼，还是有网友甩出了一些不同观点。
在 HumanEval 上，Command R+ 的代码能力就连 GPT-3.5 都没打过，在两组测试中分别排在 32 位和 33 位。
最新版 GPT-4 turbo 则没有悬念地拿下了第一。
另外，我们也在最近刚登上正经论文的弱智吧 benchmark 上简单测试了一下 Command R+ 的中文能力。
你给打个分？
需要说明的是，Command R+ 的开源只面向学术研究，并不能免费商用。
One More Thing
最后的最后，还是多聊一嘴割麦子小哥。
Aidan Gomez，Transformer 圆桌骑士中最年轻的一位，加入研究团队时只是个大學生——
不过，是在多伦多大学读大三时就加入了 Hinton 实验室的那种。
2018 年，割麦子被牛津大学录取，开始像他的论文搭子们那样攻读 CS 博士学位。
但在 2019 年，随着 Cohere 的创立，他最终选择退学加入 AI 创业的浪潮。
Cohere 主要是为企业提供大模型解决方案，目前估值达到了 22 亿美元。
参考链接：
[ 1 ] https://twitter.com/lmsysorg/status/1777630133798772766
[ 2 ] https://txt.cohere.com/command-r-plus-microsoft-azure/
— 完 —
【 火热报名中】中国 AIGC 产业峰会
定档 4 月 17 日
峰会已经邀请到数位代表技术、产品、投资、用户等领網域嘉宾，共论生成式 AI 产业最新变革趋势。
最新确认嘉宾包括：商汤科技杨帆、轻松集团高玉石、印象笔记唐毅、蚂蚁集团李建国等，。
峰会将全程线上下同步直播，欢迎预约直播 ⬇️
点这里关注我，记得标星噢
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
