今天小编分享的科学经验:GPT-4王冠没掉!Claude 3竞技场人类投票成绩出炉:仅居第三,欢迎阅读。
Claude 3的竞技场排名终于来了:
短短 3 天内,20000 张投票,将榜单的流量推向空前。
最终,Claude 3 最强的 " 大杯 " 模型Opus得分 1233,成为第一个能和 GPT-4-Turbo 一较高下的选手。
" 中杯 "Sonnet也还不错,和 GPT-4 的两个旧版本不相上下。
不过总的来说,还是 GPT-4 系列占据上风。
Claude 3 的表现和宣传有些许出入。如网友总结:
GPT-4 还是大模型之王!
但,免费的 " 中杯 "Claude 3(Sonnet)更物超所值。
大模型竞技场出炉," 新王 " 排第三
Claude 3 发布时官方的宣传是全面超过了 GPT-4,但没提是哪个版本的 GPT-4。
竞技场榜单(LMSYS Chatbot Arena Leaderboard)的最新更新,帮咱摸清了。
来看详细情况。
排在第一名的是 OpenAI 去年 11 月推出的 GPT-4 Turbo,也就是:
GPT-4-1106-preview。
它功能更强价格也更便宜,具有 128k 上下文,训练数据从此前的 2021 年 9 月更新到 2023 年 4 月。
与它并列第一的是 GPT-4 Turbo 最新的版本,今年一月发布的:
GPT-4-0125-preview。
它的训练数据更广,扩展到了 2023 年 12 月。
两者均取得了 1251 的分数。
接着才是 Claude 3(训练数据截止到 2023 年 8 月)。
它的最强版本 Opus 得分 1233,比 GPT-4 Turbo 低了 18 分。
这个差距相比起来不算太大,毕竟再往下看:
它比 GPT-4 的两个版本(0314、0613)分别高了 48 分、72 分。
至于中等性能的Claude 3 Sonnet,则排名第 6,位于 GPT-4 这两个版本之间:
不过只比 0314 版低 5 分,大有潜力一举超越。
所以总的来说,官方宣传的也算没大毛病,全面超越老版 GPT-4,但离 GPT-4 Turbo 还有点距离,尽管不算太大。
——从此榜单的评比机制等情况来看,它的结果还是相当有业内认可度的。
它由 " 小羊驼 "(Vicuna)的作者团队发起。
但裁判官不是 " 小羊驼 ",更不是 GPT-4,而是基于人类偏好。
详细来说,也就我们随机向两个匿名模型提出任意问题,然后评价它们各自的回答,把票投给更好的那一个。
如果一轮投不出,咱可以选择继续提问。如果聊天中模型不小心透露了自己的身份,投票则作废。
特别的,计分规则采用 Elo 机制来保证公平(玩王者荣耀的朋友都熟)。
举个例子:如果某个模型输了,但它的分数不一定低,因为它本身实力就弱,这是预料之中。
截止目前,这个榜单可以说是非常火爆,已经有全球 73 个模型参与挑战,共收到了网友们 37 万张 + 投票。
通义千问挤进前 10
除了 Claude 3,我们再看看其他表现亮眼的选手。
首先要提的就是基于 Gemini Pro 的 Bard,排名第四,仅次于 GPT-4Turbo 和 Claude 3。
可以说是有点让人惊喜。
网友戏谑:
谷歌这是生生在在排行榜上开了个 " 洞 " 啊。
并连忙艾特 JeffDean 和 DeepMind 负责人:喂,加把劲儿啊(旺柴)
然后要说的就是阿里通义千问(1.5 版本,上个月发布)。
它在本次排名中挤进了前十、并列第九,是国内选手中表现最好的。
被它甩在身后的,除了其他国产选手,还有 Claude 2、Gemini Pro 和 GPT-3.5 等等。
完整榜单:
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard
参考链接:
https://twitter.com/lmsysorg/status/1765774296000172289