今天小编分享的科学经验:Claude 3反超GPT-4竞技场登顶!小杯Haiku成开发者新宠:性价比无敌,欢迎阅读。
GPT-4 真的被反超了!
大模型竞技场上,Claude 3 大杯 Opus 新王登基,Elo 分数来到榜首。
连小杯 Haiku 也跻身第二梯队,超过了 GPT-4-0613 这个型号,把 GPT-3.5-turbo 远远甩在身后。
Haiku 的输入 token 价格,可是比 GPT-3.5-turbo 还便宜了一半,输出方面,每 100 万 token 也比 GPT-3.5-turbo 便宜近 2 块钱。
跟 GPT-4 相比,价格更是只有 1/20。并且 Haiku 同样支持 200k 上下文。
难怪有开发者直言:
GPT-3.5 在 Claude Haiku 面前不堪一击。
不仅仅是价格更便宜,Haiku 还更上一层楼了。
而在 Claude 3 加入竞技之前,GPT-4 家族已经霸榜快一年了。
给新来的朋友补充一下背景知识:大模型竞技场榜单(LMSYS Chatbot Arena Leaderboard)的评分标准是人类打分,同一个问题同时抛给 A、B 两个模型,人类裁判觉得哪个回答得好就给哪个投票。
值得一提的是,在竞技场官方贺电中,Haiku 这个型号也被专门高亮了出来:
根据我们的用户偏好,Claude 3 Haiku 达到了 GPT-4 级别。
其速度、功能和上下文长度在目前的市场上是独一份的。
具体有多快,已经有网友做了个直观的对比:
博尔特还没跑完 100 米,Haiku 已经读完 100k token 的文档了……
事实上,凭借其超高的性价比,在开发者社群中,Claude 3 小杯 Haiku 确已成新宠。
已经有人第一时间大开腦洞,搞出了能让 Haiku 效果 " 超频 " 到大杯 Opus 水准的开源项目,吸引不少关注。
简单来说,就是让 Opus 给 Haiku 当老师:
先用 Opus 生成执行任务的范例,再用这些教学案例来提高 Haiku 的姿势水平。
划重点:Haiku 的价格仅为 Opus 的 1/60,而响应速度则是 Opus 的 10 倍。
这个名为gpt-prompt-engineer的项目目前在 GitHub 上累计揽下 7.3k 标星。
还是这位马特老哥,还用 Opus 和 Haiku 搞了个 "AI 股票分析师 ",直接火上了 GitHub 热榜。
不少应用产品也在第一时间接入了 Haiku。比如能依据 Prompt 自动生成网站 UI 的 Vercel。
△就说快不快吧
不过,就在一片给 Claude 3 新王点赞的声音中,也有网友认为:
GPT-3.5 作为一个 " 老 " 模型,至今仍在与最新的模型竞争,这件事本身就很疯狂了。
但最让开发者们期待的当然还是:
OpenAI,快起来卷(doge)。