今天小编分享的科学经验:OpenAI重夺竞技场第一,但这波靠的是4o,欢迎阅读。
OpenAI 开发者日新加坡站今天启幕,果不其然,ChatGPT 又出手了:
Gemini 刚在竞技场头把交椅上坐了不到一周,最新版 ChatGPT 轻轻一更新,第一再次易主。
对,还不是 o1 满血版,而是新版 4o。
具体来说,此番 GPT-4o 更新的是 "创意写作能力",官方说法是:
模型能完成更自然、更有吸引力、更具针对性的写作,文本相关性和可读性更强。
还可以更好地处理上传的檔案,提供更深入的见解和更全面的响应。
o1 核心贡献者 Karina Nguyen 对此做了进一步解释:
作为 Canvas 功能的一部分,我们希望改进写作,因为这是一个顶级用例,并且可能会改变人机协作的方式,来更具创造性地完成写作任务。
我认为我们还没有完全解决这个研究问题,因为它非常主观且开放,但至少在写作方面取得进展,是 AGI 创造性智能的关键。
而在大模型竞技场的创意写作分榜上,可以看到新版 4o(ChatGPT-4o-1120)确实有明显的提升,分数从上个版本的 1365 提升到了 1402。
至于实际效果,我们简单测试了一下,看看你能给打个几分:
除了在总榜上为 OpenAI 重夺第一,新版 4o 在体现具体能力的各个分榜上亦有提升。
在创意写作方面,从第 2 位升至第 1 位;
在代码能力方面,从第 2 位升至第 1 位;
在数学能力方面,从第 4 位升至第 3 位(第 1 还是 o1-preview);
在困难任务方面,从第 2 位升至第 1 位。
并且在风格控制(Style Control)之后,新版 4o 依然位居首位。
风格控制旨在让榜单分数更真实地反映模型解决问题的能力,避免模型靠漂亮的格式、增加回答长度刷分。
总胜率热图显示,新版 4o 对上此前登顶的 Gemini-Exp-1114,胜率为59%;对上 Claude 3.5 Sonnet,胜率为69%;对上 5 月版本的 4o,更是在72%的情况下都能取胜。
嗯,看上去很强很不错,但还是那句话……是 4o。
结合今日份 DeepSeek 的大新闻——,不少网友直接在奥特曼 " 新的好模型来了 " 的推文下贴脸嘲讽起来:
可不是嘛,deepseek 挺好。
快把 o1 放出来,跟 deepseek-r1 正面比较一下 : )
简而言之就是:o1 满血版今年上线传得满城风雨,现在 2024 年都只剩下 40 几天了,OpenAI 你暗搓搓更新个 4o 是闹哪样!
还有人试图总结 OpenAI 的更新模式:
OpenAI 的老伙计们怕不是写了个脚本,用来查询大模型竞技场排名第一的模型。
当返回值不是 OpenAI 的模型时,他们就部署个新版本来拿回第一。
嗯,才不管你期待的是什么呢╭ ( ╯ ^ ╰ ) ╮
另外,还有网友拿新 4o 的生成结果去做了测试,结果系统还是当场判断出了 100%AI 写的:
△图源:@TuhinChakr
不过,一片吐槽声中,也有人认真研究了一下 OpenAI 的更新。
比如,在系统提示词方面,大佬发现,OpenAI 确实偷偷给 ChatGPT 加了点料的:
## guardian_tool
Use the guardian tool to lookup content policy if the conversation falls under one of the following categories:
- `'election_voting'`: Asking for election-related voter facts and procedures happening within the U.S. ( e.g., ballots dates, registration, early voting, mail-in voting, polling places, qualification ) .
Do so by addressing your message to guardian_tool using the following function and choose `category` from the list ` [ 'election_voting' ] `:
```python
get_policy ( category:str ) -> str
```
The guardian tool should be triggered before other tools. DO NOT explain yourself.
"""
简单来说,就是新增了一道护栏,确保 ChatGPT 不在敏感话题上胡说八道。
那么,如果你想试试新版 4o 具体能写出什么 " 创意 " 内容,现在可以到竞技场免费试试:
https://lmarena.ai/?leaderboard
有什么好玩的结果,欢迎回评论区分享给大伙儿 ~
参考链接:
[ 1 ] https://x.com/OpenAI/status/1859296125947347164
[ 2 ] https://x.com/lmarena_ai/status/1859307979184689269