今天小编分享的科学经验：GPT-4o深夜炸场！AI实时视频通话丝滑如人类，Plus功能免费可用，奥特曼：《她》来了，欢迎阅读。
不开玩笑，电影《她》真的来了。
OpenAI 最新旗舰大模型GPT-4o，不仅免费可用，能力更是横跨听、看、说，丝滑流畅毫无延迟，就像在打一个视频电话。
现场直播的效果更是炸裂：
它能感受到你的呼吸节奏，也能用比以前更丰富的语气实时回复，甚至可以做到随时打断。
GPT-4o 里的 "o" 是Omni的缩写，也就是" 全能 "的意思，接受文本、音频和影像的任意组合作为输入，并生成文本、音频和影像输出。
它可以在短至 232 毫秒、平均 320 毫秒的时间内响应音频输入，与人类在对话中的反应速度一致。
这还是一份给所有人的大礼，GPTo 与 ChatGPT Plus 会员版所有的能力，包括视觉、联网、记忆、执行代码、GPT Store ……
将对所有用户免费开放！
（新语音模式几周内先对 Plus 用户开放）
在直播现场，CTO Murati 穆姐说：这是把 GPT-4 级别的模型开放出去，其实她还谦虚了。
在场外，研究员 William Fedus 揭秘，GPT-4o 就是之前在大模型竞技场搞 A/B 测试的模型之一，im-also-a-good-gpt2-chatbot。
无论从网友上手体验还是竞技场排位来看，都是高于 GPT-4-Turbo 级别的模型了，ELO 分数一骑绝尘。
而这样的超强模型也将提供 API，价格打 5 折，速度提高一倍，部門时间调用次数足足三原来的 5 倍！
追直播的网友已经在设想可能的应用，可以替代盲人看世界了。以及确实感觉比之前的语音模式体验上强上不少。
鉴于之前不少人就已经和 ChatGPT 语音模式 " 谈恋爱 " 了，有大胆想法的朋友，可以把你们的想法发在评论区了。
总裁 Brockman 在线演示
知道 OpenAI 发布会为什么定在谷歌 I/O 前一天了——打脸，狠狠打脸。
谷歌 Gemini 发布会需要靠剪辑视频和切换提示词达成的实时对话效果，OpenAI 现场全都直播演示了。
比如让 ChatGPT 在语言不通的两个人之间充当翻译机，听到英语就翻译成意大利语，听到意大利语就翻译成英语。
发布会直播之外，总裁哥 Brockman 还发布了额外的 5 分钟详细演示。
而且是让两个 ChatGPT 互相对话，最后还唱起来了，戏剧感直接拉满。
这两个 ChatGPT，一个是旧版 APP，只知道对话，另一个则是新版网页，具备视觉等新能力。（我们不妨取 Old 和 New 的首字母，分别叫 TA 们小 O 和小 N）
Brockman 首先向小 O 介绍了大致情况，告诉她要和一个拥有视觉能力的 AI 对话，她表示很酷并欣然接受。
接着，Brockman 让她稍作休息，并向小 N 也介绍情况，还顺带展示了小 N 的视觉能力。
只见打完招呼后，小 N 准确地说出了 Brockman 的衣着打扮和房间环境。而对于要和小 O 对话这件事，小 N 也感到很有趣。
接下来就是小 O 和小 N 相互对白的时间了，TA 们依然是从 Brockman 的衣着开始聊起，小 O 不断提出新的问题，小 N 都一一解答。
接着，他们又谈论了房间的风格、布置和光线，甚至小 N 还意识到了 Brockman 正站在上帝视角凝视着 TA 们。
如果你看了这段视频就会发现，画面中出现了一个女人在 Brockman 身后做了些恶搞的手势。
这可不是乱入，是 Brockman 和女人串通好，专门给小 N 设计的一道 " 考题 "。
就在小 O 和小 N 聊的正开心的时候，Brockman 选择加入，直接问有没有看到什么不正常的地方。
结果是小 N 直接识破了 Brockman 的小伎俩，直接复述出了女人在他身后做小动作的场景，小 O 听了之后直接感叹原来在这里享受乐趣的不只有我们两个。
Brockman 把这句话当成了夸赞，并对小 O 表示了感谢，还愉快地加入了 TA 们的对话。
之后是最后也是最精彩的部分，在 Brockman 的指挥下，小 O 和小 N 根据刚才聊天的内容，直接开启了对唱模式。
只过了简单几轮，衔接地就十分密切，而且旋律悠扬，音色也是和真人毫无二致。
最后视频以 Brockman 唱出的一句 Thank you 结束，在视频外的推文中他还透露新的语音对话功能将在数周内向 Plus 用户开放。
端到端训练，一个神经网络搞定语音文本影像
正如奥特曼在发布会前所说，GPT-4o 让人感觉像魔法一样，那么它是如何做到的呢？
非常抱歉，这次非但没有论文，连技术报告也不发了，只在官网 Blog 里有一段简短的说明。
在 GPT-4o 之前，ChatGPT 语音模式由三个独立模型组成，语音转文本→ GPT3.5/GPT-4 →文本转语音。
我们也可以让旧版 ChatGPT 语音模式自己讲一下具体是怎么个流程。
这样一来，整个系统的延迟足足有 2.8 秒（GPT-3.5）和 5.4 秒（GPT-4），而且丢失了大量的信息，它无法直接感受音调、多个说话者或背景噪音，也无法输出笑声、唱歌声，或表达情感。
GPT-4o 则是跨文本、视觉和音频端到端训练的新模型，这意味着所有输入和输出都由同一个神经网络处理。
在语音翻译任务上，强于 OpenAI 专门的语音模型 Whisper-V3 以及谷歌和 Meta 的语音模型。
在视觉理解上，也再次反超 Gemini 1.0 Ultra 与对家 Claude Opus
虽然技术方面这次透露的消息就这么多了，不过也有学者评价。
一个成功的演示相当于 1000 篇论文。
One More Thing
除了 OpenAI 带来的精彩内容之外，也别忘了北京时间 5 月 15 日凌晨，谷歌将召开 I/O 大会。
到时量子位将继续第一时间带来最新消息。
另外根据网友推测，GPT-4o 这么强，全都免费开放了，这是劝大家不续订 ChatGPT Plus 了的意思吗？
那肯定不是啊～
鉴于 OpenAI 春节期间在谷歌发布 Gemini 1.5 Pro 后半小时左右用 Sora 狙击了一把，明天 OpenAI 还有新活也说不定呢？
直播回放
https://www.youtube.com/watch?v=DQacCB9tDaw
参考链接：
[ 1 ] https://openai.com/index/hello-gpt-4o/
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
