今天小编分享的科学经验：奥特曼：自认比o1聪明请举手到o2还这么想么？，欢迎阅读。
奥特曼：认为自己比 o1 更聪明的请举手。
（台下一些人举手）
奥特曼：到了o2你们还会这么想么？
（汗流浃背了）
这一幕，刚刚在OpenAI 开发者日最后一个环节——奥特曼炉边谈话中上演。
对话由奥特曼和 OpenAI首席产品官 Kevin Weil进行，奥特曼还对未来作出如下判断：
无限上下文长度将在十年内发生
o1 正在推动智能体应用，人们将要求 AI 在一小时内完成以前人类数月或数年的工作
然后每个人将拥有 10 个智能体，再然后拥有 1000 个
担心科幻（Sci-fi）是我们最重要的事之一
除此之外，活动上宣布了 OpenAI API 大量重磅更新：
实时语音 API：每个 APP 里都可以拥有 "Her"
视觉微调 API：只需 100 张图提升 GPT-4o 特定任务影像理解能力
自动提示词缓存：模型见过的 token 统统打 5 折
模型蒸馏 API：用前沿模型的输出微调 GPT-4o mini
围绕这些功能的精彩现场演示，也引起众人围观。
比如GPT-4o 驱动的实时语音 API， 配合函数调用 +Twillio（云通讯服务），可以直接打电话订外卖了。
订购 400 个草莓裹巧克力酱甜点，参会者人人都有的吃。
看起来演示现场是 OpenAI 员工在台上扮演食品店员工，真正的订购过程是在幕后完成。
没过一会，还有人晒会场外草莓快被领完了。
最新发布的推理大模型 o1 也露了一手，从头编程操控无人机，现场芜湖起飞。
这边大会办得热闹，与 OpenAI 相关的周边消息也不断传出：
刚刚离职的几位中，前研究 VP Barret Zoph 已决定要成立一家新公司。
前 CTO Mira Murati还没宣布下一步要干什么，但投资人开始围追堵截她，希望她尽快成立自己的公司。
还有一位此前已离职的 OpenAI联合创始人 Durk Kingma，宣布加入隔壁 Anthropic。
OpenAI 开发者日
与去年相比，今年的 OpenAI 开发者日活动不再现场直播，并拆抽成三部分在不同地点举办（美国、英国、新加坡）。
刚刚在旧金山举办的第一场，宣布了多项 API 更新。
Realtime API
实时语音 API 为公开测试版，所有开发者都能在自己的 APP 中构建与 ChatGPT 高级语音模式类似的体验。
价格也不贵，每分钟音频输入约 0.06 美元，每分钟音频输出约 0.24 美元。
语言学习应用 Speak已使用 Realtime API 开发 AI 角色扮演练口语功能。
此外还在 Chat Completions API 中增加了音频输入和输出，可以用在对时延要求不高的地方，将在未来几周内作为 gpt-4o-audio-preview 发布。
视觉微调
开发者现在可以用影像对 GPT-4o 微调，以提高视觉能力。
可以用来增强视觉搜索功能、改进自动驾驶汽车或智能城市的物体检测以及更准确的医学影像分析等应用。
如外卖和共享出行公司 Grab，将车道计数的准确性提高 20%，将限速标志的定位提高 13%。
在 UI 设计上，微调过的 GPT-4o 生成的网页区網域也能更好匹配整个页面的风格。
视觉微调的过程与文本微调类似，按照 OpenAI 指定的格式准备影像数据集，然后将数据集上传到 OpenAI 开发平台
只需使用 100 张影像就能提高 GPT-4o 在视觉任务中的性能，当然用的更多提升也能更大。
GPT-4o 的微调费用为 $25/100 万 tokens，微调后推理费用为每 100 万个输入 tokens 3.75 美元，每 100 万个输出令牌 15 美元。
不过在2024 年 10 月 31 日之前，每天免费为视觉微调提供 100 万个训练 token。
羊毛薅起来～
提示词缓存
许多开发者在构建人工智能应用程式时，会在多个 API 调用中重复使用相同的上下文，例如在编辑代码库或与聊天机器人进行长时间、多轮对话时。
提示词缓存功能可以在降低成本的同时降低推理延迟。
OpenAI 推出这个功能是比较晚的，此前谷歌 Gemini、Claude，以及国内 DeepSeek，Kimi 等都已上线。
不过 OpenAI 搞出来的特色在于：一切都是自动的。
从今天起，提示词缓存已适配最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及这些模型的微调版本。
只要是 AI 见过的 token，自动统统打五折。
缓存将在闲置 5-10 分钟后清除，最多保留 1 小时。
模型蒸馏
让开发者可以用 o1-preive 和 GPT-4o 等前沿模型的输出，对 GPT-4o mini 等小模型微调。
此前，模型蒸馏是一个多步骤、易出错的过程，需要开发人员在互不关联的工具中手动协调多个操作，从生成数据集到微调模型和评估性能。
由于蒸馏本质上是迭代的，需要反复运行每个步骤，大大增加了工作量和复杂性。
这次 OpenAI 推出了新的集成工作流程，可自动获得前沿模型生成的输入 - 输出对、运行自定义评估、以及完成微调。
同样在10 月 31 日之前，在 GPT-4o mini 上每天提供 200 万个免费培训 token，在 GPT-4o 上每天提供 100 万个免费训练 token。
离职高管被资本热捧，联创加入 Claude 团队
OpenAI 持续发布新模型、新功能的压力，让 OpenAI 内部研究和安全团队疲于奔命，难以跟上步伐。
此前已有消息证实 GPT-4o 发布前，团队只有 9 天时间做安全评估，每天工作 20 多个小时。
财富杂志最新消息表示，o1 发布前也遇到了同样的情况，并且在公司高层之间引发了摩擦。
许多向前 CTO Mira Murati汇报工作的团队都认为 o1 还没有做好发布的准备，还没有真正形成产品，不过他们的反对意见被驳回了。
除了奥特曼之外唯一还在的联创Woijceich Zarembra发声，承认了在 o1 开发阶段他和后训练团队负责人 Barret Zoph 发生激烈冲突，但没有透露详细细节。
现在后训练团队仍在继续完善 o1，但 Barret Zoph 已经辞职了。
Barret Zoph 目前表示将成立一家新公司，但目前尚不清楚他具体会做什么，也不清楚他是否会和 Murati 合作。
再看 Murati 这边，她本人还没有宣布下一步任何计划，但投资人争相与她会面，希望她尽快创办自己的公司。
据 Business Insider 消息，许多投资人正在试图接近她，即使以前没有联系过的也会给她发冷邮件。
作为去年 11 月奥特曼被短暂赶下台的余波，OpenAI 高层持续动荡，已经流失不少研究和管理人才。
与此同时，OpenAI 一直在疯狂招聘，规模相比去年扩大了一倍多，员工人数从不到 800 人增加到 1800 人。
有老员工开始抱怨：新员工的涌入改变了 OpenAI 的氛围和文化。
关于研究的对话少了，关于产品或向社会部署的对话多了。
离职的 OpenAI 研究人才中，有相当一部分去了隔壁 Anthropic。
联合创始人 John Schulman、超级对齐负责人 Jan Leike 跳槽加入之后，Anthropic 又吸引来一位早年已经离职的 OpenAI 联创Durk Kingma。
Durk Kingma 博士毕业于阿姆斯特丹大学，师从机器学习大牛 Max Welling。
两人合作开发了变分自编码器 VAE，相关论文于今年获得 ICLR 首届时间检验奖。
Durk Kingma 于 2018 年离开 OpenAI，做了一段时间天使投资人，后加入谷歌大腦，再后来被合并进了 Google DeepMind。
这次他加入 Anthropic 将主要在荷兰远程办公，没有透露他将具体加入哪个团队或负责哪部分工作。
总之OpenAI 变得不像以前的自己，但隔壁 Anthropic 越来越像以前的 OpenAI 了。
还有人提出，如果去年 11 月奥特曼真的下台了，OpenAI 现在会不会更好呢？
健康的公司，有优秀的 CEO，不会用报酬威胁员工签封口協定，也不会有高管辞职，更不会有那么多丑闻。
OpenAI 发布
https://openai.com/index/introducing-the-realtime-api/
https://openai.com/index/introducing-vision-to-the-fine-tuning-api/
https://openai.com/index/api-prompt-caching/
https://openai.com/index/api-model-distillation/
参考链接：
[ 1 ] https://x.com/swyx/status/1841262588447146133
[ 2 ] https://x.com/GregKamradt/status/1841266096277696742
[ 3 ] https://x.com/dpkingma/status/1841134573595312344
[ 4 ] https://x.com/NickADobos/status/1841167978085433351
[ 5 ] https://x.com/dicnunz/status/1841176999773262031
[ 6 ] https://fortune.com/2024/10/01/openai-sam-altman-mira-murati-gpt-4o-o1-chatgpt-turbulent-year/
[ 7 ] https://www.businessinsider.com/mira-murati-exits-openai-venture-capitalist-startup-2024-9
