今天小编分享的科学经验：OpenAI华人VP翁荔离职：北大校友，掌管安全，最近B站分享被热议，欢迎阅读。
就在刚刚，那个掌管 OpenAI 安全的北大校友，OpenAI 研究副总裁（安全）翁荔，离职了。
翁荔是 OpenAI 华人科学家、ChatGPT 的贡献者之一。
北大毕业后，翁荔在 2018 年加入 OpenAI，后来在 GPT-4 项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。
最著名的 Agent 公式也由她提出，即：Agent= 大模型 + 记忆 + 主动规划 + 工具使用。
而就在前不久，她还刚刚现身2024 Bilibili 超级科学晚活动，发表了的主题演讲。
在她宣布离职消息之后，包括 OpenAI 在内的众多同事发来了祝福：
翁荔的离职信
在推文中，翁荔也分享了他跟团队做的最后的道别。
以下为离职信的完整内容。
亲爱的朋友们：
我做出了一个非常艰难的决定，将于 11 月 15 日离开 OpenAI，这将是我在公司最后一天。
OpenAI 是我成长为科学家和领导者的地方，我将永远珍惜在这里与每一位共事的伙伴度过的时光。OpenAI 团队一直是我的知己、导师以及我身份的一部分。
我仍然记得 2017 年初加入 OpenAI 时的那份好奇和热情。当时我们是一群怀抱着不可能与科幻未来梦想的人。
我在这里开始了我的全栈机器人挑战之旅——从深度强化学习算法，到感知，再到固件开发——目标是教会一个简单的机械手如何解开魔術方塊。这花费了整个团队两年时间，但最终我们成功了。
当 OpenAI 进入 GPT 领網域时，我们开始探索如何将最先进的 AI 模型应用于现实世界。我建立了第一个应用研究团队，推出了初始版本的微调 API、嵌入 API 和审核端点，为应用安全工作奠定了基础，还为早期的 API 客户开发了许多新颖的解决方案。
在 GPT-4 发布后，我被要求承担新的挑战，重新考虑 OpenAI 的安全系统愿景，并将所有工作集中到一个负责整个安全体系的团队。
这是我经历过的最困难、最紧张又令人兴奋的事情之一。如今，安全系统团队拥有超过 80 位出色的科学家、工程师、项目经理、政策专家，我为我们作为一个团队所取得的一切成就感到极为自豪。
我们见证了每次发布的核心——从 GPT-4 及其视觉和 Turbo 版本，到 GPT Store、语音功能以及 01 版本。我们在训练这些模型以达到负责任和有益的目标上设立了新的行业标准。
我特别为我们最新的成就 o1 预览版感到自豪，它是我们迄今为止最安全的模型，展现了出色的抗破解能力，同时保持了模型的有用性。
我们的集体成就令人瞩目：
我们训练模型如何处理敏感或不安全的请求，包括何时拒绝或不拒绝，并通过遵循一套明确的模型安全行为政策，达成安全与实用之间的良好平衡。
我们在每次模型发布中提升了对抗性鲁棒性，包括针对破解的防御、指令层次结构，并通过推理大幅增强了鲁棒性。
我们设计了严格且富有创意的测试方法，使模型与《准备框架》保持一致，并为每个前沿模型进行了全面的安全测试和红队测试。
我们在详细的模型系统卡中强化了对透明性的承诺。
我们开发了业内领先的审核模型，具有多模式能力，并免费向公众共享。我们当前在一个更通用的监控框架和增强安全推理能力的方向上工作，将赋能更多的安全工作流。
我们为安全数据日志、度量、仪表盘、主动学习管道、分类器部署、推理时间过滤以及一种新的快速响应系统奠定了工程基础。
回顾我们所取得的成就，我为安全系统团队的每一个人感到无比自豪，并极为确信这个团队将继续蓬勃发展。我爱你们。
在 OpenAI 的七年之后，我准备好重新出发，探索一些新的领網域。OpenAI 正沿着火箭般的轨迹前进，我衷心祝愿这里的每一个人一切顺利。
附注：我的博客将继续更新。我或许会有更多时间来更新它 & 可能也会有更多时间编写代码 。
爱你们的，
Lilian
铁打的 OpenAI，流水的安全主管
自 OpenAI 成立以来，安全主管这个关键职位历经多次更替。
最早在 2016 年，OpenAI 的安全主管由达里奥 · 阿莫代伊（Dario Amodei）担任，在他的领导下，安全系统团队专注于减少现有模型和产品的滥用风险，尤其是围绕 GPT-3 的安全性开展了深入研究。
阿莫代伊主导了 GPT-3 的全面安全评估，以确保模型在发布前经过严格的安全测试和评估，最大限度地降低潜在的滥用风险。
他在 OpenAI 的工作为后来人工智能的安全治理奠定了重要基础。
2021 年，阿莫代伊离开 OpenAI 创立了 Anthropic 公司，继续致力于人工智能的安全研究，推动构建更具可信度和安全性的 AI 模型。
在阿莫代伊之后，还有短暂任职 2 个月的安全主管，亚历山大 · 马德里（Aleksander Madry）。
他在职期间主要聚焦对新模型的能力进行评估，并开展内部红队测试，以识别和缓解潜在的安全风险。
虽然他的任期较短，但他在红队测试和威胁预测上的重要推进，为 OpenAI 的安全实践提供了新的视角和方法论。
在 2023 年 7 月后，马德里转而专注于 "AI 推理 " 方面的工作，离开了安全主管的职位。
在他之后的第三位安全主管，则是杨 · 莱克（Jan Leike），在 2023 年 7 月至 2024 年 5 月担任这一职务，和 Ilya 一起领导 " 超级对齐 " 项目，目标是在四年内解决超智能 AI 的对齐问题。
在此期间，杨 · 莱克推动了使用小型模型监督和评估大型模型的研究，开创了对超人类能力模型进行实证对齐的新方法。
这种方法对于理解和应对高级人工智能模型的行为具有深远影响。
然而，由于与公司在安全和产品优先级上的分歧，杨 · 莱克于 2024 年 5 月宣布离职。
尽管如此，他在对齐研究方面的贡献，为后续人工智能的可控性研究奠定了理论和实践基础。
而翁荔则是于 2024 年 7 月担任 OpenAI 安全主管。
关于翁荔
翁荔是 OpenAI 华人科学家、ChatGPT 的贡献者之一，本科毕业于北大，在印第安纳大学伯明顿分校攻读博士。
毕业之后的翁荔先是短暂的在 Facebook 实习了一段时间，第一份工作则是就职于 Dropbox，担任軟體工程师。
她于 2018 年加入 OpenAI，在 GPT-4 项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。
在 OpenAI 去年底成立的安全顾问团队中，翁荔领导安全系统团队（Safety Systems），解决减少现有模型如 ChatGPT 滥用等问题。
翁荔在 Google Scholar 的引用量也达到了 13000+ 次。
此前她提出的提出LLM 外在幻觉（extrinsic hallucination）的博文也是非常火爆。
翁荔重点关注外在幻觉，讨论了三个问题：产生幻觉的原因是什么？幻觉检测，抵抗幻觉的方法。
关于研究的细节，可以点击这里查看：万字 blog 详解抵抗办法、产幻原因和检测方式。
至于翁荔离职后的去向，量子位也会保持持续的关注。
参考链接：
[ 1 ] https://x.com/lilianweng/status/1855031273690984623
[ 2 ] https://www.linkedin.com/in/lilianweng/
