今天小编分享的科技经验：内部数百工程师可随意摄取 OpenAI 先进模型，OpenAI 前员工揭露：谏言即被开除，祈祷公司不报复，欢迎阅读。
就在 OpenAI 新模型发布不久还被广泛赞誉的时候，OpenAI 举报人对其悄悄 " 背刺一刀 "。
就在 OpenAI 新模型发布不久还被广泛赞誉的时候，OpenAI 举报人对其悄悄 " 背刺一刀 "。
" 我在 OpenAI 工作期间，运营体系有很长一段时间都存在漏洞，这些漏洞可能允许我或者公司内的其他数百名工程师绕过访问控制、窃取包括 GPT-4 在内的最先进 AI 系统。"OpenAI 举报人 William Saunders 在近日参加的一场关于人工智能监管的听证会上说道。
去年年初，一名黑客入侵了 OpenAI 的内部消息系统，并窃取了该公司 AI 技术设计的详细信息。这件事大家是最近才知道的。OpenAI 高管于 2023 年 4 月在公司旧金山办公室举行的全体会议上向员工透露了这一事件，并通知了董事会。但高管们决定不对外公开这一消息，因为没有关于客户或合作伙伴的信息被窃取。另外高管层也认为这与所谓国家安全没有关系，因为他们相信黑客是一名个人，与外国政府没有联系。
Saunders 在过去三年，一直担任 OpenAI 公司的技术人员。"OpenAI 一直强调自己正在进步，但我和其他已经辞职的员工都怀疑他们能不能跟得上发展的节奏。"Saunders 说道。
他以 OpenAI 最新模型 o1 为例称，这是首个向着生物武器风险迈进的系统，因为它能够帮助专家规划并重现已知的生物威胁。" 如果不是经过了严格测试，o1 项目的开发者很可能忽略掉这种危险的能力。虽然 OpenAI 率先开展了相关测试，但公司的总体思路仍然是以部署为优先、而非以严格监管为优先。因此我认为，OpenAI 确实有可能遗漏未来 AI 系统当中某些重要的危险能力。"
" 我之所以从 OpenAI 辞职，是因为我不再相信他们会以负责任的态度制定 AGI 相关决策。" 看得出来，他抨击的 OpenAI 不止不关心 AI 安全，自家的安全也是一点都不担心。
批评 OpenAI，是要被 " 惩罚 " 的
今年 6 月有媒体曝出，OpenAI 员工如果想离开公司，将面临大量的、限制性极强的离职檔案。如果他们在相对较短的时间内拒绝签字，就可能被威胁失去公司既得股权。这种做法在硅谷并不常见。这项政策迫使离职员工在放弃他们已经赚到的数百万美元和同意不批评公司之间做出选择，而且没有截止日期。
这一消息在 OpenAI 内部引起了轩然大波。与许多硅谷初创公司一样，OpenAI 的员工通常以股权的形式获得大部分的预期薪酬。员工们往往认为，一旦按照合同中规定的时间表 " 归属 "，这些股权就属于他们了，公司无法收回。
外媒报道后的第二天，首席执行官 Sam Altman 就发文道歉，总体意思是：我不知道我们有一些威胁公平的条款，我保证我们不会再这样做了。OpenAI 部分高管在公司内部也表达了同样的歉意。OpenAI 首席战略官 Jason Kwon 承认，该规定自 2019 年以来就已实施，但 " 团队确实在一个月前就发现了这个问题。这么久了才被发现，是我的错。"
但外媒指出，公司领导层的道歉存在问题。终止檔案中的离职信中写道：" 如果您拥有任何既得的权益部門 … 您必须在 60 天内签署一份放弃索赔協定，以便保留这些权益部門。" 该協定由 Kwon 和 前 OpenAI 人力副总裁 Diane Yoon 签署。这份秘密的超限制性保密協定仅针对已既得股权的 " 对价 "，由首席运营官 Brad Lightcap 签署。
用威胁既得股权的方式让前员工签署极其严格的保密協定只是一部分，这里面还涉及更多细节。OpenAI 发出的冗长而复杂的解雇檔案有效期只有七天，这意味着前员工只有一周的时间来决定是接受 OpenAI " 封杀 "，在无限期内无法发声批评 OpenAI，还是承担失去数百万美元的风险。但时间非常紧迫，他们几乎没有时间去寻找外部顾问。
" 我们希望确保你们明白，如果不签署，可能会影响你们的股权。这对每个人来说都是如此，我们只是按规矩办事。"OpenAI 的代表如是说道。
大多数前员工在压力之下屈服了。对于拒绝签署第一份终止協定并寻求法律顾问的员工，OpenAI 改变了策略：没有说要取消股权，而是说阻止其出售股权。" 你必须明白，此外你将没有资格参与未来我们赞助或促成的招标活动或其他流动性机会。"
此外，公司檔案中还包含，" 根据公司的全权酌情决定权 "，任何被公司解雇员工的既得股权可以减至零。还有条款规定，公司可以全权决定哪些员工可以参与出售其股权的招标要约。
解雇一个员工，找个理由就可以
可能有人还记得，今年 OpenAI 因涉嫌泄露信息解雇了两名员工，其中一个就是 Leopold Aschenbrenner。Aschenbrenner 后来解释了他为什么会被解雇，并透露了更多细节。
" 去年某个时候，我写了一份关于未来 AGI 道路上需要做的准备、安全和保障措施的头腦风暴檔案。我与三位外部研究人员分享了这份檔案以征求反馈。这就是泄密的内容。"Aschenbrenner 解释称，" 当时在 OpenAI，与外部研究人员分享安全理念以获得反馈是完全正常的。这种情况一直都有。文档中有我的想法。在我分享之前，我审查了它是否有任何敏感内容。内部版本提到了未来的集群，我在外部副本中删去了它。有一些内部 PPT 的链接，但对于外部人员来说，这是一个无效链接。PPT 也没有与他们分享。"OpenAI 给他的回复是 " 计划在 2027-2028 年实现 AGI"，但公司并未设定准备时间表。
但这并不是他被解雇的真相，真正的原因是他写了一份关于 OpenAI 安全性内部备忘录并与董事会分享了该备忘录。
去年，我写了一份关于 OpenAI 安全性的内部备忘录，我认为这份备忘录严重不足，无法防止外国参与者窃取模型权重或关键算法机密。我与几位同事和几位领导分享了这份备忘录，他们大多表示这份备忘录很有帮助。
几周后，发生了一起重大安全事件。这促使我与几位董事会成员分享了这份备忘录。几天后，我清楚地知道，领导层对我与董事会分享这份备忘录非常不满。显然，董事会就安全问题向领导层提出了质问。
我因与董事会分享备忘录而收到人力资源部门的正式警告。人力资源部的人告诉我，担心间谍活动是种族主义行为，而且没有建设性。我可能没有发挥出最佳外交能力，本可以更精通政治。我认为这是一个非常重要的问题。安全事件让我非常担心。
我之所以提起这件事，是因为当我被解雇时，他们明确表示安全备忘录是我被解雇的主要原因。他们说：" 这是解雇而不是警告，因为这份安全备忘录。"
Aschenbrenner 透露，在被解雇前，他被拉到一边跟律师交谈，但双方很快就对峙了起来。律师问了他对人工智能发展的看法、对 AGI 的看法、AGI 的适当安全级别、政府是否应该参与 AGI、我和超级联盟团队是否忠于公司，以及他在 OpenAI 董事会活动期间做了什么。然后律师还和 Aschenbrenner 的几个同事谈了谈，然后回来告诉就告他被解雇了。" 他们查看了我在 OpenAI 工作期间的所有数字檔案，然后发现了泄密事件。"
此外，律师团队还提出了其他几项指控。其中一件是，Aschenbrenner 在调查期间不愿透露与谁分享了头腦风暴檔案，他表示自己确实不记得了，只记得曾与一些外部研究人员讨论过这些想法。" 这份檔案已经有六个多月了，我花了一天的时间研究它。"Aschenbrenner 表示，" 它根本就不值得关注，因为它根本不是什么问题。"
Aschenbrenner 表示，OpenAI 还声称不喜欢他参与政策的方式。
" 他们引用了我曾与几位外部研究人员谈过的观点，即 AGI 将成为政府项目。事实上，我当时正在与该领網域的许多人讨论这一观点。我认为这是一件值得思考的重要事情。所以他们找到了我五、六个月前写给一位同事的 DM，他们也引用了这一点。"Aschenbrenner 说道。" 我曾认为，与该领網域的外部人士讨论有关 AGI 未来的高层问题是符合 OpenAI 规范的。"
OpenAI 公司内部的其他员工都对这样的事情表示惊讶。
从那时起，我和几十位前同事谈过这件事。他们的普遍反应是 " 这太疯狂了 "。我也感到惊讶。几个月前我才刚刚升职。当时，Ilya 对我升职一事的评论是："Leopold 太棒了。我们很幸运能拥有他。"
" 从某种意义上说，这是合理的。我有时在安全问题上可能很烦人，这惹恼了一些人。我反复提到这一点，也许并不总是以最圆滑的方式提出来的。尽管有压力要求我在董事会活动期间签署员工信，但我并没有签署。"Aschenbrenner。
Saunders 和其他 OpenAI 员工此前签署了关于 " 对先进人工智能发出警告的权利 " 公开信。他们认为，只要政府还没有对 AI 企业施以有效监督，那就只有现任及前任员工来负起责任。然而，广泛的保密協定却阻止了他们表达自身担忧的权利，除非企业主动承认他们无力解决这些问题。"
Saunders 在听证会上隐隐透露出担心被报复的想法。他表示，" 鉴于整个行业的历史上曾经发生过极端情况，我们中有一部分人可能担心受到各种形式的报复。我们并不是第一批遇到、或者决定正视这些问题的人。"
参考链接：
https://www.judiciary.senate.gov/imo/media/doc/2024-09-17_pm_-_testimony_-_saunders.pdf
https://www.vox.com/future-perfect/351132/openai-vested-equity-nda-sam-altman-documents-employees
https://www.dwarkeshpatel.com/p/leopold-aschenbrenner?open=false#%C2%A7what-happened-at-openai
本文来自微信公众号 "AI 前线 "，整理：褚杏娟 核子可乐，36 氪经授权发布。
