今天小编分享的互联网经验：GPT-5正在秘密训练，开源模型仍将落后闭源2-3年！DeepMind联创抖出大料，欢迎阅读。
作者｜周愚
编辑｜尚恩
最近，DeepMind 联合创始人、Inflection AI 现任 CEO Mustafa Suleyman 在接受外媒采访时，放出了一则重磅消息。
谈及 Sam Altman 否认正在训练 GPT-5，Mustafa 没有选择直接戳穿，而是有些阴阳怪气地说道：" 我认为我们还是坦诚相待比较好，这就是为什么我们公开了我们所拥有的计算总量。"
言下之意，就是OpenAI 正在秘密训练 GPT-5 。
此前，OpenAI 发布 ChatGPT 企业版时，网友就曾热议。一名长期研究 OpenAI 和 ChatGPT 的以色列创业公司 CEO Yam Peleg 甚至认为：OpenAI 已经获得了 GPT-5。
图源：X（Twitter）
这位老哥曾经试图反向破解尝试 GPT-4 和 ChatGPT 的代码解释器。今年 6 月，OpenAI 成员访问以色列时，Peleg 也参与了座谈沟通，并和 Sam Altman 合影留念。
而为了显示自己的坦诚态度，Mustafa 也透露未来三年 Inflection AI 的大模型进展："在接下来的 3 年里，我们要训练的模型要比现在大 1000 倍。甚至在未来 18 个月内，Inflection 的模型就将比目前的前沿模型大 100 倍。"
对于大模型如此快速的发展，有网友兴奋地表示：活着是多么美好的一天啊！
来源：X（Twitter）
当然，也有网友对 AI 的快速发展是否会对社会造成负面影响，表示深深的担忧。
Mustafa 在采访中回应称，AI 目前要具备危险的能力，仍然缺乏基本的组件，比如自主性和行动能力，这至少还需要 5 年甚至更久的时间。
此外，他还表示，至少在未来五年内，开源模型仍将落后于闭源模型，并分享了 Google 与 DeepMind 在伦理和监管方面的抓马故事。
开源这件事，过于天真了
尽管一再强调坦诚、透明的重要性，但对于大模型开源问题，Mustafa 却没有那么乐观，颇有些泼冷水的意味。
他直言：" 我非常有信心，在相当长的一段时间内，至少在未来五年内，开源模型将持续落后于最前沿的闭源模型两到三年。"
当包括 Meta 的 Llama2 在内的许多大模型走向开源之路时，Mustafa 却称：" 在未来 20 年内，天真的开源，几乎肯定会造成灾难 "。
对于开源后，大规模访问可能造成的风险，Mustafa 提出了一个相当有趣又细思极恐的概念——" 权力的快速扩散 "。
他表示，在未来几年内，我们就会拥有比现在大几个数量级的模型，而开源则意味着每个个体就能轻而易举地获得一个组织、甚至一个国家的权力，单一个体就能对世界造成前所未有的伤害和影响。
Mustafa 以上一波社交媒体浪潮为例，在这波浪潮中，每个人都拥有了广播权，可以通过社交媒体的数百万追随者影响世界。
在过去，这几乎是出版商专有的方式，但也意味着这些行为在大多数情况下是可被追究责任的。而在社交媒体时代，追责却成了难以想象的事情。
另外，Mustafa 还强调，AI 技术有可能降低许多潜在危险化合物或者武器的开发门槛，当然从预训练中删除这些内容，对模型进行对齐等方法，可以降低这样的风险。
但一味地开源所有模型，势必会增大模型被利用来作恶的可能性。
当然，Mustafa 也承认，开源模型的价格合理，任何人均可尝试，在过去对技术进步做出了很多贡献，但他表示仍要顶着压力，提醒世人注意开源的风险。他认为：" 如果我们没有这样的对话，我们最终会把造成大规模混乱的破坏稳定的工具交到每个人的手中。"
OpenAI 要 " 保持透明 "
面对 AI 能力的快速进步，Mustafa 一度担心监管政策的落后，甚至曾经表示，要 " 寻求赢得时间的方法，放慢速度，为找到更多问题的答案提供空间 "。
然而，现实似乎却是，AI 的发展正在一路高踩油门，就连 Inflection AI 自己也似乎没有刹车的意图。
目前，Inflection AI 正在建造世界上最大的超级计算机之一，甚至在接下来的一年半里，还将进行一次比 GPT-4 的语言模型训练运行大 10 倍或 100 倍的语言模型训练。
而 Mustafa 在这其中则似乎有些又当又立，正在亲自加速这场模型训练的军备竞赛，增加 AI 的风险。
图源：视觉中国
另一方面，AI 训练的算力成本也正在迅速下降。
芯片算力将以 2-3 倍的效率快速增长，而算力成本则随着芯片算力的迭代在不断下降，届时训练相同规模模型的成本将远远小于目前的成本。
未来 AI 训练也不需要通过一味地堆叠更多算力，来训练更大的模型。比如，Llama2、Falcon 等模型，凭借 15 亿参数或 20 亿参数，就获得了有 1750 亿参数的 GPT-3 的能力。
对于是否要放慢脚步，Mustafa 并没有给出回答，不过他从另一个角度，否认了当前对 Inflection AI 的质疑并表示："AI 要具备危险能力仍然缺乏基本的组件，比如自主性和在世界上行动的能力。"
他补充道，AI 要变得危险，还需要五年、十年、十五年，甚至二十年。我们无法知道确切的时间，但可以肯定，现在的 AI 并不危险。
而在回答这一问题时，Mustafa 还轻踩了一脚 OpenAI，指责OpenAI 在训练 GPT-5 这件事上不够透明，暗中秘密训练，甚至公然撒谎否认正在训练。
与此同时，他还大方透露，为了训练比 GPT-4 更大的模型，Inflection AI 目前有 6000 枚 H100 正在训练模型，而到 12 月，则会有 22000 枚 H100 用于训练。他表示，坦诚、透明的态度至关重要。
Mustafa 还提到了自己创始的 DeepMind，认为 DeepMind 也应该披露 Gemini 接受了多少 FLOPS 训练。
Google 和 DeepMind 的抓马
引入外部监督进行治理，是 Mustafa 在 DeepMind 的十年间，花费大量时间推进的一样工程，但最终却很快以失败告终。他说：" 这是一项相当痛苦的工作 "，并追加表示权力方当然不希望这样，尽管自己认为谷歌是出于好意，但它的运作仍然是传统的官僚机构模式。
图源网络
最初成立谷歌伦理委员会时，DeepMind 计划该委员会将由九名独立成员组成，为 DeepMind 开发的敏感技术提供外部监督。然而不幸的是，委员会成立的一周内，就有三名委员辞职，而后委员会的半数成员陆续离开。
而这场悲剧的原因是，DeepMind 任命了一名曾发表过相当严重争议言论的保守派委员。就在任命消息公布的几天内，大学校园里就展开了大规模的运动，不仅要求该委员下台，还迫使其他委员推出，暗示他们宽恕或接纳这名保守派委员的错误观点。
更令人沮丧的是，公司在这个时候也开始反过来怀疑这样工作的必要性，认为这简直就是浪费时间。
而在此之前，被 Google 收购时，DeepMind 将成立伦理和安全委员会作为收购的条件，他们希望将 DeepMind 剥离为一家相对独立的公司。然而，这种设想显然失败了，DeepMind 从来都不是独立的，而现在它完全是谷歌的一部分。
虽已离开谷歌，不过引入外部监督仍然是 Mustafa 的目标之一。
今年 7 月，Inflection AI 与其他 6 家 AI 巨头，在白宫一同签署了八项自愿承诺，Mustafa 认为 " 其中一些自愿承诺应该成为法律规定 "。
他表示，作为一家公司，面对如虚假信息在内的各种威胁总是显得有些无力，大多数威胁必须由国家来进行监管、解决，比如框定有害的模型能力。
