今天小编分享的互联网经验:OpenAI:颠覆一切,也被一切颠覆,欢迎阅读。
作者:常嘉亦
编辑:硬 AI
未来 50 年的世界将是什么样子?
《失控》作者、《连线》杂志创刊主编凯文 · 凯利相信,从未来 5000 天到未来 50 年,AI 将成为世界最重要的关键词,成为如同互联网一样无处不在的基础设施。
而 OpenAI,是他心目中最成功的 AI 公司," 一个绝佳的颠覆者案例 "。
从去年底 ChatGPT 仓促上线、意外爆红以来,这家公司和他的创始团队,被这场席卷全球的技术狂热推上了舞台中央。
OpenAI 从何而来,又将去往何处?近期,知名科技记者 Steven Levy 在《连线》杂志发表了一篇长文,对 OpenAI 公司的成长史和公司愿景展开了深度讨论。
Altman 的选择
在领导 OpenAI 之前,Sam Altman 已经当上了世界上最著名的科技孵化器 Y Combinator 的 CEO,从所有这些独角兽企业中套现的意义不在于装满合伙人的钱包,而在于为物种层面的变革提供资金。
他成立了一个研究部门,希望为雄心勃勃的项目提供资金,以解决世界上最大的问题。但在他看来,AI 才是颠覆一切的创新领網域:一个能比人类更好地解决人类问题的超级智能。
他甚至还有过竞选加州州长的想法。但他意识到,他完全有能力做更大的事情——领导一家将改变人类本身的公司。
在加州的一场晚宴上,他与马斯克一拍即合。
马斯克当时正与谷歌联合创始人 Larry Page 吵得不可开交。因为马斯克相信,人类意识有珍贵的独特性,但 Page 认为机器和人是平等的,如果机器真的有了意识、消灭了人类,那就是自然进化的法则,Page 还指责马斯克是一个 " 物种主义者 "。
于是,马斯克决心花一些钱,为 " 人类团队 " 做出更多努力。
既关心技术变革,也关心 AI 安全性的 Altman,自然成了他心目中理想的合作伙伴。
一个崭新的 AI 研究机构,靠什么吸引顶尖人才?Altman 的答案是:AGI 的疯狂愿景。
AGI 就是所谓的通用人工智能,即能够像人类一样完成复杂任务的 AI。在 Altman 仍在担任 YC CEO 的那些日子,计算机已经能通过深度学习和神经网络完成令人惊叹的壮举,比如给照片贴标签、翻译文本和优化复杂的广告网络。
这些进步让他相信,AGI 第一次真正触手可及。然而,把它交到大公司手中却让他感到担忧。他认为这些公司会过于专注于自己的产品,而无法抓住机会尽快开发出 AGI。而且,如果他们真的创造出了 AGI,他们可能会不计后果地在没有采取必要预防措施的情况下将其公之于众。所以需要有其他人来制衡他们。
Altman 筛选招聘对象最重要的原则就是,必须是 AGI 的信徒。凭借他本人和马斯克的号召力,以及探索 AGI 这套诱人的话术,Altman 挖来了 Stripe CTO Greg Brockman 和谷歌大腦核心科学家 Ilya Sutskever 等人。
2015 年 12 月,OpenAI 正式成立。
2021 年,他对记者表示:
"AGI 只能打造一次。而且,能够很好地运营 OpenAI 的人并不多。我很幸运,我生命中的一系列经历让我真正积极地为此做好了准备。"
迷茫期
尽管有一个疯狂而伟大的愿景,但 OpenAI 对如何实现目标毫无头绪。
Altman 回忆道,当最初这个小团队还没有办公室、聚集在 Brockman 公寓时,他腦子一直在想:
" 我们该怎么办?"
直到公司成立一年多以后,事情也没有太大进展。当时公司并没有一个明确的方向,只是随便胡乱尝试一通,钻研解决视频游戏的系统,在机器人技术上花费了大量精力,然后发几篇论文。
Altman 想起当时公司的景象时说:
" 我们知道我们想做什么。我们知道为什么要这么做。但我们不知道怎么做。"
但他们相信。使用深度学习技术的人工神经网络不断改进,为他们的乐观情绪提供了支持。Sutskever 说,追逐人工智能 " 并非完全疯狂。它只是适度疯狂而已 "。
直到 2016 年,OpenAI 等来了传奇 AI 研究员 Alec Radford。在接受 OpenAI 的邀请后,他告诉他的高中杂志,担任这个新职位 " 有点类似于加入一个研究生项目 " ——一个研究 AI 的开放式、低压力的栖息地。
Radford 是一位内敛、低调的研究者,他并未接受作者面对面采访邀约,只是写了一封长邮件描述了他在 OpenAI 的工作。
他最大的兴趣是让神经网络与人类进行清晰的对话。这与制作聊天机器人的传统脚本模式不同,从原始的 ELIZA 到流行的 Siri 和 Alexa,都采用了这种方法,但都很糟糕。他写道:" 我们的目标是看看是否有任何任务、任何环境、任何领網域、任何事情,语言模型都能派上用场。"
他解释说,当时,语言模型被视为新奇的玩具,只能偶尔生成一个有意义的句子,而且只有在你真的眯起眼睛的情况下才能生成。他的第一个实验是扫描 20 亿条 Reddit 评论来训练语言模型。
和 OpenAI 的许多早期实验一样,这个实验失败了。没关系。这位 23 岁的年轻人获得了继续前进、再次失败的许可。Brockman 说:" 我们当时就想,Alec 很棒,就让他做自己的事情吧。"
轉捩點
2017 年初,一篇由 8 位谷歌研究人员合著的研究论文的预印本出现了,但并未引起人们的注意。这篇论文的正式标题是 "Attention Is All You Need",但它后来被称为 "Transformer 论文 ",这样命名既是为了反映这个想法改变游戏规则的性质,也是为了纪念从卡车变形为巨型机器人的玩具。
Transformer 使神经网络能够更高效地理解和生成语言。他们通过并行分析语料,找出哪些元素值得关注。这极大地优化了生成连贯文本以响应提示的过程。
最终,人们意识到,同样的技术也可以生成影像甚至视频。虽然该论文后来被称为当前 AI 狂潮的催化剂,但在当时,Ilya Sutskever 只是少数几个了解这一突破有多么强大的人之一。
Brockman 回忆道,Ilya 看到 Transformer 出现时,惊喜地喊到‘这就是我们一直在等待的。’
这就是 OpenAI 的策略——努力解决问题,然后坚信团队或这个领網域中的某个人会设法找出缺失的部分。
此后,Alec Radford 开始试验 Transformer 结构。他表示,当时在两周内取得的进展超过了过去两年的进展。他逐渐明白,要想最大限度地利用新模型,关键在于扩大规模——在超大规模的数据集上进行训练。这个想法被他的同事 Rewon Child 称为 "Big Transformer"。
这种方法需要改变 OpenAI 之前那种零散、各自为阵的企业文化,必须聚集团队资源,专注一个点的突破。Quora 首席执行官 Adam D'Angelo 是 OpenAI 的董事会成员,他对作者解释道:
" 为了利用 Transformer 的优势,你需要扩大它的规模。你需要把它办得更像一个工程组织。你不能让每个研究人员都做自己的事,训练自己的模型,做出可以发表论文的优雅的东西。你必须做这些更乏味、不那么优雅的工作。"
Radford 和他的合作者给他们创建的模型起的名字是 "generatively pretrained transformer" —— GPT 的缩写。最终,这个模型被通称为 " 生成式 AI"。为了建立这个模型,他们收集了 7000 本未出版的书籍,其中很多都是浪漫、奇幻和冒险类型的书籍,并在 Quora 问答以及初中和高中考试的数千段文章中对其进行了完善。该模型包含 1.17 亿个参数或变量,在理解语言和生成答案方面的表现优于之前的所有模型。
但最引人注目的结果是,在处理如此大量的数据后,模型能够提供超出其训练的结果,在全新的领網域提供专业知识。这些计划外的机器人能力被称为 " 零样本 "。它们仍然令研究人员感到困惑——这也是该领網域许多人对这些所谓的大型语言模型感到不安的原因。
商业化
OpenAI 前期的资金支持基本都来源于马斯克。但在 2018 年,特斯拉开始研究将 AI 技术用于自动驾驶,而刚好 OpenAI 已经有了显著的技术突破。
马斯克一直把 OpenAI 这家公司视为自己的所有物,于是他在当时提议,不如把整个公司都交给他来打理——直接把 OpenAI 并入特斯拉。但这个提议遭到 Altman 和其他高管的断然拒绝,于是双方切断了联系,马斯克撤走了他全部的投资,在一次全体会议上宣布自己将要离开。
会上,他预言 OpenAI 将以失败告终,他还称至少有一名研究人员是 " 蠢货 "。
由于公司没有收入,马斯克撤资无疑是一场生存危机。虽然 OpenAI 正在做的研究是硅谷最时髦的 AI,但它是一家非盈利机构,这无疑限制了它融资的吸引力。
2019 年 3 月,OpenAI 的高管们想出了一个怪异的办法。在保持非盈利的同时,再创建一个盈利实体。但这个盈利部门的营收有一个上限——这个数字并没有公开,从公司章程推测,可能高达数万亿美元(OpenAI 也相信,如果他们的营收真的能达到这个数字,到时候肯定已经做出来可以实际使用的 AGI 了)。在达到这个上限之后,盈利实体所得的一切都要归还给非盈利的实验室。
于是,凭借新的公司架构,OpenAI 成功引入了红杉等多家风险投资机构。但尴尬的是,对 OpenAI 来说,数十亿美元的风险投资只是微不足道的小数目,AI 研发是一个夸张的无底洞。创造大型语言模型的 Big Transformer 方法需要大型硬體,GPT 系列的每一次迭代都需要呈指数级增长的算力,只有少数几家公司有负担的能力。
于是,OpenAI 很快锁定了微软。Altman 对记者表示,这是因为微软 CEO Satya Nadella 和 CTO Kevin Scott 足够有魄力:在花费了 20 多年时间和数十亿美元建立了一个所谓的尖端 AI 研究部门之后,承认自己的工作一团糟,然后押注一家成立仅几年的小公司。
微软最初出资 10 亿美元,以其伺服器上的计算时间作为回报。但随着双方信心的增强,交易规模不断扩大。现在,微软已经向 OpenAI 投入了 130 亿美元。
微软也为自己争取到了一大笔好处,它不仅拥有 OpenAI 盈利部门的 " 非控股股权 " ——据称是 49%,还获得了 OpenAI 技术独家商业化授权。而且,并且成功让旗下云计算平台 Azure 成为 OpenAI 的独家云服务商。换句话说,微软的巨额投资不但争取到了一个强大的合作伙伴,还可以为 Azure 云服务锁定全球最受欢迎的新客户之一。
此外,根据交易条款,OpenAI 最初的一些理想——为所有人提供平等访问权——似乎被丢进了垃圾桶。
在交易的过程里,OpenAI 逐渐有了营利性机构的性质,这让一些员工感到反感,几位高管随之离职,他们认为,OpenAI 已经变得过于商业化,偏离了最初的使命。
OpenAI 的未来
当疯狂的 AGI 愿景离现实越来越近,Sam Altman 和他的团队面临的压力也越来越大,他们既要在每个产品周期内实现革命,又要满足投资者的商业需求,同时还要在激烈的竞争中保持领先。更加关键的是,他们还肩负着防止让 AI 消灭人类的 " 准救世主 " 的使命。
在时代的冲刷下,OpenAI 变了很多,唯有建立安全的 AGI 这一愿景没有改变,仍然在驱动着他们向前。OpenAI 的领导者们深信,他们将制造出足够智能、足够安全的 AI 系统,将人类带入一个难以想象的富饶时代。
本文部分编译自 WIRED 长文 "What OpenAI Really Wants",有删节