今天小编分享的科技经验:黄仁勋最新2万字对话全文:AI 缩小了人类间的技术差距,未来10年算力将再提高100万倍,欢迎阅读。
英伟达CEO黄仁勋(图片来源:斯坦福大学SIEPR)
2024年3月初,NVIDIA英伟达CEO黄仁勋(Jensen Huang)回到了他的母校美国斯坦福大学,参加了斯坦福商学院SIEPR经济峰会以及View From The Top 系列活动。
在两场已公开的对话视频中,黄仁勋详细谈到英伟达的市场价值定位、AGI(通用人工智能)发展、AI 算力的增长,以及如何通过人类反馈将 AI 根植于人类价值观话题,而且他也回应对于"皮衣黄"来历等。
黄仁勋坦言,AI 技术缩小了人类的技术差距。
他称,目前大约有1000万人因为知道如何编程而有工作,这让其他80亿人"落后",而接下来,如果生成式 AI 逐渐取代编程的话,编程技术将可能变得不那么有价值了。
"未来,我们都可以编程计算机。你只需要看看YouTube,看看所有使用提示工程(prompt)的人,所有孩子正在用它(AI)做出惊人的事情。他们不知道如何编程,但只是和ChatGPT交谈就反馈到正确的编程手段做这个、做那个。所以,AI 和未来与人交流没有什么不同。这是计算机科学行业对世界的伟大贡献。我们缩小了技术差距。"黄仁勋表示。
黄仁勋强调,未来五年内,AGI将通过人类测试。包括律师考试、胃肠病学等专业测试中,AGI都可以发挥关键作用。不过他也承认,AGI可能还很遥远,因为目前专家们对于描述人类思维如何运作方面仍然存在分歧。
谈及 AI 算力,黄仁勋强调,在未来的10年里,英伟达将会把深度学习的计算能力再提高100万倍,从而让 AI 计算机不断训练、推理、学习、应用,并持续改进,未来不断将超级 AI 转变为现实。
"因此,我们会做更多的计算。我们会将计算的边际成本降低到接近零。"黄仁勋表示。
谈到地缘政治风险,黄仁勋回应称,英伟达几乎就是地缘政治风险的典型例子,原因在于公司制造了一种非常重要的 AI 工具。
他认为,AI 将是这个时代的"界定技术"。过去6-9个月时间里,他已经发现,未来 AI 将成为一个国家的"主权",即一个国家必须控制自己的数字智能,必须致力于控制你的 AI 主权。
"美国完全有权决定这种工具在它认为应该限制的国家。美国有这个权利,并且行使了这个权利。对于我们来说,首先,我们必须理解这些政策,我们必须保持敏捷,以便我们能够遵守这些政策。一方面,它限制了我们在某些地方的机会,另一方面,它在其他地方打开了机会。"黄仁勋称。
黄仁勋也回应了"皮衣黄"来历。他坦言,这套皮衣是妻子给他买的,他自己几乎不购物。黄仁勋笑着说,这件皮衣已经足够好了,如果不喜欢这件可以去再买一件,不然他可以一直穿皮衣。
"我储备了一大堆黑色皮夹克。"黄仁勋表示。
而在另一场斯坦福对话当中,黄仁勋谈及创办英伟达并获得资金的前后过程,并指出"我们正处于计算的世界"。他认为,未来人类处理信息的方式将从 AI 上发生根本改变,这就是英伟达制造芯片和系统的根本原因。而生成式 AI 将从一个信息"种子"出发,计算的未来将高度依赖生成而非检索。
面对英伟达暴跌80%时的"谷底期",黄仁勋坦言当时希望公司要回到事情的"核心"——坚持我所相信的,然后什么都不改变、继续前进。
黄仁勋还认为,液冷技术将成为 AI 算力的下一个趋势性领網域。
黄仁勋强调,未来十年,英伟达最大的挑战来自技术和市场,其他的挑战还来自工业、地缘政治和社会层面。他希望所执掌的英伟达能通过坚持不懈地去做擅长且热爱的事,被历史以"改变了一切"而闻名。
(本文首发钛媒体App,作者|ChatGPT、林志佳,编辑|林志佳)
以下是黄仁勋在斯坦福大学的两场访谈对话全文,仅供参考:
第一个对话信息来自黄仁勋与MBA ’24 Shantam Jain的对话,翻译部分自@美国攻略,并由钛媒体编辑进行人工整理和修正。
主持人:Jensen,非常荣幸能邀请到您,谢谢。
黄仁勋:能来这里我很高兴,谢谢。
主持人:为了庆祝您回到斯坦福,我想先聊聊您离开斯坦福的那段经历。当时您加入了 LSI Logic(美国逻辑芯片公司),那是当时最棒的公司之一。您也跟很多人建立了良好的声誉,但却决定离开去创业。是什么促使您做出这样的决定?
黄仁勋:是 Chris 和 Curtis(两位英伟达联合创始人、黄仁勋的好友)。当时我在 LSI 做工程师,他们在 Sun 工作。我当时跟 CS 领網域最聪明的人共事,制造各种工作站包括图形工作站。有一天 Chris 和 Curtis 说,他们想离开 Sun 。他们想让我帮忙想想做什么好。我的工作很棒,但他们坚持要我加入他们一起思考如何创立一家公司。他们过来时,我们就在 Denny’s 聚会,那几乎算是我最初效力的公司。我成为 CEO 之前的第一份工作是洗碗工,那份工作我做得很出色。总之,我们经常聚会,而那段时期正值微处理器革命。
那是在 1992 到 1993 年期间,PC 革命才刚开始。革命性的 Windows 95 还没上市,奔腾处理器甚至还没发布。这一切都发生在 PC 革命爆发之前,显而易见,微处理器会非常重要。于是我们想,为什么不创立一家公司解决通用计算机无法解决的问题呢?这便成了公司使命:制造特殊的计算机解决普通计算机无法解决的问题。直到今天,我们还一直专注于此。
看看这些我们开拓的市场以及市场中的各种问题,比如计算机药物设计、天气模拟,材料设计。这些都是我们引以为豪的东西。机器人、自动驾驶汽车,以及人工智能的自主軟體。随后我们不断地推动着技术进步,最终计算成本接近于零。这促成了一个全新的軟體开发方式,计算机自己编写軟體,也就是我们今天熟知的人工智能。就是这样。
主持人:这就是整个历程,感谢大家的光临(玩笑)。嗯,如今我们都在思考这些应用。那时,LSI 的 CEO 说服了他的最大投资者 Don Valentine 与您会面。就是红杉资本的创始人。我可以看到很多创始人都满怀期待地向前倾着身子。但您是如何说服硅谷最炙手可热的投资者为您投资的呢?您的团队是初创者,产品是面向尚不存在的市场。
黄仁勋:我不知道如何写商业计划书,所以我去了家书店。那时候还有书店呢。商业书籍区,有这本书,作者我认识,Gordon Bell 。这本书我应该再去把它找出来,不过它非常厚。书名叫《如何写商业计划书》。
对于一个很小众的市场来说,它的书名相当具体了。感觉像是他特意为十几个人写的,我就是其中之一。我买了这本书,立刻就意识到这是个坏主意,因为 Gordon 非常聪明,聪明的人总有很多话想说。
我很确定 Gordon 想从头到尾教我怎么写商业计划书,所以我拿起这本书,大概有 450 页后,好吧,我从没读完过,根本读不完。我随便翻了几页,然后想:算了。等我读完它的时候,公司估计都倒闭了,钱也花光了。
Laurie 和我当时银行里只有六个月左右的生活费,我们已经有了 Spencer 和 Madison,还有一条狗,所以我们一家五口只能靠手头这点存款生活。因此我时间不多,我没有写商业计划书,而是直接去找了 Wilf Corrigan 。
他曾经有一天给我打电话说:「嘿,您离开公司了,您都没告诉我您干嘛去了,我希望您能回来给我讲讲。」我回去给 Wilf 做了详细的介绍。Wilf 听完我的介绍后说:「我完全不明白您在说什么。」「这是我听过最烂的创业推销之一。」
随后他拿起电话打给 Don Valentine,他打电话给 Don 说:「Don,我要给您送个小伙子过去,我希望您能给他投资。他是我在 LSI 最棒的员工之一。」
我学到的教训是:你可以忽悠一个精彩的面试,你也可能会把面试搞砸,但你无法逃避自己的过去,所以要把自己的「过去」做好。从很多方面来说,我说我是个好洗碗工是认真的,我可能是 Denny’s 餐馆史上最好的洗碗工。我有规划,注重组织有序,我准备工作很用心,然后全力以赴地清洗盘子,之后我被提拔为服务员,我是 Denny’s 最好的服务员。
我从不空手离开工作区,也不空手回来,我效率很高。总之,我最终成为了 CEO,但我仍在努力成为一名优秀的 CEO 。
主持人:您曾说要做最好的,要成为后来获得投资、做同样事情的 89 家公司中最优秀的。当公司的资金仅够维持 6 到 9 个月时,您意识到最初的愿景行不通。在如此不利的情况下,您如何决定下一步来挽救公司呢?
黄仁勋:我们创立了「加速计算」(NVIDIA)公司。问题是,它用来做什么?它的杀手级应用是什么?这就是我们做出的第一个重大决定,也是红杉投资的项目。我们的第一个重大决定就是,首个重点应用领網域是 3D 图形。技术将是 3D 图形,而具体应用程式将是电子游戏。
当时,廉价的 3D 图形技术是不可能做到的。硅谷图形芯片产品要上百万美元,做廉价版本很难。而电子游戏市场当时的价值是零美元、不存在。你有一项难以商品化的技术,瞄准了一个尚未存在的市场。这个交集就是我们公司的创立点。
我还记得当我完成展示后,Don 说了句话,当时很有道理,今天听来也是:「初创公司不该投资初创公司或者跟初创公司合作。」他的观点是,为了让 NVIDIA 成功,我们需要另一家初创公司也取得成功,就是 Electronic Arts 。那家公司的 CTO 只有 14 岁,得由他妈妈开车送他上班。他想提醒我,这就是我要依靠的人。他说:「你要是赔了我的钱,我杀了你。」这就是我对第一次会议的回忆。
不过尽管如此,我们还是创造了点东西。接下来几年我们着手去开拓市场,为 PC 创造游戏市场。这花了很多时间,我们直到今天还在耕耘这块领網域。
我们意识到,为了把百万美元的计算机图形技术商品化,使其适配进入售价 300 美元、 400 美元、 500 美元范围的电腦,你不仅要创造新技术,还得发明新的计算图形处理方式。同时你还需要去开拓全新的市场。因此,我们必须不断创造新技术、新市场。这种「创造技术、开拓市场」的理念定义了我们公司。我们做的几乎每件事情都是创造技术、创造市场。这就是人们说的「生态链」的本质。过去 30 年里, NVIDIA 的核心领悟就在于:为了让别人购买我们的产品,我们必须亲手开拓这个新市场。
这就是为何我们很早就开始布局自动驾驶、深度学习,以及在很多领網域都处于前沿,包括计算药物设计和发现。我们在创造技术的同时致力于开拓所有这些不同领網域的市场。
接下来我们步入正轨,然后微软推出了 Direct 3D 的标准。这催生了成百上千家公司。几年后我们发现自己在跟几乎所有人竞争。我们赖以创立公司、开拓消费级 3D 图形的那项发明技术,居然跟 Direct 3D 标准不兼容。
我们创立公司,想把百万美元的发明技术商品化,但很快发现与新的标准不兼容。我们不得不更改赛道,否则就只能倒闭。但我们不知道如何按照微软的方式来构建它。
我还记得那次会议上的讨论:我们现在有 89 个竞争对手,我们知道之前的方式不对,但我们不知道正确的方式是什么。
幸运的是我又看到一家书店 Fries Electronics 。我不知道它现在还在不在。有个周末我带女儿 Madison 去书店,然后就看到了这本书 OpenGL 手册,定义了硅谷图形的计算机图形处理方式。一本 68 美元,我带了几百块钱,买了三本。
我把书带回办公室,对大家说:「我找到了咱们的未来。」我把三本书分发下去传阅,中间有大幅的折叠插页,这个插页就是 OpenGL 流水线计算机图形处理流水线。我把它交给了与我/共同创办公司的那些天才手中。
我们以前所未有的方式实现了 OpenGL 流水线,构建出了世界从未见过的东西。其中有很多经验教训。对我们公司来说,那一刻给了我们极大的信心:即使对所做的事情一无所知,也能成功创造出未来。
现在这就是我对任何事情的态度。当有人跟我说我没听过的事情,或者听说过但不懂原理,我的想法总是:能有多难呢?可能看本书就搞定了,可能找一篇论文就能搞清楚原理。
我确实花了很多时间阅读论文,这是真的。当然,你不能照搬别人的做法,指望会有不同的结果。但你可以了解某件事情的实现原理,然后回归问题的本质,扪心自问:基于现有的条件、动机、手段和工具,以及一切如今的变革,我会怎么去重做这件事?我会如何重新发明它?我会如何设计它?
如果今天造一辆车,我会沿用过去的方式吗?如果今天让我创造一台计算机,我会采用怎样的方式?如果今天让我来编写軟體呢?
这么想有道理吗?即使是今天的公司,我也经常回归本质,从头思考。这是因为世界已经变了。过去编写軟體的方式是单一的,是为超级计算机设计的,但现在軟體架构已经解耦等等。我们今天思考軟體、计算机的方式一直在改变。经常促使公司和自己回归问题本质,会创造出大量的机会。
主持人:而当您运用这种技术时,结果可能是革命性的。公司上市之后您获得了更快的发展,四年里营收增长了九倍。但您却因为一通化学教授的电话转变了 NVIDIA 的创新方向。能讲讲吗?您是如何把谈话与 NVIDIA 的未来联系起来的?
黄仁勋:记住,公司本质上是在开创一种全新的计算方式。计算机图形是第一个应用领網域,但我们一直知道会有其他应用。陆续有影像处理、粒子物理、流体等领網域开始使用我们的技术。还有很多我们想做、觉得会很有趣的应用领網域。
我们努力让处理器更具编程性,从而可以表达出更多样的算法。后来我们发明了可编程着色器,让成像和计算机图形的各部分都具备了可编程性。这是一次重大突破。我们试图找到可以充分利用我们处理器(它和 CPU 有很大区别)来计算更复杂算法的方式。
大概是 2003 年,我们创造了 CG 。C for GPUs 的简写。它比 CUDA 早了大约三年。编写那本曾挽救公司的教科书的作者,Mark Kilgard,他也编写了关于 CG 的教科书。
CG 非常酷,我们还出了教科书。我们开始教人们如何使用它,也开发了一些相应的工具。后来有好几位研究人员发现了 CG,斯坦福大学的很多研究人员和学生都有在用它。很多后来成为 NVIDIA 工程师的人当时也在捣鼓这个。
马萨诸塞有几位医生开始使用 CG 进行 CT 影像重建。我飞过去见了他们,问他们拿这个工具在干什么。他们告诉了我他们的工作。然后一位量子化学家也用它来表达他的算法。
我意识到有迹象表明人们可能真的开始有需求使用它。这让我们逐步确信我们应该更深入地发展这块领網域。这个计算领網域、这种计算形式能解决普通计算机难以解决的问题。这也强化了我们的信念,让我们继续前行。
主持人:每次听到新的应用方式时,您都觉得很惊喜。这似乎贯穿了您在 NVIDIA 领导生涯中的一个主题,就像您在技术拐点出现之前就做出了赌注。当苹果终于从树上掉下时,您正穿黑色皮夹克在等着接住它。您是如何做到如此确信的?
黄仁勋:这总是感觉像是一个飞身接球,就像在飞身接球。你的行动源自于核心的信念。我们坚信可以创造出一种计算机能解决一般计算无法解决的问题。我们相信 CPU 的能力是有极限的,通用计算的能力也有极限。同时我们也知道能去解决一些有趣的问题。
但这些问题只是有趣吗?还是能扩展成有趣的市场?只有当它们成为市场时才能保证可持续性。
NVIDIA 有十年的时间在投资未来,但市场并不存在。当时只存在一个市场:计算机图形。十几年的时间,推动我们今天发展壮大的市场根本不存在。那么,你该如何继续带领身边的所有人:公司、管理团队、优秀的工程师、股东、董事会、合作伙伴?你带着所有人上路,但根本没有市场存在的证据。这是真的非常非常的具有挑战性。
我们的技术可以解决问题,有研究论文为证,这些都很有意思,但你得寻找市场。在市场出现之前,你仍然需要看到未来成功的早期指标。公司里有一句行话叫关键绩效指标 KPI 。不幸的是,KPI 很难理解,我觉得 KPI 很难理解。
什么是好的 KPI 呢?当我们看 KPI 时,很多人都会说「毛利率」,但那不是 KPI,那是结果。你应该寻找未来成功的早期指标,而且越早越好。原因是你想尽早看到自己正走在正确的方向上。
我们有个短语叫 EIOFS「未来成功早期指标」的缩写。我常使用这个词,它能帮助人们、给予公司希望。看,我们解决了这个问题,那个问题,这个问题。市场尚不存在,但存在着一些重要的问题,解决这些问题就是公司的意义所在。我们希望可持续发展,因此必须有市场在某个时刻出现。
但是,你要把结果与你正在做正确的事情的证据脱钩。这就是解决问题的办法:你投资某个非常遥远的事情,还得有信念坚持下去。办法就是尽早找出你做的事情是否正确的那些指标。最开始得有一个核心信念,除非有什么改变了你的想法,否则你就要继续相信它,并且寻找未来成功的早期指标。
主持人:NVIDIA 的产品团队使用过哪些早期指标呢?
黄仁勋:各种各样的都有。我看到过这样一篇论文,在此之前很久我遇到了需要我在「深度学习」领網域提供帮助的人。那时,我甚至不知道深度学习是什么。
他们需要我们创建一个领網域特定的编程语言,这样他们所有的算法都能在我们的处理器上轻松实现。我们创造了这个叫做 KU-DNN 的东西。它本质上是在深度学习领網域的 SQL(数据库语言)。而 SQL 则应用在存储计算方面。
我们为深度学习创造了一门编程语言,就像是该领網域的 OpenGL 。他们需要我们做这个,这样他们才能表达他们的数学计算。他们不懂 CUDA,但他们懂深度学习。我们在中间给他们创造了这个工具。我们之所以这么做,是因为即使当时市场规模是零……这些研究员身无分文,即使看不到财务回报、遥遥无期,只要你相信,公司也愿意去做。
这是我们公司的伟大能力之一。我们会问自己,这项工作是否有价值?它是否能在某个重要的领網域推动科学的发展?注意,这是我从一开始就在强调的事情。从创立之初,我们就一直是注重工作的重要性而非市场规模。因为工作的重要性是未来市场存在的早期指标。
没有人需要做商业分析报告,没有人需要给我看损益表、或财务预测。唯一的问题是,这项工作重要吗?如果我们不来做的话,这些事还会不会发生?如果我们不做、事情也会自然发展,我其实特别高兴。因为你想想,你什么都不用做,世界却变得更好了。这是终极「懒人」的定义。从很多方面来说,你需要养成这种习惯。公司应该对别人总能做好的事情保持「懒惰」态度。
如果别人能做,那就让他们去做吧。我们应该去做那些「如果我们不做就会出问题」的事情。
你必须说服自己:如果我不做,这件事就做不成。这是一项艰巨而重要的工作,它会赋予你使命感。我们公司一直在选择这样的项目,深度学习只是其中之一。其早期成功的迹象是吴恩达的人工智能识别猫。Alex 检测出了猫,虽然不是每次都能成功,但至少能证明这条道路可能有所发展。
我们分析了深度学习的结构,我们是计算机科学家,我们理解事物运行的原理。我们说服自己这个技术能改变一切。无论如何,这就是一个例子。
主持人:您的这些选择取得了巨大的回报,字面、及比喻意义上都是。但金融危机期间,华尔街不相信您押注机器学习。公司市值蒸发 80%,您带领公司经历了非常艰难的时期。在那种情况下,您是如何掌控局势、让员工专注目标?
黄仁勋:我在那段时间的反应和过去一周的反应完全一样。之前你问我本周的事我的反应没有任何变化。本周与上周、或前一周毫无不同。当然,股价跌了 80% 确实有点难堪。你只想穿一件「不是我的错」的 T 恤出门。更糟的是你不想起床,不想出门。这些都很真实,但随后你还是得投入工作。
我在同一时间醒来,用同样的方式规划我的一天。我回归初心:我相信什么?你必须始终牢记核心,你相信什么?最重要的事情是什么?一项项确认。这样做有帮助。家人爱我吗?是的,很好。你就得逐条确认。再回到你的工作核心,继续工作。然后每一次对话都回到工作核心,让公司的注意力集中在核心上。你坚信吗?有什么东西改变了吗?股价变了但还有其他东西变了吗?物理定律变了?万有引力变了?那些促使我们做出决定的事情,那些假设、那些信念有变化吗?
因为如果这些东西变了,那一切都得变。但如果它们不变,你也什么都不需要改变。继续走下去,这就是坚持的办法。
主持人:和您的员工交流时,他们说您(不想公开露面)。他们说您在领导方面(连员工也不见。开玩笑的)。
黄仁勋:不,不幸的是作为领导者你得让人看到,这才是难的地方。
我是学电气工程的,入学的时候年纪很小。我上大学的时候才 16 岁,很多事情都经历得比较早。我有点内向,很害羞,不喜欢公开演讲。当然今天能来这里很开心……但这不是我的本性。当情况有挑战时,站在你最关心的人面前并不容易。你能想象公司股价下跌 80% 时开会吗?
作为 CEO,我最重要的职责是站出来面对你们,解释情况。有时候你不知道原因,不知道会持续多久、有多糟糕。你对这些一无所知,但仍然必须去解释。面对所有这些人,你知道他们在想什么。有些人可能认为我们完了,有人可能觉得你是个白痴,有人可能在想别的事情。大家可能胡思乱想,你知道,但你还得站在他们面前去做艰苦的工作。
主持人:他们可能那么想,但您领导的团队没有一个人离开。
黄仁勋:他们找不到工作,我一直这么提醒他们。开玩笑的。我身边都是天才,很不可思议。NVIDIA 众所周知拥有全球最出色的管理团队,这是世界上技术最深厚的管理团队。我身边都是这样的人,他们都是天才。商业团队、市场团队、销售团队,都非常出色。工程团队、研究团队简直难以置信。是的。
主持人:您的员工说您的领导风格非常投入。您有 50 个直接下属。您鼓励各级员工向您发送他们认为五件最重要的事情,您不断提醒大家没有任何工作您看不上。能告诉我们您为什么设计这么扁平的组织结构吗?我们该如何思考未来要设计的组织架构?
黄仁勋:没有任何工作我看不上。别忘了我曾经真是个洗碗工。我洗过很多很多厕所,比你们所有人加起来还要多。那些画面挥之不去。我也不知道对你说什么,这就是生活。
你不可能给我一项我做不了的工作。我做事情不是仅仅因为它是否配得上我。如果你给我发东西想要我的意见,如果我能为你提供帮助跟你分享我的思考过程,那我就能有贡献,让你看到我是如何进行推理的。了解一个人处理事情的思考方式能赋予你力量。你会想:「天哪,原来你是这么思考这种事情的。」
其复杂程度不如你想象。你会知道原来这么处理模糊不清的事情,你会知道如何处理无法估计的事,你会知道如何处理看似很可怕的事情,你会知道怎么……明白吗?我一直在示范给大家怎么进行推理,战略——如何预测某事如何分解问题。你在不断地赋权众人。我就是这样看待这事的。如果你发东西给我审阅,我会尽力而为,然后让你知道我会怎么做。这个过程中我也从你那里学到了很多,对吧?你提供了大量的信息我学到了很多。
所以我觉得这个过程很有回报。有时候确实会很耗费精力为了给别人增值,他们本来就很聪明,我身边都是这种人。要想给他们增值,你至少要达到他们的水平。你必须进入他们的思维空间,这真的很难。需要消耗大量的情感和智力能量。在做完这样的事情后,我会感到精疲力竭。我身边很多优秀的人。
CEO 应该拥有最多的直接下属,因为能直接汇报给 CEO 的人需要的管理最少。若 CEO 的下属很少,在我看来毫无道理,除非说, CEO 知道的信息最有价值、最机密。他只能告诉给两三个人,这些人也只能告诉另外几个人。我不认同这种「你掌握的信息就是权力」的文化或环境。
我希望我们都能为公司做贡献,我们在公司中的地位应该取决于我们解决复杂问题的能力、带领他人取得卓越成就的能力、激发他人灵感的能力、赋能他人和支持他人的能力。这才是管理团队存在的目的——服务其他员工,创造有利条件让优秀人才愿意来为你工作,而不是去其他令人赞叹的高科技公司。他们选择、自愿来为你工作。因此,你应该创造出能让他们从事毕生工作的条件,这就是我的使命。
可能你已经听过我说这件事而我也相信这一点。我的工作很简单,就是要创造你能够做毕生工作的条件。那么我如何做到这一点?这种条件是什么样的呢?
嗯,这种条件会带来很大的自主性。只有当你了解环境时你才会获得这种自主性,对吗?你必须了解所处状况的背景才能想出好点子。我必须创造让你知晓背景情况的环境,你得有知情权。得到知情权的最佳方式是减少信息扭曲的层次。这就是为什么我很经常在这样的场合下进行推理。我会说,这是最初的事实,这是我们拥有的数据。我要这样进行推理,以下是一些假设。以下是一些未知因素,以下是一些已知因素。所以你就进行推理了。现在,你已经建立了一个高度自主的组织。
NVIDIA 有 3 万人。我们是世界上最小的超级公司。但每位员工都有很大自主权,每天帮我做明智决定。原因是他们理解我的状态。他们理解我的状态。我对人很透明,我相信我可以把信息托付给你。信息可能难理解、情况很复杂但我相信你可以应付。我对很多人说过「你们是成年人、可以应付这个的。」但有些人不是真正的成年人,只是刚毕业(开玩笑的)。我刚毕业时不能算成年人,但我幸运地被信任和托付。我想这样做。我想为人们创造能够做到这一点的条件。
主持人:我现在想谈谈大家都在想的话题——人工智能。上周,您说生成式人工智能和加速计算已经达到临界点。随着这项技术变得越来越主流。您最兴奋的应用是什么?
黄仁勋:你必须回归初心,问问自己什么是生成式人工智能?发生了什么事?我们有了可以理解事物的軟體它们可以理解为什么……我们将所有东西数字化了。基因测序,数字化基因。但这意味着什么呢?那串基因序列有什么意义?我们已经将氨基酸数字化但这是什么意思呢?我们现在有能力数字化文字、数字化声音,我们数字化影像和视频,我们数字化了很多东西。但是这意味着什么呢?通过大量学习、大量数据以及从模式和关系中,我们现在理解了它们的含义。我们不仅理解它们的意思还可以在它们之间进行转换,因为我们了解这些事物在同一个世界中的含义。
我们不是分开了解它们的。我们是在同一个上下文中学习口语、文字、段落和词汇。我们找到了它们之间的相关性,它们彼此都是有关联的。现在,我们不仅理解了模态、每个模态的含义,我们还明白如何在它们之间进行转换。显而易见的应用如:视频生成文本,就是字幕;文本生成影像如 Midjourney;以及文本生成文本如 ChatGPT,太神奇了。我们现在知道,我们理解了含义,还可以转换。某些事物的转换等同于信息生成。
突然间,你得退后一步扪心自问,这会对我们所做的每一件事的每一层面带来什么影响?我在你们面前练习、我在你们面前推理。和十几年前首次看到 AlexNet 时一样,当时我就这样推理。我看到什么了?多有意思?它能做什么?太酷了。最重要的是,这代表什么?对计算领網域的每一层意味着什么?
因为我们处于计算的世界。未来我们处理信息的方式将从根本上改变。这就是 NVIDIA 制造芯片和系统的原因。我们编写軟體的方式也会从根本上改变。我们未来的軟體类型会改变会催生新的应用程式。还有,这些应用程式的处理方式也会发生改变。
过去,模型基于检索预先记录的信息,我们编写文本、预先记录然后基于算法来检索。在未来,某些信息的种子将成为起点。我们称之为 Prompt 提示词,然后生成其它的内容。未来的计算将高度依赖生成。举例来说我们现在正在聊天。我告诉给你们的信息很少是检索所得。大多数是生成的,这就叫做生成式人工智能(AIGC)。未来计算机的运算会高度依赖生成,而非基于检索。
回到原点,你们创业时得自问哪些行业会因此被颠覆?我们还会对网络持有同样的看法吗?我们还会对存储持有同样的看法吗?我们还会像今天这样滥用互联网流量吗?可能不会。我们此刻在对话,但不是你每问个问题我就上车离开。我们不必像过去那样滥用信息传输。什么会更多出现?什么会减少?哪些新的应用程式?等等之类的问题。你可以审视整个行业格局自问:什么会被颠覆?什么会改变?会出现哪些新事物?诸如此类。推理过程始于「发生什么了?什么是生成式人工智能?」从根本上,到底什么正在发生?对所有问题都回归本质。
我还想聊聊组织架构,你之前提问我忘了回答。创建组织的方式得回归本质,别管其它公司的组织架构。你记住组织是用来做什么的。过去的架构是上面一个 CEO 下面是辅佐大臣,层层向下,最底层就是普通员工。这样设计的目的是希望员工获得的信息越少越好,因为士兵们的根本任务就是在战场上卖命。牺牲而不问,原因你们懂的。我只有 3 万名员工,我不希望任何人去送死。我希望他们质疑一切,能理解吗?过去的组织方式与今天的组织方式截然不同。
问题是「NVIDIA 要创造什么?」组织架构的目标,是让我们更好地去创造我们要创造的东西。大家创造的东西不同,为什么还要用相同的组织架构方式呢?为什么采用相同的组织架构、而不考虑你们要创造的是什么?毫无道理。你造计算机用一种架构去组织。你提供医疗服务还用完全相同的架构去组织。这完全说不通。你得回归本质自问:需要什么样的架构?输入是什么?输出是什么?这个环境有什么特性?这种动物必须生活在什么样的环境中?它的特性是什么?大部分情况下是稳定的吗?是不是每时每刻都努力榨干最后一滴水?还是时常变化、随时会被攻击?你得明白,作为 CEO 你的工作就是架构这个公司。这是我的首要工作——创造条件让你能做毕生的事业。架构必须正确你必须回归本质,思考这些问题。
我很幸运,在 29 岁的时候有机会退后一步思考:我如何为未来构建这家公司,它的样子会是怎样?它的作業系統是什么也就是企业文化?我们鼓励和推广哪些行为、不鼓励哪些行为?等等。
主持人:今年我们的主题是重新定义明天,嘉宾的一个问题是,作为英伟达的联合创始人和 CEO,如果您能闭上眼、神奇地改变关于明天的一件事,会是什么?
黄仁勋:我们是不是应该事先想想这个问题?要不然我会给您一个糟糕的答案。
我个人观点,世上有很多事我们无法控制,你的工作是做出独特贡献、有目标的生活,做一些只有你才能做或会去做的事。做出独特贡献,在你离开世界后,大家会觉得因为有你,世界变得更好了。对我来说我就是这样过日子的。我会快进到未来再往回看。你的问题其实和我思考问题的视角完全相反,我不从当前位置向前看,我快进到未来,再往回看。因为这么做更容易。我会往回看,翻看历史。我们用这种做法、那种方式解决了某些问题……说得通吗?
这有点像你们解决问题的方式。你搞清楚最终想要的结果,然后反推实现它的方法。所以我设想 NVIDIA 为推动计算领網域发展做出独特贡献,因为计算是推动整个人类进步的最大动力。这不是自我吹捧,而是因为这是我们擅长的领網域,且难度极高。我们坚信自己能做出绝对独特的贡献。到今天,公司已经走过了 31 年,但我们的征途才刚开始。这是极难的目标。当我回首往事时我相信我们会被铭记,成为一家改变了世界的公司,不是因为我们到处宣讲通过言行改变世界,而是因为我们坚持做一件难度极高的事,这件事是我们擅长、热爱而且做了很久。
观众:我是 GSP 项目的负责人。我的问题是:您如何看待公司在未来十年的发展?您认为公司会面临哪些挑战?以及您对此的策略是什么?
黄仁勋:首先,我能说说您提问题时我腦海中的想法吗?当您说「什么挑战」时一大堆挑战在我腦中闪过,以至于我当时在想选哪个说比较好。呈现在我腦海中的大多数都是技术挑战,因为我整个早上都在处理这些问题。但如果您昨天问,我可能想的大多是市场开拓相关的挑战。有些市场我也非常想开拓。能不能快点行动?但我们无法单枪匹马实现它。
NVIDIA 是一家技术平台型公司。我们服务于很多公司,希望我们的梦想能通过它们实现。有些事我很想看到比如让生物学领網域达到像 40 年前的芯片设计行业那样的状态。当年的计算机辅助设计(EDA)軟體、整个 EDA 产业,成就了我们今天所拥有的一切。我相信明天我们会让生物领網域也实现同样的突破。
今天,我们有能力将计算机辅助药物设计与基因、蛋白质、甚至细胞结合。我们非常非常接近能表示和理解细胞的含义,那是大量基因的组合。细胞代表着什么?如果我们能像理解文字那样理解细胞,想象一下前景。我迫不及待地期待那一天的到来对此感到很兴奋。还有一些我感到兴奋、确信马上要取得突破的领網域。比如,以人为导向的机器人技术非常接近取得突破。理由是,如果你能将语音进行切抽成单元并理解那么,为什么不能对动作进行同样的处理呢?因此,一旦你在某个领網域想通了这些计算机科学技术,就会去思考:既然能做这个为什么不能做那个?这些让我很兴奋。这个领網域的挑战是令人愉快的挑战。
当然,还有一些「不太愉快」的挑战, 比如产业问题、地缘政治问题和社会问题。你们应该都听说过这些了这些都是真实存在的问题。全球范围内的社会问题、地缘政治问题。为什么我们不能相处好呢?我们为什么要在世界上说那些话?为什么要说那些话然后在世界上放大它?为什么我们必须这么地批判别人呢?所有这些问题,你们都知道我不需要再重复一遍。
观众:我叫 Jose,我是 2023 年 GSB 班的学生。我的问题是:您是否对我们开发 AI 的速度感到任何担忧?您认为是否需要任何监管制度?谢谢。
黄仁勋:答案是肯定的也是否定的。现代 AI 最伟大的突破是深度学习,有了长足的进步。但另一个不可思议的突破是人类常有、常使用的一项能力。我们把它应用在语言模型上称为基础、强化学习、人为反馈。我每天都在提供强化学习与人为反馈。这就是我的工作。在场的各位家长,你们也一直在提供强化学习与人为反馈。如今,我们才弄清楚如何将这个系统性地应用在人工智能上。还有很多其它防范手段:例如,微调、基础。如何生成遵循物理定律的数据?
目前,有些模型生成的物体会在太空中飘、不遵循物理定律。这需要技术来解决。防范需要技术,微调需要技术,使 AI 与人类目标相一致需要技术,安全也需要技术。
飞机之所以安全,是因为所有的自动驾驶系统,都由多样性和冗余性系统支持, 还有各种各样新发明的功能安全和主动安全系统。我们需要更快、更快速地发明出所有与之类似的技术。安全和人工智能之间的界限网络安全和人工智能之间的界限将会变得模糊而紧密交融。在网络安全领網域,我们需要技术非常、非常快速地进步才能保护我们免受人工智能的伤害。
从很多方面来看,我们需要技术更快推进,远比现在快得多。监管有两类,有社会监管,我真不知道该如何处理;也有产品和服务监管,这点我非常清楚该怎么做。FAA 、 FDA 、 NITSA 等等各种联邦政府机构,它们针对特定用途的产品和服务有各种监管措施。律师行业有职业资格考试、医生行业也是,如此等等。你们都有资格认证考试。都有需要达到的标准都需持续考取资质认证。会计师行业也是如此等。
不管是产品还是服务都已经有很多、很多的监管制度。请不要再额外增加一套横跨所有行业的超级监管。监管会计行业的监管者不应该去监管医生。我喜欢会计师,但如果我需要做心脏搭桥手术,会计师能算账固然不错但显然不能做心脏搭桥。我希望已有产品和服务的监管在人工智能的背景下加强。
我漏掉了很重要的一个方面,那就是 AI 给社会带来的影响。如何应对呢?我没有很好的答案,不过已经足够多的人在讨论了。但重要的是把这一切划抽成很多个子问题。能理解吗?这样我们才不会过度聚焦于一个领網域,而忘记了大量常规领網域还可以做的事。那样的结果是,人们会死于车祸和飞机事故 —— 毫无道理。我们应该确保在那些领網域做到位。
很务实。(你们)能再问一个问题吗?
主持人:好吧,按照惯例,我们有些快问快答问题。
黄仁勋:好的,我一直努力避免来着。好的,好的,请开始。
主持人:您第一份工作是 Denny’s 餐厅,他们现给您设了专门的卡座。在那里的工作您最美好的记忆是什么?
黄仁勋:我第二份工作是 AMD,他们有给我设专门卡座吗?开玩笑啦。我很喜欢那份工作。真心喜欢那是一家很棒的公司。
主持人:如果全球各地都出现黑色皮夹克短缺,您会穿什么?
黄仁勋:我储备了一大堆黑色皮夹克,我是最不需要担心这个的人。
主持人:您谈了很多关于教科书的事。如果您要写一本,主题会是什么?
黄仁勋:我不会写的。您问的是一个假设性、毫无可能性实现的问题。
主持人:这很公平。最后,如果您能分享一条简短的建议给斯坦福,会是什么呢?
黄仁勋:拥有一个核心信念。每天都发自内心地检视目标竭尽全力追求、持之以恒地追求。和您爱的人一起,携手踏上正途。这就是 NVIDIA 的故事。
主持人:Jensen,和您聊的这一个小时太愉快了。感谢您抽出宝贵时间。
下面是黄仁勋另一场在SIEPR keynote会议上的对话,由讯飞听见、Kimi智能助手和ChatGPT进行 AI 翻译,钛媒体编辑进行部分人工整理和修正:
注:主持人为SIEPR前任董事长、斯坦福大学经济学名誉教授John Shoven,以下称他为"主持人"。
主持人:在我的一生中,我认为最大的半导体技术发展突破是晶体管。现在这是一个非常基础的发明,但我应该重新思考技术突破要变成人工智能吗?
黄仁勋: 首先,晶体管显然是一个伟大的发明,但最伟大的能力是它使得軟體成为可能。人类能够以可重复的计算方式表达我们的想法和算法,这是突破。我们公司在过去31年里致力于一种新的计算形式,称为加速计算。我们的想法是,通用计算并不适用于每一个工作领網域。我们说,为什么不发明一种新的计算方式,以便我们能够解决通用计算不适合解决的问题?我们在特定计算领網域有效地做到了这一点。这本质上是算法的可以并行化。我们已经将计算机的计算成本降低到接近零。
当你能够将某物的边际成本降低到接近零时,会发生什么?我们启用了一种新的軟體开发方式,过去是由人类编写的。现在我们可以让计算机来编写軟體,因为计算成本接近零。你不妨让计算机去处理大量的经验。我们称之为数据,数字经验,人类的数字经验,让它去发现关系和模式,从而代表人类知识。这个奇迹发生在大约十五年前。我们看到了这一点,我们让整个公司都投入到这个领網域。结果,在过去的10年里,我们将深度学习的计算成本降低了100万倍。
很多人说,Jensen,如果你将计算成本降低了100万倍,人们就会买得更少。但事实恰恰相反。我们看到,如果我们能够将计算的边际成本降低到接近零,我们可能会用它来做一些疯狂的事情。大型语言模型,从互联网上提取所有的数字人类知识,将其放入计算机中,让它找出知识是什么。这个想法,将整个互联网的内容刮取出来,放入一台计算机中,让计算机找出程式是什么,这是一个疯狂的概念,但如果没有将计算的边际成本降低到零,你永远不会考虑去做它。
我们取得了这个突破。现在我们启用了这种新的軟體开发方式。想象一下,对于那些对人工智能还不熟悉的人来说,我们找到了一种方法,让计算机理解几乎所有数字知识的含义,而不是模式。你可以数字化任何东西。我们可以理解它的含义。让我给你举个例子。基因测序是数字化基因。但现在有了大型语言模型,我们可以去理解基因的含义。通过质谱数字化的氨基酸。
现在我们可以从氨基酸序列中理解,不需要太多工作,我们就可以弄清楚蛋白质的结构。这在计算机的视角下和一张页面的文字没有什么不同。你让计算机问它,这是什么意思?总结它说了什么?这和基因、蛋白质有什么关系。因为我们正处于这一切的边缘。所以我会长篇大论地说,John,你完全正确。人工智能,这是我们称之为加速计算的新形式,我们花了三十年时间去做,可能是计算机行业最伟大的发明。
这可能是21世纪最重要的事情。
主持人:我同意这是21世纪的,但也许晶体管是20世纪的趋势,我们需要让历史来决定。那么,你能展望一下未来吗?我猜现在支持 AI 的GPU芯片是你们的H100,我知道你们正在推出H200,你们计划每年更新一次。那么,你能想象一下5年后的3月20日,你们正在推出H700吗?它会让我们做到我们现在做不到的事情吗?
黄仁勋:我会倒回去,但首先让我说一下John刚刚描述的芯片。正如我们所说,芯片,你们在座的每个人都可能见过芯片,你可能会想象有一个像这样的芯片。John刚刚描述的芯片重70磅。它由35,000个部分组成。其中8个部分来自台积电。这个芯片取代了一个数据中心的旧CPU,变成了一台计算机。
这些节省,因为我们计算得非常快,这个计算机的节省是难以置信的。
然而,它是世界上最昂贵的计算机。我们卖出了世界上第一个价值25万美元的芯片,但这个系统它所取代的,仅仅是连接所有这些旧计算机的电缆就比芯片贵。这就是我们所做的。我们重新发明了计算,结果,计算的边际成本降到了零。这就是你刚刚解释的。我们将整个数据中心压缩成了这一个芯片。它非常擅长于尝试这种计算形式,如果没有变得奇怪的话,我们称之为深度学习,它非常擅长于这个叫做人工智能的东西。这个芯片的工作原理,不仅仅是在芯片层面,而是在芯片层面、算法层面和数据中心层面,作为一个团队一起工作。所以当你看我们的一台计算机时,它是一件了不起的事情。
只有计算机工程师会觉得它了不起,但它确实了不起。它很重,有数百英里的电缆。下一个即将到来的是液冷技术,它在很多方面都很美。它以数据中心的规模进行计算。在未来的10年里,比如John所说的,我们将深度学习的计算能力再提高100万倍。当你这样做时,会发生什么?今天我们学习,然后我们应用。我们去训练推理,我们学习,然后我们应用。在未来,我们将有持续学习。我们可以决定是否将那个持续学习的结果部署到世界上的应用中,但计算机将观察视频和新文本,并从所有互动中不断改进自己。
学习过程和训练过程,训练过程和推理过程,训练过程和部署过程、应用过程都将成为一体。
这就是我们所做的。推理、训练、应用这套强化学习循环将是持续的,而强化学习将基于实时通过互动以及我们实时创造的合成数据。就像当你学习时,你获取信息的片段,然后你从第一原理开始,这应该是这样的。然后我们在我们的大腦中进行模拟,想象状态,未来状态在很多方面对我们来说表现为现实。
未来的人工智能计算机也会这样做。它会进行合成数据生成,它会进行强化学习,它将继续以真实世界的经验为基础。它会想象一些事情,它会用真实世界的经验来测试它。它会以此为基础。整个循环就是一个巨大的循环。当你能够将计算的边际成本降低到接近零时,就会有很多新的方法去做你愿意做的事情。这和我愿意去更远的地方没有什么不同,因为交通的边际成本已经降到了零。我可以相对便宜地从这里飞到纽约。如果它需要一个月,我可能永远不会去。这和我们所做的每件事都是一样的,我们将计算的边际成本降低到接近零。
因此,我们会做更多的计算。
主持人: 你可能知道,最近有一些报道说NVIDIA在推理市场上将面临比训练市场更多的竞争。但你所说的实际上是一个市场。你能评论一下吗?将会有一个单独的训练芯片市场和推理芯片市场吗?或者听起来你将会持续训练并切换到推理?也许在一个芯片内,我不知道,你为什么不解释一下。
黄仁勋: 今天,每当你提示NVIDIA,无论是ChatGPT还是Copilot,或者你现在使用的服务平台,你正在做推理。推理就在其中。
所以,它为你生成信息。每当你这样做时,背后的是什么?100%都是NVIDIA的GPU。所以NVIDIA,你们现在参与的平台,当你在做推理时,我们是世界上100%的推理。现在推理难还是容易?很多人,当他们看到训练时,他们会说,这看起来太难了。我不会去做那个。我是一个芯片公司,这看起来不像一个芯片。你必须为了证明某事是否有效而投入20亿美元。你投入了20亿美元,两年时间,然后你打开它,发现它并不是很有效。你投入了20亿美元和两年时间,探索新事物的风险对客户来说太高了。
所以很多竞争对手倾向于说我们不做训练,我们做推理。推理非常困难。让我们想一想。推理的响应时间必须非常快,但这是容易的部分。这是计算机科学部分。推理的难点在于,做推理的人的目标是吸引更多的用户,并将其軟體应用于庞大的安装基础。推理是一个安装基础问题。这和在iPhone上编写应用程式的人没有区别。他们这样做的原因是因为iPhone有一个如此庞大的安装基础。几乎每个人都有一部。如果你为那部手机编写一个应用程式,它将受益于能够触及每个人。在NVIDIA的情况下,我们的加速计算平台是唯一真正无处不在的加速计算平台。因为我们已经在这方面工作了很长时间,如果你为推理编写了一个应用程式,并在视频架构上部署了那个模型,它实际上可以在任何地方运行。
所以你可以触及每个人。你可以产生更大的影响。推理的问题实际上是安装基础。这需要巨大的耐心和多年的成功和奉献,以及对架构、兼容性等方面的投入。
主持人: 你制造了完全先进的芯片。但是,是否有可能你会面临激烈的竞争,虽然他们不如NVIDIA,但足够好且便宜得多。A(AMD)是一个威胁吗?
黄仁勋: 首先,我们比地球上任何人都有更多的竞争对手。我们不仅有来自竞争对手的竞争,我们还有来自客户的竞争。是的。我是他们即将设计一个芯片来取代我们的竞争对手,我完全知道这一点。我不仅向他们展示我当前的芯片。我还向他们展示我的下一个芯片,我还会展示我的芯片适配器。原因是,你看,如果你不尝试解释你为什么擅长某件事,他们永远不会有机会购买你的产品。
所以我们在与行业里的几乎每个人合作时都是完全开放的。我们的优势在于几件事情,我们的优势在于,你可以为一个特定的算法构建一个芯片。记住,计算不仅仅是Transformers。有一个叫做Transformers的概念。有各种各样的Transformers物种,而且我们正在发明新的Transformers。軟體的类型非常丰富。軟體工程师喜欢创造新事物,创新。我们希望NVIDIA擅长的是加速计算的广泛领網域。其中之一是数据中心的生成性AI,它希望拥有大量客户,其中一些在金融服务领網域,一些在制造业等等。在计算世界中,我们是一个伟大的标准。我们在每一个云中,我们在每一个计算机公司中。我们公司的架构在大约30年后成为了一种标准。所以这真的是我们的优势。如果客户可以做一些特定的事情,那更具有成本效益。坦白说,我甚至对这一点感到惊讶。
原因是这样的。记住,我们的芯片只是一部分。当你看到现在的计算机时,它不像筆記型電腦。它是一个数据中心,你需要运营它。所以购买和销售芯片的人考虑的是芯片的价格。运营数据中心的人考虑的是运营成本,我们的总拥有成本(TCO)非常好。即使竞争对手的芯片是免费的,它也不够便宜。我们的目标是增加如此多的价值,以至于替代品不仅仅是关于成本。这需要很多努力,我们必须不断创新。我们不能把任何事情视为理所当然。但我们有很多竞争对手。
主持人: 但也许不是每个人都知道,有一个术语叫做AGI。
黄仁勋: 我为那次回答道歉。我本可以更巧妙地处理。我会在下次做得更好,但他用一个竞争对手让我措手不及。我以为我在一个经济论坛上。
主持人: 我只是走进来。我向他的团队提出了一些问题。我说,你看过这些问题吗?他说,没有,我没有看。我想保持自发性。此外,我可能会开始考虑它,那会很糟糕。所以我们就这样即兴发挥。我们两个都是。所以我问,你认为我们什么时候会实现人类水平的通用人工智能?是50年后吗?还是5年后?你怎么看?
黄仁勋: 我会给出一个非常具体的答案。但首先,让我告诉你一些正在发生的非常令人兴奋的事情。
首先,我们正在训练这些模型,使它们具有多模态性,这意味着我们将从声音中学习,从文字中学习,从视觉中学习。我们只是看电视并从中学习,等等。这之所以如此重要,是因为人工智能需要有根基,不仅仅是人类价值观。这是Chat GPT真正创新的地方。我记得我们之前有大型语言模型,但直到强化学习,人类反馈,人类反馈,将人工智能扎根于我们感觉良好的人类价值观。
现在,你能想象,现在你必须生成影像和视频之类的东西吗?人工智能如何知道手不会穿透讲台,脚站在地面上,当你踩在水上时,你会掉进去。你必须在物理上扎根。
目前,人工智能必须通过观察大量不同的例子,理想情况下主要是视频,来学习世界中的某些属性。它必须创建一个所谓的世界模型。首先,我们必须理解多模态。还有许多其他模态,如我之前提到的基因和氨基酸、蛋白质和细胞,这导致了器官等等。所以我们希望多模态。第二是越来越强的推理能力。我们已经做了很多推理技能。常识是我们所有人都默认的推理。我们的许多知识,互联网上已经编码了推理,模型可以学习那个。但还有更高层次的推理能力。例如,有些问题你问我。
现在,当我们谈话时,我主要是在做生成性AI,我没有花太多时间推理问题。然而,有一些问题,比如规划问题,这很有趣。让我想想。我在腦海中循环,我提出了多个计划。我穿过树,我遍历我的图,我修剪我的树,说这没有意义,但我会玩,我会在腦海中模拟它,也许我会做一些计算等等。那种长思考,那种长思考AI今天不擅长。你提示ChatGPT的一切都是即时回应,我们希望提示ChatGPT给它一个使命声明,给它一个问题,让它思考一会儿。不是吗?
那种系统,计算机科学称之为系统思考或长思考或规划那些事情,推理和规划那些问题。我认为我们正在研究这些事情。我认为你可以看到一些突破。所以在未来,你与AI的互动方式将会非常不同。有些只是给我一个问题,回答。有些是说,这里有一个问题。去工作一会儿。明天告诉我,它会做尽可能多的计算。你也可以说,我要给你这个问题,花1000美元,但不要花超过那个。它会回来给出最好的答案,等等。
所以那个就是AGI的问题,AGI的定义是什么?事实上,这是最高的问题。现在,如果你问我,AGI是通过一系列非法测试,记住,工程师只能知道,工程师知道,我们在这个享有盛誉的组织中,没有人确切知道工程师需要有一个规范,你需要知道成功的标准是什么。你需要有一个测试。
现在,如果我给AI很多数学测试、推理测试、历史测试、生物学测试、医学考试和律师考试,以及你能想象到的每一个测试,你把这个测试列表放在计算机科学行业面前。我猜在5年的时间里,我们会在每一个测试中都做得很好。如果你对AGI的定义是它通过人类的测试,那么我会告诉你5年。如果你以稍微不同的方式问我,AGI将拥有人类智能。
但我不确定如何具体怎样定义你所定义的 AGI 。没有人真正知道,因此,作为一个工程师,很难实现。这有意义吗?所以答案是我们不确定,我们都在努力让它变得更好。
主持人:我要再问两个问题,然后我会把它交给在座的观众。第一个问题是,你能深入一点,谈谈你如何看待AI在药物发现中的作用?
黄仁勋: 我们理解拥有数字信息的含义。现在,我们有很多氨基酸,因为AlphaFold我们可以了解许多蛋白质的结构。
但问题是,这个蛋白质的含义是什么?这个蛋白质的功能是什么?如果我们能像和ChatGPT聊天一样,和PDF檔案聊天,你把PDF檔案,不管是什么,加载到Chat中,然后就像和研究人员聊天一样。你只是问,是什么激发了这项研究?它解决了什么问题?突破是什么?当时的艺术状态是什么?有什么新颖的想法?就像和人类一样聊天。在未来,当我们拿到一个蛋白质,把它放入Chat GPT,就像PDF一样,你是什么?什么酶激活你?什么让你开心?
例如,将会有一长串基因,你将代表一个细胞。你要把那个细胞放进去。你是什么?你有什么用?你擅长什么?你有什么希望和梦想?所以,这是我们可以做的最深刻的事情之一。如果我们能理解生物学的含义?你们知道,一旦我们理解了世界上几乎任何信息的含义,在计算机科学的世界里,在计算的世界里,杰出的工程师和杰出的科学家就知道该做什么。但这是一个突破,对生物学的多模态理解。
这是我对你的问题的深入和浅出的回答,我认为这可能是我们可以做的最深刻的事情。
主持人:俄勒冈州立大学和斯坦福大学真的很为你感到骄傲。如果我能稍微转换一下话题,斯坦福有很多有抱负的企业家、学生,他们可能是计算机科学专业的,或者是某种工程学专业。你会给他们什么建议,来提高成功的机会?
黄仁勋: 我认为我的一大优势是,我期望值很低。我认为大多数斯坦福毕业生期望值很高。你们应该有这样的期望,因为你们来自一所伟大的学校。你们非常成功,你们是你们班级的顶尖学生。显然,你们能够支付学费,然后你们毕业于这个星球上最好的机构之一。你们周围都是其他令人难以置信的孩子。你们天生就有很高的期望。期望值很高的人通常韧性很低。不幸的是,韧性在成功中很重要。我不知道如何教你们,除了我希望痛苦发生在你们身上。我很幸运,我成长的环境中,我的父母为我们提供了成功的条件,但同时,也有足够的挫折和痛苦的机会。
直到今天,我在我们公司里用"痛苦和折磨"这个词,非常高兴。
原因是,你想要训练,你想要塑造你公司的性格。你想要他们表现出伟大,伟大不是智力。伟大来自于性格,性格是由受过痛苦的聪明人形成的。
所以,如果我能为你们所有人许愿,我不知道怎么做。
主持人: 我将再问你一个问题。你看起来非常积极和充满活力。但是,你如何保持你的员工积极和充满活力,当他们可能比他们预期的要富有?
黄仁勋: 我被55个人——我的管理团队包围。所以我被直接报告的高管有55个人。我为他们中的任何一个都不写评价。我给他们不断的反馈,他们也为我提供同样的反馈。我给他们的报酬是Excel的右下角。我只需拖动它。实际上,我们的许多高管薪水完全相同。我知道这很奇怪。它有效,我不和他们中的任何一个进行一对一的会谈。除非他们需要我,否则我会为他们放下一切。我从不和他们单独开会。他们永远不会听到我只对他们说的话。我绝不会把任何信息告诉他们,而不告诉公司的其他人。
所以,我们公司的设计是为了敏捷,为了让信息尽可能快地流动,让人们能够通过他们能做什么而被赋予权力,而不是通过他们知道什么。
我得到了,答案是我的行为。
在其中,我如何庆祝成功?我如何庆祝失败?我如何谈论成功?我如何谈论挫折?我每天都在寻找机会,每天都在灌输公司的文化。什么是重要的?什么是不重要的?什么是好的?你如何将自己与好比较?你如何看待好?你如何看待旅程?你如何看待结果?所有这些都是我整天在做的事情。
主持人: 下面让我们开放一些问题,先从董事会成员Winston开始。
提问者: 我有两个问题。一、你的皮夹克的故事是什么?第二个是,根据你的预测和计算,未来5到10年,为了支持人工智能的发展,需要多少额外的半导体制造能力?
黄仁勋: 我感谢这两个问题。第一个问题,这是我妻子给我买的,这就是我穿的。因为我不做任何购物。一旦她找到不会让我痒的东西,因为她知道我从17岁起就认识我,她认为一切都会让我痒。
我说我不喜欢某样东西的方式是它让我痒。所以一旦她找到不会让我痒的东西,如果我看我的衣柜,整个衣柜都是衬衫,因为她不想再为我购物。所以这就是她给我买的,这就是我穿的。如果我不满意,我可以自己去购物。否则我可以穿它。对我来说足够好了。
第二个问题,关于预测,实际上,我非常不擅长预测,但我非常擅长基于第一原则的推理。所以让我先为你推理。我不知道需要多少晶圆厂,但我知道一件事。我们现在做计算的方式。信息是由某人编写的,由某人创建的。基本上是预先录制的所有文字,所有视频,所有声音。我们所做的一切都是基于检索的。这有意义吗?就像我说的,每次你触摸手机,记住,有人写了那个并存储在某个地方。所有模态都是预先录制的。在未来,因为我们将拥有一个理解当前情况的AI,因为它可以接入世界上所有最新的新闻等等,这被称为基于检索的。
好的?它理解你的上下文,意味着它理解你问的是什么。当你和我谈论经济时,我们可能意味着非常不同的事情。基于那个,它可以为你生成完全正确的信息。所以在未来,它已经理解了上下文。而且大部分计算将是生成性的。今天,100%的内容都是预先录制的。如果在未来,100%的内容将是生成性的。问题是,这将如何改变计算的形状,而不会让你感到困扰?这就是我推理的方式。
我们需要多少网络?我们需要多少内存?答案是,我们需要更多的晶圆厂。但请记住,我们也在极大地提高算法和处理的效率。并不是说计算的效率就是今天的样子。与此同时,需求正在上升。这必须相互抵消。然后还有技术扩散等等。这只是时间问题,但这并不改变这样一个事实,那就是有一天,世界上所有的计算机都将100%地改变。
每一个数据中心,价值数万亿美元的基础设施,将完全改变。然后还会有新的基础设施建立在那个基础上。
提问者: 感谢你今天的到来。所以最近你说,你鼓励学生不要学习编程。如果是这样,那可能意味着一两件事。你认为从公司成立和创业的角度来看,世界会变得像是由更多的公司组成,还是会变成只有几个大玩家的整合?
黄仁勋: 首先,我说得太差了,你重复得也太差了。我并没有说,如果你喜欢编程,那就去编程。如果你想要的是煎蛋,那就去做煎蛋。我不会编程,编程是一个推理过程。这是好事。它能确保你的工作吗?一点也不。世界上的程式员数量肯定会继续很重要。NVIDIA需要程式员。然而,在未来,你与计算机的互动方式不会是C++,至少对我们中的一些人来说不是。这是真的,但对你来说,为什么用Python编程这么奇怪?在未来,你会告诉计算机你想要什么。计算机会说,嗨,我想让你提出一个建造计划,包括所有供应商和建造材料,基于我们为你提供的预测。然后根据这个区網域所需的所有必要组件提出建造计划。
好的?然后如果你不喜欢那个,你可以写一个Python程式,我可以修改那个建造计划。所以记住,我第一次和计算机交谈时,我只是用英语说话。
第二次,如果你不喜欢,你可以用Python程式来修改建造计划。所以记住,我刚才说的第一点,我只是想用英语和计算机交流。所以英语,顺便说一下,是人类未来最好的编程语言。你如何与计算机交流?你如何提示它?这被称为提示工程。你如何与人交流?你如何与计算机交流?你如何让计算机做你想要的事情?你如何微调给计算机的指令?这就是提示工程的艺术。例如,大多数人对此感到惊讶,但这对我来说并不奇怪,但这是令人惊讶的。例如,你让我生成一张图片,一只小狗在夏威夷的冲浪板上,在日落时,然后它生成了一个,你说更可爱,让它更可爱。它回来了,更可爱,你又说没有比这更可爱的了。它回来了。为什么軟體会这样做?有一个结构性的原因。但例如,你需要知道计算机在未来有这样的能力。如果你不喜欢第一次的答案,你可以微调它,让它在你可以的上下文中给出更好的结果。
甚至有一天,你可以让它完全编写程式来生成那个结果。所以我要说的是,编程已经发生了变化,可能变得不那么有价值了。
另一方面,让我告诉你,因为人工智能,我们缩小了人类的技术差距。今天,大约有1000万人因为知道如何编程而有工作,这让其他80亿人落后。未来不是这样。我们都可以编程计算机。这有意义吗?你只需要看看YouTube,看看所有使用提示工程的人,所有的孩子,他们正在用它做出惊人的事情。他们不知道如何编程。他们只是和Chat GPT交谈,他们知道如果我告诉它做这个,它就会做那个。所以这和未来与人交流没有什么不同。这是计算机科学行业对世界的伟大贡献。我们缩小了技术差距。
提问者:非常感谢。我只是想知道,你考虑过地缘政治风险吗?你认为它会对你的行业产生什么影响?
黄仁勋: 地缘政治风险?我们几乎是地缘政治风险的典型例子。原因是我们制造了一种非常重要的人工智能工具,正如John和我早些时候讨论的,人工智能是这个时代的界定技术。
所以美国完全有权决定这种工具应该限制在它认为应该限制的国家。美国有这个权利,他们行使了这个权利。
那么,这与我们有什么影响?首先,我们必须理解这些政策,我们必须保持敏捷,以便我们能够遵守这些政策。一方面,它限制了我们在某些地方的机会,另一方面,它在其他地方打开了机会。
在过去的6到9个月里发生的一件事是,每个国家、每个社会的觉醒,他们必须控制自己的数字智能,印度不能外包它的数据,让某个国家将其转化为印度智能,然后将这种智能进口回印度,这种觉醒,即主权AI,你必须致力于控制你的主权AI,保护你的语言,保护你的文化,为你自己的行业。这种觉醒是我发生在过去的6到9个月里。
提问者: 我记得你提到过,你愿意为一定规模的客户定制解决方案,而不是像现在这样更通用的解决方案。你看到自己未来会这样做吗?
黄仁勋: 我们愿意定制吗?为什么现在的门槛相对较高?原因是,我们每一代平台,首先是GPU,还有CPU,还有网络处理器。有两种交换机。我为一代产品制造了五个芯片。人们认为这是一个芯片,但实际上是五个不同的芯片。每一个芯片的研发成本都是数亿美元。仅仅为了我们所说的发射,即我们的芯片设计完成,就需要数亿美元。
我每一代有五个这样的产品。然后你还得把它们放进一个系统中,然后你还得有网络设备,你还得有光通信设备,你还得有大量的軟體。运行像这个房间这么大的计算机需要大量的軟體。
所有这些都是复杂的。如果定制要求非常不同,那么你必须重复整个研发过程。然而,如果定制利用了我们现有的一切,并在此基础上增加了一些东西,那么这是非常有意义的。也许是一个专有的安全系统。也许是一个机密计算系统。也许是一种新的数值处理方式。这可能是可以扩展的。我们非常开放。
我们的客户知道,我愿意这样做,并认识到,如果你改变得太远,你就基本上浪费了我们走到现在所花费的近100亿美元,从头开始。所以他们希望尽可能地利用我们的生态系统。我很愿意这样做,他们知道这一点。
主持人: 那么,我认为我们需要结束了。非常感谢John和Jensen。