今天小编分享的科技经验:大模型半年记:海选结束,正赛开始,欢迎阅读。
这可能是人工智能概念提出 70 年来,最魔幻的半年——上半段各路大神下场卡位,互联网传奇回归,广发英雄帖 " 抢人 ";下半段潮水渐退,人们迅速意识到,大模型不是神,落地才是它的终极归宿。
华为轮值董事长胡厚崑概括出了当下入局大模型的企业在做的两件大事,做大模型以及做大模型在不同行业的应用,所谓 "AI for science,AI for industry"。拓尔思总裁施水才直言,大模型的较量已经从比参数、拼算力、秀牛人过渡到了讲落地、谋收入、求价值。
" 局中人 " 那些分享里,有对大模型带来革命性变革的兴奋,也有对技术、安全、基础设施等的冷静思考。但这些并不妨碍诸多共识的达成,比如大模型绝不是一场华丽的烟花秀,它可能会重塑每一个行业,未来基础大模型和行业大模型将实现错位互补。
找行业,找场景,找价值,围观为期三天的世界人工智能大会,这一点变得越发明确。我们通过各种机会各种场合「对话局中人」,既为近距离观察大模型提供了一个切口,也足以意识到,大模型 " 落入俗套 " 的开始,或许也正是人工智能真正赋能生产力的开始。
百度集团科技与社会研究中心主任余欢:做大模型不是为了 " 打榜 "
ChatGPT 刚推出的前几个月,包括文心一言与大家见面的时候,人们确实存在各种各样的甚至有些不切实际的期待。但经历了一段时期的发展,人们在尝试将其落地的过程中,也发现一些原本认为大有可为的事情可能短期内很难实现,于是逐渐放弃了一些不合理的幻想。这就回到了最现实也最原始的问题,即我们要拿大模型做什么以及能不能做成,这个过程自然 " 挤掉 " 了一些新技术刚出现时带出的泡沫。
至于 " 买预期 " 的资本市场,本身就会存在一定的泡沫。任何一种新技术的出现都会伴随泡沫的产生。泡沫代表着期待与未来,我们与其关注泡沫的大小,不如关注泡沫是会砰地一下爆炸,还是会逐渐收缩后实现良性发展。
从长期来看,这一波 AI 的确定性非常高,只是无法一蹴而就的跨越式发展,一些场景的落地可能还需要更长时间的打磨。事实上,大模型的 To B 产业落地并不是那么功利性的,也不像 C 端应用,会在极短时间内膨胀成一个 " 爆款 "。最重要的是,我们要给大模型更多的耐心,给它一定的时间去发展。
虽然现在看起来大模型发展飞速,但整体上来说还处于刚刚通过 " 预赛 " 阶段。也就是说我们要在全球范围内参与竞争,首先要有上牌桌的能力,当下只能说是第一波海选结束了,一些选手突围,可以参与后面更见实力的竞争了。
从这个意义上说,正赛阶段可能也只是刚开始。以 ChatGPT、文心一言为代表的大模型,只是通用人工智能这个大方向的一个起点,让大家看到了一些可能性,即便是 " 中点 " 也相去甚远,毕竟全球范围内 AI 原生应用都尚未大规模落地。
下一个阶段,拼的就是体系化的实力了。未来,作出千亿级参数的模型可能并没有那么高的门槛,但做大模型不只是为了比赛 " 打榜 ",最终的目的仍然是要与产业相结合,这样才能体现出价值。实现这一目标,要拼技术,但也不能只拼技术,更需要看行业理解、服务能力和生态繁荣度。
九章云极 DataCanvas 联合创始人尚明栋:未来半年会有更多垂类模型落地并形成标杆示范
大模型的行业应用落地正处于起步阶段,这个阶段既充满了挑战,又充满了机遇。一方面,企业需要准备算力、数据以及基础軟體设施的更新,以适应大模型的需求;另一方面,大模型作为一种新事物,需要找到最容易体现其价值的业务场景结合点。
目前,大模型仍然面临着算力成本高的问题。通识模型至少需要拥有千亿参数规模以上,而垂类大模型的参数规模在 70 亿 -300 亿之间已经足够胜任。同时,随着 AI 基础軟體的算力调度和优化以及训练数据集质量的提升,大模型的训练、推理和管理成本正在逐步降低。
当我们真正将大模型的能力应用于各行各业时,大模型必然已经具备了低成本、便携性以及自主可控等条件。垂类模型的行业落地需要一个快速尝试、验证、调整、再迭代的过程。未来的半年将会有更多与行业结合的场景落地,从而形成行业的标杆示范。
这些先行行业往往是那些已经具备了一定小模型基础的企业,因此在大模型时代可以更加紧凑地将模型与业务结合起来,加速迭代过程。如果说 0-1 阶段是像小马过河般的探索阶段,那么基于现有的数据、算力以及 AI 基础軟體等基础设施,1-10 阶段将会是一个更加快速的普及过程。
云天励飞副总裁、AI 技术平台总经理肖嵘:可以考虑制定评测标准考验大模型 " 三观 "
传统的模型是训练一个模型只能做一件事,但生成式模型的特点是可以做通用性的应用,优点是通用,缺点就是准确性偏低,所以也就造成了生成式模型 " 幻觉 " 等情况的出现。
而且大模型的逻辑性也很弱,这就导致大模型在文生图、翻译、会议摘要等对准确性要求不高的场景中展现的能力还不错,但在一些对精度要求比较高的场景,如决策等方面的能力,依然还比较有限。
这就需要解决四个问题。首先是事实确认和引用,需要确保事实能够有效溯源。第二是工具的使用和外部知识整合,让语言模型知道什么时候调用什么样的工具、怎样调用工具、返回结果后又怎样整合到回复中。第三是逻辑推理,我们需要研究是否有更系统性的方法针对性地提升这方面能力。
第四就是持续学习,现在大模型结束一轮对话后,再开启新的对话,可能就会遗忘之前的内容。这种遗忘更多不是技术上要求的必须遗忘,而是我们并没有很好地解决这种学习问题,仍要担心大模型被 " 带跑偏 "。但其实学习能力是很重要的一件事,如果在一个新的问题上,通用智能的能力与人类还差一大截,那一定不能称为真正的智能。所以大模型就需要拥有持续学习的能力,并且能够在场景中提升这种能力,最终赶上人类或者超过人类,才能使模型真正具有价值。
而且大模型也会存在一定的安全问题,我们在训练模型后,这些数据都有泄露的风险。而且大模型在学习的过程中,如果 " 喂 " 的数据带有偏见,大模型也会对此进行吸收,进而形成自己的世界观、价值观,如果数据有问题的话,学出来的东西自然就是有问题的。为了解决这种安全问题,可以考虑通过制定评测标准、設定准入机制等,去考验大模型的 " 三观 " 是否有害。
英伟达中国区首席技术官赖俊杰:将任务负载从 CPU 移至 GPU,整体能耗将节省更多
过去 6-10 个月,我们观察到全球数据中心在计算问题上呈现出了两个重要的趋势,第一是以 ChatGPT 为代表的应用大大提升了人们对人机互動能达到的高度的期待,并在全球产学研等领網域引发了巨大浪潮,也引发了人们对于通用人工智能更多的思考和讨论。
第二点就是很多大型公司,特别是大型互联网公司,在面对越来越多的业务需求、用户请求时,逐渐遭遇功耗瓶颈。也就是说数据中心计算任务里面,人工智能大模型、AIGC 应用占比越来越高,对算力的要求也日渐提升,而算力也在一定程度上意味着更多能耗的投入。
针对第二个趋势,英伟达认为,在支撑同样多用户请求的前提下,如果能够将更多任务负载从 CPU 移植到 GPU 上,整体能耗将会节省很多。
当然这也不意味着 GPU 适合所有类型的工作负载。GPU 设计之初主要面向并发度比较高或者计算密集度比较高的并行类应用程式,我们仍然需要利用 CPU 去进行一般问题的解决。而且最近还出现一种趋势,即为了能够让 CPU、GPU 不同类型处理器之间高效且安全地传输数据,数据中心内部还需要一类新的处理器 DPU。
以前程式员在程式设计的时候,大多数时候只是抽象出一台计算机,扩充编程目标更多面向的一个 CPU。但随着人工智能、机器学习,特别是大模型在不同行业的应用,程式员在做分布式训练等任务的时候,要考虑的就不仅仅是一台计算机或者一颗 CPU 那么简单,而是要考虑整个数据中心如何高效利用起来,也就是说,数据中心越来越成为新的计算单元。
蚂蚁集团机器智能部副总经理、蚂蚁安全天筭实验室主任张天翼:大模型的风险解决没有灵丹妙药
大模型带来的长远价值已经成为一种共识,在算力、数据等方面,一些大公司可能会有先发优势,但大模型同时带来的也是全生态的机会,一些很小的企业也可能在下游应用上迅速打开局面。在这种背景下,未来做大模型的门槛可能更需要从风险和风控的角度来理解。
大模型更广泛的应用带来了很多风险隐患,比如内容安全、隐私、合规、伦理等难以界定的问题,一旦一个厂商提供这样深层次的内容服务时,必然会在行业自律或者监管角度面临更高要求,也就是说风险自律及本身可控生成的能力,会成为未来大模型实力水平很重要的门槛。
具体而言,大模型的风险可以划分为三类,第一技术类风险,模型本身是否会被攻击、突破和劫持,第二是产业风险,是否会带来垄断和劳动替代,第三是社会内容类风险。
大模型的风险要如何解决,这不是一颗灵丹妙药就能立刻解决的问题,而是一个长期对抗和博弈发展的过程。一个例子是,现在安全行业有一个很直接的应用,就是利用大模型来对抗更多大模型当中的风险,这可能也会是一个用魔法打败魔法的必然方向。
北京商报记者 杨月涵