今天小编分享的科学经验:文心全进化,开发者赴星河,欢迎阅读。
过去数十年信息革命的历史告诉我们,科技的成功,不在于产业规模的庞大,不在于设备数量的多寡,而在于人,在于人的想象力与创造力。
当少年在校园里开发出惊人的 AI 应用;当上班族用 AI 破解了困扰行业已久的难题;当一个普通人用成为开发者的方式实现了自己的梦想,这时我们才可以毫无疑问地说,科技成功了,AI 成功了。
2023 年以来,中国市场迎来了 " 百模赶考 " 的盛况。但当我们把视角放在具体的 AI 开发者身上,会察觉开发者能感受到的区别并不大。大部分 AI 大模型,都无法真正成为开发者手中的能力与工具。围绕大模型的 AI 开发者生态难以聚拢。模型与应用开发之间存在着较为明显的割裂。模型层面的技术进化,与开发者的真实需求之间存在着较为显著的代沟。
这种情况如何破局?大模型如何才能真正来到开发者手中?
在 4 月 16 日,以 " 创造未来 " 为主题的 Create 2024 百度 AI 开发者大会在深圳国际会展中心举办。期间,百度首席技术官王海峰以 " 技术筑基,星河璀璨 " 为主题发表演讲,解读了智能体、代码、多模型等多项文心大模型的关键技术和最新进展。王海峰表示," 未来,我们将继续投身人才培养,让人才的点点星光,汇成璀璨星河。智能时代,人人都是开发者,人人都是创造者,让我们一起,创造美好未来 "。
与绝大多数大模型项目,强调参数、精度等指标不同。文心大模型选择了另外一条路:深入开发者的需求与梦想,开发者需要什么,文心就做什么。
沿着这样的轨迹,文心一路进化,展现出了巨大的技术爆发力。这既奠定了文心大模型的规模化效应,也筑牢了它的长期发展方向。
文心的未来非常明确:把开发者的梦想联接在一起,就能组成 AI 大模型的璀璨星河。
何处是星河?
开发者的梦想就是星河
在今天我们已经可以明确地说,文心大模型是中国,乃至全球,技术进步最快,体系化更新最频繁的大模型之一。自去年 3 月 16 日发布知识增强大语言模型文心一言以来,百度不断推动文心大模型的更新迭代。
并且每一次版本更新都展现出核心技术的进化。文心速度,已经成为 AI 行业的独特风景。
比如说,在文心大模型 3.0 版本当中,全面加入了知识增强、检索增强和对话增强技术;文心 3.5 版本则带来了基础模型的全面更新,加入了精调技术创新、知识点增强、逻辑推理增强等能力;文心 4.0 则实现了万卡算力的大规模并行训练,通过与飞桨平台联合调优,带来了多维数据、多阶段对齐、可再生训练等技术能力。
在大幅度、高效率的更新过程中,文心大模型能力愈发强大,效果和性能全面提升。这时很多朋友会好奇,文心究竟如何挖掘这么多的技术更新方向?为什么要保持如此高强度的更新态势?
在 Create 2024,我们就可以找到答案。
在开发者的视角看来,AI 大模型正在带来跨世代的开发奇点。原本的应用开发边界一下被打破。AI 带来了数量庞大的新应用种类,带来了全面降低的开发门槛,以及前所未见的开发效率。但想要真正实现 AI 应用开发的梦想,还需要新的技术基础作为锚点。将 AI 大模型真正变为开发者手中的能力,在今天还要解决三大难题:
1. 如何将 AI 大模型作为基础,打破过往开发边界,将那些前所未有的开发创意变为可能?如何实现更加智能化、前沿化的 AI 开发?
2. 如何进一步降低开发门槛,实现低代码,甚至无代码的开发范式,从而实现人人都是 AI 开发者的时代愿景?
3. 如何降低开发成本,提升开发效率,进一步完善基于 AI 大模型的应用开发机制,让 AI 应用开发更加具备可操作性与可实现性?
打破边界、降低门槛、优化机制,是当前开发者对 AI 大模型最迫切的三个愿望。而在文心大模型的最新更新中,也恰好回应了开发者的需求。
王海峰说," 希望让人才的点点星光,汇成璀璨星河 "。
对于文心大模型来说,只有回应开发者的需求,了解开发者的愿望,才能点亮这些星光。
对于文心大模型来说,AI 开发者的梦想,就是以每个脚印所要奔赴的星河。
智能体
开发边界的跨越
首先让我们来看,文心大模型是如何打破开发边界,带给开发者最前沿的技术可能性。
在今天,全球 AI 行业最为热议的技术方向,就是智能体。具备思考、分析、推理等多元能力为一身的智能体机制,被广泛看好为 AI 技术的未来发展方向,同时也是大模型落地为 AI 原生应用的重要支点。
在去年 10 月,百度就在文心大模型中引入了智能体机制,王海峰分享了对于快思考与慢思考的理解。而在刚刚的 Create 2024 百度 AI 开发者大会中,文心大模型的技术架构中正式增加了智能体。王海峰表示," 智能体是重要的发展方向,会带来更多的应用爆发。智能体是在基础模型上,进一步进行思考增强训练,包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习,进而得到思考模型。智能体的思考模型像人一样,会阅读说明书,学习工具的使用方法,进而可以调用工具来完成任务 "。
在现场,王海峰演示了文心大模型 4.0 工具版上,如何调用工具。向文心一言提问," 我要到大湾区出差一周,想了解一下天气变化,好决定带什么衣服。请帮我查一下未来一周北京和深圳的温度,告诉我出差应该带什么衣服,并整理成表格 "。
面对这一系列复杂的提问,以及相当专业的信息整理、表格生成需求,文心一言中的智能体机制,可以像人一样进行思考、规划,从而将需求拆解成多个子任务,首先调用 " 高级联网 " 工具来查询天气信息,然后调用 " 代码解释器 " 画温度趋势图,进而根据未来一周的天气情况,选择了合适的衣物,最后对结果进行思考、确认,并自动汇总成一个表格。
这样的技术能力,已经远远打破了以往 AI 技术,乃至大模型技术的能力边界。开发者可以通过新的技术底座,探索更多样,更广袤的智能化未来。
打破边界,是文心 4.0 带给开发者第一份礼物。
智能代码
开发范式的革新
我们都知道,传统的应用开发范式,是基于不同编程语言的代码书写来实现的。而 AI 大模型带给开发范式的最大变革,在于大模型本身能够辅助生成代码,甚至完成无代码情况下的应用生成。
面向 AI 开发者与潜在 AI 开发者对于低门槛开发的广泛需求,百度基于文心大模型的自然语言的能力和代码能力,开发了代码智能体和智能代码助手。
其中,代码智能体可以实现无代码的应用开发,让人人都可以成为 AI 开发者。
代码智能体,在技术上是基于思考模型与代码解释器来实现。首先,思考模型会理解用户需求,经过思考,把完成任务的指令和相关信息整合成提示,输入给代码解释器。随后,代码解释器根据提示,把自然语言表达的用户需求翻译成代码并执行,得到执行结果或者调试信息。接着,思考模型对代码解释器的执行结果进行反思确认,如果正确,就把结果返回给用户,不正确就继续进行自主迭代更新。通过这样的逻辑机制,智能体可以充分理解用户的代码生成需求,并且为结果的正确负责,实现 "只要说说话,就能完成 AI 应用开发"。
智能代码助手,则可以帮助专业程式员更高效地、更便捷写出高质量代码。在模型效果不断提升的基础上,百度进一步构建了智能代码助手上下文增强、私網域知识增强、流程无缝集成等能力。
目前,智能代码助手 Comate 整体采纳率已经达到了 46%,新增代码中生成的比例已经达到了 27%。而 Comate 能力则可以把代码理解、生成、优化等能力无缝集成到研发流程的各个环节,帮助提升代码开发质量和效率。通过简单的指令,就可以快速了解整个代码的架构,甚至是每一个模块的具体实现逻辑,还可以根据当前的项目代码以及第三方代码自动生成满足要求的新代码,从而让开发人员的工作更加轻松,获得的支持与帮助更加立体。
代码辅助与无代码生成,是 AI 时代开发范式革新的根基。百度持续在这两方面发力,带给了 AI 开发者第二份重要的礼物——超低门槛的开发机遇。
多模型
开发机制的优化
除了智能体、代码能力之外,百度还着重推出了多模型技术。在开发者实际进行 AI 应用开发的过程中,对 AI 模型的调用和选择是非常复杂的,往往会出现需要根据不同场景进行多模型搭配,根据软硬體环境进行模型切换的问题。然而往往也就在多模型选择过程中,会出现各种各样的兼容难点以及不得已的取舍。
为了实现大模型应用在效果、效率与成本间的平衡,百度推出了多模型技术。
首先,是全面支持高效低成本的模型生产。为了实现高效低成本模型生产,百度研制了大小模型协同的训练机制,可以有效进行知识继承,高效生产高质量小模型,也可以利用小模型实现对比增强,帮助大模型的训练。
同时,百度建设了种子模型矩阵,数据提质与增强机制,以及从预训练、精调对齐、模型压缩到推理部署的配套工具链。高效低成本模型生产机制,可以助力应用开发的速度更快、成本更低、效果更好。
在多模型推理方面,百度研制了基于反馈学习的端到端多模型推理技术,构建了智能路由模型,进行端到端反馈学习,充分发挥不同模型处理不同任务的能力,达到效果、效率和成本的平衡。
面向未来,多模型成为 AI 大模型落地的主要趋势,而百度又一次领先一步,将其作为带给开发者的第三个礼物。
一路前进,终到星河
洞察开发者的需求,助力开发的梦想。这个简单的逻辑构筑了文心大模型前进的坐标,使其可以持续奔跑,一往无前。
除了智能体、代码和多模型技术,文心大模型还在诸多方面进行了持续创新,包括基于模型反馈闭环的数据体系、基于自反馈增强的大模型对齐技术,以及多模态技术等。总体而言,文心大模型 4.0 的效果持续提升,发布后的半年时间,提升了 52.5% 的整体效果。
而文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的全栈布局,尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到 98.8%,相比一年前文心一言发布时,训练效率提升到当时的 5.1 倍,推理 105 倍。
在持续的技术创新中,文心大模型成为 AI 开发者的首选。截至目前,飞桨文心生态已凝聚 1295 万开发者,服务 24.4 万家企事业部門,基于飞桨和文心创建了 89.5 万个模型。文心一言累计用户规模已达 2 亿,日均调用量也达到了 2 亿,满足了千行百业的智能化需求。
在关键的人才培养环节中,百度在 2020 年提出了 5 年为全社会培养 500 万 AI 人才的目标已经提前完成。文心加飞桨,已经成为 AI 开发者开启梦想之旅的不二选择。
以开发者的真实需求为导航,以开发者的普遍期待为路标,以开发者的伟大梦想为未来。
文心就是如此一路前进,一路保持了高速迭代与全面进化。
文心会持续向前,在无数 AI 开发者实现梦想的那一天,在中国科技全面唤醒新质生产力的那一天,在 AGI 曙光到来的那一天,我们星河相见。