今天小编分享的财经经验：大模型服务：千锤“百炼”，得其筋骨，欢迎阅读。
本文摘自《云栖战略参考》，这本刊物由阿里云与钛媒体联合策划。目的是为了把各个行业先行者的技术探索、业务实践呈现出来，与思考同样问题的 " 数字先行者 " 共同探讨、碰撞，希望这些内容能让你有所启发。
本文根据作者与通义实验室创新业务中心负责人陈海青的对话整理
可以说，" 百模大战 " 的开始有多喧嚣，结束就有多潦草。行业公认的是，基础预训练大模型最终将收敛到少数几家。更激进的观点是，当下百模大战已经结束，中国市场真正有实力留存下来做基础模型的厂商，或许不超过 10 家，未来随着市场竞争，这一数字可能还会进一步减少。
下一轮 AI，接棒基础大模型热度的是大模型应用，美国市场当下以 GPT 和 Llama 为主导的闭源与开源大模型两大阵营已基本成型。所以在美国市场大家都开始卷应用，基本上没人再去卷基础模型，这也将成为中国市场接下来的发展方向。
对于企业而言，应用场景的技术能力迭代极快，对于降本提效有着更高的要求。灵活、便捷、低门槛便成为大模型应用开发的必备条件。在 2023 年云栖大会上，阿里云 CTO 周靖人发布了一站式大模型应用开发平台——阿里云百炼。
该平台集成了国内外主流优质大模型，提供模型选型、微调训练、安全套件、模型部署等服务和全链路的应用开发工具，为用户简化了底层算力部署、模型预训练、工具开发等复杂工作。开发者可在 5 分钟内开发一款大模型应用，几小时即可 " 炼 " 出一个企业专属模型，开发者可把更多精力专注于应用创新。
一款大模型应用，是如何千锤 " 百炼 " 而来 ?
AI Agent，从基础模型到大应用的桥梁
大模型时代，所有 APP 都值得被重做一遍。
举个例子，假设一家金融公司做一个应用，原来的工作流模式是在垂直领網域构建从算法、工程、产品到业务的闭环，从金融业收集数据，组建算法团队、产品团队，面向这个领網域做分类，采用监督、无监督、半监督等深度学习的方法，构建金融领網域的垂直分类应用。
大模型时代，基础模型或 SFT ( Supervised Fine-tuning ) 模型自身在不断的修炼更新过程中已经具备了垂直领網域的基本认知。企业只需要微调模型，甚至是不调模型，通过 Prompt Engineering，再结合 Plugin 的方式完成一个 APP。节约下来的精力，可以让企业更专注于专业網域的差异化竞争力。
从底层逻辑来看，大模型其实改变了社会生产力和生产关系，它所展现出来的效率效果不可同日而语。大家会发现基于大模型，小而美的东西越来越多，像原来构建一个业务场景，过去少说也得二三十个人，现在可能几个人的公司就可以做类似的场景，这是生产关系和生产力上的变化。
在大模型之下，不是在一个个垂直领網域解决问题，而是用 All-in-one 的模型解决某个垂直行业多个下游任务的模型和应用场景，带来体系化的解决方案，用户体验和效率就有极大提升，这也是这一代技术相较上一代技术的巨大变化，值得每一个开发者关注。
对于不同的企业，开发大模型应用主要有两种需求。
第一种，中小企业更聚焦在应用场景，这种场景可能不需要做模型的任何调优，而是基于平台已有的应用场景 Agent，或者通过基础模型加上 Prompts 就能直接应用。此时开发者只需要两步工作，第一步，选择合适的模型 ; 第二步，在模型上面加上 Prompts 或者去构建流程和 Agent; 再简单一点，也可以直接从阿里云应用广场选择合适的 Agent 使用，需要更改的仅是本身应用实时接口和能力对接。
第二种，对于中大型企业或者行业生态合作伙伴，需要基于更加专精的下游任务进行调优。前面的步骤和中小企业基本相同，只会多一步流程，即结合已有标注数据，选择模型去做模型的 SFT 和微调评测。
AI Agent 将会是业界内外更加关注的环节。在 OpenAI 发布 GPTs 之前，海青就坚定认为，Agent 一定是从基础大模型衔接深层次行业应用的重要桥梁。在他看来，未来可能没有 APP Store，而会变成 Ability Store，也就是变成了各行各业的能力。
AI Agent 到底是什么 ?
从应用角度出发，数据的最终场景是 AI，AI 的最终场景需要通过 Agent 触达。从技术角度出发，Agent 通过 API 实现大模型的实时调用，灌注场景数据集结为更专注的存储记忆 ( Memory ) 与上下文理解能力，从而灵活应对并解决具体的下游实际任务场景和需求。这些集成与增强的能力可以统称为 Ability。
APP 与 Ability 的区别在于，APP 通常是指针对特定需求设计的軟體应用，其逻辑遵循从专业领網域的垂直工程、特定算法的应用到数据的完整闭环。例如淘宝 APP 就是一个专门为线上购物打造的垂直应用场景。
相较之下，Ability 则代表了一种从传统的垂直领網域构建，转向更为综合、一体化的模型发展趋势。这种变化得益于基础模型深度增强，不再局限于单一场景，而是从垂直领網域的构建方式变成了一个 All-in-one 的模型。通过这样的基础模型，我们能够轻松构建跨越多个领網域的应用程式。随着这种趋势的发展，未来各个领網域的应用创新和成长就会变得更加便捷和高效。
所以，在大模型上长出众多 Ability 的过程中，Agent 扮演着至关重要的角色，其不仅是能力的承载者，也是实现这些能力与具体应用场景连接的桥梁。
百炼，" 炼 " 了什么
大模型的应用与传统依赖 CPU 为核心的应用有所不同，它转向对高性能 GPU、高速网络和高效存储的强依赖，但并不是所有企业都有能力自行构建和维护这样的基础设施。因此，大模型的兴起正推动应用逐渐转移到云端。真实案例显示，许多以前倾向于专有化部署的企业，如今也开始探索将应用迁移到公共云，从而进一步推动了公共云上应用和安全技术的发展。
通义千问在今年 4 月 11 日进行了全面发布，其实早在 2 月底，阿里云就已经着手相应功能的研发。那时 " 百炼 " 还不叫 " 百炼平台 "，其最初定位是一个产品，是围绕大模型提供一系列面向开发者或者企业的模型工具，是以流程编排为主的工具。
随着百模大战兴起，大模型竞争逐渐升温，企业面临着怎么用及如何用好大模型的挑战。首先，企业需要对模型进行精细调整 ( Fine-tune ) ，确保企业能够与其本身所在的行业需求及企业的下游任务紧密对齐。这就映射到模型该怎么做微调，甚至做持续训练。
其次，在应用层面不可能只依赖一个静态的 API 或者能力，无论是特定领網域的 SFT 模型还是通用的基础模型，都需要去思考如何通过搜索增强的生成方式，或结合插件 API 的方式和能力等一系列应用工具，与企业真实的场景和实时数据接轨。
第三，数据安全也是一大挑战。大模型应用不仅要符合中国的法律法规，还要确保遵循舆论安全、文本安全、安全部署等一系列规则。
基于这些考量，阿里云围绕离线训练、在线工具，再加上安全等功能内测，在 2023 年云栖大会上，" 阿里云百炼 " 正式亮相。
同时，阿里云也有了新的思考。百炼作为阿里云的大模型应用开发平台，不能只支持通义大模型系列。业界还有大量优秀的基础大模型、SFT 模型和行业模型，它们同样需要基于云的基础设施做工具和场景，形成多模型、统一化、可视化的平台能力，成为面向开发者的一站式应用开发平台。
百炼的出现，也预示着在大模型时代，类似百炼这种大模型应用开发平台会成为未来大模型軟體开发的主导角色。所有的国内厂商应该会与美国市场一样，更关注于大模型应用，而不是再去卷基础模型。
对于大模型应用开发者而言，不管是什么开发平台，目前的核心都不是軟體本身，而是成本。本质上客户选择的不是大模型开发平台，而是基于云计算基础设施和能力，从而获得更高的性价比和投资回报率 ( ROI ) 。
以一个简单例子来阐述，企业和开发者所关注的焦点在于 : 基于阿里云百炼平台深化大模型应用 ( 实质上是利用阿里云的基础设施所构建的模型 ) 是否能够实现更高效率和成本效益 ( 即 " 多快好省 " ) ; 大模型能否与具体的下游场景和业务领網域有效结合，以打造出符合行业需求的定制模型或者专属模型 ; 以及平台提供的 Agent 是否足以强化应用。当企业聚焦于特定的下游场景时，他们更希望通过模板化、流程化、系统化、配置化的方式简化对下游任务的构建和 API 的调用。
目前，百炼平台上的軟體工具全免费，用户在百炼平台上选择模型之后，将根据模型的离线和在线使用量支付费用，这也就是所谓的 token 计费方式。如果客户进行了特定领網域的微调 ( SFT ) ，或选择在公共云上进行 VPC 的独立部署，这类模型将采用安全網域内的部署方式，这种情况下，就会基于硬體加模型的综合使用来制定定价策略。
随着应用需求的不断演进，阿里云百炼平台的未来发展将持续扩展。今天的百炼已经实现了从无到有的跨越，打造成为了一个覆盖从基础模型研发到应用部署的全面平台。结合未来大模型在应用化的发展，百炼平台有三个大的发展方向 :
首先，对于离线特定领網域微调 ( SFT ) 而言，更多还是把配置化的能力和参数开放出来，致力于提供更为直观、易操作的工具，例如提供 SFT 模板和能力，帮助客户快速搭建满足下游任务的场景。此外，对于离线模板化、评测工具的更新和效能提升也是关键点。
第二个方向是围绕 Agent 概念建立应用平台。百炼预计将推出以 Agent 为核心的平台能力，这将极大的助力开发者和企业快速开发和部署应用。换句话说，就是在百炼上，基于基础模型或者行业模型开发出更多的 Agent 模板，或者构建 Agent 工具，打造一个 Agent 构建能力和 Agent 模板体系。
第三个方向是数据安全。随着企业和开发者不断增加，面向数据安全網域的平台化能力将持续更新，从而进一步保障客户的 API 数据和上传数据的整体安全，甚至会推出基于 VPC 的数据安全網域的部署模式，以此构建一个大模型应用安全体系。
被大模型改造的应用
一个大模型应用是如何被改造的 ? 以天猫精灵为例，天猫精灵是一个天然的个人助理类产品和场景，从主链路来讲，上一代模型是以意图为识别，基于检索或者知识匹配的逻辑，这也造成了过去的天猫精灵对世界知识的了解比较窄，这也是第一个改造部分。天猫精灵通过大模型增强了知识網域的宽度，原来很多无法回答的问题现在有了新的答案。
第二个改造部分就涉及很多与内容场景的连接，比如查天气情况、订机票，甚至做淘宝的退款。天猫精灵原来的做法是通过一个任务流程的配置系统 AliGenie 实现，现在是通过大模型 COT ( Chain-of-thought，思维链 ) 的插件能力，来做整体的融合和更新。如此，使得天猫精灵调用每个 API 变得更加语义化和场景化。
第三部分，随着大模型向多模态领網域拓展，我们开始见证它在文本生成影像 ( 文生图 ) 和语音处理方面的发展。这些进展对于天猫精灵来讲，具备多模态能力的天猫精灵能够显著扩展其业务场景的边界。比如通过带螢幕的硬體，天猫精灵就能做到更多内容衔接以外的核心能力，在教育场景、音乐场景等有更好的沉浸式体验。
早期阿里云百炼平台上的客户，更多还是阿里云上的企业用户。随着时间的推移，百炼平台涌入了非常多的开发者，给阿里云提出了各种各样的需求，例如更好的 Prompt Engineering 模板，更好的模型校正或者模型的使用方式等。
开发者也对百炼平台的大模型评测提供了很多的意见，一个模型评测的构建很重要，百炼与各大厂商有一个很大的区别，评测做的特别综合，从单独的评测标注到多轮评测，结合 Elo 评测，甚至还有一张表，列举出各个模型在世界知识、推理、代码、数学的表现，百炼平台需要帮助客户更好地评测他构建的模型，以及提供选择模型的参考。
开发者使用百炼的过程中，也加速了百炼平台以及大模型应用的发展。从百炼平台可以观察到，搜索增强类应用异军突起，而且是现在企业或者个人应用最广泛的应用。数据分析类应用排名靠前，将自然语言转换为机器语言，去比较不同的数据和查询，甚至做深度的数据分析，这会成为一个主流趋势。
另外就是综合性 NLP ( Natural Language Processing，自然语言处理 ) 的发展，原来基础 NLP 会抽成文本分类、文本摘要、实体识别、情感分类等领網域，现在很多客户用一个大模型同时完成基础 NLP 的多个任务，帮助他做整体的数据结构化。此外泛写作类，如新闻写作、公文写作也有很大的应用数量。
大模型应用的表象炫人眼目，但内里却早已发生了巨变，通过千锤 " 百炼 "，得其筋骨，大模型应用才能一步步丰满起来。
本文摘自《云栖战略参考》总第 15 期
扫码限时申领纸质版
↓↓
