今天小编分享的互联网经验:知识管理+大模型,“1+N=2”工程化适配落地,欢迎阅读。
本文摘自《云栖战略参考》,这本刊物由阿里云与钛媒体联合策划。目的是为了把各个行业先行者的技术探索、业务实践呈现出来,与思考同样问题的 " 数字先行者 " 共同探讨、碰撞,希望这些内容能让你有所启发。
从大模型混战到 AI 原生应用涌现,耗时仅一年。如今,生成式人工智能 ( GenAI ) 早已从 C 端应用渗透进企业级 ( ToB ) 业务领網域,尤其是那些依赖于信息的专业化提炼加工、内容生成、信息传递分发的业务,成为 GenAI 渗透各个领網域最开始的 " 切口 "。
正如蓝凌研究院副院长黄德毅所说 :"GenAI 冲击最显著的领網域,首先是内容生成行业,比如媒体和法律服务。这些行业原来最大的价值体现是内容分析、生成和分发,但是当 AIGC 愈发成熟之后,内容制作的成本大幅降低甚至降为零,这导致原有的价值体系不可避免地瓦解。相应地,该行业的传统业务模式所承载的价值将 日渐式微,价值创造的重心转移到了分发的平台上。"
面临 GenAI 这样一个巨大的技术爆点,企业、数字化厂商以及周边的生态该如何去拥抱,从什么样的业务和场景作为切入点,成为新周期的第一个难题。
对蓝凌而言,通过大模型赋予知识管理业务新的活力,已经走出了一条可行的路。
智能更新方法论
要想搭上 GenAI 的东风,黄德毅院长根据蓝凌的经验,给出了一个解题思路——需要解构 AI 2.0 时代的底层逻辑,并筛选有价值场景,才能乘风而上。
首先,理解当前 GenAI 带来的第一价值点——降低依赖人的成本。
从个人角度,GenAI 大幅降低了内容工作者检索信息的时间成本和机会成本。通过大语言对话模型,对全网信息进行检索并生成流畅的回答,使得信息检索的目的性、准确性与提问内容更加匹配,为个人省略了大量信息的检索、筛选和再加工时间。
从组织角度,GenAI 打破了部门、组织间信息对称的壁垒,快速生成对应结果。部门、组织每天都会产生大量的结构化或非结构化数据,有些数据需要加工、处理分析,有些数据需要快速传递,GenAI 恰好可以快速地自动化生成、并被需要的人或组织检索到,大幅降低了信息组合、生成、传递的时间成本。
可以理解为,现阶段的 GenAI 摆脱了部分通识性认知对人的依赖,以更强的自动化大幅降低获得认知的成本。
其次,用合理的机制筛选高可行性场景。
近水楼台先得月,是当前 GenAI 拥抱业务的中心思想。
与内容强相关的业务天然与 GenAI 更容易擦出火花,聪明的市场也很快在探索中找到了一些场景,比如 MCN 产业的内容生成、游戏行业的影像生成、軟體开发领網域的 Coding 以及几乎所有企业都需要的知识管理。
再考虑当前 GenAI 暴露出来的一些短板——比如大模型幻觉,所以要考虑因为自动化带来的信息错误率,以及该场景对这种错误率的接受度因素。
这样就形成了基于内容强相关、内容容错率的筛选机制," 更合适 " 的业务场景逐渐清晰的被剥离出来。比如更具体的 MCN 脚本生成、游戏的插图生成、軟體开发的代码优化,以及在企业级知识管理场景下的搜索和问答,大模型加持带来了对原有业务质的提升。
所以总结来看,找出好的场景要重点考虑两个度——业务可自动化程度,业务对结果容错的忍耐度。
因此在更泛化、更通用性诉求中,企业知识管理场景脱颖而出。
企业应用 " 知识管理 + 大模型 " 的必备条件
任何一项足以改变时代的技术出现,都不会是一蹴而就的。
站在黄德毅院长的角度 :" 蓝凌拥抱大模型既是自身业务、产品的延续,也是企业客户对革命性技术加持业务的尝试。" 即蓝凌将知识管理业务与大模型结合落地到客户的业务当中去,需要有两个判断。一是判断在技术储备上与 AIGC 三要素的匹配,二是判断客户当下对大模型 + 知识管理的 " 合理幻想 "。
匹配 AIGC 三要素,即数据、算力、算法。
在数据准备上,知识管理从早期显性知识的文档管理、内容管理 ; 到云计算时期的包含行业知识、经验在内的隐性知识管理 ; 再到 AI 1.0 时期的知识场景化,推荐、搜索供给 ; 演进到现在 AI 2.0 阶段的大模型集约化、灵活化,革命性的将经验与数据一同萃取、输出,更精准的问答式供给。
这里的数据准备既有蓝凌对知识管理经验性数据的长期积累,也有客户自身业务数据、企业专业知识性数据的积累。同时满足这两类属性专有数据的基础量,才算达标 " 知识管理 + 大模型 " 的数据要素。
在算力准备上,目前大模型算力主要供给方式,一是云服务商的支撑,二是与算力服务商合作共建。而蓝凌的业务很早就与阿里云展开深度合作,在调用算力方面,阿里云作为国内领先的云服务商,能够保证算力的充足供给,并且公共云也是目前获得算力性价比最高的方式。
在算法准备上,基于国内知识管理领網域多年的深耕,蓝凌打磨出了一套知识管理的业务模型,在搜索、问答、流程等业务积累了优质的算法模型。
同时阿里通义大模型本身也有许多支持和针对知识管理的具体业务模型,蓝凌只需要做好自身算法模型与通义大模型的对接。
另一个判断,是从企业用户的需求出发,了解它们对大模型 + 知识管理的诉求是什么。
在知识管理场景下,企业对大模型的设想主要体现在两方面。
一是个体效率提升。例如,企业希望业务人员在更短时间内找到更好、更合适的案例用以展示输出 ; 领导想要看各类报表和数据时即刻就能查到相关内容 ; 新入职人员尽快了解规章制度投入工作等等。
二是辅助性诉求。例如,知识搜索助手自动化拆解案例行业、业务场景信息并构建案例图谱 ; 报表助手快速从所有数据中摘取答案并自然回答,同时标注来源 ; 新人助手随时回答交流,帮助新人快速成长上岗等。
在效率和加强辅助的基础上,安全性与成本也是企业用户非常关注的两大要素。
企业希望应用的 AI 知识管理在数据安全、模型安全、算法安全、技术伦理合规、应用本身安全等有所保障。
此外,企业需要以一种相对可控成本的方式去使用大模型能力,这就不得不考虑包括算力训练成本、专业人才成本、数据准备成本等不能绕开的支出项。
从准备条件来看,企业想要把 " 知识管理 + 大模型 " 成功落地,既要明确诉求的侧重点,也要评估数据、算法、算力、成本代价等硬性条件是否允许。
" 知识管理 + 大模型 " 的落地路径
" 知识管理 + 大模型 " 落地通常不是简单的 1+1=2 的公式。
黄德毅院长通过蓝凌大量的客户实践,将其总结为 "1+N=2",其中 "1" 为知识管理下的确定场景,"N" 为任意模型的组合。原因在于 AI 知识管理在现阶段几乎不可能只通过一个基础大模型就能达到业务目标。
例如在合同起草、签订、流转审批的场景下,需要通义千问、通义妙笔、通义法睿、语义向量模型同时支持,既有基础大模型,也有专有模型,又有私有模型一同协作,才能实现合同业务的正常流转。
而在知识管理领網域,又可细化出搜索、问答、合同、流程、报表、制度、培训等场景,面向这些不同的细分场景就需要不同模型的参与组合。
常见的搜索、问答会用到通义千问、语义向量模型、摘要模型、文档分类一同协作,生成信息抽取、生成式问答能力;报表、制度、流程等场景就会用到通义千问、通义妙笔、语义向量模型,生成代码能力、问答能力、 NL2SQL ( Natural Language To SQL,将用户输入的自然语言转为可执行的 SQL 语句 ) 能力,完成场景诉求。
当把这些具体场景放到更广泛的客户群体当中去时,其变量又会增加。比如客户的业务已经在不同的云上,也可能同时用私有云、专有云、公共云、混合云的业务承载方式,这就需要多模型的策略去实现业务落地。
所以,要在企业客户落地 " 知识管理 + 大模型 " 是一套复杂的 "1+N=2" 工程,这个复杂度更多的来自于客户原有的数字化基础特点与模型能力的垂直细分。
由此,黄德毅院长也给出了一个大模型的选型思路。他认为,经历过国产大模型的百模大战之后,当前国产大模型之间的能力差距并没有非常明显,企业在选择模型合作时,可以更多的考虑 ToB 属性。
在众多模型之中,通义大模型的 ToB 属性相对比较强,在模型能力、客户应用规模上都有基础,无论是面向客户还是面向生态,ToB 的业务场景数量足够多、足够细分,同时服务的经验相对更丰富,通义大模型现阶段在 ToB 产业链的宽度与长度可能会更有优势一些。
选型过后,将是落地大模型最难的部分——技术实践。
现阶段大模型的技术路线主要是三类:1. 直接使用大模型;2. 工程化适配,包括微调、提示工程、检索增强生成 ( Retrieval Augmented Generation,RAG ) 等方式;3. 自主研发。
显而易见的是,企业用何种技术路线实现大模型应用都逃不开大模型的 " 不可能三角 " ——即从成本、性能、效果的三角关系间取舍、权衡。
从当前企业用户的应用情况来看,对大模型的核心要求是稳定和价格可控。所以在遵循 " 不可能三角 " 条件下,蓝凌基本上排除自研大模型的路径。
黄德毅院长总结蓝凌的成功经验时提到:" 蓝凌在面向客户提供知识管理服务时,如果采用直接调用大模型,那么实际上得到的结果是大模型本身的知识,与企业特色化的业务有很大差距,从效果的呈现来看并没有给企业带去足够的价值。" 直接使用的路径也不太可行。
只剩下一条工程化适配的路。
在工程化适配的路径中,其中一种方式是基于开源模型,通过提示词工程、微调等多种方式,将业务落地。但从成本角度以及预期结果效果来看,企业用这种方式的 ROI 不好预测。
另一种方式是用企业内部的专属知识与闭源大模型的泛化能力、推理能力融合。把企业内部的知识、数据转化到大模型当中,将企业内部向量数据库和通义千问大模型对接,基于 RAG 等大模型工程化适配技术,利用大模型能力来处理带有企业属性的数据,并输出符合企业 属性的回答和生成式的内容。
通过大量的实践效果来看,根据企业用户的技术储备、成本、业务复杂度等多方因素综合评估,蓝凌将两种工程化适配的方式结合使用,更快、更灵活的将 " 知识管理 + 大模型 " 在企业端成功落地。
更好的 TC-PMF,预期更好的生产力
新技术、新产品体现的生命周期价值,一定要在效果当中反映出来,过去 ToB 的业务追求 PMF ( 产品市场契 合度 ) ,随着大模型的兴起,TC-PMF ( 技术成本与 产品市场契合度 ) 或将成为新的标准。
黄德毅院长认为:" 无论是蓝凌自身,亦或应用 " 知识管理 + 大模型 " 的企业客户,既是 GenAI 的开拓者也是红利受益者,都非常关注 TC-PMF,只是所站的角度不同。"
为了更高效地满足跨行业跨领網域客户的各类不同场景需求,蓝凌 AI-PaaS 使用了阿里云百炼大模型服务平台,进行各种大模型能力的一站式管理、调用和调优,以降低使用的成本和复杂性。
此外,百炼平台 " 开箱即用 " 的功能通过标准化的接口使模型间和系统间的对接更为快捷,进一步加速了应用开发进程。
简而言之,通过调用百炼平台上统一、即插即用的大模型能力,不仅提升了开发效率,还优化了资源利用效率,减少了对外部多方协调的依赖。
对蓝凌而言可能只需要在一个模型平台上就能获取足够的服务,极大降低了找模型、选模型、再训练、整合、实施、配置的成本,从而达到一个好的 TC-PMF。
站在蓝凌的视角,最理想的状况就是,通过与极少数大模型服务商进行合作,就能够获得全方位服务,简化前期选型交流和后期部署交付流程,避免跨厂商合作带来的高昂成本。希望将来阿里百炼平台能够推出更多模型种类,封装更多的细分场景模型,比如信息抽取模型、摘要模型、文档分类模型、专业模型等等,越是细分的模型组合越能支撑复杂的业务场景。
站在企业客户的视角,他们希望蓝凌带来的 " 知识管理 + 大模型 " 能大幅提升业务效能,甚至创造额外的业务价值,期待这种新技术、新产品能够帮助它们快速获得新周期的竞争优势,同时要在成本可控的前提下,更快速、更灵活的落地,更及时的响应服务调整。
两种视角的 TC-PMF 都对通义大模型提出了更高的技术和产品要求,也期待下一阶段的 AI Agent 产品,甚至更广义的 MaaS 服务或者模型中台产品诞生。
" 知识管理 + 大模型 " 给 AI 2.0 时代的 ToB 服务开了个好头,未来也必将诞生能力更强的模型产品、服务,助力产业链整体激发新质生产力。