今天小编分享的科学经验:腾讯云祭出行业大模型平台:鹅厂开搞「量体裁衣」,花小成本用大模型,欢迎阅读。
大模型浪潮,鹅厂给出了第一波明确回应。
昨天,腾讯云带着行业大模型平台,掀开腾讯大模型战略的一角。
切入方向十分明确——服务产业界。
在腾讯云举办的行业大模型及智能应用技术峰会上,所有疑问和好奇,都在现场演示中有了解答。
该行业大模型平台,技术底座来自腾讯全栈能力,提供高性能计算集群 HCC、高性能网络、向量数据库等基础设施。
依托腾讯云 TI 平台,将能力对外输出,向产业界用户提供 MaaS(Model as a service)服务。
平台的能力,已同步支持腾讯自家业务,如腾讯会议、腾讯企点等。
当下,ChatGPT 方兴未艾,面对转瞬即逝的机会,没有哪家云厂商能坐视不理,腾讯云自然也不例外。
在这场异常激烈的竞争中,腾讯云的策略是什么?背后动因如何?又有哪些亮点值得关注?
腾讯云行业大模型平台是什么?
要回答上述问题,就要先感知腾讯云行业大模型平台的庐山真面目。
腾讯云行业大模型平台,顾名思义,功能是以不同产业需求场景出发,提供 MaaS 一站式服务,让千行百业使用大模型的门槛往低了降。
这是腾讯云在围绕行业大模型平台的快速布局中,从一开始就有的精准目标:解决千行百业 " 想用大模型而用不上 " 这个痛点。
也是无数行业在大模型时代的焦虑来源。
毕竟面对大模型贪婪汲取的算力,企业和机构或缺乏,或根本没有,无法进行训练和推理,不得不将求助的目光投向云厂商。而打造一个大模型所需的数据,需要进行搜集、整理、清晰洗、标注等层层加工,繁杂的步骤和专业需求无疑是雪上加霜。
再者说,为确保业务使用的效果和可持续性,自研大模型的成本对企业和机构来说已是天文数字,更别提难以迈出的第一步——计算资源、网络带宽、安全性等方面的经验和人才,都不是各个行业本身所擅长的。
于是引出腾讯云为行业大模型平台提出的基本理念:量体裁衣、普惠适用。
换一句更好理解的通俗说法,腾讯云想做和正在做的事,是把大模型能力放在一个平台上向外花式输出。需要大模型提供支持的行业面对腾讯云行业大模型平台时,就像在面对一个货架摆满、品类丰富的精选商店。
按需挑选,需要什么,就拿什么。
活动现场,腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声进行了实时演示,以证明 " 量体裁衣 " 后的模型对拥有不同场景的企业来说更加好用。
端午节小长假在即,吴运声抛出了一个很贴生活的问题,让大模型规划行程,要求是:
我和孩子都是历史人文爱好者,端午想去上海周边,预算在 5000 以内,最好每天去 2 个不同的景点玩。
通用大模型很快给出了 3 天假期的大致规划。
感受下来,能为出行做大方向的参考,但相对简略,不是最理想的保姆级出行指南。
于是,吴运声加入了一些旅游相关的行业场景数据,给模型喂了 2 个江浙沪旅游攻略,及 1 份苏州旅游攻略。
而后面对同样的提问,大模型给出的端午旅游规划就细致了许多,不仅有每天的旅程安排,还含有旅游景点的相关简介。
如果接入旅游领網域企业用户的 API 呢?
除了出行的交通方式和景点安排,所涉及景点的实时票价,提问人也能及时在大模型规划的行程中获得了。
而且此模式(腾讯云称之为 " 大模型精调 ")中,大模型还开启了上网检索功能,查询酒店特色、房价等消息是小菜一碟。
能够感知到,此时的大模型给出的建议服务更加人性化," 实现了服务到商业的闭环 "。
现场演示仅针对旅游行业一家而言,但这样的需求并不局限在旅游场景中。
针对差异化需求应运而生后,所有有使用大模型需求的行业伸出一只援手。
如腾讯集团高级执行副总裁云与智慧产业事业群 CEO汤道生所说,实际生活中,腾讯云行业大模型平台已经把产业场景当作了大模型的最佳练兵场。
目前,腾讯云行业大模型平台已经涵盖金融、传媒、文旅、政务、教育等 10 多个行业场景,提供 50+ 大模型解决方案。
所以具体来看,腾讯云提出的行业大模型平台,将如何帮助他们解决面临的这些问题?
输出自家沉淀能力
总体来看,腾讯云构建行业大模型平台的思路,是尽可能提供更加底层强大、覆盖全面、落地便捷的能力。
而且诚意满满,一次性掏出了腾讯云及腾讯积累多年的技术能力、工程经验及创新成果,并已率先在自家业务上落地应用。
技术方面,腾讯云行业大模型平台的亮点可分为三部分:
模型层面
平台工具
流程方法、配套裝务、安全保障
首先来看底层模型,这也是大模型平台的核心。
腾讯云 TI 平台支持企业用户直接结合自身场景数据按需定制精调模型,或者按照所需开展多模型训练任务,让企业用户能更加灵活地调用大模型能力。
平台上内置了多个行业大模型,可以满足金融、传媒、文旅、政务、教育等领網域的需求。
在模型层的具体能力上,腾讯云 TI 平台还在降本增效和简单易用上提出了四大亮点:
第一是低成本训练和推理,这也是企业用户在使用大模型时首要关心的事。腾讯云 TI 平台实现了在少量算力基础上,可提升特定任务的效果;并选择专注产业场景,降低训练成本、缩短训练周期。
第二是无需配置对话 + 支持 API 调用。快速接入调用产业用户 API 接口,能够端到端高质量完成多轮服务。
第三是高效触达网络知识。这也是大模型的发展趋势,如 ChatGPT 已经推出联网插件,回答体验立马提升。腾讯云 TI 平台通过搜索引擎获取网络知识,更广泛和实时的信息,能有效提高回答的多样性和相关性。
第四是高时效、快速更新。目前阶段大模型能获取和理解多少信息,会直接影响它的表现。在这方面,腾讯云建立了实时更新的大模型向量数据库,让大模型阅读理解的长度从 2k 字增长到 8k,翻了 4 倍。
其次来看平台工具方面。
TI-ONE 平台提供了完善的大模型工具链,覆盖数据标注、训练、评估、测试和部署等。同时具备多机多卡训练加速能力,能快速进行一站式大模型微调。
△腾讯云 TI 平台行业大模型精调解决方案流程图
在算力方面,腾讯云今年 4 月发布了面向大模型训练的新一代 HCC(High-Performance Computing Cluster)高性能计算集群,具备 3.2Tbps 业界最高互联网带宽,算力性能提升 3 倍。
它采用最新一代腾讯云星海自研伺服器,结合多层加速的高性能存储系统,加上高带宽、低延迟的网络传输。
数据方面,上面提到的实时更新腾讯云向量数据库(Tecent Cloud Vector DB),是腾讯自研、基于内部多年运营积累的分布式向量数据库,已经过腾讯海量业务场景验证,日均处理向量检索千亿次,支持标量 + 向量的混合检索,具有高性能、大容量等特点,支持全内存索引。
与此同时,TI-ONE 平台还提供了多个单点工具。
TI-ONE 训练平台是为 AI 工程师打造的一站式机器学习平台,提供从数据接入、模型训练、模型管理到模型服务的全流程开发支持,内置多种训练方式和算法框架。
TI-DataTruth 数据标注平台面向 AI 数据服务商提供数据标注作业、数据众包管理、场景数据挖掘等智能数据生产服务。
TI-Matrix 应用平台支持快速接入各种数据、算法和智能设备,并提供可视化编排工具,进行模型服务和资源的管理及调度,进一步通过 AI 服务组建集成和标准化接口开放,降低 AI 应用开发成本。
值得一提的是,腾讯云 TI-ACC 更新为太极 Angel,能提供更强大的训练和推理加速能力。通过异步调度优化、显存优化、计算优化等方式,相较于行业常用方案提升 30%+。
此外,基于腾讯云 IaaS 层产品服务(计算集群、对象存储、网络加速等),可支持丰富的训练需求和推理应用场景。
腾讯云还联合中国信通院、客户,共建了行业大模型的标准体系及能力架构。包括 1 套 ILMOps 方法论、60+ 的能力建设指标、覆盖主观和客观的能力要求、细化超过 200+ 能力验证指标。覆盖金融、政务、传媒、教育、文旅等各大行业,涵盖模型行业能力、模型工程化性能、模型算力网络、模型安全可靠等方面。
最后,腾讯云行业大模型平台还提供了一系列成熟的配套裝务。
提供行业大模型全生命周期一体化的完整方法论,覆盖 " 模型选型 - 训练共建 - 部署应用 " 全流程,包括 " 业务分析 - 数据分析 - 数据清洗 - 数据标注 - 大模型选择 - 训练加速 - 模型评测 - 应用落地 " 等,同时支持 MLOps 的体系及工具,保障需求顺利交付。
在配套裝务方面,腾讯云提供本地化的训练、落地及陪跑优化服务;针对客户需求,提供私有化部署、公有云托管、混合云部署等灵活部署方案。
安全方面,腾讯云在问题侧、模型侧、答案侧三个层面进行敏感信息的过滤和规避,让最终的答案符合安全、规范的要求。同时,依托腾讯二十余年的安全经验和天御风控能力,提供 AIGC 全链路内容合规解决方案,确保大模型可信、可靠、可用。
那么,平台能力如此强大,实际能够带来怎样的效果?
这可以从腾讯自家的业务看起。如腾讯会议的 AI 会议助手、腾讯云 AI 代码助手、腾讯企点新一代智能客服等,都在基于这一次底层平台能力进行加速开发。
据介绍,腾讯会议 · AI 会议助手将能够基于简单的文本指令,基于对会议内容的理解,快速提取信息、分析内容等,并且能自动生成智能总结。
腾讯云新一代 AI 代码助手将支持多种编程语言、主流开发框架和常用 IDE。具备代码补全、生成单元测试、代码纠错等能力,加速程式员日常开发。其能力将覆盖沟通、编码、评审等关节环节。
腾讯企点的新一代智能客服在接入行业大模型平台能力后,将覆盖单轮知识问答、复杂知识问答、业务办理等核心场景,从冷启动 7 天以上更新至分钟级 / 小时级启动,准确率提升 30%。
当然,腾讯云大模型平台的能力已经向外输出。
比如在金融客服场景,基于腾讯云金融行业大模型能力,客户结合自身场景数据 + 腾讯云 TI 平台精调实现,构建了专属的金融客服大模型,并进行私有化部署。
在银行投资、财富管理、绿色金融等业务方面,提供智能咨询、辅助分析、决策等服务。
再比如多年下来积累了海量的音视频、图片、文稿等信息资源的领網域——传媒。
央视就已经基于腾讯云智能媒体 AI 中台,部署 TI 平台原生模型服务,打造 AI 开放平台,通过引入自研 " 标签权重引擎 ",让内容标签颗粒度更细、理解度更深、泛化性更高。
进一步的,结合传媒行业需要,重新构建了细分场景的标签体系,包括新闻、综艺、融媒体、影视剧等;同时通过跨模态的文本 - 影像理解模型,实现跨模态检索。
总之,腾讯云行业大模型平台,是有充分准备而来。
为什么做行业大模型平台?
ChatGPT 掀起新一轮 AI 浪潮后,各方势力抢滩登陆。
但在一场新的技术革命周期下,一味求快显然不是上上策,明确身位后精准出击,更容易站上潮头。
所以,腾讯云亮出了在大模型热潮下的第一张牌:基于腾讯云 TI 平台打造模型精选商店,提供 MaaS 一站式服务,以 " 产业助手 " 的身份向外输出大模型能力。
为什么瞄准这一身位?
从外到内,有两方面因素驱动。
一方面是外因,也是直接原因:行业亟需 MaaS 服务。
很长一段时间以来,大模型都被认为只有科技巨头、大厂才能玩得起。因为它对算力、算法都提出极高要求,不仅烧钱而且需要顶尖技术团队开发维护。
但大模型的好处有目共睹,它强大的泛化能力可以解决行业应用场景碎片化、AI" 手工作坊式 " 开发等问题,能推动企业更快完成智能化更新、降本增效。
加之如今新趋势到来,各行各业都开始意识到,如果不搭上 AI 这班快车,就有被时代淘汰的风险。
由此,MaaS 服务被推至台前。
另一方面是受到腾讯自身的影响。
一直以来,腾讯在产业互联网中的定位都是做产业的 "数字化助手",腾讯云智能则是实现这一目标的重要抓手。
具体技术能力上,AI 方面,腾讯在 AI 大模型领網域有多年积累。内部腾讯优图实验室、腾讯 AI Lab 等都是产业内 " 明星 " 实验室,在 NLP、CV 等热门领網域已积累丰富的学术成果和产业落地经验。
云能力上,腾讯云是中国云市场的头部厂商之一,提供混合云服务。
基于腾讯全栈能力,腾讯云智能目前形成了四级加速框架,为产业输出从底层算力支撑到 AI 开发平台、到 AI 产品解决方案、再到顶层数智化转型方法的四级全链条服务,覆盖金融、教育、工业、传媒、交通等领網域。
由此也就不难理解,为何腾讯云要推出行业大模型平台,并选择在此时此刻登场亮相。
当下,ChatGPT 扇动翅膀,引发的 AI 龙卷风正在快速席卷各行各业,势不可挡。
正如互联网浪潮对工业、电子商务、媒体、传播等领網域的重塑与变革,最新一轮 AI 趋势也势必会颠覆众多行业领網域的运作方式、推动智能化更新更快发生。
AI 行业、云厂商等身处变革风暴核心,肩负推动技术更快向外圈辐射、影响千行百业的使命,如今已最先起跑,合力拉开变革的序幕。
接下来还会有哪些行业紧跟趋势,还不确定,值得期待。
而可以确定的是,以大模型、AI 为圆点,这场变革辐射圈的半径,还在加速扩展。
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>