今天小编分享的科学经验:阿里云不再把开发大模型当OKR,MaaS第一阶段竞争结束了,欢迎阅读。
这两天,一段大模型生成的高清视频合集在网上爆火。
无论是神秘的克苏鲁、还是海底生物蓝汪汪的大眼珠子,AI 的 " 想象力 " 简直让网友们欲(san)罢(值)不(狂)能(掉)。
最关键的是,这段视频的分辨率达到了前所未有的1024 × 576!
高清还丝滑流畅,背后模型ZeroScope凭借生成效果,在推特和 Reddit 上狂刷热度。
火到特斯拉前 AI 总监 Andrej Karpathy 也来 " 哇哦 ~" 了一波。
我们扒了扒,发现这个惊艳四座的 ZeroScope,核心框架来自一个国内中文社区上的开源大模型。
它名为 text-to-video-synthesis(文本生成视频大模型),17 亿参数,由阿里达摩院提供。
只需输入文本描述,就能 get 对应的流畅视频。
也就是说,咱国产社区的开源模型,热度横扫中外社交平台。
更神奇的是,ZeroScope 不按套路出牌,它没有用这个基础大模型的名字命名,而是选择了社区名字 ModelScope 里的 "Scope"。
这究竟是个什么样的社区?
解答这个问题,就得追本溯源,到原教旨社区里面一探究竟——
国产热门大模型 " 聚集地 "
ModelScope,中文名 " 魔搭 " 社区,同样由阿里成立,是国内最大的 AI 模型社区。
这个社区所有的功能和服务,统统以模型开发为中心展开。
现在的魔搭社区里,爆火的 ZeroScope 大模型 " 原型 " 只是其中之一。
社区初成立就光速上线 300+ 机器学习模型,更是有 10 多个国产大模型选择在这里开源;
时至今日,魔搭社区已经聚集了 900 多个 AI 模型,开源的大模型数量也达到了30 多个。
再拉出社区贡献者名单一看,好家伙,全是国内热门大模型玩家,譬如智谱 AI、澜舟科技、百川智能、IDEA 研究院、清华 TSAIL 等等。
且不说明星企业们,普通 AI 开发者就有超过 180 万在魔搭社区愉快玩耍。
之所以称体验为 " 愉快 ",一方面是因为所有的模型生产者都可以在魔搭社区上传模型,对模型技术能力进行验证。
如果有需要,还能和社区共建者们一起探讨和摸索模型的应用场景,产品化或商业化落地模式,也能探究一二。
另一方面,魔搭社区背后还有阿里云的模型服务灵积,能够提供一站式的模型 API 门户。
无论是阿里自研的大模型通义千问,还是 ChatGLM v2、百川大模型、姜子牙、Dolly 等大模型,都已经可以通过灵积一键调用。
利用它,开发者很方便就能调用各种云上模型,不仅集成到自己的应用中时无需再费大力气,甚至训练微调大模型这种事情,都可以通过数行代码搞定。
虽然已经很方便了,但魔搭社区还希望大家伙使用大模型时,门槛能更低。
在世界人工智能大会 WAIC 的主题论坛《MaaS:以模型为中心的 AI 开发新范式》上,阿里云宣布,为了更好地与个人和企业开发者一起探索探索应用和商业场景,将正式推出魔搭大模型调用工具 ModelScopeGPT。
所谓大模型调用工具,常以 Agent(智能代理)的名字出现,此前最出圈的当属 AutoGPT 和 HuggingGPT。
这类工具的最大亮点在于 " 自动完成各种复杂任务 ",用户只需以自然语言提出需求,它们就能调用各种资源搞定任务。
阿里云首席技术官周靖人直言:
我们需要 Agent,用它理解基础模型之外的工具,更重要的是更有效地调用这些工具。
具体到 ModelScopeGPT 身上,它能在接受自然语言指令后,将任务拆解为具体的细分步骤,而后通过阿里云通义千问大模型作为 " 中枢模型 ",自动生成代码,调用魔搭社区里作为 " 任务模型 " 的其它 AI 模型。
通过协同,融合各种模型的各种能力,完成复杂指令。
简单来说,用 ModelScopeGPT,只需要极小的技术投入,就能实现文本、语音、图频、视频等多个模态能力的调用,提升专用领網域模型表现,一个人达到一个公司的生产力。
据了解,这是国内推出的首个智能工具,目前具备完成单一任务、复合任务、多 API 规划调用、多轮对话 API 调用,模型知识问答等能力。
更重要的是,相比 AutoGPT、HuggingGPT,无论是对话输入还是调用模型,ModelScopeGPT 都以中文为主。
可以说是更适合中国开发者体质的机器学习工具了(手动狗头)。
不过,魔搭社区为何能顺利运转起来,甚至于吸引上百万 AI 开发者使用?
进一步地,它又何以成为不少国产大模型赛道核心玩家开源大模型的 " 聚集地 "?
" 这是大模型计划的一部分 "
背后原因,或许可以追溯到阿里云的 " 大模型生态计划 " —— MaaS(模型即服务)。
让开发者们自由讨论的魔搭社区,只是阿里云以 MaaS 为核心构造的大模型生态的一个维度。
在 MaaS 中,不仅有魔搭社区这样的开发者生态层,更重要的是还有提升大模型训练稳定性、提供模型调用等服务的AI 平台层,以及提供核心算力的基础设施层。
开发者生态层:魔搭社区
AI 平台层:PAI 机器学习平台、灵积模型服务
基础设施层:灵骏智算集群
如果说开发者生态加速了大模型时代的到来,那么 AI 平台层和基础设施层,就像是大模型时代的 " 水电煤 " 一样,提供了这一技术发展最根本的动力。
这也是不少大模型开发者选择将模型部署在阿里云灵积平台和魔搭社区的原因。
一方面,在基础设施层,阿里云拥有当前国内 TOP 级的智能算力储备。
阿里云的灵骏智算集群,支持最高 10 万张卡的 GPU 规模,自研的高速 RDMA 链路达 3.2Tbps,网络最低时延 1.5 μ s,并行存储吞吐量可达 20TB/s。
简单来说,即使是多个万亿参数大模型同时在阿里云上训练,对硬體设施而言也没有什么压力。
不仅如此,在数据安全上,除了基于可信计算和机密计算技术推出业内首个基于 SGX2.0 和 TPM 的虚拟化实例以外,阿里云还基于 TPM、VTPM、虚拟化 Enclave 等技术,构建了基于神龙安全芯片的全隔离、高可信的计算环境,完美消除了企业对模型安全隐患的顾虑。
但如何将这么多的算力最大化利用,同时进一步简化模型的使用方式,对于云计算厂商而言又是一大考验。
另一方面,在 AI 平台层,阿里云还提供了对应的平台来实现软硬體加速服务和模型服务。
软硬體加速服务,即 PAI 机器学习平台,就能用来提升 AI 开发和 AI 资源管理的效率。
PAI 和灵骏智算集群,二者加起来共同构成了一个高性能、分布式的智能计算平台,相当于对软硬體进行了一个协同。它一共分为三大框架:高性能训练框架、高性能推理框架和全托管平台。
先来看看高性能训练框架。具体来说,它的可训练模型参数规模,最高能达到 10 万亿,能将训练性能最高提升 10 倍。
同时,在单任务需要多个 GPU 的情况下,训练效率几乎不会降低。
要知道,硬體数量增多,并不意味着算力也能 1+1>2,这种时候就非常考验分布式计算的技术。
基于 PAI × 灵骏智算平台,即使单个训练任务所需的硬體规模从千卡增加到 1 万张卡,性能也几乎还是 " 直线 " 上升,其线性扩展效率达到 92%。
而在高性能推理框架上,推理效率提升更是最高能提升 6 倍。
平台提供的推理加速服务,不仅能自动地做模型剪枝、量化、蒸馏和网络结构搜索,还能在性能基本无损的情况下,将大模型推理性能提升 3.5 倍。
至于全托管平台,则可以理解为是一个更好用的开发平台,包含无伺服器架构、工程化和稳定三大特征,可以实现自动化运维、兼容多种框架及计算资源、智能容错和节点自愈等功能。
目前,这三大平台已经全面开启商用。
模型服务,就是前面提到的一站式服务平台灵积了,不仅能为开发者提供灵活、易用的大模型 API 接口,还能与平台底座很好地 " 结合 ",进一步提升推理和训练的效率。
然而,阿里云并非没有自己的大模型,已经推出的 " 通义 " 系列就是例证。
最早推出的大语言模型通义千问,如今申请用户已经超过 30 万,深度合作企业更是超过 100 家;而推出仅一个月的音视频助手通义听悟,处理的音视频时长已经超过 5 万小时,文字处理量更是已经达到 8 亿多字。
除了通义千问和通义听悟以外,在这次 WAIC 大会论坛上,阿里云还发布了名为通义万相的 AI 绘画创作模型,包含文生图、风格迁移和相似图生成功能,目前已经开放邀测。
既然如此,为何还要将大模型开发集成为一整套裝务MaaS开放给行业使用,培养更多 " 大模型竞争者 "?
周靖人在 WAIC 大会接受采访时回应称,阿里云并不扮演 " 大模型开发者 " 的角色:
不是所有业务开发者或企业都有能力做模型。为此,我们打造了自己的通义模型系列,帮助这些开发者和企业享受到大模型带来的一系列技术优势,快速转化成业务价值。
但我们的主要目标不是做模型和开发者,而是服务好云上的开发者和企业。这样,拥有不同技术层次的开发者和企业,都能享受到 AI 时代的技术。
也就是说,无论是通义大模型系列,还是由魔搭社区、灵积模型服务、PAI 机器学习平台、灵骏智算集群组成的一系列模型开发服务,本质上都是" 阿里云大模型生态计划的一部分 "。
阿里云认为,人工智能时代才刚刚看到发展的起点。也正是因此,MaaS 还会蓬勃发展,更多企业和开发者也会在这种生态中实现自己的价值,实现更多商业化落地。
正是因此,阿里云才会把促进中国大模型生态的繁荣作为首要目标,以云服务商身份,开放技术、工具、经验,降低大模型门槛。周靖人表示:
对于今天模型的创新者,我们非常支持,也希望他们成功,我们会为他们创造的模型提供坚实的平台基础。
因此,除了向大模型创业公司提供全方位云服务以外,阿里云也会在资金和商业化探索方面提供充分支持。
不仅如此,以 MaaS 为核心的大模型生态,还会反过来重塑云产品的设计。
MaaS 新范式:大模型决定走多快,生态决定走多远
但即便都说 MaaS 在重塑云计算、MaaS 改变了云计算游戏规则,当前大部分企业的关注度,似乎也仍然集中在大模型本身。
从整个行业的角度来看,为何阿里云要在这个变革浪潮中,花这么大的资源和心力在大模型的生态建设上?
目前来看,大模型给云计算带来的影响,主要可以分为两个阶段。
由这两个阶段的进展来看,虽然大模型决定了云计算新范式 MaaS 的速度,但生态决定了真正能走多远。
第一阶段,市场上的大模型是 " 有 " 和 " 没有 " 的区别,核心是用得上。
OpenAI 最早推出了 ChatGPT,成为大模型领網域的 " 规则改变者 ",本质上是率先推出了一项前沿技术,并占领了市场话语权。
对于后续紧随潮流的企业们而言,能否在这一阶段取得优势,关键还是看接入业务的时间、速度的快慢。
毕竟在这个阶段,比拼的还是有没有大模型,企业只要越早突破技术瓶颈、用上大模型,就越能在应用生态市场上占据话语权,吸引更大的市场。
第二阶段,大模型已经层出不穷,市场门槛也开始降低,对应的模型服务开始进入用户视野。
从这个阶段开始,大模型能力供应的稳定性(用户数量激增,是否会导致伺服器宕机)、大模型数量的丰富度、大模型种类的多样性,都会开始成为云厂商新的比拼点,也会成为企业选择大模型服务的参考。
同时,在大模型这一赛道上,从来就不是 " 后来者居上 "。
只有越丰富的供应,才能带来越多的客户;更多的客户,才能在数据反馈中帮助精进和迭代,从而产生 " 飞轮效应 "。
如长期在机器学习模型有积累的社区 Hugging Face,就基于社区已有的开源模型推出了 HuggingGPT,以一个大模型调用多个 AI 模型的方式,迅速将长期积累的模型生态转变成更大的行业影响力。
这个阶段开始,生态的作用就会显现。
而这也是为什么构建一个生态,决定了 MaaS 的高度。
但无论处在哪个阶段,最核心的是,大模型依然是一个成本高昂的新事物。
不论在研发、迭代还是使用阶段,大模型都是一个消耗资源巨大、使用成本也不低的 " 奢侈品 "。
所以只有构建一个生态,才能真正通过规模效应降低成本、帮助迭代精进,最后实现大模型和 MaaS 真正的商业可持续,这更需要生态。
所以真正重视大模型,真正重视 MaaS 的玩家,一定会不遗余力打造生态。
MaaS 新范式的游戏规则中,大模型决定了一开始走多快,生态决定了最后走多远。
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>