今天小编分享的科学经验:AI绘图模型训练到推理,一个网页就能搞定,欢迎阅读。
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
不会写代码,也能训练 AI 绘画模型了!
只要借助这个框架,从训练到推理都能一站式搞定,还能一次管理多个模型。
阿里巴巴团队推出并开源了这款万能图片生成工作台 SCEPTER Studio。
有了它,不用代码,直接在 Web 界面当中就能完成模型的训练与微调,并管理相关数据。
团队还推出了内置三种模型的 DEMO,可以在线体验 SCEPTER 的推理功能。
那么 SCEPTER 具体都能干啥,下面就来一睹为快!
一站式管理绘图模型
有了 SCEPTER,不再需要编写程式,只要在 Web 页面中选择要训练的模型,调整好相关的参数,就可以完成模型的训练和微调了。
具体来看,模型方面,SCEPTER 目前支持 Stable Diffusion 系列的 SD 1.5/2.1 和 SDXL 模型。
微调方式上,它支持传统的全量微调、LoRA 等方式,以及自家的 SCEdit 微调框架,未来还会加入对 Res-Tuning 调优方式的支持。
SCEdit 通过跳过连接的方式,让扩散模型能以更高的效率完成图片生成任务,相比 LoRA 节约了 30%-50% 的内存开销。
训练数据方面,SCEPTER 内置了包含 3D、日漫、油画、素描等 6 种风格,每种风格 30 组影像 - 文本对的自创数据集。
同时,也可将自行准备的图片打包压缩,并以 csv 或 txt 文档建立影像(檔案名)和 prompt 的对应关系,导入 SCEPTER 平台。
如果连文档也不想写,也可以在 SCEPTER 界面中直接上传图片并标注 Prompt,管理、添加、删除数据集中的图片。
到了推理阶段,SCEPTER 支持的下游任务包括文生图和可控影像合成,未来还将支持影像编辑,用法和现有的 Web 版 SD 相似。
同时,SCEPTER 界面中还集成了咒语书(Prompt 合集)和一些现成的微调模型。
那么,SCEPTER 该如何食用呢?
如果只想玩玩生成的话,官方在 HuggingFace 和魔搭社区上的 DEMO 就可以满足要求,并且后者还是中文界面。
如果要使用数据管理、训练等功能,就需要自行安装部署完整版本了,具体步骤可以参照 GitHub 页面中的教程。
整个过程中,只有安装部署的环节需要用到一些简单的代码,之后的一切过程就都可以在 Web 界面里直接操作了。
感兴趣的话,就去体验一下吧!
传送门:
https://github.com/modelscope/scepter
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>