今天小编分享的科学经验:“在线版FLUX”已支持ControlNet,无需部署开箱即用,还能在线训练LoRA模块,欢迎阅读。
"FLUX 在线版 ",新增一系列重磅功能!
ControlNet、LoRA 等重要模块都悉数到齐,而且开箱即用,无需自行配置工作流。
甚至还可以在线训练自己的 LoRA 模型,并通过链接进行分享。
Stale Diffusion 原班人马打造的最强绘图模型—— FLUX 上线之后,在线推理服务平台 fal.ai 就立即进行了跟进。
后续第三方开发的 ControlNet、LoRA 等新功能,也被 fal 迅速地加入到了自己的平台当中。
得益于 fal 开箱即用、支持一键分享的优势,LoRA 和 ControlNet 加持的 FLUX 很快被网友们玩出了花。
比如给下面这个名场面当中的任务修改一下面部表情。
实际上,fal 也是 FLUX 开发团队黑森林实验室官方合作的两个在线推理平台之一(另一个是 Replicate)。
fal.ai 团队成员 Jonathan Fischoff 也在推特上大量转发网友利用其平台创作的作品和 LoRA 模型。
有网友在 Fischoff 的评论区许愿,希望 fal 能将 ControlNet 和 LoRA 与图生图结合。
对此 Fischoff 表示,已经在做了。
FLUX+LoRA 被网友玩出花
先来看下史上最强的 FLUX 模型叠加上 LoRA 和 ControlNet 后的效果 ~
Fischoff 展示了在 fal 上使用 ControlNet 轮廓控制的 FLUX 生成的影像。
控制轮廓大概是这个样子,直观看上去是卧室的场景,包含了床、椅子、绿植等物体。
作者用 FLUX 把这个轮廓绘制成了赛博朋克风,看上去确实挺有赛博朋克的感觉,也能较好地遵循控制条件。
Futuristic cyberpunk bedroom, neon lights, glowing porcelain sculpture above bedframe
未来风格的赛博朋克卧室,霓虹灯,床架上方发光的瓷器雕塑
我们通过 PS 把两张图叠加到一起观察下细节,贴合程度可以说是比较高的。
另外利用 fal 的分享页面,我们可以使用相同的 ControlNet 等配置,直接改一下提示词生成新的影像。
比如把这个赛博朋克风格的卧室改成中国风。
我们顺便体验了一下其他模式的 ControlNet,比如姿势(pose)控制。
利用左边的影像作为参照,绘制一个跳舞的马斯克,虽然和马斯克不太像,但是该有的姿势倒是完美迁移过去了。
除了 ControlNet,被分享更多的是各种各样的 LoRA 模块。
利用这些 LoRA 模块,可以把人物修改成剪纸、绘画、赛博朋克等各种不同风格。
还有网友把 LoRA 模型玩出了新花样,把可乐、TED 演讲,甚至机器学习都搬到了 1920 年代的塔罗牌当中。
而且现在,无需研究如何部署模型、搭建工作流,通过 fal 这个在线平台就能开箱即用式地应用这些功能。
开箱即用的 FLUX
在 fal(L 的小写)平台中目前一共有 5 个模型和 FLUX 相关,其中三个是 FLUX 的官方原版。
最新支持 ControlNet 和 LoRA 的,是 [ dev ] with LoRAs 这个版本(下图最后一个)。
基础功能上,除了支持 FLUX 官方的文生图和图生图,这个模型还可以进行影像修复(inpainting)。
其中 ControlNet 的部分,使用的是来自小红书的InstantX团队为 FLUX 开发的 ControlNet 合集。
InstantX 团队一开始发布了线条(Canny)控制模块,后来又上线了支持了线条、景深、姿势等七种控制模式的合集。
顺带提一句,InstantX 团队还新建了一个 IPadapter 模型的页面,估计很快就会上线。
与此同时,另一家叫 Xlabs 的工作室也做了适用于 FLUX 的 ControlNet,不过目前支持的模式比 InstantX 的少一些,在线体验地点是隔壁的 Replicate。
回到 fal,另一项重磅功能就是 LoRA 了,今早刚刚更新的版本还新增了多个 LoRA 模块叠加的功能。
在 fal 当中,还可以在线训练自己的 FLUX LoRA 模块,做完之后可以通过链接进行分享。
不过,fal 平台并不免费,使用 [ dev ] with LoRAs 版本的价格是每百万像素 0.075 美元(约合人民币五毛四),新注册时会赠送 1 美元余额,大概可以画 13 张图。
传送门:
https://fal.ai/models/fal-ai/flux-general
参考链接:
[ 1 ] https://x.com/jfischoff/status/1823849383156441379
[ 2 ] https://x.com/jfischoff/status/1824205839550517576