今天小編分享的科學經驗:“在線版FLUX”已支持ControlNet,無需部署開箱即用,還能在線訓練LoRA模塊,歡迎閲讀。
"FLUX 在線版 ",新增一系列重磅功能!
ControlNet、LoRA 等重要模塊都悉數到齊,而且開箱即用,無需自行配置工作流。
甚至還可以在線訓練自己的 LoRA 模型,并通過鏈接進行分享。
Stale Diffusion 原班人馬打造的最強繪圖模型—— FLUX 上線之後,在線推理服務平台 fal.ai 就立即進行了跟進。
後續第三方開發的 ControlNet、LoRA 等新功能,也被 fal 迅速地加入到了自己的平台當中。
得益于 fal 開箱即用、支持一鍵分享的優勢,LoRA 和 ControlNet 加持的 FLUX 很快被網友們玩出了花。
比如給下面這個名場面當中的任務修改一下面部表情。
實際上,fal 也是 FLUX 開發團隊黑森林實驗室官方合作的兩個在線推理平台之一(另一個是 Replicate)。
fal.ai 團隊成員 Jonathan Fischoff 也在推特上大量轉發網友利用其平台創作的作品和 LoRA 模型。
有網友在 Fischoff 的評論區許願,希望 fal 能将 ControlNet 和 LoRA 與圖生圖結合。
對此 Fischoff 表示,已經在做了。
FLUX+LoRA 被網友玩出花
先來看下史上最強的 FLUX 模型疊加上 LoRA 和 ControlNet 後的效果 ~
Fischoff 展示了在 fal 上使用 ControlNet 輪廓控制的 FLUX 生成的影像。
控制輪廓大概是這個樣子,直觀看上去是卧室的場景,包含了床、椅子、綠植等物體。
作者用 FLUX 把這個輪廓繪制成了賽博朋克風,看上去确實挺有賽博朋克的感覺,也能較好地遵循控制條件。
Futuristic cyberpunk bedroom, neon lights, glowing porcelain sculpture above bedframe
未來風格的賽博朋克卧室,霓虹燈,床架上方發光的瓷器雕塑
我們通過 PS 把兩張圖疊加到一起觀察下細節,貼合程度可以説是比較高的。
另外利用 fal 的分享頁面,我們可以使用相同的 ControlNet 等配置,直接改一下提示詞生成新的影像。
比如把這個賽博朋克風格的卧室改成中國風。
我們順便體驗了一下其他模式的 ControlNet,比如姿勢(pose)控制。
利用左邊的影像作為參照,繪制一個跳舞的馬斯克,雖然和馬斯克不太像,但是該有的姿勢倒是完美遷移過去了。
除了 ControlNet,被分享更多的是各種各樣的 LoRA 模塊。
利用這些 LoRA 模塊,可以把人物修改成剪紙、繪畫、賽博朋克等各種不同風格。
還有網友把 LoRA 模型玩出了新花樣,把可樂、TED 演講,甚至機器學習都搬到了 1920 年代的塔羅牌當中。
而且現在,無需研究如何部署模型、搭建工作流,通過 fal 這個在線平台就能開箱即用式地應用這些功能。
開箱即用的 FLUX
在 fal(L 的小寫)平台中目前一共有 5 個模型和 FLUX 相關,其中三個是 FLUX 的官方原版。
最新支持 ControlNet 和 LoRA 的,是 [ dev ] with LoRAs 這個版本(下圖最後一個)。
基礎功能上,除了支持 FLUX 官方的文生圖和圖生圖,這個模型還可以進行影像修復(inpainting)。
其中 ControlNet 的部分,使用的是來自小紅書的InstantX團隊為 FLUX 開發的 ControlNet 合集。
InstantX 團隊一開始發布了線條(Canny)控制模塊,後來又上線了支持了線條、景深、姿勢等七種控制模式的合集。
順帶提一句,InstantX 團隊還新建了一個 IPadapter 模型的頁面,估計很快就會上線。
與此同時,另一家叫 Xlabs 的工作室也做了适用于 FLUX 的 ControlNet,不過目前支持的模式比 InstantX 的少一些,在線體驗地點是隔壁的 Replicate。
回到 fal,另一項重磅功能就是 LoRA 了,今早剛剛更新的版本還新增了多個 LoRA 模塊疊加的功能。
在 fal 當中,還可以在線訓練自己的 FLUX LoRA 模塊,做完之後可以通過鏈接進行分享。
不過,fal 平台并不免費,使用 [ dev ] with LoRAs 版本的價格是每百萬像素 0.075 美元(約合人民币五毛四),新注冊時會贈送 1 美元餘額,大概可以畫 13 張圖。
傳送門:
https://fal.ai/models/fal-ai/flux-general
參考鏈接:
[ 1 ] https://x.com/jfischoff/status/1823849383156441379
[ 2 ] https://x.com/jfischoff/status/1824205839550517576