今天小編分享的科學經驗:FLUX“官方版ControlNet”來了!景深輪廓更精準控制,共四款官方工具一齊上線,歡迎閲讀。
" 最強繪圖模型 "FLUX 深夜更新,一口氣連發四款工具!
用官方的話説,這次的更新給 FLUX" 帶來了更多的控制方式和可操作性 "。
别看官方説得簡單,實際效果可是要震撼得多。
只用一個相同的輪廓,FLUX 就能變幻出各式各樣不同風格的畫作:
或者傳一張圖,不用提示詞就能讓人物做出各種不同的動作,同時保持角色一致:
此外,還可以對現有的影像進行擴展,不斷延伸畫面:
具體來説,此次 FLUX 一共發布了這四款創意工具:
編輯工具fill,可以修改畫面細節或擴展畫面;
輪廓控制工具Canny,類似 ControlNet;
景深控制工具Depth,類似 ControlNet;
變換工具Redux,可改變人物動作、畫面視角 / 風格。
而且支持創作者常用的 ComfyUI,能夠簡單整合進繪畫工作流。
有網友評論説,這是一件大事,因為 BFL(FLUX 開發團隊)終于有了自己的 ControlNet。
還有人表示,這些工具解鎖了(AI 繪圖的)可操縱性,是創意繪圖的 game changer。
首先來看 fill,它可以對畫面中包括文字在内的任意細節進行編輯或修復,比如影像中人物的衣着,或者加入新的元素。
此外還支持 outpainting,可以将影像擴展到原始畫面之外。
測評結果上,FLUX 的官方工具,和第三方 FLUX 工具 Alimama Creative 體現出了優勢。
同時也戰勝了之前來踢館的 Ideogram,對比 SD 1.5 的類似功能則更是優勢明顯。
以文字修改任務為例,測試中對下圖 "Beers" 部分進行了圈選,并要求修改為 "Spaghetti"。
可以看出,官方 Fill 工具效果最為自然,Ideogram 也還不錯,但仔細對比會發現 FLUX 的文字粗細更加接近畫面中的其他文字。
第三方插件則并未匹配原始字體,至于 SD 1.5 那更是慘不忍睹。
再來看看非文字的效果,這項任務需要在影像指定的位置(左側)加上模糊(blurry)的小貓照片。
下圖中的順序和前面一樣,可以看到除了左上角的 FLUX fill 工具之外,都沒有滿足 " 模糊 " 這個要求。
單看的話畫面,第三方插件和 Ideogram 也都還可以,不過第三方插件 " 畫蛇添足 " 地給原圖的第一個木塊加上了兩個點。
而 SD 1.5,似乎在保持着一種穩定的抽象。
第二個工具 Canny,相當于一個輪廓 ControlNet,通過邊緣檢測來精準地控制影像轉換過程中的結構。
這次對比的對象包括第三方工具 InstantX,以及 SD 1.5 和 SDXL,結果 FLUX.1 Canny 的成績優勢明顯。
當然這輪測試是直接把提取好的輪廓給模型,難度相對于讓模型自己提取有一點降低。
利用這樣的一個輪廓,每個模型或工具需要生成 6 張不同的圖片(每個 prompt 兩張)。
下圖中,第一行為 Flux.1 Canny(Pro)的作品,第二行為 InstantX,第三第四行分别是 SD 1.5 和 SDXL。
從左到右六張圖片的 prompt 依次是:
1&2:a robot made of gold(一個金子做的機器人)
3&4:a robot made of brown and white clay(一個用棕色和白色黏土做的機器人)
5&6:a white robot in front of a gray background(一個白色的機器人在灰色的背景前方)
對于 " 金子 " 的部分,FLUX.1 Canny 第一次畫出來的效果是質感最好的,而且 FLUX.1 Canny 質量穩定性保持得是比較好的。
單就這個任務而言,SD 1.5 的作品再次成為了最顯眼包的一組。
接下來是 Depth,它和 Canny 一樣都是類似 ControlNet 的存在,顧名思義控制的内容是景深。
這次沒有再把 SD 拉過來,參與對比的是兩款第三方插件,還有 MidJourney。
在一項測試任務中,提取之後的景深關系是這樣的:
下圖中,第一行對應 FLUX.1 Depth(Pro),第二、三行對應 Jasper 和 Shakker 兩款第三方工具,最後一行對應 MidJourney。
從左到右,提示詞依次是:
1&2:mountain cabin, anime style(山間小屋,動漫風格)
3&4:1950 ’ s aesthetics(上世紀 50 年代的美學)
這裏就不一一點評細節了,但 FLUX.1 Depth 的作品是最忠實于控制條件中景深關系的一組,而且也不像 MidJourney 那樣出現了畫面割裂的情況。
最後是 Redux,給定輸入影像,可以讓 FLUX 在其基礎之上進行 " 重新設計 ",變換出各種不同的圖片。
影像的背景、角度、畫風都可以調整,同時在變換過程中保持角色一致。
如果實在沒靈感,也可以只把圖丢給模型,不用輸入提示詞,讓模型自行發揮幫你轉換。
相比于 SD 1.5 和 SDXL,領先優勢十分明顯。
比如這張圖中有只小貓正抱着一條魚奔跑,測試過程當中沒有輸入提示詞。
每個模型各自生成了三張圖,由上到下分别是 FLUX.1 Redux(Pro)、SD 1.5 和 SDXL。
在 FLUX 作品中魚和貓的長相都和原圖保持了一致,在細節動作時做出了變化,而 SD 1.5 生成的影像裏貓和魚都已經完全變了樣子。
到了 SDXL 這裏,好家夥,不要説風格了,貓和魚直接陷入了 " 量子糾纏 ",在三張圖中都沒有同時出現。
總之對比一圈之後發現,FLUX 這次上線的四款官方工具,不管是相對第三方工具還是相對于其他模型,都十分扛打。
另外,這四個工具還會通過五家 FLUX 合作的模型平台提供,這五家分别是 fal(L 的小寫).ai、Replicate、 Together.ai、Freepik 和 krea.ai。