今天小編分享的科學經驗:AI這樣把NB寫在臉上,它在玩一種很新的藝術,歡迎閱讀。
都說 AI 繪畫來勢洶洶,但論創意,還是人類玩得花。
不信來看看這張乍一看平平無奇,卻在網上瘋傳的 AI 生成美女圖片:
△圖源:抖音賬号 @麥橘 MAJIC
趕緊按下手機截圖鍵,看看原圖和縮略圖的對比,你就能窺破玄機:
是的沒錯!
這張 AI 生成的圖片裡,偷摸在光影中融進去了兩個漢字。
這兩天,類似圖片瘋狂刷屏。各個平台上被争相讨論的,不僅有上面的姐,還有下面這位 diao 哥。
△圖源:抖音賬号 @麥橘 MAJIC
以及這位把 AI" 穿 " 在身上的的紅毛衣小姐姐:
△圖源:抖音賬号 @麥橘 MAJIC
建議大家在手機上手動縮放一下這些圖,縮得越小,圖片夾帶的文字能更清晰。
還有網友給了别的 " 認字 " 秘訣,比如摘下你的近視眼鏡:
呼聲最高的評論有兩種,一種是 " 牛哇牛哇 " 的感嘆,另一種是嗷嗷待哺的 " 蹲教程 "。
所以,這些又牛又 diao 的圖,是怎麼做出來的?
ControlNet 又立大功
要讓光影在圖片甚至人物衣物上 " 寫字 ",利用的工具還是那套神奇的 AI 繪圖組合:
Stable Diffusion+ControlNet。
作為最火爆的兩個 AI 繪畫工具之一,Stable Diffusion 已經風靡一年,熱度不減,已經被大夥兒熟知和玩壞了。
所以今天想重點介紹一下ControlNet,這家夥是 Stable Diffusion 的一個 AI 插件。
今年春天,ControlNet 因為能夠搞定 AI 原本無法控制的手部細節、整體架構,一炮而紅,被網友們戲稱為 "AI 繪畫細節控制大師 "。
Stable Diffusion 根據提示詞生成影像顯然太過随機,ControlNet 提供的功能,恰好是一種更精确地限制影像生成範圍的辦法。
究其原理,本質上是給予訓練擴散模型增加一個額外的輸入,從而控制它生成的細節。
" 額外的輸入 " 可以是各種類型的,包括草圖、邊緣影像、語義分割影像、人體關鍵點特征、霍夫變換檢測直線、深度圖、人體骨骼等。
Stable Diffusion 搭配 ControlNet 的整個過程中,第一步是預處理器生成影像,第二步讓這些影像經過 ControlNet 模型的處理,第三步時,将影像輸入到 Stable Diffusion 中,生成最後展現在用戶面前的版本。
單說 ControlNet 的整體思路,就是先復制一遍擴散模型的權重,得到一個可訓練副本(trainable copy)。
原本擴散模型經過幾十億張圖片的預訓練,參數處于被 " 鎖定 " 的狀态。但這個可訓練副本,只需要在特定任務的小數據集上訓練,就能學會條件控制。
而且就算數據量很少——哪怕少于 5 萬張——模型經過訓練後,條件控制生成的效果也賊拉棒。
比如 diao 哥和姐的那幾張圖中,它主要起到的作用,就是負責确保文字作為光影、衣服圖案等," 放進 " 了影像中。
△圖源:抖音賬号 @麥橘 MAJIC
抖音原作者表示,最後還用上了ControlNet tile 模型,這個模型主要負責增加描繪的細節,并且保證在增加降噪強度時,原圖的構圖也不會被改變。
也有 AI 愛好者 " 另辟蹊徑 ",表示要得到如圖效果,可以用上ControlNet brightness 模型(control_v1p_sd15_brightness)。
這個模型的作用,是控制深度信息,對穩定擴散進行亮度控制,即允許用戶對灰度影像着色,或對生成的影像重新着色。
一方面,能讓圖片和文字融合得更好。
另一方面,能是讓圖片尤其是文字部分亮起來,這樣光影寫出的文字看起來會更加明顯。
眼尖的小夥伴們可能已經發現了,給圖片加漢字光影的整體思路,跟前幾天同樣爆火的影像風格二維碼如出一轍。
不僅有動漫風,還有 3D 立體、水墨風、浮世繪風、水彩風、PCB 風格……
同樣在 Reddit 等平台上引起 " 哇 " 聲一片:
不過略有不同的是,這些二維碼背後不僅需要用到 Stable Diffusion 和 ControlNet(包括 brightness 模型),還需要 LoRA 的配合。
感興趣的旁友們,可以戳量子位之前的文章一探究竟。
AI 大手子分享教程
光影效果爆火之後,推特上很快有 AI 大手子站出來表示願意分享手把手教程。
大概思路非常簡單,分為 3 個重要步驟:
第一步,安裝 Stable Diffusion 和 ControlNet;
第二步,在 Stable Diffusion 中進行常規的文生圖步驟;
第三步,啟用 ControlNet,重點調整 Control Weight 和 Ending Control Step 兩個參數。
運用這個方法,不僅可以完成人像和光影文字的融合,城市夜景什麼的,也妥妥的。
大佬還在教程裡溫馨提示了一下:
寫提示詞時,盡量不要用一些例如特寫人像之類的提示詞,不然文字或者圖案就會蓋在人臉上,很難看 .
(教程鏈接:https://mp.weixin.qq.com/s/rvpU4XhToldoec_bABeXJw)
有了手把手教學,加上同思路的 AI 二維碼制作秘籍早已公開,網友們已經玩嗨了:
△圖源微博、抖音網友,為 AI 生成作品
你說說,這效果,這動手能力,誰看了不說一句 NB 呢?(doge)
如果你也動手 NB 了一下,歡迎在圍脖平台 @量子位,投喂你的最終成品和我們互動嗷~
參考鏈接:
[ 1 ] https://mp.weixin.qq.com/s/rvpU4XhToldoec_bABeXJw
[ 2 ] https://twitter.com/op7418/status/1680223090138316800
— 聯系作者 —
>