今天小編分享的科學經驗：ControlNet新玩法爆火：畫出可掃碼插畫，内容鏈接任意指定，歡迎閲讀。
一組神秘的 " 虛拟老婆 " 照片，最近在國内外社交媒體上傳瘋了。
怎麼回事？
試着用手機掃一下，就能發現其中的玄機——
原來這些看起來頗為自然的照片，都是藏了二維碼的影像。它們不僅能被手機相機識别，跳轉的網站還都是有效的：
最關鍵的是，這些照片并非手動繪制，而是用Stable Diffusion生成的，背後再一次加持了神奇的ControlNet魔法。
生成的二維碼影像風格，也遠非只有二次元虛拟人像這一種，一起來看看 ~
8 種影像風格任意可選
除了上述的二次元插（lao）畫（po）風格以外，作者們還展示了另外 8 種二維碼影像的生成效果。
這是立體風格的二維碼影像，看起來就像一張真正的城市照片一般：
有網友感嘆，簡直可以在物理世界中構造一個真的二維碼城市了：
甚至它只能在特定的地點、特定的日子、特定的時間被掃出來，有尋寶遊戲内味了。
這類立體作品不僅細節可控（如更多的草木植被），還可以改變風格，生成更具機械感的科幻二維碼影像：
3D 城市看得不過瘾，還有 2D抽象風格的作品，數據都藏在小房子裏了：
除此之外，二維碼還能被融入中國傳統紋樣風格中，或是被巧妙放置在瓷器或壁畫一類的裝飾物裏：
更具藝術性的水墨風格也能 hold 住，無縫銜接畫作筆迹：
又或是這種水彩風格的畫作：
日式的浮世繪風格也沒問題：
還能嵌進PCB 風格影像裏，以後電路板要找售後，直接掃碼就行（doge）：
顯然，除了二維碼影像可控，模型就連插畫風格都能很好地控制。
這背後究竟是依靠什麼技術實現的？
LoRA 和 ControlNet 齊出動
要想實現這種影像風格 + 二維碼可控的效果，需要 Stable Diffusion 結合LoRA和ControlNet一起實現。
其中，LoRA 負責控制整體的影像風格，ControlNet 則負責确保二維碼 " 放進 " 了影像中。
LoRA全稱 Low-Rank Adaptation of Large Language Models，能很好地實現少樣本學習，從而對 Stable Diffusion 的影像風格生成進行更精準的控制。
換而言之，最少只需要幾十張同種風格的圖片，就能訓練一個 LoRA，用來調教 Stable Diffusion 生成的效果。
目前，比較有特色的如中國傳統風格和浮世繪風格的影像，作者們都已經在Civitai和Hugging Face等平台上開源了對應的 LoRA 模型。
訓練這樣一個浮世繪風格的 LoRA 模型，并不需要很多照片，像這個模型就只用了46 幅葛飾北齋《富嶽三十六景（追加十景）》的浮世繪。
風格變化更加多樣的，如生成不同中國傳統紋樣的圖片，也只需要近百張圖片訓練：
就可以得到能畫出不同紋樣的 LoRA 模型：
QR Code ControlNet則是作者們新訓練的一個二維碼影像生成專用 ControlNet 模型，目前還在不斷優化中。
作者們嘗試了不同的 Stable Diffusion Checkpoint、LoRA 和 QR Code ControlNet 的組合，生成了上面這些二維碼影像的效果。
值得一提的是，結合最近的 PS 新出的Generative Fill功能，這些二維碼還能被很好地嵌進一大塊 AI 生成影像中：
有網友調侃，未來就連廣告也會變得更好看了。
作者介紹
制作這個二維碼生成項目的作者一共有四位，分别來自中國傳媒大學和北京航空航天大學。
其中，倪豪和陳柏宇是中國傳媒大學大四大學生，王照涵是中國傳媒大學一年級研究生，陳智勇是北京航空航天大學大四大學生。
在這次的 AI 二維碼影像生成項目前，倪豪和陳智勇就已經做出過一個參數化二維碼生成器，不過主要采用的還是圖形學方面的技術。
據倪豪介紹，他們之前的研究方向主要集中在圖形學和互動藝術上，随着這段時間 AIGC 爆火，團隊也對這方面的技術產生了興趣。
這段時間裏，他們開發了不少不同風格的 LoRA 模型，以及可控制光影的 ControNet 等，目前模型也都已經放在 Civitai 上。
團隊表示，目前這個二維碼影像生成模型還在持續優化中，後續如果有更多的進展更新，也會同步到這個網站上。
可以碼住期待一波了 ~
團隊已開發的 AI 模型：
https://aigc.ioclab.com/index.html
參考鏈接：
[ 1 ] 更多二維碼效果展示：https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPw
[ 2 ] https://www.reddit.com/r/StableDiffusion/comments/141hg9x/controlnet_for_qr_code/
[ 3 ] https://twitter.com/dahbiahmed/status/1665778398084431872
