今天小編分享的科學經驗:電商模特1元購,人圖背景随便換!國產AI工具降本99%,歡迎閲讀。
AI 工具秒做電商圖,一張只要一塊錢,成本直降 99%!
随便上傳一張照片,服飾不變,改頭換臉:
足不出户即可配入各種背景,光影也能自然呈現:
小哥哥也有哦,還能自動補全擴展,任意改變圖片大小:
哪怕沒有真人圖,只有人台照,也可展示上身效果:
甚至可以跨次元,把 2 次元紙片人的服裝變成 3D 真實風格。
這效果,乍一看很難辨别出是 AI 生成的啊。
如此一來,商家豈不是無需進行大量線下拍攝,省去換景别甚至外出拍圖的步驟,在電腦前即可做出豐富商品圖?
啥情況,電商模特這碗飯也要端不住了?
1 分鍾做一張 AI 模特圖
如上提到的 AI 工具,名叫小 K 電商圖。
現在能提供 4 種電商圖生成功能:
給人台圖補充真人模特
給真人模特換臉
給假發圖補充真人模特
給商品圖生成新背景
各種效果只需 3 步即可搞定,界面非常通俗易懂,操作流程大約在 1 分鍾左右。
比如選一張迪麗熱巴的照片,想更換人臉和表情,并且把背景替換成 T 台,同時調整圖片尺寸。
需要先上傳影像,系統會自動對影像進行分割,選中想要保留的區網域。
(如果服裝被頭發遮住可以同時保留頭發))
然後再設定想改變的元素,包括模特人臉風格、面部表情、背景等。
同時可以勾選一些特殊處理,補充服裝。
在這裏,我們設定将原圖人像換成一位歐美模特、露齒笑、背景為 T 台,并擴大了原圖尺寸。
可以看到生成結果中,很好保留了服裝和發型,但是其他元素都進行了相應調整。
而且對于發絲、光影都重新做了處理。背景也是 AI 重新完全生成的,區别于傳統 PS 摳圖。
一次生成會給出 4 張圖,方便挑選。
生成圖片背景的細節也可以處理得很好,比如雪景背景下,人物鞋子上都會被加上雪花。
在小 K 電商圖裏,提供的 AI 模特類型比較多,不同地區、不同年齡都有覆蓋。
如果對現有模特不滿意,還可自由定制專屬模特,定制化模式有兩種:
用户沒有模特,再提供幾個非公用有一定稀缺度的 AI 的模特;
用户本就有模特,根據模特本身的樣貌定制。
除了 AI 模特、真人,二次元人物也可定制。
可替換的 AI 背景也很豐富。
據介紹,自定義背景功能、物品圖生成也即将推出。
所以,小 K 電商圖是如何實現這些效果的呢?
結合自研姿态算法
小 K 電商圖的底層技術可以簡單劃分為兩部分:生成 + 控制。
生成能力來自開源的 Stable Diffusion。
控制方面則引入了小 K 自研的一系列算法,其中以姿态算法最為突出。
要知道,AI 畫畫很長一段時間都無法畫好人手,在可控性上表現也比較差,這是因為擴散模型自身的特性使然。
後續随着 ControlNet 出現,通過給預訓練擴散模型增加一個額外的輸入,可以控制 Stable Diffusion 生成的細節。
這裏可以是各種類型的輸入,包括草圖、邊緣影像、語義分割影像、人體關鍵點特征、霍夫變換檢測直線、深度圖、人體骨骼等。
由此,Stable Diffusion 加上人體姿态估計算法(Openpose)可以很好控制人物動作生成。
小 K 電商圖的技術邏輯也是如此,不過他們采用了性能更加穩定的自研算法。
基于這套算法,小 K 的另一款視頻動捕產品——小 K 直播姬已經實現了通過普通 RGB 攝像頭、無需任何傳感器,即可實現 3D 動捕。
并且在手指細節的處理上表現很好。
因此,對于沒有四肢的人台圖,小 K 電商圖可以做到直接識别。自動補充頭部、畫手能力提升也得益于該算法。
在解決了姿勢可控後,還需要解決面部可控。在這方面小 K 電商圖引入了 LoRA。
LoRA 本來是微軟研究團隊早在 2021 年提出的一項大語言模型微調的技術,可以大大提高微調訓練速度。
去年底,韓國科學技術院 KAIST 一位研究員 @cloneofsimo 與 HuggingFace 合作,将此方法擴展到 Stable Diffusion 上。
不僅實現了單塊 11GB 顯存的 RTX2080Ti 實現模型完整微調,同時原始模型權重凍結,新訓練出來的權重可以保存為 3MB 大小的單個檔案發布。
這項技術被 AI 繪畫愛好者用來讓模型固定生成一個物體,最流行的就是固定一個人物形象。
最後在背景方面,為了滿足電商場景下的需求,小 K 也做了更強的控制。
比如一些情況下,用户其實只想替換模特人臉,其他都不做改變。
那麼在這種情況下,AI 還是會重新繪制一張新圖,不過會保留 95% 的相似度。
如果用户想替換背景,算法則會在光影等細節上做更多補充,力求影像自然、逼真。
所以,是誰帶來了小 K 電商圖?
從遊戲到 AI 再到 AIGC
小 K 電商圖的打造者名叫雲舶科技,主打 AIGC 虛拟内容創作生產。
團隊成立于 2017 年,由出身遊戲行業的梅嵩和陳敏聯合創立。
其中,梅嵩是原藍港互動 SVP,《王者之劍》系列手遊制作人,有超過 10 年遊戲制作經驗;陳敏是原藍港互動 CTO,核心團隊有着近 20 年的研發經驗。
憑借對遊戲動畫市場的了解,他們從創業初期就選擇專注于 AI 視頻動捕技術。
經過 4 年研發,基于雲舶自研算法的 3D 虛拟直播產品小 K 直播姬在 2021 年推出,免費提供給廣大 VTuber 使用。
如今,小 K 直播姬服務主播用户超 40 萬,并且是 B 站、酷狗音樂等平台的官方虛拟直播工具。
成立 6 年以來,雲舶科技都和 AI、虛拟内容、遊戲動畫等領網域保持高度關聯。
去年 AI 畫畫大火後,雲舶也快速跟進。結合自身特長和市場調研,最後确定同時推進兩條路線:其一是 AI 遊戲圖領網域,另一個就是 AI 電商圖。
兩條路線的底層邏輯相同:降本增效。
創始人兼 CEO 梅嵩介紹,電商行業的傳統出圖方式是線下實景拍攝,需要向模特、攝影、場地等付費,平均價格約為一張圖 100 元。但如果用 AI 生成,這個數字能降到 1 塊錢。
為什麼先推進 AI 電商圖這條線?
梅嵩給出了兩個判斷:
一方面,從市場角度來看,電商行業每年可能會有幾億個新貨品,每個貨品都要有自己的產品圖。這意味着電商市場每年會需要幾百億張產品圖,市場需求巨大;
另一方面,從技術角度來看,電商行業對 AI 制圖的需求更強調可控,對創造性要求不高,這使得技術開發更加可控。
所以,小 K 電商圖更早面世。
梅嵩也坦言,最開始開發時,模型生成的效果并不理想,研發團隊一直在反復做調試。在今年年初時,他們也在思考,是不是引入姿态算法能讓效果更可控?
結果剛好 ControlNet 出來了,幫我們驗證了想法,也省去了一些試錯環節。
目前小 K 電商圖已正式發布,并已有幾十家電商行業用户進行内測,1.2 版本也即将上線。
梅嵩透露,之所以會選擇這時發布產品,一方面是想要搶占市場先機,目前業内類似產品還相對少見;另一方面也是團隊對自身的迭代速度有信心。
之前我們發布小 K 直播姬就是遵循這樣的邏輯,後面實現了幾乎周更產品迭代,整個產品的功能也越來越豐富。
如今,研發團隊也在加速推進 2.0 版本,新一代產品希望能實現對 AI 模特姿勢靈活調整,并将平鋪服裝直接轉換成上身效果。
與此同時,雲舶科技也在籌措最新一輪融資。
作為一家初創公司,雲舶的融資步調其實有點特别——首輪天使輪融資是在公司成立三年後才完成的。
原因在于雲舶選擇在成立後,首要搞定基礎研發。
梅嵩非常坦誠地表示,創始團隊出身遊戲行業,最開始對 AI 的了解并不多,所以他們用更多耐心、時間和精力來死磕研發,終于在 2020 年拿出了滿意的 demo。
跑通底層技術後,從 2020 到 2021,雲舶的腳步明顯加快,先後完成 A 輪、A+ 輪融資,金額都為數百萬美元。2021 年年底,讓雲舶開始展露頭角的小 K 直播姬也順利上線。
在這事上,梅嵩自己也調侃:
哪有創業公司做一個產品要做 4 年的?
給我們投天使輪的 BV 百度風投當時還説:别的不談,你們的堅持還是非常值得鼓勵的。
如今随着 AIGC 浪潮到來,AI 在輔助創作、提高工作效率等方面都進一步打開空間,應用層的爆發已初見端倪。
量子位智庫預測,到 2030 年我國 AIGC 市場規模将達到萬億級别。
2025 年預計會成為產業第一次規模爆發點,年復合增長率有質變性提升。在這之後 2 年,產業将迎來應用爆發期,大量應用層玩家湧入。
所以回到當下來看,不僅是大模型公司值得關注,既懂技術又懂應用内容的行業玩家,也會成為 AIGC 應用指數級爆發的主力軍,迎來屬于自己的新一輪增長期。