今天小編分享的科學經驗:iPad可用AI繪畫互動編輯神器火了,網友:顫抖吧PS,歡迎閱讀。
比 PS 更懂你的 AI 圖片編輯工具——MagicQuill(魔法羽毛)來了!
1 分鍾出圖:不用打字、簡單勾畫幾筆就能編輯圖片。
還支持直接在 iPad 上在線編輯!
研究團隊來自香港科技大學、螞蟻集團、浙江大學和香港大學等機構。
我們先一起看個例子感受一下——
有了 MagicQuill,現在當你想要給人物更換衣服時,就可以直接畫出領子,它會自動幫你補全。
加條項鏈、去除路人,幾秒鍾就搞定:
你還可以更換發色、讓人物戴上花環,甚至更改花朵的顏色:
只需要 1 分鍾多的時間,就可以實現上面這麼多編輯效果,尤其是對于想要快速修改照片的用戶來說,簡直太方便了!
還有更多有趣的例子,機器人、汽車、蛋糕等,都可以快速修改!
有多位網友評論說,AI 影像編輯真的進步飛快,"能讀懂用戶心思" 是非常具有未來感的用戶體驗。
甚至還有網友說,顫抖吧,PS!
MagicQuill 目标是理解精細修改意圖
雖然目前 AI 影像編輯工具是百花齊放,但想要實現精細編輯,很多工具的效果還是比較令人捉急。
MagicQuill 團隊的目标是實現一個高效且精确的影像編輯系統,能夠在用戶進行細微修改時提供更好的使用體驗。
這不僅包括實現細粒度的影像編輯控制、還要提供直觀的用戶界面、并實時預測用戶意圖。
最終團隊選擇基于擴散模型、文本和掩碼的影像編輯方法、以及多模态大型語言模型(MLLMs) 進行實現,并設計了簡約實用的用戶界面。
MagicQuill 的具體構成
一起來看看 MagicQuill 系統的具體構成是什麼樣的。主要分為 3 個部分:
1. 編輯處理器
編輯處理器采用雙分支架構,包括内容感知修復分支和結構引導分支。
内容感知修復分支利用 UNet 架構,結合掩碼影像特征和預訓練的擴散網絡進行像素級修復。
結構引導分支則通過 ControINet 插入條件控制,确保編輯操作的精确性。
2. 繪畫助手
繪畫助手通過多模态大型語言模型(MLLM)實時預測用戶意圖。
具體的任務稱為 "Draw&Guess",也就是通過影像上下文解釋用戶筆畫并自動生成相關提示。
團隊采用的數據集通過生成邊緣圖和模拟用戶筆畫進行構建,并使用 LLaMA 模型進行微調。
3. 創意收集器
創意收集器為用戶提供了一個簡約直觀的界面,它兼容多個平台,團隊也提供了在線 demo,你可以在電腦或 iPad 上直接使用!
界面主要包括提示區、工具欄、圖層管理、主畫布、生成影像預覽區、執行按鈕和參數調整區。
按鈕設計非常簡潔,有上傳圖片、" 增加 " 畫筆、" 減少 " 畫筆、改顏色畫筆、橡皮等等。
下方的參數調整區網域更适合有豐富的生圖經驗的專業人士:
比如在 Base Model Name 裡,你可以選擇不同的基礎模型,有适合生成真實風格的 SD1.5/realisticVisionV60B1_v51VAE.safetensors、适合生成幻想風格的 SD1.5/DreamShaper.safetensors 等。
你還可以調整 Negative Prompt 避免生成部分内容、還有 Fine Edge 精細邊緣調整、Grow Size 調整筆觸大小等等。完整工作流程如下圖所示。
實際效果怎樣呢?
為了更準确地測試 MagicQuill 的具體效果,團隊還設計了 3 個驗證實驗:
1. 可控生成評估
将 MagicQuill 與四個基線方法(SmartEdit、SketchEdit、BrushNet 及其組合)進行比較,評估編輯處理器的可控生成能力,尤其關注邊緣對齊和顏色保真度。
結果顯示,MagicQuill 的編輯處理器在所有指标上均優于基線方法,具有更高的邊緣對齊度和顏色保真度。
2. 預測準确性評估
為了評估 MagicQuill 在模拟手繪輸入下的語義預測準确性,團隊将它的繪畫助手與三種最先進的 MLLMs (LLaVA-1.5、LLaVA-Next、GPT-4o)進行了比較。
結果顯示,繪畫助手在所有測試的 MLLMS 中表現最佳,可以更準确地捕捉和預測用戶繪圖的語義含義。
3. 創意收集器有效性評估
團隊還通過用戶研究評估了創意收集器的效率和可用性,并比較了它與基線系統的差異。
用戶研究結果顯示,MagicQuill 在所有評估維度上都顯著優于基線系統,包括復雜性和效率、一致性和集成、易用性以及總體滿意度 4 個方面。
看來體驗過的用戶反饋都不錯呢!
未來工作
團隊還表示,這将是一個長期的工作,未來他們的目标是擴展系統功能,納入更多的編輯類型,如基于參考的編輯,這将允許用戶使用外部影像指導修改。
他們還計劃實現分層影像生成,可以讓編輯更加靈活、支持更多復雜合成。
系統也會支持排版,能夠處理更多影像中的文本元素。
目前 MagicQuill 的代碼、論文和 Demo 都已上線,感興趣的小夥伴可以馬上試用起來了!鏈接就在下方。
參考鏈接:https://magicquill.art/demo/