AI生成3D主題樂園，角色建築批量生成，風格保持一致

今天小編分享的科學經驗：AI生成3D主題樂園，角色建築批量生成，風格保持一致，歡迎閱讀。

最少只需 1 個 3D 樣例，即可生成 3D 主題樂園。

來自香港城市大學、上海人工智能實驗室和南洋理工大學 S-Lab 的研究人員提出了一種名為ThemeStation的新穎框架。

它可以從少量 3D 樣例中生成主題一致的高質量 3D 畫廊。

還能基于文本控制，生成想要的 3D 資產。比如 " 穿正裝的貓頭鷹 "。

要知道，虛拟世界和遊戲等應用中，常常需要大規模主題一致的 3D 模型，如古城中的建築群、虛拟生态系統中的怪物陣容。

盡管一位資深 3D 建模師可以創作出若幹主題一致的作品，但要創建大規模内容豐富、風格一致的 3D 畫廊卻是一大挑戰。

即便最近的 3D 内容生成（3D AIGC）在文本到 3D、影像到 3D 等領網域取得了長足進展，大大降低了 3D 内容創作的門檻。但由于輸入模态中 3D 信息有限，它們仍然存在 3D 模糊和不一致的問題，且無法充分保證與輸入樣例主題的一致性。

因此研究人員提出了這項工作。目前該論文已被SIGGRAPH 2024接收，方法已開源。

ThemeStation 的主要貢獻包括：

提出了一種用于主題驅動 3D 到 3D 生成的兩階段框架，其目标是僅從一個或幾個 3D 樣例生成在主題一致性和内容多樣性方面均符合要求的新 3D 資產。

首次嘗試将擴散先驗擴展到 3D 到 3D 内容生成這一挑戰性任務上。

引入了雙重分數蒸餾 ( DSD ) ，通過在不同噪聲水平應用參考先驗和概念先驗，實現了在 3D 到 3D 生成中同時使用兩種互相衝突的擴散先驗。

與現有的文本到 3D、影像到 3D 的技術不同，ThemeStation 接受 3D 樣例作為輸入。與文本和影像相比，3D 樣例可以提供更多關于幾何和紋理的 3D 信息，大大減少了 3D 生成中的多視角不一致問題，使得生成更高質量的 3D 模型成為了可能。

然而，直接在少量 3D 樣例上訓練的 3D 生成器缺乏先驗信息，只能簡單地重復、縮放和微調輸入樣例，無法生成多樣化且主題一致的 3D 資產。為此，ThemeStation 采用了一種兩階段的生成方案，模仿了實際 3D 建模工作流程：

第一階段 : 主題驅動的概念影像生成

在第一階段，ThemeStation 利用給定 3D 樣例的多視角渲染影像對預訓練的文本到影像 ( T2I ) 擴散模型進行了微調，以生成一系列與輸入 3D 示例保持一致主題的概念影像，類似于實踐中的概念草圖設計過程。與 DreamBooth 等主體驅動的微調技術不同，該階段的目标并非完全拟合給定 3D 樣例。

因此，在該階段，研究人員使用低學習速率和少訓練步驟來微調預訓練的擴散模型以提取 3D 樣例中的主題信息并避免過拟合，最終實現了主題一致且多樣化的 3D 變體概念草圖生成。

第二階段 : 參考信息驅動的 3D 資產建模

在第二階段，ThemeStation 進行參考信息驅動的 3D 資產建模。給定一張第一階段生成的概念草圖和輸入的 3D 樣例，ThemeStation，首先使用現有的影像到 3D 技術生成粗糙的 3D 模型作為初始化。然後，它使用所提出的雙重分數蒸餾 ( DSD ) 損失函數來逐步優化這個初始模型。

雙重分數蒸餾 ( DSD ) 損失是 ThemeStation 的技術核心，它結合了兩種擴散先驗 : 概念先驗和參考先驗。概念先驗來自第一階段合成的概念草圖，通過整體調整布局和顏色來确保概念圖的重建。參考先驗則來自輸入的 3D 樣例，通過利用多視角渲染影像和法線圖中的 3D 一致信息來恢復更豐富的高頻細節。

具體而言，研究者分别使用概念草圖和輸入 3D 樣例的渲染圖片微調了兩個定制化的 T2I 擴散模型來提供不同的擴散先驗。

值得注意的是，由于概念圖和輸入的 3D 樣例并非同一 3D 物體，同時使用這兩種互相衝突的先驗信息作為優化目标并非易事。與簡單組合這兩種先驗 ( 可導致嚴重的損失衝突 ) 不同，ThemeStation 的研究者創新性地根據擴散模型的去噪時間步分配不同的先驗損失——在高噪聲下控制全局布局（概念先驗）并在低噪聲下精雕細琢（參考先驗）。

在這樣的設計下，兩個衝突的先驗得以融合，避免了信息損失。這一設計靈感來自影像風格遷移算法和 T2I 擴散模型中反向擴散過程的基于時間步長的由粗糙到細致的動态變化，如下圖所示：