今天小編分享的科學經驗:AI打造“魔法博物館”,五分鍾完成一件“3D展品”,歡迎閲讀。
克雷西 發自 凹非寺
量子位 | 公眾号 QbitAI
注意看,這是一家 " 魔法博物館 ",陳列的展品琳琅滿目,甚至還有機甲套裝……
魔法鏡子、水晶法杖……也是一應俱全,仿佛真的進入了魔法世界。
沒錯,這個 " 博物館 " 裏的 " 展品 " 全都是由 AI 打造的,而且一件只需要五分鍾。
來自南洋理工大學、上海 AI 實驗室等機構的研究人員,共同推出了新款文生 3D 基礎模型3DTopia。
只需要一組文本,它就可以在 5 分鍾内生成出多樣化、高精度的 3D 模型。
除了 " 魔法博物館 " 裏的展品之外,日常的物品 3DTopia 更是可以精準合成。
比如老板心血來潮想要布置一下辦公室,它就能建立出桌椅擺件的樣子,甚至桌子上的咖啡也一起 " 準備 " 好了。
就算天馬行空一些也沒關系,只要人能想到,它可以建立出一套月球的 " 沙盤 "。
那麼,該怎麼用 3DTopia 來創建 3D 模型呢?
推理分兩階段進行
3DTopia 的推理過程是分為兩個階段進行的,第一個階段會根據提示詞生成點雲格式的粗糙模型。
比如當我們讓它生成一個機器人模型時,第一階段得到的模型是長這樣的:
第二階段就是用該團隊推出的 theeefiner 對這個粗糙的點雲進行細化,并完成上色等操作。
經過優化 theeefiner 的之後,這個機器人模型終于變成了人類熟悉的樣子。
所以,實際操作過程也需要對這兩部分用到的工具分别進行部署。
首先拉取 3DTopia 的檔案,然後用 conda 創建虛拟環境并完成安裝,接着還要安裝另一份教程部署第二階段要用到的 threefiner。
部署完成之後,還得到 HuggingFace 上下載一個 checkpoint 檔案并放到指定目錄。
整個過程難度倒也不算大,但是對于小白來説操作起來可能也得費一番功夫。
所以,如果這個部署過程看上去過于繁瑣,這裏還有一份大神改編的 Colab 筆記。
利用這份筆記,只需要修改其中的提示詞和檔案名,部署過程則是一鍵完成,不過實測需要選擇 A100 才能完美運行。
這份筆記将第二階段拆抽成了兩個子步驟,所以部署完之後一共需要運行三段代碼,修改提示詞的方式如下圖。
其中 stage1 生成的檔案名可以點擊左側的檔案夾圖示,就可以在 3DTopia - results 目錄下找到,stage1 目錄下同時還會生成初稿的預覽視頻。
最終的成品模型,則是默認存在了 stage2 目錄中。
不過需要注意的是,目前筆記的第 2-2 步存在一處小錯誤,運行之前需要在 threefiner 前加上一個英文感嘆号,否則無法正常運行。
GitHub:
https://github.com/3DTopia/3DTopia
Colab 筆記:
https://colab.research.google.com/github/camenduru/3DTopia-jupyter/blob/main/3DTopia_jupyter.ipynb
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>