單圖0.5秒生成3D模型！Stability AI&華人團隊VAST出品

今天小編分享的科學經驗：單圖0.5秒生成3D模型！Stability AI&華人團隊VAST出品，歡迎閲讀。

無需 GPU 即可部署，0.5 秒就能通過單張圖片生成 3D 模型。

大語言模型風暴再起的一晚，3D 生成領網域也有新開源模型引發關注。

二月底，Stability AI 悄然換将，新任 CTO Christian 是圖形學和機器視覺大佬。上任不到五天，立刻官宣為開源社區帶來重磅炸彈：和華人團隊 VAST 聯合推出 3D 生成模型TripoSR。

只需短短的 0.5 秒，TripoSR 就能把單張圖片轉化為一個幾何結構完整、材質紋理清晰的 3D 模型，無需任何 prompt 和專業知識，甚至不需要依賴 GPU。

△圖源 Stability AI 官網

可以看出，不管是人物角色、家裝建築、食物擺件，TripoSR 都能理解和還原。

△圖源 TripoSR 技術報告

TripoSR 的靈感來源于 2023 年 11 月 Adobe 提出的 LRM。

和 Sora 作為視頻生成模型使用的 Transformer 架構相似，TripoSR 和 LRM 都基于 Transformer 架構。

這種方式将影像生成 3D 模型的任務巧妙地理解為一場跨維度的語言翻譯。想象一下，每一張輸入的影像都是一種獨特的語言，而模型的任務，就是将這種影像語言翻譯成另一種三維的表達—— 3D 模型語言。

在這場翻譯中，影像語言的 " 詞匯 " 由輸入影像精心切割成的一塊塊小方塊，類比于視頻語言的 " 詞匯 " 是 patch，而 3D 模型語言的 " 詞匯 " 則是由 " 三平面（triplane）" 構成的三維空間中的小方塊。這個方法的核心就在于它能夠将這些影像語言的 " 詞匯 " 一一對應地轉化為 3D 模型語言的 " 詞匯 "，從而将二維的影像轉化為三維的模型。

在 transformer 架構的強力推動下，LRM 在超過百萬級别的公開三維數據集上接受了訓練，這标志着它與以往那些僅限于特定類别的研究工作劃清了界限。這種對任意用户輸入的廣泛适應性和超高的運行效率赢得了贊譽在學術界和工業界掀起了一陣熱潮。

盡管如此，LRM 的代碼和模型并未對外開放，加之其訓練成本之高——需要 128 塊 A100 GPU 連續運行一周——這使得許多資源有限的研究團隊望而卻步，從而在一定程度上限制了這項技術向更廣泛領網域的推廣。

或許還有人有印象 Stability AI 此前開源的 3D 項目 Stable Zero123。

這個項目基于另一個受到廣泛關注的開源項目 threestudio，盡管這個集成嘗試取得了不少進展，但由于其依賴的技術（比如 score distillation sampling）需要較長的優化和計算時間，使得生成一個 3D 模型既緩慢又資源消耗巨大，這個問題仍未能被充分解決。