今天小編分享的科學經驗：AI 3D生成天花板再拉升！清華團隊煉成3D Scaling Law，歡迎閱讀。
《黑神話 · 悟空》的火爆，帶火的不僅是 3D 遊戲本身，還有背後暗潮洶湧的AI 3D 生成技術。
一直以來，外界對 3D 大模型賽道的關注度都稍遜于語言模型和視頻模型。然而，全球 3D 大模型選手們則都在暗中較量、默默發力，從 a16z 押注的 Yellow，到李飛飛的 World Labs，3D 大模型的迭代速度是沒落下一點。
就在剛剛，國内 3D 大模型頭部玩家VAST更新了旗下的大模型 Tripo，是基于千萬級高質量原生自有數據庫訓出來的那種超強版本。
而 3D 生成新工具的玩法也更進一步，文字、單圖、多圖都能作為輸入。
至于幾何精細度和圖片還原度等方面的效果嘛，先小放一段用新工具生成 3D 模型的視頻，大家直觀感受一下：
在官宣新品之餘，VAST 又帶來另一則重磅消息，即公司連續完成了數億元融資，這也是 3D 大模型賽道的最大融資金額。
當然，融資方面的引領，也只是技術實力的展現。因為 VAST 的技術和應用場景，确實夠頂。
再次拉升 AI 3D 天花板的模型叫做Tripo 2.0。
Tripo 2.0 先在幾秒内生成形狀幾何預覽，再接着幾秒内為其 " 貼上皮膚 "，⽣成紋理及 PBR。
目前 Tripo 2.0 已正式上線，大批網友已經開啟了實測。
量子位也在第一時間湊上了熱鬧。
Tripo 2.0 支持文生 3D、單圖生 3D；Tripo 1.4 版本也支持多圖生 3D。
輸入一個 prompt，一次能生成 4 個 3D 模型。
根據輸入的不同，量子位的上手實測結果在下面分為兩個部分，即：
文生 3D模型
圖生3D 模型
Tripo 2.0 文生 3D 模型實測
話不多說，直接先來看一波文生 3D 效果。
第一步，生成幾何形狀「動漫少女的半身形象」。
就復雜結構生成效果來看，細節還是很足的：
接下來給它貼好皮膚。
在不超過 20 秒的生成時間裡獲得精細的紋理和層次；普通水平的人工建模要達到這種細節，耗時可能要上千倍。
換一道題！用 Tripo 2.0 生成卡通形象的全身形象試試看。
先生成個卡通小矮人試試～
出來的效果，那是相當可愛（發出宋丹丹的聲音），belike：
我們又生成了一個小怪物，并且把單個生成的模型放大來看。
360 度旋轉，肉眼沒有發現 bug 和瑕疵。要知道，怪物後背密密麻麻的尖刺細節，是人工建模師的噩夢，一般都會規避這種繁復的設計，但是對 tripo 來說毫無壓力。
加大難度，再復雜一些 3D 模型生成任務也同樣能駕馭。
透視結構理解過去一直是生成式 AI 的卡點，以生圖模型的手指問題為代表。3D 模型空間結構極為重要，我們可以看到 Tripo 強大的透視結構理解能力，完美生成了復雜結構的模型任務。
最後再放個厲害的，下面這個購物車什麼難度都不用多說了：
Tripo 2.0 圖生 3D 模型實測
再來看一波圖生 3D 的效果。
單圖生 3D 模型的算法最考察對圖片的空間信息理解和還原度，這次我們橫向對比一些市場的其他玩家效果。
友情提示，下面每張展示圖中的最後一個 3D 模型，都由 Tripo 2.0 生成。
來，上一支玫瑰花的圖生模型對比展示！
對比可以清晰看到，只有它生成的幾何形狀 360 度無死角，花朵和枝葉完整度最高：
貼圖之後，在還原原圖的顏色、質感這一塊，也是效果最好的：
測完植物生成效果，我們又測試了無生命物體的圖生模型。
丢給模型一個俄羅斯復活節彩蛋圖片作為輸入，Tripo 2.0 的輸出效果最有 " 浮雕感 "，對比來看，紋理細節都是最精致的：
進行多次測試後，不難發現 Tripo 2.0 在全方位的生成表現上都有顯著差異。
比如生成的 PBR 材質具有⾼保真度，保留了原圖表⾯屬性和視覺效果：
再比如，不管側面、背面，每個面都能捕捉復雜的原圖特征：
Tripo 2.0 不僅生成質量讓人眼前一亮，更高的可控性也是一大特點。
輸入不僅支持多模态，當選擇文生 3D 模型模式時，還支持輸入負向 prompt（就是不讓生成模型中帶有什麼元素）。
對輸出模型姿态的控制性也很絕。
既能自定義所生成 3D 模型頭、腿、手臂等比例。
還能 "A-pose""T-pose" 兩個姿勢随便選，秒秒鍾設定大長腿：
生成好的 3D 模型還可以一鍵綁定骨骼、風格化。
3D 模型人擁有自己的樂高！
更多玩法大家可以慢慢探索，歡迎大家評論區共創～
Tripo 2.0 效果如此哇塞，所以——
Tripo 2.0 如何煉成？
從技術上層層解剖，Tripo 2.0 在實現過程中打滿了一個詞：3D Scaling Law。
首先，Tripo 2.0 基于海量千萬級 3D ⾼質量數據庫，采⽤概率性的⽣成式建模⽅法，通過學習捕捉⼤規模數據中的⼏何和材質分布。
由此，Tripo 2.0 更好地保證了輸出的質量、增強了模型的魯棒性和泛化能⼒。
其次，它采用了DiT 和 U-Net 模型的復雜混合架構。
DiT 擅⻓捕捉 3D 結構中的全局上下⽂和⻓距離依賴關系，而 U-Net 精于保留精細的細節和局部特征，Tripo 2.0 正是融合了這兩種架構的優勢。
再者，采⽤最先進的訓練算法，Tripo 2.0 ⼏何和材質⽣成模型均基于最先進的⼤規模流模型，擁有數⼗億參數。
同時采⽤了 guidance distillation 和 step distillation，通過蒸餾提⾼效率，在不犧牲質量的前提下⼤幅優化了性能。
種種技術加持下，在 3D 生成形狀、紋理質量、細節表現、輸⼊條件的遵循性以及輸出多樣性⽅⾯，Tripo 2.0 拿下新 SOTA，成為新晉 " 五邊形 " 戰士：
之前，Tripo 2.0 背後團隊還與其他團隊合作，推出了一籮筐學術成果，被 Siggraph、CVPR、ICLR、ECCV 等頂會接收。
比如Wonder3D，通過一個跨網域擴散模型生成一致性的多視圖法線貼圖和相應的彩色影像，然後利用一種新穎的法線融合算法快速、高質量地重建 3D 幾何體。
與現有的基于分數蒸餾采樣（SDS）的方法相比，Wonder3D 在效率、一致性和細節上都有顯著提升，能夠在 2-3 分鍾内完成重建。
再比如TGS：Triplane Meets Gaussian Splatting，同樣被 CVPR 2024 收錄。
這項技術利用 Transformer 網絡和一種新穎的 Triplane-Gaussian 混合表示，使得從單張圖片中重建 3D 模型變得更加高效和精确。
更多細節，感興趣的童鞋可以自行查閱。
總之，Tripo 2.0 并非一蹴而就，背後有眾多技術積累。
3D 世界的 Scaling Law
最後，我們來正式認識一下 Tripo 2.0 背後的公司。
VAST，去年 3 月成立，是一家專注于在 3D 大模型研發的 AI 公司。
公司目标是 " 通過打造⼤眾級别的 3D 内容創作⼯具，建⽴ 3D 的 UGC 内容平台，讓基于 3D 的空間成為用戶體驗、内容表達、提升新質⽣產⼒的關鍵要素。"
公開資料顯示，該公司的 CEO、CTO 都是商湯出身：
創始人兼 CEO 宋亞宸，曾在商湯落地過多個從零到一的 AI 項目，曾參與大模型六小強之一 MiniMax 的創立；CTO 梁鼎，清華本碩博，師從戴瓊海院士，曾任商湯通用模型負責人。
成立一年半以來，這家公司動作頻頻。
首先在今年年初，亮相了自家首個 3D 大模型Tripo 1.0。
Tripo 1.0 參數量數十億，用上它，從單圖 / 文字生成 3D 網格模型僅需要 8 秒。
△3D 建模經典之「牛油果扶手椅」，Tripo 1.0 生成
上線半年内，Tripo 1.0 全球用戶生成的 3D 模型超過了 500 萬個。
500 萬個是什麼概念呢？約為全球前三大 3D 模型數據庫總和。
到了今年 3 月初，VAST 又聯合 Stable Diffusion 背後的 Stability AI，共同推出了開源的 3D 基礎模型TripoSR。
因其能夠達成 "0.5 秒完成單圖生成 3D 模型 " 的成就，在 3D 生成領網域的開源屆廣受歡迎，至今 GitHub 上攬星 4.3k。
現在，Tripo 2.0 又問世了，已經在線可玩。
得益于 3D Scaling Law 帶來的效果提升，Tripo 的這三次更新時間跨度僅僅有 9 個月。
而且有速度也有質量，效果在業内外頗受認可。
拿一則新消息來佐證一下：不久前，世界最大在線遊戲開發平台 Roblox 官宣入局 AI 3D 生成，但截至目前，Tripo 都是 Roblox 玩家最風靡的 3D 建模的趁手工具。
接下來的 VAST 會帶着 Tripo 去向什麼方向？
量子位尋回的答案是，至少在技術方面，VAST 會持續追尋 3D 生成式 AI 的 Scaling Law研究模型規模、數據量和生成質量之間關系的基本原理，同時尋找數據、表征和模型架構的可擴展範式。
既致力于推動 3D 生成式 AI 的邊界，也會不斷探索更整體的（Holistic）3D 生成。
就還挺令人期待的。
在語言模型和視頻模型帶給這個世界一點小小震撼過後，人們也希望 3D 生成賽道能滋養出屬于自己的 ChatGPT 時刻。
畢竟 3D 的 AI 生成與其它 AI 生成賽道相比，情況比較特殊，不僅 AI 生成後人工二改技術難度大，如果模型效果表現不好，想要僅憑增加抽卡次數來達到滿意度，不如趁早自己畫（不是）。
好在 3D 生成行業深孚眾望，一路前行着——
回顧過去的兩年時間，尤其在 2023 年末到 2024 年間，3D 生成技術得到了快速發展。
不僅在效果、速度方面均有提升，還實現了 " 效率高、成本低、創新性強和可定制性強 " 的特點。
技術飛快進步的同時，整個行業的人才密度都在不斷增大。
國内，以 VAST 為代表，初創公司多來自全球知名高校和科研機構；放眼國外，AI 教母李飛飛首次創業成立的空間智能公司World Labs，也着眼于 3D 生成世界，宣布長期目标是構建大世界模型（LWM）來感知、生成 3D 世界并與之互動。
眾人拾柴火焰高嘛。
可以說，因為人才與技術、效果與場景的清晰和進步，現在 AI 3D 生成這個賽道，漸漸走進了更多人的視野之中。
而 3D Scaling Law 或将帶來的突破性進展，似乎已經預示了人工智能領網域下一個焦點的方向。
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
