今天小編分享的科學經驗：直觀即時繪制3D模型，可添加文本提示，VAST又開源了，歡迎閱讀。
3D 生成明星玩家 VAST，又又又又又開源了！
Tripo Doodle（内部代号 TripoSG Scribble ) ，能夠将簡單的 2D 草圖和文本提示（Text Prompt）實時轉化為精細的 3D 模型。
它改進了傳統 3D 建模學習曲線陡峭、耗時耗力的痛點，尤其是在初期 " 打形 " 階段。
現在，該項目的關鍵組件已經開源。
通過 Tripo Doodle，用戶可以：
直觀繪制（Sketch Intuitively）：在畫布上随手勾勒簡單的 2D 形狀和線條。
添加文本提示（Add Text Prompts）：通過文字輸入，賦予模型語義信息或特定屬性。
即時生成（Generate Instantly）：實時看到基于草圖和文本生成的 3D 模型，并随着輸入的修改而動态更新。
在 SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中，Tripo Doodle 展示了一個 " 萬物皆可畫 " 的未來—— 3D 建模可以像 2D 塗鴉一樣流暢自然、觸手可及。
它讓創作者能從繁瑣的工具操作中解放出來，将精力完全聚焦于創意本身。
基于 TripoSG 的實時互動延伸
Tripo Doodle 是一款旨在徹底簡化并加速 3D 創作流程的全新互動界面。
值得注意的是，Tripo Doodle 并非從零構建，它巧妙地利用并擴展了 VAST 旗下TripoSG基礎模型的能力，并針對實時、多模态互動進行了創新：
首先來了解一下TripoSG 基礎模型（TripoSG Base Model）。
TripoSG 是它的底層引擎，它是一影像到 3D（Image-to-3D）形狀生成模型。
該模型開創性地采用了大規模整流流 Transformer（Large-Scale Rectified Flow Transformer）架構，能在精選數據集上進行訓練，直接從條件輸入（基礎模型通常是影像）生成高保真 3D 網格。
其内部通過定制的 VAE 管理精确的符号距離函數（Signed Distance Function, SDF）表征。
其次是多模态條件注入（Multimodal Conditioning - Sketch + Text）。
Tripo Doodle 的核心突破在于增強了 TripoSG，使其能夠理解并同時融合草圖和文本兩種輸入模态。
其一，草圖引導（Sketch Guidance）。
2D 繪圖提供了強幾何約束，定義了 3D 模型的核心形狀、結構和姿态。
其二，文本引導（Text Guidance）。
自然語言提示則負責引導語義理解，影響物體的類型、風格和具體特征（例如，演示中加入 "dragon" 文本提示，就能将一個基礎的怪獸草圖轉化為龍形态）。
再者還有實時性能優化（Real-Time Optimization - 例如蒸餾技術）。
為了實現 " 塗鴉 " 體驗所必需的近乎實時的生成速度，Tripo Doodle 采用了CFG Distillation等優化技術。
通過訓練一個更快的 " 學生 " 模型來模拟（或 " 學習 "）更大 TripoSG 模型的輸出能力，從而實現能在用戶連續輸入時進行快速推理和實時更新。
從概念到初步 3D 可視化的時間縮短至秒級
SIGGRAPH Asia 2024 Real-Time LIVE! 現場，Tripo Doodle 生動演示了自己的能力。
以下實例突顯了 Tripo Doodle 如何将從概念到初步 3D 可視化的時間縮短至秒級，讓 3D 創作變得前所未有的簡單和有趣。
輕松創建
無論是植物、桌子、戒指還是怪獸，簡單的幾筆草圖都能即時轉化為 3D 物體。
實時迭代
随着用戶繪制、擦除、修改草圖，或添加 / 更改文本提示（如将普通怪獸變為 " 烏龜怪獸 " 或帶翅膀的 " 龍怪獸 "），3D 模型會動态、無縫地更新。
創意探索
"Randomize"（随機化）功能允許用戶基于同一份草圖和文本輸入，快速浏覽多種不同的、合理的 3D 解釋，極大地促進了創意發散。
易用性與效率
"Doodle 1v1" 環節中，觀眾成員在 30 秒内創作怪獸。
即使是初次使用者，也能快速上手并創造出如 " 番茄怪獸 "、" 毛毛蟲怪獸 " 等充滿趣味（有時甚至出人意料）的作品，充分證明了其直觀性和高效性。
一直以來，VAST 致力于通過開放合作推動領網域發展。
此次，TripoSG Scribble（即 Tripo Doodle）與 TripoSG 的核心組件都将對外開放。
VAST 誠邀全球的研究者、開發者和創作者們，深入探索 TripoSG 及 Tripo Doodle 背後的技術理念，在其基礎上構建應用。
TripoSG-Scribble 抱抱臉：
https://huggingface.co/spaces/VAST-AI/TripoSG-scribble
TripoSG 抱抱臉：
https://huggingface.co/spaces/VAST-AI/TripoSG
TripoSG GitHub：
https://github.com/VAST-AI-Research/TripoSG
TripoSG arXiv：
https://arxiv.org/abs/2502.06608
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
