今天小编分享的科学经验：直观即时绘制3D模型，可添加文本提示，VAST又开源了，欢迎阅读。
3D 生成明星玩家 VAST，又又又又又开源了！
Tripo Doodle（内部代号 TripoSG Scribble ) ，能够将简单的 2D 草图和文本提示（Text Prompt）实时转化为精细的 3D 模型。
它改进了传统 3D 建模学习曲线陡峭、耗时耗力的痛点，尤其是在初期 " 打形 " 阶段。
现在，该项目的关键组件已经开源。
通过 Tripo Doodle，用户可以：
直观绘制（Sketch Intuitively）：在画布上随手勾勒简单的 2D 形状和线条。
添加文本提示（Add Text Prompts）：通过文字输入，赋予模型语义信息或特定属性。
即时生成（Generate Instantly）：实时看到基于草图和文本生成的 3D 模型，并随着输入的修改而动态更新。
在 SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中，Tripo Doodle 展示了一个 " 万物皆可画 " 的未来—— 3D 建模可以像 2D 涂鸦一样流畅自然、触手可及。
它让创作者能从繁琐的工具操作中解放出来，将精力完全聚焦于创意本身。
基于 TripoSG 的实时互動延伸
Tripo Doodle 是一款旨在彻底简化并加速 3D 创作流程的全新互動界面。
值得注意的是，Tripo Doodle 并非从零构建，它巧妙地利用并扩展了 VAST 旗下TripoSG基础模型的能力，并针对实时、多模态互動进行了创新：
首先来了解一下TripoSG 基础模型（TripoSG Base Model）。
TripoSG 是它的底层引擎，它是一影像到 3D（Image-to-3D）形状生成模型。
该模型开创性地采用了大规模整流流 Transformer（Large-Scale Rectified Flow Transformer）架构，能在精选数据集上进行训练，直接从条件输入（基础模型通常是影像）生成高保真 3D 网格。
其内部通过定制的 VAE 管理精确的符号距离函数（Signed Distance Function, SDF）表征。
其次是多模态条件注入（Multimodal Conditioning - Sketch + Text）。
Tripo Doodle 的核心突破在于增强了 TripoSG，使其能够理解并同时融合草图和文本两种输入模态。
其一，草图引导（Sketch Guidance）。
2D 绘图提供了强几何约束，定义了 3D 模型的核心形状、结构和姿态。
其二，文本引导（Text Guidance）。
自然语言提示则负责引导语义理解，影响物体的类型、风格和具体特征（例如，演示中加入 "dragon" 文本提示，就能将一个基础的怪兽草图转化为龙形态）。
再者还有实时性能优化（Real-Time Optimization - 例如蒸馏技术）。
为了实现 " 涂鸦 " 体验所必需的近乎实时的生成速度，Tripo Doodle 采用了CFG Distillation等优化技术。
通过训练一个更快的 " 学生 " 模型来模拟（或 " 学习 "）更大 TripoSG 模型的输出能力，从而实现能在用户连续输入时进行快速推理和实时更新。
从概念到初步 3D 可视化的时间缩短至秒级
SIGGRAPH Asia 2024 Real-Time LIVE! 现场，Tripo Doodle 生动演示了自己的能力。
以下实例突显了 Tripo Doodle 如何将从概念到初步 3D 可视化的时间缩短至秒级，让 3D 创作变得前所未有的简单和有趣。
轻松创建
无论是植物、桌子、戒指还是怪兽，简单的几笔草图都能即时转化为 3D 物体。
实时迭代
随着用户绘制、擦除、修改草图，或添加 / 更改文本提示（如将普通怪兽变为 " 乌龟怪兽 " 或带翅膀的 " 龙怪兽 "），3D 模型会动态、无缝地更新。
创意探索
"Randomize"（随机化）功能允许用户基于同一份草图和文本输入，快速浏览多种不同的、合理的 3D 解释，极大地促进了创意发散。
易用性与效率
"Doodle 1v1" 环节中，观众成员在 30 秒内创作怪兽。
即使是初次使用者，也能快速上手并创造出如 " 番茄怪兽 "、" 毛毛虫怪兽 " 等充满趣味（有时甚至出人意料）的作品，充分证明了其直观性和高效性。
一直以来，VAST 致力于通过开放合作推动领網域发展。
此次，TripoSG Scribble（即 Tripo Doodle）与 TripoSG 的核心组件都将对外开放。
VAST 诚邀全球的研究者、开发者和创作者们，深入探索 TripoSG 及 Tripo Doodle 背后的技术理念，在其基础上构建应用。
TripoSG-Scribble 抱抱脸：
https://huggingface.co/spaces/VAST-AI/TripoSG-scribble
TripoSG 抱抱脸：
https://huggingface.co/spaces/VAST-AI/TripoSG
TripoSG GitHub：
https://github.com/VAST-AI-Research/TripoSG
TripoSG arXiv：
https://arxiv.org/abs/2502.06608
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点亮星标
科技前沿进展每日见
