今天小编分享的科学经验：CVPR 2025：无需物理引擎，一个模型搞定影像渲染与分解，欢迎阅读。
无需物理引擎，单个模型也能实现 " 渲染 + 逆渲染 " 了！
在计算机图形和视觉领網域，渲染是指将 3D 模型变成逼真的 2D 图片，逆渲染则是从 2D 图片分析出 3D 模型的各种属性（如材质、光照等）。
现在，从材质分解（逆渲染）——材质编辑——物体渲染的整个流程，都被统一到了一个框架中，且在性能方面达到了新 SOTA。
该研究出自港科大广州以及趣丸科技，他们首创双流扩散框架 Uni-Renderer，将渲染（生成影像）与逆渲染（分解材质、光照、几何）统一到单一扩散框架，实现 " 生成即分解 " 的闭环能力。
相关成果已被 CVPR 2025 接收，代码与数据全面开源。
研究团队表示，这一成果未来将重塑影视、游戏、AR/VR 等产业的视觉生成管线。
首创双流扩散框架
正如开头提到，渲染是通过光线追踪或路径追踪，生成高质量的影像；逆渲染是在 RGB 影像中提取出对象属性，比如金属度、粗糙度以及光照细节。
传统方法需独立建模训练渲染器与逆渲染器，计算成本高效率低泛化差，两个过程也缺乏联系，精度和属性分解效果都有限。
而 Uni-Renderer 的双流扩散架构将两个过程建模为双条件生成任务，生成时以材质、光照为条件输出影像，分解时以影像为条件反推内在属性：
其中渲染流负责生成 RGB 影像：以 VAE 编码材质、法线、光照为条件，通过扩散过程生成影像，支持动态调整粗糙度 / 金属值（如 " 光滑棒球 " 秒变 " 金属质感 "）。
而逆渲染流负责处理内在属性：以影像为输入，通过噪声预测网络分解属性， 并在网络内部进行跨流互動，实现信息传递融合优化协同。
此外，团队还采用了差异化的 timestep 调度策略，通过不同的 timestep 使模型区分渲染和逆渲染的映射关系，让这两者能更好协同。
最后，鉴于传统逆渲染因 " 材质 - 光照 - 几何 " 耦合性导致分解模糊。
因此，他们将逆渲染分解得到的属性，再次输入到渲染模块进行再渲染，并借助循环约束确保分解结果可重新生成一致影像，彻底告别 " 分解即失真 "。
实测对比，性能碾压 SOTA
1、材质编辑
对比 Subias（过曝）、InstructPix2Pix（背景错误），Uni-Renderer 精准控制高光与漫反射，如下图中 " 金属橙子 " 表面反射环境光照，细节逼真。
2、重光照
如下图所示，输入单张影像，直接替换环境光为 " 夕阳 / 霓虹 "，模型自动调整漫反射与镜面反射，光影过渡自然，超越 NvDiffRec 的生硬效果。
3、真实场景
下图中，" 水壶 " 逆渲染成功解析高频环境光，金属质感与粗糙度误差仅 3%。
概括而言，通过在生成阶段，以材质、光照为条件输出影像；分解阶段，以影像为条件反推内在属性，效率提升了200%。
同时，Uni-Renderer 强制内在属性与影像的一致性，在公开测试集上材质估计误差降低 40%，光照分解 PSNR 提升 30%。
另外，研究基于 Objaverse 构建业界最大规模多材质合成数据集，涵盖 20 万 3D 对象、121 种材质 / 光照组合，支持高分辨率（1024 × 1024）训练。模型在未见过的真实场景中（如金属水壶、手机支架）仍能精准分解高光、粗糙度与复杂光照。
在渲染任务中，PSNR 达30.72（对比基线 28.09），逆渲染任务中，材质估计 MSE 仅0.118（优化方法 0.316）；重光照效果超越 GaussianShader 等方案，真实感拉满。
开源即用
目前团队对 Uni-renderer 同步进行了开源，包括：
代码库：支持一键训练 / 推理，兼容 PyTorch 生态；
合成数据集：20 万对象 + 百万级材质 - 光照组合，涵盖数理化生多领網域；
预训练模型：即插即用于游戏资产生成、影视后期、工业设计等场景。
这项研究的作者为陈知非 , 许添硕以及葛汶杭，他们是来自于香港科技大学（广州）ENVISION 实验室的博士生，师从陈颖聪教授。
（ENVISION 实验室专注于视觉生成模型的研究，致力于探索其基本原理，以提高模型的质量、效率、多样性和可控性。）
小结一下，Uni-Renderer 的提出，标志着视觉生成与解析从 " 分而治之 " 迈入 " 统一智能 " 时代。
其双流架构与循环约束机制，为跨任务联合优化提供了全新范式。
未来，团队将进一步融合真实数据，攻克复杂动态场景，让人工智能成为 " 全能视觉工程师 "。
论文链接：
https://arxiv.org/pdf/2412.15050
GitHub 代码：
https://yuevii.github.io/unirenderer-page/
实验室官网：https://envision-research.hkust-gz.edu.cn/index.html#news
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
一键关注 点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
