今天小編分享的科學經驗：CVPR 2025：無需物理引擎，一個模型搞定影像渲染與分解，歡迎閱讀。
無需物理引擎，單個模型也能實現 " 渲染 + 逆渲染 " 了！
在計算機圖形和視覺領網域，渲染是指将 3D 模型變成逼真的 2D 圖片，逆渲染則是從 2D 圖片分析出 3D 模型的各種屬性（如材質、光照等）。
現在，從材質分解（逆渲染）——材質編輯——物體渲染的整個流程，都被統一到了一個框架中，且在性能方面達到了新 SOTA。
該研究出自港科大廣州以及趣丸科技，他們首創雙流擴散框架 Uni-Renderer，将渲染（生成影像）與逆渲染（分解材質、光照、幾何）統一到單一擴散框架，實現 " 生成即分解 " 的閉環能力。
相關成果已被 CVPR 2025 接收，代碼與數據全面開源。
研究團隊表示，這一成果未來将重塑影視、遊戲、AR/VR 等產業的視覺生成管線。
首創雙流擴散框架
正如開頭提到，渲染是通過光線追蹤或路徑追蹤，生成高質量的影像；逆渲染是在 RGB 影像中提取出對象屬性，比如金屬度、粗糙度以及光照細節。
傳統方法需獨立建模訓練渲染器與逆渲染器，計算成本高效率低泛化差，兩個過程也缺乏聯系，精度和屬性分解效果都有限。
而 Uni-Renderer 的雙流擴散架構将兩個過程建模為雙條件生成任務，生成時以材質、光照為條件輸出影像，分解時以影像為條件反推内在屬性：
其中渲染流負責生成 RGB 影像：以 VAE 編碼材質、法線、光照為條件，通過擴散過程生成影像，支持動态調整粗糙度 / 金屬值（如 " 光滑棒球 " 秒變 " 金屬質感 "）。
而逆渲染流負責處理内在屬性：以影像為輸入，通過噪聲預測網絡分解屬性， 并在網絡内部進行跨流互動，實現信息傳遞融合優化協同。
此外，團隊還采用了差異化的 timestep 調度策略，通過不同的 timestep 使模型區分渲染和逆渲染的映射關系，讓這兩者能更好協同。
最後，鑑于傳統逆渲染因 " 材質 - 光照 - 幾何 " 耦合性導致分解模糊。
因此，他們将逆渲染分解得到的屬性，再次輸入到渲染模塊進行再渲染，并借助循環約束确保分解結果可重新生成一致影像，徹底告别 " 分解即失真 "。
實測對比，性能碾壓 SOTA
1、材質編輯
對比 Subias（過曝）、InstructPix2Pix（背景錯誤），Uni-Renderer 精準控制高光與漫反射，如下圖中 " 金屬橙子 " 表面反射環境光照，細節逼真。
2、重光照
如下圖所示，輸入單張影像，直接替換環境光為 " 夕陽 / 霓虹 "，模型自動調整漫反射與鏡面反射，光影過渡自然，超越 NvDiffRec 的生硬效果。
3、真實場景
下圖中，" 水壺 " 逆渲染成功解析高頻環境光，金屬質感與粗糙度誤差僅 3%。
概括而言，通過在生成階段，以材質、光照為條件輸出影像；分解階段，以影像為條件反推内在屬性，效率提升了200%。
同時，Uni-Renderer 強制内在屬性與影像的一致性，在公開測試集上材質估計誤差降低 40%，光照分解 PSNR 提升 30%。
另外，研究基于 Objaverse 構建業界最大規模多材質合成數據集，涵蓋 20 萬 3D 對象、121 種材質 / 光照組合，支持高分辨率（1024 × 1024）訓練。模型在未見過的真實場景中（如金屬水壺、手機支架）仍能精準分解高光、粗糙度與復雜光照。
在渲染任務中，PSNR 達30.72（對比基線 28.09），逆渲染任務中，材質估計 MSE 僅0.118（優化方法 0.316）；重光照效果超越 GaussianShader 等方案，真實感拉滿。
開源即用
目前團隊對 Uni-renderer 同步進行了開源，包括：
代碼庫：支持一鍵訓練 / 推理，兼容 PyTorch 生态；
合成數據集：20 萬對象 + 百萬級材質 - 光照組合，涵蓋數理化生多領網域；
預訓練模型：即插即用于遊戲資產生成、影視後期、工業設計等場景。
這項研究的作者為陳知非 , 許添碩以及葛汶杭，他們是來自于香港科技大學（廣州）ENVISION 實驗室的博士生，師從陳穎聰教授。
（ENVISION 實驗室專注于視覺生成模型的研究，致力于探索其基本原理，以提高模型的質量、效率、多樣性和可控性。）
小結一下，Uni-Renderer 的提出，标志着視覺生成與解析從 " 分而治之 " 邁入 " 統一智能 " 時代。
其雙流架構與循環約束機制，為跨任務聯合優化提供了全新範式。
未來，團隊将進一步融合真實數據，攻克復雜動态場景，讓人工智能成為 " 全能視覺工程師 "。
論文鏈接：
https://arxiv.org/pdf/2412.15050
GitHub 代碼：
https://yuevii.github.io/unirenderer-page/
實驗室官網：https://envision-research.hkust-gz.edu.cn/index.html#news
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
