今天小編分享的科學經驗：實時可編輯3D重建！滑鼠拖拽就能控制，港大VAST浙大聯合出品，歡迎閱讀。
最近，高斯濺射（Gaussian Splatting）在新視角合成領網域掀起了一輪革命性浪潮，取代上一代技術神經輻射場（NeRF）成為學界業界頂流。而真實場景往往是動态的，如何合成動态場景的新視角是更具價值與挑戰的領網域。
随着圖形學與 AI 的發展，數字資產的創造日益引起人們的重視。對于重建的真實場景進行編輯也是 AIGC 領網域業内關注的熱門方向，其為制作數字資產提供了高效與便捷。
香港大學 CVMI 實驗室攜手 3D 大模型公司 VAST 與浙江大學，提出了目前 SOTA 的動态高斯濺射模型SC-GS，并支持用戶互動式實時編輯重建的場景。
△面向可編輯動态場景的稀疏控制高斯濺射
SC-GS 支持用戶對重建的動态高斯進行實時互動編輯，制作新的場景運動或形狀：
使用滑鼠的拖拽與鍵盤組合按鍵就能夠方便的操作。
△實時互動編輯怎麼做到的？
SC-GS 的靈感來源于對自然世界大多數動态過程的觀察，由于物質大多數都是剛性或連續的，因此物體的移動往往可以由稀疏的變形基底表示，并不需要稠密的變形場進行建模。
摒棄了大多數現有方法對動态場景的變形場進行稠密建模的方案，SC-GS 突破性地引入稀疏的控制點對動态場景的變形進行表示與建模，并由一個神經網絡預測每個控制點在不同時刻的運動狀态，從而驅動整個場景中的動态高斯進行變形。
SC-GS 首先初始化少數各向同性的球狀高斯結合神經網絡預測的運動進行渲染，使用渲染結果拟合動态場景的多視角圖片，得到粗糙但不過拟合的變形場建模。
通過對這些球狀高斯進行降采樣，得到預設數量的稀疏控制點，并通過徑向基函數插值得到标準空間中各個高斯在不同時刻的變形參數進行驅動變形。
訓練過程中，稀疏控制點，神經網絡還有高斯共同訓練優化，實現動态場景的建模。
研究團隊發現稀疏控制點雖然能夠完美解決變形場過拟合到訓練視角的問題，但其重建的變形也會出現不符合真實物理的現象。這是由于控制點的運動缺乏物理約束，容易出現交錯與碰撞。
因此研究團隊引入了局部剛性約束，限制控制點與鄰接點形成的邊在運動過程發生非剛性變形，以讓控制點的運動規律盡可能地符合真實物理。
這一約束進一步提升了動态新視角合成的性能。
基于訓練完成的模型，通過分析控制點的軌迹，能夠得到控制點連接形成的圖結構與各個邊上的剛性權重。通過對該圖進行 " 盡可能剛性 "（ARAP）的變形，能夠以符合物理的條件對建模場景進行編輯。
由于變形的對象是稀疏的控制點，因此變形過程能夠實時進行，這也為互動式編輯提供了可能，讓用戶能夠更高效，更便捷的創建屬于自己的數字資產。
△基于稀疏控制點驅動稠密高斯的方法框架實驗結果
SC-GS 能夠對建模場景進行互動式編輯，制作新的場景運動或形狀。
△動作形狀編輯結果
SC-GS 提供了方便快捷的編輯方案，在可視化視窗界面利用滑鼠拖拽與鍵盤按鍵即可實現。
此外，SC-GS 能夠以 SOTA 的性能合成動态場景的新視角圖片，對于精細的幾何紋理細節都有着最高的保真度。對于人體手指，恐龍骨骼等精細部位的渲染都有着精準的復現。
△DNeRF 數據集定性對比，SC-GS 超過現有方法達到最佳視覺質量
定量實驗同樣表明，SC-GS 遠超現有方法，在 DNeRF 數據集上實現了均值超過 40 的 PSNR 指标。
△SC-GS 全面大幅度超越現有的動态場景新視角合成方法
最後研究人員表示：
SC-GS 讓我們看到了高斯濺射在動态場景與互動式編輯方面的潛力，我們期待 2024 年會有更精彩的工作與探索。
項目主頁：https://yihua7.github.io/SC-GS-web/
論文鏈接：https://arxiv.org/pdf/2312.14937.pdf
代碼倉庫：https://github.com/yihua7/SC-GS
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
