今天小編分享的科技經驗：一部iPhone實時渲染300平房間，精度達厘米級别，谷歌最新研究證明NeRF沒死，歡迎閱讀。
NeRF 已死？
3D 實時渲染又要進入新時代了！谷歌團隊最新研究 SMERF 能夠在手機、電腦上實時渲染大型 3D 場景。
3D 實時渲染大型場景，一台電腦，甚至一部手機就可以完成。
從家裡的客廳到主卧，儲物間，廚房，衛生間各個死角，都能逼真在電腦中完成渲染，如同拍攝實物視頻一般。
而且，你還可以在一台 iPhone 上完成復雜場景渲染。
來自谷歌、谷歌 DeepMind 和圖賓根大學的研究人員最近提出了一種全新技術 SMERF。
它可以在智能手機和筆記型電腦各種設備上實時渲染大型視圖場景。
論文地址：https://arxiv.org/pdf/2312.07541.pdf
本質上講，SMERF 是一種基于 NeRFs 的方法，依賴于内存效率更高的 MERF（Memory-Efficient Radiance Fields）。
01 NeRF 已死？
當前，輻射場（Radiance fields）已成為一種強大且易于優化的表示形式，用于重建和重新渲染逼真的真實 3D 場景。
與網格和點雲等顯式表示相反，輻射場通常存儲為神經網絡并使用體積射線行進進行渲染。
在給定足夠大的計算預算的情況下，神經網絡可以簡明地表示復雜的幾何形狀和依賴于視圖的效果。
作為體積表示，渲染影像所需的操作數量以像素數量而不是圖元（例如三角形）的數量為部門，性能最佳的模型需要數千萬次網絡評估。
因此，輻射場的實時方法在質量、速度或表示大小方面做出了讓步，并且這種表示是否可以與高斯潑濺（Gaussian Splatting ）等替代方法競争，仍然是一個懸而未決的問題。
最新研究中，作者提出了一種可擴展的方法，從而實現比以往更高保真度的實時大空間渲染。
02 SMERF 實時渲染，精度達厘米級别
SMERF 專門為學習大型 3D 表示所設計，比如房屋的渲染。
谷歌等研究人員結合一種分層模型劃分的方案，其中空間的不同部分和學習參數由不同的 MERF 表示。
這不僅增加了模型容量，而且同時限制了計算和内存要求。因為類似這樣大型的 3D 表示是無法用經典 NERF 進行實時渲染。
SMERF 中有 K=3 坐标空間分區和 P=4 延遲外觀網絡子分區的場景的坐标系
為了提升 SMERF 的渲染質量，研究團隊還使用了一種「教師—學生」的蒸餾方法。
在這個方法中，已經訓練好的高質量 Zip-Nerf 模型（教師），被用來訓練一個新的 MERF 模型（學生）。
如下圖，「教師監督」的整體流程。教師模型通過渲染顏色提供光度監督，并通過沿相機光線的體積權重提供幾何監督。教師和學生都在同一組光線間隔上進行操作。
這種方法可以讓研究人員将功能強大的 Zip-Nerf 模型的細節和影像質量，轉移到更高效、更快的結構上。
這對智能手機和筆記型電腦等功能較弱的設備上的應用尤其有用。
03 實驗評估
研究人員首先在 Zip-NeRF 引入的 4 大場景上評估了方法：柏林、阿拉米達、倫敦和紐約。
這些場景中的每一個都是使用 180° 魚眼鏡頭拍攝的 1,000-2,000 張照片。為了與 3DGS 進行全面比較，研究人員将照片裁剪為 110°，并使用 COLMAP 重新估計相機參數。
表 1 所示的結果表明，對于适度的空間細分 K，最新方法的精度大大超過了 MERF 和 3DGS。
随着 K 的增加，模型的重建精度提高，并接近其 Zip-NeRF 老師的精度，在 K=5 時差距小于 0.1 PSNR 和 0.01 SSIM。
研究人員還發現這些定量的改進低估了重建的定性改進準确性，如圖 5 所示。
在大型場景中，SMERF 方法一致地對薄幾何體、高頻紋理、鏡面高光和實時基線達不到的遠處内容進行建模。
同時，研究人員發現增加子模型分辨率自然會提高質量，特别是在高頻紋理方面。
實際上，研究人員發現最新渲染方法與 Zip-NeRF 幾乎沒有區别，如圖 8 所示。
此外，研究人員在室内和室外場景的 mip-NeRF 360 數據集上進一步評估了最新方法。
這些場景比 Zip-NeRF 數據集中的場景小得多，因此無需空間細分即可獲得高質量結果。如表 2 所示，模型的 K=1 版本在影像質量方面優于該基準測試中的所有先前實時模型，渲染速度與 3DGS 相當。
圖 6 和圖 8 定性地說明了這種改進，研究人員提出的方法在表示高頻幾何和紋理方面要好得多，同時消除了分散注意力的漂浮物和霧。
04 網頁即可傳輸逼真 3D 空間
一旦經過訓練，SMERF 就可以在浏覽器匯總實現完全 6 個自由度的導航，并在流行的智能手機和筆記型電腦上進行實時渲染。
人人都知，實時渲染的大型 3D 場景的能力對于各種應用非常重要，包括視頻遊戲、虛拟增強現實，以及專業設計和架構應用程式。
比如，谷歌沉浸式地圖中，可以進行實時導航。
不過谷歌等團隊提出的最新方法也有一定的局限性。雖然 SMERF 有出色的重建質量和存儲效率，但存儲成本高、加載時間長、訓練工作量大。
不過，這項研究表明，與三維高斯拼接法相比，NeRFs 和類似的輻射場在未來仍具有優勢。
