今天小編分享的科學經驗：英偉達饞哭建模師！投喂随意視頻，直出3D模型，華人一作登CVPR 2023，歡迎閱讀。
英偉達一出手，3D 建模師都饞哭了。
現在，制作一個紋理超細致的大衛 3D 模型，需要幾步？
剛剛靠着 AI，市值一度飚破萬億美元的英偉達給出最新答案：
給 AI 投喂一段普通視頻，它就能自動搞定。
不僅雕塑的每一個褶皺都能拿捏住，更為復雜的建築場景 3D 重建，同樣靠一個視頻就能解決：
連深度都能直接估算出來。
這個新 AI 名叫Neuralangelo，來自英偉達研究院和約翰霍普金斯大學。
論文剛一發表就吸引了全場網友的目光，讓人直呼：這是直接創造新世界的節奏。
甚至再一次拉動了顯卡銷量【狗頭】：
目前，相關論文已經入選CVPR 2023。更多技術細節，我們一起接着往下看 ~
無需深度數據，直出 3D 結構
這篇論文采用的架構名叫 Neuralangelo，一個聽起來有點像著名雕塑家米開朗基羅（Michelangelo）的名字。
具體來說，Neuralangelo 核心采用了兩個技術。
一個是基于SDF的神經渲染重建。
其中，SDF 即符号距離函數（Signed Distance Function），它的本質就是将 3D 模型劃出一個表面，然後用數值表示每個點距離模型的實際距離，負數指點在表面内側，正數指點在表面外側：
△圖源 chriscummingshrg
基于 SDF 的神經渲染技術，則是采用神經網絡（如 MLP）對 SDF 進行編碼，來對物體表面進行一個近似還原。
另一個則是多分辨率哈希編碼，用于降低計算量。
多分辨率哈希編碼是一種特殊的編碼方式，能用很小的網絡降低計算量，同時确保生成的質量不降低。
其中，多分辨率哈希表的 value，對應由随機梯度下降優化得到特征向量。
操作流程上，則分為兩步。
首先，基于神經渲染重建方法，計算出視頻中 3D 結構的 " 粗糙表面 "。
值得注意的是，這裡采用了數值梯度而不是解析梯度，這樣基于 SDF 生成算法做出來的 3D 模型表面更加平滑，不會出現凹凸不平的狀态：
論文還額外對比了一下解析梯度和數值梯度的狀态，從圖中來看，數值梯度整體上能取得更平滑的建築效果：
随後，就是逐漸減小數值梯度的步長（step size）、采用分辨率更高的哈希表，一步一步提升模型的精細度，還原建築的細節：
最後再對生成的效果進行優化，就得到了還原出來的影像。
包含 MLP 和哈希編碼在内，整個網絡采用端到端的方式進行訓練。
測試效果如何？
研究人員采用了 DTU 和 Tanks and Temples 兩個數據集對 Neuralangelo 進行測試。
DTU 數據集包含 128 個場景，這篇論文具體采用了其中的 15 個場景，每個場景包含 49~64 張由機器人拍攝的 RGB 影像。
随後，還采用了 Tanks and Temples 中 6 個場景的 263~1107 張 RGB 相機拍攝影像，真實數據則由 LiDAR 傳感器獲得。
Tanks and Temples 包含中級和高級兩類數據集。
其中，中級數據集包含雕塑、大型車輛和住宅規模的建築；高級數據集則包含從内部成像的大型室内場景、以及具有復雜幾何布局和相機軌迹的大型室外場景：
具體到生成細節上，Neuralangelo 相比 NeuS 和 NeuralWarp 等 " 前 SOTA" 模型，在 DTU 數據集上展現出了非常準确的 3D 細節生成：
而在 Tanks and Temples 數據集上，Neuralangelo 也同樣展現出了不錯的還原效果：
在 F1-Score 評估和影像質量 PSNR 評估中，Neuralangelo 基本上全部取得了最好的效果：
華人一作
這篇研究的作者來自英偉達和約翰霍普金斯大學（Johns Hopkins University）。
論文一作李趙碩（Zhaoshuo Li），本科畢業于不列颠哥倫比亞大學，目前是約翰霍普金斯大學的博士生，師從 Mathias Unberath 和 Russell Taylor。
Russell Taylor 是醫療機器人領網域泰鬥，曾主持研發全球首台骨科手術機器人 ROBDOC。
而李趙碩本人，本科專業也是機器人工程，如今算是小小跨界，研究重點在影像重建 3D 結構上。
Neuralangelo 是李趙碩在英偉達實習期間的工作。此前，他還曾在 Meta 的 Reality Labs 實習（就是小扎 All in 元宇宙的核心部門）。
論文地址：
https://research.nvidia.com/publication/2023-06_neuralangelo-high-fidelity-neural-surface-reconstruction
參考鏈接：
[ 1 ] https://twitter.com/bilawalsidhu/status/1664268049589911552
[ 2 ] https://shaderfun.com/2018/03/25/signed-distance-fields-part-2-solid-geometry/
