看3.2億幀視頻學會3D生成，智源開源See3D：只需單圖即可生成3D場景

今天小編分享的科學經驗：看3.2億幀視頻學會3D生成，智源開源See3D：只需單圖即可生成3D場景，歡迎閲讀。

近日，著名 AI 學者、斯坦福大學教授李飛飛團隊 WorldLabs 推出首個「空間智能」模型，僅輸入單張圖片，即可生成一個逼真的 3D 世界，這被認為是邁向空間智能的第一步。

幾乎同時，國内智源研究院推出了首個利用大規模無标注的互聯網視頻學習的 3D 生成模型See3D— See Video, Get 3D。

△See3D 支持從文本、單視圖和稀疏視圖到 3D 的生成，同時還可支持 3D 編輯與高斯渲染

不同于傳統依賴相機參數（pose-condition）的 3D 生成模型，See3D 采用全新的視覺條件（visual-condition）技術，僅依賴視頻中的視覺線索，生成相機方向可控且幾何一致的多視角影像。

這一方法不依賴于昂貴的 3D 或相機标注，能夠高效地從多樣化、易獲取的互聯網視頻中學習 3D 先驗。

See3D 不僅支持零樣本和開放世界的 3D 生成，還無需微調即可執行 3D 編輯、表面重建等任務，展現出在多種 3D 創作應用中的廣泛适用性。

相關的模型、代碼、Demo 均已開源，更多技術細節請參考 See3D 論文。

論文地址 :

https://arxiv.org/abs/2412.06699

項目地址 :

https://vision.baai.ac.cn/see3d

效果展示

1. 解鎖 3D 互動世界：輸入圖片，生成沉浸式可互動 3D 場景，實時探索真實空間結構。

‍

（備注：為了實現實時互動式渲染，當前對 3D 模型和渲染過程進行了簡化，離線渲染真實效果更佳。）

‍

‍△實時 3D 互動

‍

2. 基于稀疏圖片的 3D 重建：輸入稀疏的 ( 3-6 張 ) 圖片，模型可生成一個精細化的 3D 場景。

△基于 6 張視圖的 3D 重建

△基于 3 張視圖的 3D 重建

3. 開放世界 3D 生成：根據文本提示，生成一副藝術化的圖片，基于此圖片，模型可生成一個虛拟化的 3D 場景。

△開放世界 3D 生成樣例

4. 基于單視圖的 3D 生成：輸入一張真實場景圖片，模型可生成一個逼真的 3D 場景。

△基于單張圖片的 3D 生成研究動機

3D 數據具有完整的幾何結構和相機信息，能夠提供豐富的多視角信息，是訓練 3D 模型最直接的選擇。然而，現有方法通常依賴人工設計（designed artists）、立體匹配（stereo matching）或運動恢復結構（Structure from Motion, SfM）等技術來收集這些數據。

盡管經過多年發展，當前 3D 數據的積累規模依然有限，例如 DLV3D ( 0.01M ) 、RealEstate10K ( 0.08M ) 、MVImgNet ( 0.22M ) 和 Objaverse ( 0.8M ) 。這些數據的采集過程不僅耗時且成本高昂，還可能難以實施，導致其數據規模難以擴展，無法滿足大規模應用的需求。

與此不同，人類視覺系統無需依賴特定的 3D 表征，僅通過連續多視角的觀察即可建立對 3D 世界的理解。單幀影像難以實現這一點，而視頻因其天然包含多視角關聯性和相機運動信息，具備揭示 3D 結構的潛力。

更重要的是，視頻來源廣泛且易于獲取，具有高度的可擴展性。基于此，See3D 提出 "SeeVideo,Get3D" 的理念，旨在通過視頻中的多視圖信息，讓模型像人類一樣，學習并推理物理世界的三維結構，而非直接建模其幾何形态。

方法介紹

為了實現可擴展的 3D 生成，See3D 提供了一套系統化的解決方案，具體包括：

1）數據集：團隊提出了一個視頻數據篩選流程，自動去除源視頻中多視角不一致或觀察視角不充分的視頻，構建了一個高質量、多樣化的大規模多視角影像數據集 WebVi3D。該數據集涵蓋來自 1600 萬個視頻片段的 3.2 億幀影像，可通過自動化流程随互聯網視頻量的增長而不斷擴充。

△WebVi3D 數據集樣本展示

2）模型：标注大規模視頻數據的相機信息成本極高，且在缺乏顯式 3D 幾何或相機标注的情況下，從視頻中學習通用 3D 先驗是更具挑戰的任務。為解決這一問題，See3D 引入了一種新的視覺條件——通過向掩碼視頻數據添加時間依賴噪聲，生成一種純粹的 2D 歸納視覺信号。這一視覺信号支持可擴展的多視圖擴散模型（MVD）訓練，避免對相機條件的依賴，實現了 " 僅通過視覺獲得 3D" 的目标，繞過了昂貴的 3D 标注。