車企首秀CVPR 2025：郎鹹朋署名，理想汽車聯合北大浙大攻克4D仿真難題

今天小編分享的汽車經驗：車企首秀CVPR 2025：郎鹹朋署名，理想汽車聯合北大浙大攻克4D仿真難題，歡迎閲讀。

全民智駕的元年到來，AI 正成為車企競争的新賽場。

文丨智駕網王欣

編輯 | 雨來

全民智駕的元年到來，AI 已成為車企競争的新賽場。

3 月 5 日，CVPR 2025 成績單出來了，其中，理想汽車上榜了 4 篇。

CVPR 國際計算機視覺與模式識别會議是 IEEE（電氣和電子工程師協會）主辦的一年一度的國際會議，被公認為計算機視覺領網域的頂級會議之一，和 ICCV、ECCV 并稱計算機視覺三大頂級會議，近年來也不斷有自動駕駛領網域的前沿研究獲獎。

對于理想汽車的意義在于，這不僅是其首次以車企身份跻身全球頂級 AI 會議，更标志着其從 " 造車新勢力 " 向真正發展為 AI 公司的戰略轉型有了一個階段性的成果。

當天，理想汽車創始人、董事長、CEO 李想在社交媒體上發文稱：自從特斯拉的全自動駕駛（FSD）功能入華後，經過對比，理想 AD Max V13 的接管次數明顯少于特斯拉 FSD，表現更好。李想還提到，理想 AD Max V13 基于 1000 萬條數據進行訓練，并于 2 月 27 日全面推送，得到了用户的好評。

這次入選的四篇論文背後的署名作者是理想汽車副總裁、智駕負責人朗鹹朋及其團隊的多名工程師。在不久前的理想汽車 AI Talk 中，朗鹹朋曾在直播中表示，預計 2025 年理想汽車能夠實現 L3 級的智能駕駛。

此次入選的 StreetCrafter、DrivingSphere、DriveDreamer4D 與 ReconDreamer 四篇論文，主要是理想汽車在自動駕駛模拟仿真方向做的創新，同時直面回答自動駕駛研發的核心痛點難題：數據成本高企與極端場景覆蓋不足。

下面我們分别解析這四篇論文：

01.

StreetCrafter：基于 LiDAR 與視頻擴散模型的街景合成技術

StreetCrafter 是作為理想汽車聯合浙江大學、康奈爾大學提出的自動駕駛仿真技術，其核心目标是通過 LiDAR 點雲與視頻擴散模型的融合，解決傳統方法（如 NeRF、3D 高斯散射）在視角偏離訓練軌迹時渲染模糊或偽影的難題。

其核心技術包含兩部分：

可控視頻擴散模型：通過多幀 LiDAR 點雲聚合生成全局點雲，并渲染為像素級條件影像，作為擴散模型的輸入。在推理階段，根據新視角的相機軌迹生成高保真視頻幀，支持實時渲染和場景編輯（如對象平移、替換和删除）。

動态 3D 高斯表示蒸餾：利用生成的新視角影像作為監督信号，優化 3D 高斯的幾何與紋理，結合混合損失函數（L1、SSIM、LPIPS）和漸進優化策略，提升視角外推能力，同時保持 80-113 FPS 的實時渲染速度。

實驗結果顯示，在 Waymo 數據集上，StreetCrafter 在 3 米視角偏移下的 FID 為 71.40，顯著優于 Street Gaussians 的 93.38，且在復雜區網域（如車道線和移動車輛）的細節清晰度更高。

StreetCrafter 其應用價值在于降低自動駕駛訓練對真實數據的依賴。例如，在訓練車輛變道算法時，可通過調整相機軌迹生成多角度變道場景視頻，模拟不同光照、天氣條件下的數據，以及應對極端場景下的仿真測試。

在應對突發障礙物（如行人橫穿、車輛逆行）時，利用場景編輯功能，在 LiDAR 點雲中插入虛拟障礙物（如删除道路上的車輛并替換為行人），生成測試視頻。例如，模拟行人突然闖入車道，驗證系統緊急制動能力。

但局限性包括對 LiDAR 标注的高成本依賴（數據采集成本提升）、生成速度僅 0.2FPS，以及對形變物體（如行人）的建模精度不足。

也許正是意識到這些不足，日前理想汽車宣布：今年推出的所有車型都将标配激光雷達傳感器。

02.

DrivingSphere：生成式閉環仿真框架與 4D 高保真環境建模

DrivingSphere 旨在構建一個支持動态閉環互動的 4D（3D 空間 + 時間）仿真環境，以克服傳統開環仿真數據多樣性不足、閉環仿真視覺保真度低的問題。

框架主要通過兩大模塊和一個機制，為智能體構建了高保真 4D 世界，評估自動駕駛算法。

動态環境組合（DEC 模塊）：基于 OccDreamer（3D 占用擴散模型）生成靜态場景，并結合 "Actor Bank" 動态管理交通參與者（如車輛、行人），通過語義相似性或随機采樣選擇參與者，實現城市場景的無限擴展。

該模塊采用 OccDreamer，一個基于鳥瞰圖（BEV）和文本條件控制的 3D 占用擴散模型，用于生成靜态場景。它通過 VQ-VAE 将 3D 占用數據壓縮為潛在表示，并結合 ControlNet 分支注入 BEV 地圖和文本提示，逐步生成城市級連續靜态場景。

視覺場景合成（VSS 模塊）：利用雙路徑條件編碼（全局幾何特征與局部語義圖）和視頻擴散模型（VideoDreamer），生成多視角時空一致的高保真視頻，并通過 ID 感知編碼綁定參與者外觀與位置，解決外觀漂移問題。

閉環反饋機制：通過 Ego Agent（被測算法）與環境 Agent（交通流引擎）的互動，實現 " 感知 - 決策 - 環境響應 " 的動态閉環測試，驗證算法在復雜場景中的魯棒性。

在實驗與結果方面，DrivingSphere 在視覺保真度評估中表現出色。

在 nuScenes 數據集上，DrivingSphere 的 OccDreamer 模塊生成的場景 FID 顯著優于 SemCity，視頻生成結果在 3D 目标檢測和 BEV 分割指标上超越 MagicDrive 與 DriveArena。

總的來看，DrivingSphere 其核心貢獻在于将幾何建模與生成式技術結合，但論文也指出，需進一步優化動态行為的復雜性（如極端場景覆蓋不足）和計算成本。

03.

DriveDreamer4D：基于世界模型的 4D 駕駛場景重建與軌迹生成

DriveDreamer4D 的目标是通過世界模型（World Model）增強 4D 駕駛場景重建的時空一致性與生成質量，解決傳統傳感器仿真方法（如 NeRF、3DGS）在復雜動作（如變道、加速）下的局限性。

比如，現有傳感器仿真技術（如 NeRF、3D 高斯散射）依賴與訓練數據分布緊密匹配的條件，僅能渲染前向駕駛場景，難以處理復雜動作（如變道、急刹）導致的視角偏移或動态互動問題，常出現 " 鬼影 "" 拖影 " 等偽影。

亦或是開環仿真數據多樣性不足，閉環仿真則面臨視覺保真度低、動态互動不真實等挑戰。

那麼世界模型通過預測未來狀态生成多樣化駕駛視頻，但其此前局限于二維輸出，缺乏時空連貫性，無法滿足 4D 場景重建需求。

DriveDreamer4D 的核心架構分為兩大部分：

新軌迹生成模塊（NTGM）：支持文本描述或自定義設計生成軌迹（如變道、加減速），并通過仿真環境（如 CARLA）進行碰撞檢測與安全性評估，生成控制信号以驅動視頻合成。

正則化訓練策略（CDTS）：引入感知一致性損失，優化合成數據與真實數據的分布對齊，并通過誤差反饋迭代提升軌迹生成質量。

實驗表明，DriveDreamer4D 在時空一致性和視覺真實性上優于 PVG、S ³ Gaussian 等基線模型。用户調研中，其在常規場景（如單車道變道）的生成效果獲好評，但在跨車道等極端動作下仍存在重建失效問題。

該研究的應用價值在于降低數據采集成本并增強算法魯棒性，但需進一步結合時序建模與多模态輸入（如高精地圖）以提升復雜場景的适應性。

04.

ReconDreamer：動态駕駛場景在線修復與漸進式數據更新

ReconDreamer 聚焦于解決動态場景重建中大幅動作導致的偽影問題（如遠景扭曲、車輛遮擋）。

針對這一類問題，ReconDreamer 依然是利用世界模型的知識，通過在線修復 ( DriveRestore ) 和漸進數據更新策略 ( Progressive Data Update Strategy 以下簡稱 PDUS ) 兩大手段，解決復雜動作的渲染質量問題。

在線修復技術（DriveRestorer）：構建退化幀與正常幀的修復數據集，通過擴散模型去噪策略修復偽影，并采用脱敏策略優先處理問題嚴重區網域（如天空與遠景）。

漸進式數據更新策略（PDUS）：分階段生成更大跨度的軌迹數據（如 1.5 米→ 3 米→ 6 米），逐步擴展模型對復雜動作的适應能力，直至收斂。

ReconDreamer 的創新點在于首次将世界模型與動态重建結合，實現了實時修復渲染缺陷，并通過漸進式訓練策略解決了大動作渲染中的數據分布偏移問題。

這為自動駕駛閉環仿真提供了高保真傳感器數據生成方案，支持復雜場景（如緊急變道和多車互動）的可靠測試。

當然局限性也包括，比如在線修復機制增加了訓練時間，且目前僅在 Waymo 數據集上進行了驗證，未來需要擴展至更多復雜環境（如雨天和夜間）。

定量分析結果顯示，ReconDreamer 在 NTA-IoU（車輛檢測框重合度）上相較于基線方法（如 Street Gaussians 和 DriveDreamer4D）提升了 24.87%，在 NTL-IoU（車道線重合度）上提升了 6.72%，同時 FID（影像質量評估）降低了 29.97%。用户研究表明，96.88% 的用户認為 ReconDreamer 在大動作渲染中優于 DriveDreamer4D。

定性分析結果顯示，ReconDreamer 有效消除了遠景模糊和天空噪點，保持了車輛位置和形狀的一致性，并确保車道線在大偏移下的平滑無斷裂。