今天小編分享的财經經驗：吳新宙到英偉達後的首秀，説了些什麼？，歡迎閲讀。
文 | 賽博汽車
半年時間，英偉達汽車業務無論是商業化進程，還是技術成熟度，都有了不小進步，這是如何實現的？
近日，GTC 2024 大會上，英偉達汽車事業部副總裁吳新宙發表了《加速向 AI 定義的汽車的轉變》主題演講，用時 52 分鍾，從技術角度給予了解答。
這也是吳新宙入職英偉達後的首次正式對外演講。
作為自動駕駛領網域大拿，吳新宙曾在高通工作 10 餘年，主導自動駕駛解決方案。2019 年，在何小鵬的盛情邀請下，吳新宙加盟小鵬汽車，全面主導小鵬汽車的 ADAS 業務，主導實現了 NGP、XNGP 等項目落地。
同時擁有競争對手高通，以及自身工程化最好樣本小鵬汽車的高管背景，吳新宙可以説是最适合英偉達的人。
确實，正如黃仁勳所期待的，在吳新宙加盟後，英偉達汽車業務肉眼可見的更有起色。一方面，團隊規模不斷擴大，特别是自動駕駛中國團隊不斷擴充；另一方面，技術不斷取得突破，截止目前，其已經幫助英偉達搭建了自動駕駛全棧自研部門，并且團隊實現将 AV1.0（AI Vehicle）更新至 AV2.0。
此次大會上，吳新宙對外分享了入職英偉達 220 多天以來的故事，講述了英偉達如何以更少的代碼、更大規模的模型、更高的算力和更多的數據，實現以 AI 為中心的自動駕駛汽車 2.0 時代到來。
以下是吳新宙演講的主要内容。
01 AV2.0 的核心技術優勢，在于 " 雷神 "
吳新宙表示，首先，自動駕駛仍然是有商業前景的。
在新能源滲透率穩步提升的大前提下，根據其預測，2030 财年 L3 級别自動駕駛市場仍将呈現顯著上升趨勢。
同時，随着生成式 AI 的發展，車載 AI 也有了長足的發展，經歷了從規則、算法驅動型軟體棧，到 AI 增強型軟體棧再到端到端 AI 軟體棧的過程。
而英偉達 AV2.0 的核心技術優勢，在于擁有 Drive Thor（雷神）芯片。在智能駕駛方面，Thor 發揮的長處是 " 低精度運算 "，這意味着可以輸入模糊的、多模态的、不确定的數據，通過 AI 自動生成能力還原出有邏輯的遠算方式。
相比于前代的 Orin 平台，Thor 在 LLAMA-7B 的測試環境中能夠實現高達 9 倍的性能提升。
另外，除了黃仁勳高調官宣的 Blackwell GPU 提供卓越性能以外，處理器中的 ARM Neoverse V3AE CPU 也提供了強大的單線程性能，這對復雜場景進行快速決策尤為關鍵。在 SPECrate ® 2017_int_base 的基準測試中，Thor 比 Orin 預計有 2.3 倍的性能提升。
相較于上一代 Xaiver，Orin 實現了七倍的算力提升，達到 245TFLOPS ，而 Thor 則達到了驚人的 2000 TSFLOPS 浮點算力。
或許，Orin 沒有能夠真正實現 L5 級别的 Robotaxi，Thor 能夠完成。
硬體的提升必然需要軟體配套設施一同進步。目前，吳新宙團隊研發的 AV2.0 還可以解決上一代搭載 Orin 芯片的 AV1.0 存在的痛點。
原有的 AV1.0 需要大量數據訓練，新一代車載軟體利用仿真技術模拟各種駕駛場景，降低對真實數據的依賴。
根據吳新宙介紹，傳統的自動駕駛系統只具備幾秒鍾的短期系統記憶，這讓 AV1.0 的決策可能是缺乏連貫性的。AV2.0 利用大語言模型（LLM）邏輯推理的能力，增強了系統決策的連貫性和上下文感知能力。
" 英偉達自動駕駛團隊目前還在致力于讓 AV 系統更具‘可解釋性’，那就是讓自動駕駛不再‘黑箱’，開發出一套降低信息差，方便對外解釋的算法。" 在吳新宙看來，這對于消除大眾對自動駕駛的疑慮至關重要。
02 AV2.0 技術的底層技術創新
活動上，吳新宙還展示了 AV2.0 技術的底層技術創新：基于 VLM 的基礎模型（VLM Based Foundation Model，視覺語言模型），由此形成的 PARA-Driving，搭建實時自動駕駛的并行化架構。
目前，端到端自動駕駛有兩種技術路線。
一種是 UniAD（Unified Autonomous Driving，自動駕駛通用算法框架），這個方案強調同時操控多個模态，使傳感器搜集到的數據在訓練過程中朝着 " 整體最優 " 的方向進行。
另一種則是更直接的 VLM，實現過程和人類駕駛行為相似：以眼睛作為視覺輸入信号，直接作用在方向盤和刹車油門踏板上。這種直接端到端變相地擴大了模型的搜索空間，需要用更多的數據、更大的模型、更強的算力才能防止在特定場景的過拟合，在駕駛體驗中，多半是 " 莫名其妙的刹車 "。
為了降低幹擾，吳新宙團隊對第二種方案進行了優化，将 Transformer 融合進自動駕駛的基礎模型，形成 PARA-Driving 的終極答案。下圖是此模型的功能布局。
吳新宙表示，PARA-drive 将信息變成 Tokens，再放進 Transformer 模型裏分析，化整為零，處理起來更輕松。
據演示，相比于 UniAD6 FPS 的夜間運行速度，PARA-drive 在夜間駕駛的實際應用場景中達到了 26 FPS 的高幀率，也就是説，夜視效果能達到 UniAD 的四倍。
當然，這并不意味着要全盤替換原有的系統軟體棧。吳新宙指出，現在的技術還不足以讓 VLM 為主的基礎模型全量進入使用，初始階段将處于 " 影子模式 "（shadow mode），團隊會通過與人類駕駛行為進行不斷比較而微調。
随着時間的推移，現有的技術棧将逐漸被淘汰，但出于安全考慮，兩種棧可能需要共存一段時間。
信息搜集處理步驟告一段落，接下來吳新宙開始介紹 AV 方案中能提供物理模拟引擎的部分。當然，這也是英偉達以遊戲顯卡起家的老本行了。
仿真模拟（Simulation）的關鍵作用毋庸置疑，這是取代實車測試所需的巨大成本的關鍵一步。
良好模拟的關鍵屬性包括像素保真度（适用于相機、雷達、超聲波、激光雷達等），場景保真度和可擴展性，以及行為保真度。無傳感器操作允許在計算上更具可擴展性。英偉達的 AV 仿真模拟可以在有或沒有傳感器信息的情況下操作，極大地降低了成本。AV 模型模拟的工作流，讓端到端模型與場景庫和功能模塊環環相扣。
總體而言，吳新宙團隊開發的基礎模型的功能如下。
通過雲端和車端統一的基礎模型，有三個實現場景，首先最直觀的是車内助手（In-cabin Assistant），使用基礎模型來提供車内助手服務，可能包括語音識别、自然語言處理和用户互動等功能。
自動标注（Auto-labeling），利用基礎模型來自動标記訓練數據，對于大量的自動駕駛數據來説，可以極大程度地降低成本、提高效率。
最後是安全評估（Safety Evaluation），确保自動駕駛系統的性能和決策符合安全标準。在自動駕駛的安全問題需要得到确認的共識下，吳新宙闡述了 NVIDIA DRIVE 安全平台在保障自動駕駛汽車的安全方面的全面舉措。
03 全球首個端到端 AI 安全平台
安全性，幾乎是全球自動駕駛從業者的共識。英偉達自動駕駛 DRIVE 平台是全球汽車生產領網域首個也是唯一一個端到端的智能安全平台。
目前，英偉達 Drive 平台有四大支柱，分别是開發過程、硬體、軟體建設和底層架構。
英偉達在人力部署層面足見對安全的重視。據吳新宙介紹，有 15000 名工程師投入到安全部門的研發工作。
硬體安全機制經過 21 億個晶體管的安全評估，吳新宙也提到了硬體退化效應的檢測和 ASIL D（Automotive Safety Integrity Level）系統性。
軟體與架構是一個全棧功能安全的體系結構，共計 500 萬行代碼經過安全評估，還有德國技術監督協會認證的 DRIVE OS 和安全傳感器以及端到端的認證。
底層架構層面，Drive 平台提供安全保障的雲服務和工具每日會進行 200 萬次端到端集成測試，确保了安全的開發和測試以及大規模的項目周期管理。
04 授人以魚，不如授人以漁
另外，英偉達還專門召開了中文的專家技術解讀論壇，解釋了吳新宙發言的核心技術亮點、應用場景，以及自動駕駛方案的商業落地。
汽車數據中心業務總監陳晔還做了 Q&A，針對的問題是英偉達對國内廠商的服務方式。
陳晔提到，基于中美自動駕駛應用場景的差異化，在美國本土英偉達往往給車企做的是 NDAS 封裝一站式服務，意味着直接給到完整的自動駕駛解決方案；服務國内的新能源廠商的時候，英偉達更傾向于提供一套更适配的算法，或者幹脆成為算法開發過程中的指導者。
還有人對算力所需的硬體配置較為好奇。随着對算力要求的提升，相應的 " 卡 " 的數量也會有一定提升。陳晔表示，在 AV1.0 時代，領先的客户需求大概是 2000 台，在 AV2.0 時代，就產生了一萬台 GPU 的需求，這種量級的變化對有些車企來説是難以承受的。當然，這是以 H100 作為算力計算部門，當 Blackwell 成為主流 GPU 的時候，企業所需的硬體成本會有所下降。
以及，陳晔表示，GPU 不僅可以用來自動駕駛研發，還可以有其他的應用場景，例如大語言模型、智能座艙等等，未來對 " 卡 " 的依賴，只增不減。
陳晔表示，英偉達會幫客户去做很多加速工作，從數據處理到訓練模型優化到推理計算、以及到仿真，基于神經網絡重建，由英偉達自動駕駛最核心的技術團隊來操盤。
這種個性化定制服務，即英偉達企業 NVRE 服務，服務方式是 AI enterprise。這種個性化設計是基于車企信任英偉達的前提，即願意分享數據的基礎之上的。
車企給英偉達場景數據，訓練更好的大模型，英偉達再用優化過的模型給車企自動駕駛方案賦能，收集更多維度的數據，這正是所有人工智能相關的產品的終極目标，打造數據飛輪，靠自身商業化落地即可精進。
目前看來，吳新宙來到英偉達 " 深造 "，實際上是更靠近了技術研發所需的算力 " 水源 "，加上從 0 到 1 的小鵬智駕經驗，無論對于英偉達，還是對整個行業來説，都有 1+1 大于 2 的效果。
