今天小編分享的科技經驗:吳新宙入職英偉達首次專訪:加大中國區招聘,推全球自動駕駛解決方案,歡迎閱讀。
新智元報道
編輯:潤 好困
【新智元導讀】AI 算力巨頭 NVIDIA,在自動駕駛領網域同樣是頭部玩家。最近發布的包括小米首款汽車在内的多款新車,都采用 NVIDIA DRIVE Orin 芯片。今年 8 月底入職 NVIDA 的吳新宙在與新智元的獨家專訪中透露,未來 NVIDIA 将持續重注中國市場,并通過擴充中國工程師團隊,持續在自動駕駛賽道發力。整個自動駕駛行業,也将迎來巨變。
這段時間,國内連續多款車型重磅登場,堪稱是新能源汽車圈最精彩的年末壓軸大戲——
12 月 20 日奇瑞星途星紀元 ES 發布;12 月 27 日極氪 007 上市等等 ……
12 月 28 日,小米的首款車型 SU7 也正式亮相!
發布會上,小米 SU7 一鏡到底全程零接管的智駕演示驚豔眾人。
不僅如此,人流密集區網域的自動泊車也絲滑流暢。
如此順滑的智駕體驗背後,是變焦 BEV、道路大模型、超分辨率占用網絡等先進的智能駕駛技術。
而支撐這些技術的便是超強的算力芯片和感知硬體。
這 3 款最新發布的新車,都不約而同地采用了 NVIDIA DRIVE Orin 自動駕駛芯片,提供充足的算力支持。
作為智能汽車的「智能源動力」,自動駕駛芯片和配套的自動駕駛平台是保障汽車安全性和駕乘用戶體驗最核心的組件之一。
而 AI 領網域的算力巨頭 NVIDIA,正是自動駕駛賽道中的頭部玩家。
NVIDIA DRIVE Orin
今年 8 月,吳新宙正式加入 NVIDIA,并在車圈引起了不小的轟動。
最近,吳新宙本人也回到國内,以 NVIDIA 汽車事業部負責人,汽車副總裁的新身份會見了國内各家車企和很多合作夥伴。
新智元在吳新宙即将返回 NVIDIA 美國總部的當天,對他進行了一次專訪。
他詳細地和我們聊了 NVIDIA 在自動駕駛業務和中國市場的布局上會有什麼樣的變化,以及未來 NVIDIA 在這一領網域的發展方向。
吳新宙加入之後,NVIDIA 加大對中國市場支持
在一個多小時的專訪之中,吳新宙多次強調了中國對于 NVIDIA 的自動駕駛業務的重要性。
在他看來,中國市場是世界範圍内極少數被完全證明了自動駕駛商業價值的地方。中國車企的產品經驗和積累已經走在了世界前列。
NVIDIA 一直致力于推動中國自動駕駛市場的發展。吳新宙的上任,更是體現了 NVIDIA 對中國市場的重視與投入。
一方面,中國市場的旺盛需求和特殊的駕駛環境都需要更好的產品來滿足,NVIDIA 從雲端到車端的 NVIDIA DRIVE 端到端平台,将成為開發出能充分滿足中國市場需求的產品的前提。
另一方面,中國能提供全世界少有的有豐富量產經驗、落地經驗的人才。如果能将他們與 NVIDIA 現有的 AI 團隊結合起來,NVIDIA 将進一步擴大影響力,為中國、乃至全球市場提供安全、領先的產品。
中美聯合,「007」無縫研發
NVIDIA 中國團隊不僅僅是為了解決中國市場的業務需求,也是 NVIDIA 全球研發團隊的有機組成部分。
在這樣的大背景下,吳新宙加入 NVIDIA 3 個月後,NVIDIA 在中國開放了上百個自動駕駛崗位的招聘。
這些崗位,對候選人的技術背景有很高的要求,需要在感知、定位、規控三方面有過實戰經驗,而且在理論上也要有深刻理解。
NVIDIA 微信公眾号近期發布的招聘信息
吳新宙希望中美兩邊的團隊能夠形成一個飛輪的開發模式,在中國的團隊解決完問題以後,把當天的測試問題或者是還沒解決完的問題,可以給到美國時區的團隊接着來做,從而實現項目側的 7*24 小時不間斷穩定運行。
NVIDIA 需要有自動駕駛產品落地經驗的人才來完成從技術到產品的「最後一公裡」,将 NVIDIA 積累的大量自動駕駛方面的前沿技術落地為能服務于用戶的產品。
同時,他們也需要在工作流程上能和身處美國時區研發人員無縫銜接,充分溝通交流,甚至是輪崗,将中國的落地經驗整合到研發的工作流程之中。這樣就需要那種「進能落地保交付,退能研發戰未來」的全能型人才。
将中國的人才和市場全面整合到 NVIDIA 自動駕駛業務的版圖之中,是吳新宙加入 NVIDIA 後的首要目标之一。
而長遠來看,按照吳新宙的說法,NVIDIA 将以賦能者,競争者,引領者三個不同角色,深度參與到全球智能駕駛市場的競争中來。
NVIDIA 在自動駕駛領網域的雄心
在自動駕駛領網域的長期投入和積累,以及在芯片和 AI 領網域的豐富經驗,使得 NVIDIA 能為車廠,自動駕駛服務供應商,根據他們不同的需求,提供不同的軟硬體服務,從而促進整個行業的快速發展。
NVIDIA 是全球自動駕駛市場的賦能者
「一切恐懼,都源于火力不足。」
NVIDIA 給全球的客戶都提供了最好的硬體,然後再加上最好的底層軟體,以及深度學習工具鏈。
在硬體方面,NVIDIA 每隔 2-3 年就會推出具有代際差的高性能 AI 處理器,保障算力遙遙領先。
NVIDIA 自動駕駛芯片演進
NVIDIA DRIVE Thor,下一代車規級芯片,預計 2025 年上車
其次,不管是 NVIDIA 的數據中心還是車規級芯片,其實都是同源的,它們都基于相同的架構構建。因此,車廠在跨不同平台芯片,或者跨不同芯片系列所開發的軟體和 API,絕大部分是可以被重復利用,并且可以遷移至下一代產品上。
例如,NVIDIA DRIVE 整個智駕平台,最鮮明的特點是開放的、模塊化的平台,客戶或者生态合作夥伴可以基于 NVIDIA 的平台去做自己定制化的開發,也可以選擇自己所需要的整個軟體堆棧中的任何一層去構建他們的自動駕駛技術。
這種在适配性、可擴展性上的優勢,能為車輛的更新換代帶來極大的便利。
在仿真軟體方面,由 NVIDIA 數十年技術積累打造的 NVIDIA Omniverse,可以幫助車企實現從整車設計,到生產制造,再到測試驗證,甚至到銷售體驗上的全面賦能。
尤其是當下在自動駕駛領網域,市場一直以來飽受長尾場景、真實世界數據不足、有效數據低以及數據隐私保護等問題的困擾。
而由 Omniverse 驅動的 NVIDIA DRIVE Sim,就提供了一個物理精準的仿真平台,讓車企能夠快速、高效地進行大規模的自動駕駛汽車測試和驗證。
具體來說,開發人員可以通過 DRIVE Sim,反復進行常規駕駛場景的仿真,并實現一些在現實世界中進行測試可能風險過大的罕見和危險情況的仿真。
另外,Omniverse 中的生成式 AI 功能還可以将真實傳感器數據引入仿真中,生成可互動的仿真環境。
在制造上,車企可以通過将汽車的產品開發工作流程引入虛拟世界,來規避傳統工作流中存在的瓶頸,從而提升效率、縮短時間、降低成本。
比如,梅賽德斯 - 奔馳正在利用 Omniverse 将改造或建設總裝車間的速度提高了一倍,而且還通過 AI 的引入将過程中的能耗節省了 20%。
在營銷上,比亞迪與梅賽德斯 - 奔馳聯合打造的汽車品牌騰勢汽車,正在與市場營銷巨頭 WPP 一同使用 Omniverse Cloud 構建和部署了首個汽車配置器。
NVIDIA 将以競争者的身份參與到自動駕駛產品(全棧軟體)的競争中來
吳新宙表示,自動駕駛的量產落地一定是汽車業發展未來十年最主要的趨勢,且未來汽車生态圈一定是(少)部分車企選擇自研,其他車企則是通過和供應商的合作來實現。
NVIDIA 汽車業務的核心策略就是為不同車企的不同需求,提供不同的產品和服務。這其中也包括為部分全球車企提供一站式的軟硬體自動駕駛解決方案。
NVIDIA 在全球範圍内發力全棧軟體開發,在這裡頭肯定會有一些競争。
NVIDIA 認為競争是健康的,這也是對汽車市場重要性的認可。
安全的自動駕駛,只有通過更多行業參與者的合作才能實現,無論是競争對手、其他公司、合作夥伴、供應商、監管機構或是政府。只有通過更多行業參與者的密切合作,才可以應對我們這個時代最復雜的挑戰之一。
在接下來的 2 到 3 年,NVIDIA 全棧軟體最主要的任務是在奔馳和捷豹路虎這兩個全球夥伴車廠完成產品落地。
這個過程對 NVIDIA 來說也是一個學習的過程,特别是向中國區的同行們取經;包括吸納更多來自跨行業的專家人才,壯大現有團隊,夯實量產經驗,完成量產流程的優化,以及在車企客戶量產過程中始終保持敏捷和快速反應。
吳新宙在其過往履歷中已經證明這些是可以做好的地方,并且他有經驗可以復現。引用他的原話,他需要在 NVIDIA「再成功一次」。
NVIDIA 在未來落地產品上,在 LLM 上積累的經驗,一定也會體現在最終交付的產品中。
吳新宙希望,NVIDIA 和車廠,能夠充分發揮 LLM 的潛力,将自動駕駛的用戶體驗變得更順滑自然、更安全。
NVIDIA 将以引領者的姿态推動自動駕駛技術的發展
在吳新宙看來,未來自動駕駛的發展有兩個重大趨勢,自動駕駛算法棧的大模型化,以及更高階(L3/L4)自動駕駛的落地和量產。而 NVIDIA,将在這兩個方向都承擔「引領者」這樣的角色,帶領行業進入自動駕駛駕駛的下一個階段的角逐。
首先,作為技術發展的下一個大方向,大語言模型将會直接對現有的軟體架構產生深遠的影響。
目前,感知——預測——規控中的每一個任務,都是由不同的小模型驅動的。而 LLM 或者說 VLM(vision language model),最終可能會實現這些模型的整合,變成一個端到端的模型。
不難想象,下一代的自動駕駛汽車架構,大概率會建立在大型、統一的 AI 模型基礎之上。這些模型整合了車輛堆棧的各個層,包括感知、規劃和控制等等。
當然,如何真正地用更強大的模型和更多的更好的數據閉環去提高整體算法的能力,還需要更加綜合性的優化和部署。
在吳新宙看來,自動駕駛的未來一定是 AI 定義汽車。通過車端算法的大模型化,雲端的訓練體系和仿真能力,能夠很快地促進自動駕駛技術的迭代和優化。
NVIDIA 目前在大語言模型的訓練,部署上,包括軟硬體的聯合優化上,都是投入巨大;從某個意義上講,NVIDIA 在推動 LLM 和生成式 AI 在各行各業的落地和運行,以及其帶來的革命性的用戶體驗提升。
吳新宙堅信 NVIDIA 在大模型上的積累和深耕也能夠在自動駕駛上引領行業運用大模型在智駕體驗上,以及軟體适應性(generalization)上提升到新的高度。
這其中不僅可以在大語言模型在車端,雲端的部署和落地上給到提供足夠的支撐,而且還會在評價體系,以及工程實踐上提供支持。
NVIDIA 正在打造這樣的一個生态,引領全球的自動駕駛發展方向。
關于第二個趨勢,也就是行業向 L3/L4 的演進,這裡要解決的核心問題是安全,這也是 NVIDIA 自動駕駛開發始終關注的首要問題。行業必須有這樣的關注點才能建立公眾信任,最後才能取得成功。
從開發硬體到豐富的可編程軟體系統,再到自動駕駛汽車的訓練、測試和驗證,NVIDIA 都正在努力開發能夠實現安全、可靠的自動駕駛系統解決方案。
在安全系統和流程方面,NVIDIA 研發已經投入了 1.5 萬人工年,包括對 500 萬行的代碼進行了安全評估。
NVIDIA DRIVE 的核心開發流程,包括芯片和平台,符合 ISO 26262 标準以及 ISO 26262 ASIL-D 最高級别的功能安全認證。
從數據中心到汽車,安全架構、設計和方法在 NVIDIA 的系統中無處不在。
除了搭建這個面向未來的自動駕駛生态之外,NVIDIA 也在跟車企緊密合作,推進對于 L3 和 L4 的演進。這裡,除了算法的演進,更重要的是整體硬體架構以及傳感器冗餘的設計。
比如說高精地圖,以及激光雷達,雖然在 L2++ 這個維度上,因為成本的原因很難被廣泛應用。
但是到了 L3, L4,意味着駕駛員是可以被解放出來,而對人的解放源自于自動駕駛汽車的安全與可靠,這意味着更強的冗餘和多樣性來保障更高的安全性。高精地圖和激光雷達這些技術都是對物理世界理解的一個信息來源,它們就會非常重要。
吳新宙和 NVIDIA 認為:安全性和用戶體驗決定了智駕的未來
在吳新宙看來,對于「有圖還是無圖」,純視覺還是配合雷達等不同技術路線的取舍,都要基于不同的自動駕駛階段來考慮。
「有圖無圖」只是一個成本考量
在有圖無圖這個路線差異上,主要有兩個因素需要考慮:第一是地圖的使用成本,第二也是更重要的問題——地圖的鮮度怎麼保持。
由于制作和維護城區的高精地圖成本極高,因此,對于這個區網域的輔助駕駛,業界基本都在逐漸往更加輕圖的方向去走。在國内,NVIDIA 的生态合作夥伴,比如小鵬、Momenta、元戎啟行等,都在這個方面有深入的、被引證的經驗累積。
當然,事情都有它的兩面性,目前在輔助駕駛在成本為先的角度,NVIDIA 會盡量地去減少地圖的使用,采用輕圖的路徑。但是對于高速,高精地圖維護和生產成本都比較低,而且是工藝非常成熟的技術,因此還就有很多的廠商都在用。
而到了 L3、L4 階段的話,又會有一個不同的視角。作為一個提供物理世界理解的關鍵信息來源,高精地圖在提供冗餘和加強安全性方面,就會顯得更加重要。
所以說,有圖還是無圖,是一個動态發展的問題。
是否使用毫米波雷達,或者說純視覺路線,最終都要由安全性和用戶體驗來決定。
談到對純視覺的路線的看法,吳新宙的觀點是,NVIDIA 是一個賦能者的角色,無論是為汽車客戶提供 L2++ 的軟體,還是輔助駕駛(ADAS)方面的高級功能,如泊車輔助、車道保持、變道等。
至于最終采取哪種形式,各家車廠還是會按照自己的能力和路線來确定。畢竟,你可以從第一性原理認為,人類既然只用眼睛就夠了,那麼自動駕駛也可以,對吧?
從吳新宙的理解來看,到底用不用毫米波雷達,L2++ 階段可能還存在一定的争議,但到了 L3、L4 階段駕駛員可以真正被解放出來的時候,毫米波雷達甚至激光雷達都可能會變成是一個必須的組件。
汽車的安全性從來都是第一位的,用戶肯定是希望自動駕駛汽車能比人開更安全。而這就需要留有一部分的冗餘。
NVIDIA 希望能夠讓自動駕駛軟體的能力,超越人類的水平。
自動駕駛行業的發展态勢,已經慢慢從之前的百花齊放開始朝着穩态的方向收斂了。
當聊到自動駕駛整個行業的發展格局的問題時,吳新宙看來,輔助駕駛和自動駕駛已經過了百花齊放的時候了,現在行業已經向一個穩态、收斂的方向去發展。
他用手機打個比方,從 3G 時代開始,人們才把手機當為一個計算機來用,這個歷史其實也不是特别長。
剛開始也是百花齊放,到後來的話也是一個穩态的生态,垂直整合的玩家不會太多,因為投入太大。
垂直整合的玩家一定有很好的一個市場份額,可以非常領先的一個位置才能支撐這樣的戰略。除此之外一定也會有一些橫向的玩家,包括軟體硬體供應商。
吳新宙相信自動駕駛的一個穩态的市場也會是這樣的。
讓每個車廠都去做全棧肯定是不行,投入太大,而且也不一定做得好。NVIDIA 作為賦能者,不管合作夥伴希望往哪個方向發展或是希望與誰合作,NVIDIA 将提供一系列的硬體和軟體解決方案,供客戶選擇,為車企和軟體供應商提供足夠的支持。
他相信,行業的整合在接下來的 5~10 年裡,一定會是非常劇烈的、快速的變化。
高階自動駕駛落地的時間表
對于未來高階自動駕駛的落地,吳新宙認為很難做一個明确的預測,像奔馳現在其實就有一個 L3 系統。
自動駕駛演進其實是一個漸進的東西,還有很多因素需要考慮,比如技術層面、監管層面、标準制定等等。
換句話說,NVIDIA 要做的是把 L3 的 ODD(運行設計網域)逐漸放大,然後到某一個時間節點,可以擊穿用戶體驗在某個階段的阈值,這樣來不斷地向前推進。
在這個過程中可能會經歷陣痛與成長,這條路線确實很難走,但是從 L2++ 到 L3,然後把 L3 逐步做好,真正變成一個高度可用的 L3,這是大有可為的。然後再向 L4 的這樣的方向演進。
時間線的話,L2++ 可能從 2023 年到 2024 年,然後可能還要通過 2~3 年通過頭部車廠的積累,把體驗做得足夠好。
然後在中間的時間點,可能在 2027、2028 的時候,市場上就能看到一些比較好的 L3 產品。至少在某些市場上,某些 ODD 下,市場上會看到高度可用的 L3 產品的出現。
而對于直接就做高階自動駕駛的公司,可能就要面臨一個問題,在技術成熟落地之前,他們很難產生價值,這樣企業的生存就會是一個很大的挑戰。
聊到 NVIDIA 和富士康最近的合作,在未來将聯手創建新型的數據中心,用于包括自動駕駛汽車、自主機器人和工業機器人在内的開發。
富士康将作為一級制造商,面向全球汽車市場生產基于 NVIDIA DRIVE Orin 的電子控制單元(ECU)。同時,富士康生產的電動汽車将采用 DRIVE Orin ECU 和 DRIVE Hyperion 傳感器架構,來實現高度自動化的駕駛功能。
此時,當把視角收到一個更廣的維度,在吳新宙眼裡,自動駕駛将會是 NVIDIA 走向一個全面擁抱 AI 世界的開創性業務。
自動駕駛業務是 NVIDIA 在未來轉型成為「AI 算力工廠」的重要支柱
吳新宙說,接下來的 5~10 年,生成式 AI 更多的是在虛拟世界帶來一些非常大的變化。
互聯網,搜索引擎都會以一種完全全新的方式來出現在大家面前。
NVIDIA 在這個過程中不僅僅是成為數據工廠,甚至要成為一個模型工廠,通過提供的各種預訓練的模型(pre-trained model),給各種各樣的用戶來使用,可以極大地減少生成式 AI 模型開發落地的復雜程度,這個是 NVIDIA 在努力的一個方向。
通過機器人,在未來第二個 10 年,AI 會真正對物理世界產生巨大的影響。
目前來看,機器人和物理世界的互動這部分是非常困難的。機器人的廣泛普及與落地,目前來說還有很多的技術難點要去突破,所以可能下一個十年會發生的事情。
因此從這個維度上來講,雖然汽車安全很重要,復雜程度也很高,但和機器人相比,它恰恰還只是一個入門級的技術,是一個起點。
吳新宙表示,展望未來,希望 NVIDIA 的汽車事業部可以充當公司宏大目标的一個前站,真正把算力工廠,模型工廠,乃至數字孿生工廠能夠在汽車上實現出來,推動實現軟體定義汽車、AI 驅動汽車這樣的一個願景。