今天小編分享的财經經驗:小鵬李力耘:端到端好似“熱兵器時代”,彎道超車更難了,歡迎閲讀。
作 者丨吳曉宇 見習記者焦文娟
編 輯丨張明豔
今年年初,特斯拉正式在北美推送 FSD V12 版本之後,中國自動駕駛行業許多 CEO 和高管都前去體驗。
小鵬汽車 CEO 何小鵬也是其中一員。經過幾次體驗後,何小鵬很是振奮,他主動向自動駕駛副總裁李力耘説起感受," 絲滑感顯著、拟人感提升,可以明顯感受到 FSD 在思考 ",并希望團隊骨幹成員盡快去美國體驗一次。
FSD 的快速迭代,讓小鵬自動駕駛團隊對端到端大模型路線更為笃定。
小鵬汽車是 " 智駕老兵 "。2017 年 9 月,小鵬便開始自研智能駕駛軟體算法,分别領先華為和理想 1 年 8 個月、3 年 5 個月。之後,小鵬完整地經歷了高速輔助駕駛、城區輔助駕駛階段,還在今年年初的開城競速賽中率先落地 200 城。
端到端的布局和預研,要追溯到 2022 年。李力耘告訴 21 世紀經濟報道記者,小鵬自動駕駛團隊曾做過幾次探索:起初,是用各種小模型。小鵬當時 " 堆了 " 幾十個優秀的算法工程師,希望通過規則牽引去解決問題,但最終卻無法擺脱傳統的規則限制。
2023 年 3 月,OpenAI 發布 GPT4,不久後,Sora、o1 新模型誕生,AI 大爆發,這些重要事件啓發了小鵬。2023 年年初,小鵬開始探索如何将端到端大模型運用到自動駕駛領網域,随後,小鵬又開始向雲端大模型邁進。
而中國絕大多數車企則是在特斯拉 FSD V12 版本之後才堅定地擁抱端到端(End-to-End)大模型的。
今年以來,蔚來、理想、零跑等車企都圍繞端到端成立了研發團隊,他們希望借此獲得彎道超車的新機會。" 當進入一個新的、以特斯拉為引領的技術周期,我們不能以傳統的時間去估算新技術產生的時間。不要認為,别人花多久,我們就花多久。" 一位從業 10 餘年的智駕人士告訴 21 世紀經濟報道記者。
為了見效快,有的車企選擇了 One piece 端到端模式。而在智駕上積累 7 年的小鵬,被質疑采用了分段式端到端," 路線保守 "。
李力耘否認了小鵬是分段式端到端," 我們和華為類似,XNet、XBrain、XPlanner 分别扮演人類眼睛、大腦和小腦角色,三者是互相重疊、互相耦合的。"
在他看來,車端一個 One piece 大模型,有一定副作用——未來,随着數據量的增加,車上的有限算力吃不下這麼多數據。而小鵬的解決方案是雲端大模型," 雲端大模型的參數會是現在車端的 80 ~ 100 倍,這是徹底的 One piece 智能體。" 李力耘説。
研發無圖的過程中,随着端到端滲透率的提升,小鵬自動駕駛團隊還調整了組織結構:新組建了 AI 模型開發、AI 應用交付、AI 效能三個部門。小鵬沒有裁員算法工程師,而是幫助他們完成端到端轉型。" 小鵬的智能駕駛團隊一直穩定在 2000 人左右,跟随業務有序增長。" 李力耘説。
李力耘将端到端視為 " 熱兵器時代 ",過去的輔助駕駛時代則是 " 冷兵器時代 "。冷兵器時代,只要湊齊了武林高手就可以打。但熱兵器時代需要更大的算力、更多的數據、讓算力和數據流轉起來的機制(數據飛輪體系)和工程能力。
" 緊跟趨勢轉型的企業可能會成功,但總體而言,熱兵器時代會系統性地拉開第一梯隊和第二梯隊的差距,彎道超車更難了。" 李力耘認為。
以下是 21 世紀經濟報道與小鵬自動駕駛副總裁李力耘、自動駕駛產品高級總監袁婷婷的對話:
李力耘
小鵬和特斯拉殊途同歸
21 世紀經濟報道:你之前有 L4 背景,曾是百度美國無人車研發團隊的創始核心成員、擔任京東硅谷研發中心 X 實驗室架構師,你為什麼不繼續 L4 研發,而在 2019 年選擇加入乘用車公司小鵬?
李力耘:我是 2019 年 6 月加入小鵬的。雖然我以前一直做偏 L4 的自動駕駛,但我其實是一個堅定的漸進式信仰者,我認可自動駕駛的終極形态一定是做真正的無人化,但一步到位、直接做無人很難。
我很喜歡車,是一個非常有產品熱情的人。我自己開的就是小鵬,以前我開 P7,現在開 G6 Max,能夠看到自己的代碼跑在自己的產品上,并把這個產品買回去天天開、看着它不斷進化,我覺得這件事非常酷。
21 世紀經濟報道:你加入小鵬時,何小鵬説了什麼打動了你?
李力耘:我先在美國見到了吳新宙(時任小鵬自動駕駛負責人),當時他去小鵬已有半年,團隊已經有一些人了,接着回國見到了何小鵬。何小鵬説:" 我們是一定要做自動駕駛。" 他對自動駕駛十分笃定、堅定智能化能帶來改變,非常打動我。
為了能在一線體驗產品,不用飛來飛去,2020 年,我把家從美國搬回了廣州。
21 世紀經濟報道:在輔助駕駛方面,特斯拉今年年初推出了 FSD V12 版本,引領了端到端的方向,小鵬是受到特斯拉影響嗎?
李力耘:我們早在 2021、2022 年,便開始積極布局和預研端到端了,本着數據驅動的理念,用輕雷達、輕地圖,現在行業更習慣用去激光雷達和無高精度地圖這兩個詞。
特斯拉一直也是本着數據驅動的理念來做。我們非常尊敬特斯拉,目前只有小鵬和特斯拉能做到既不依賴高清地圖,也不依賴激光雷達,用一套軟體适配高階輔助駕駛車型。
熱兵器時代,彎道超車更難了
21 世紀經濟報道:2017 年 9 月,小鵬開始自研智能駕駛軟體算法,分别領先華為和理想 1 年 8 個月、3 年 5 個月,完整地經歷了高速 NOA、有圖城區輔助駕駛、無圖城區輔助駕駛和目前的端到端階段。和之前的階段相比,端到端最大的不同是什麼?
李力耘:以前的輔助駕駛好像冷兵器時代,我們需要很多武林高手,萬軍之中取上将首級——他們懂駕駛場景、懂業務、懂數學、又懂一兩個小模塊,他們能夠所向披靡。但事實上,找到很多武林高手非常難。即使找到了,我們面臨的復雜場景千變萬化,相當于敵人的數量更多。
端到端時代,好似從冷兵器時代來到熱兵器時代,不依賴人力,而是通過 " 火藥 "、排兵布陣的方式赢得勝利。" 火藥 " 相當于數據、算力和算法,将這些原料在工廠裏變成模型後,再通過訓練模型解決問題。
21 世紀經濟報道:小鵬端到端的海量數據從哪裏來?
李力耘:與自動駕駛 L4 企業相比,作為主機廠的小鵬有自己的車,在數據收集上,我們具備更好的定義能力。
與起步晚的車企相比,小鵬之前積累的優秀工程素質能幫我們更高效地收集數據,原來的規則可以給 AI 提供一些引導、會當老師。
最後,小鵬的車型豐富,從轎車、 SUV 到 MPV,從 A 級、B 級到 C 級都有涉及,這保證了我們的數據的多樣性和豐富性。
21 世紀經濟報道:積累數據是端到端的難關嗎?車企擁有了數據和算力,是否就意味着能實現端到端大模型的落地?
李力耘:在原來的規則時代,系統連接了十幾個攝像頭,進入端到端時代後,這些傳感器的數據量和之前沒有發生變化。
規則時代,解決問題前,我們會先看問題是由感知,還是預測,還是兩組問題共同導致的。我們會通過這兩組算法工程師設計場景、數學模型和規則,去解決問題、回歸場景。只是這樣的細節問題太多了,還會牽扯更多模塊。
變成端到端後,打法不同了,整個鏈條變得很長。車企需要收集用于解決場景問題的大量數據,甚至将無監督的數據做好标注、清洗,給自己當模型。這個模型可以先預訓練再聯合訓練,也可以是一個大模型來做訓練。訓練好後,看訓練出來的模型的質量能否完成量化、部署、仿真驗證、上車,整個鏈條非常長。
數據收集之外,工程能力還體現在大數據體系的建設、算力部署能力,這都不是一件容易的事。
21 世紀經濟報道:小鵬在冷兵器時代積累的那麼多 " 武林高手 " 用不上了嗎,過去的積累能發揮哪些優勢?
李力耘:要想收集高效數據,最重要的一條是自動駕駛團隊需要在車端做很多工作,否則收了大量數據回來,卻進入存儲中,就變成了成本。
如果不是無限資源的話,車端數據的收集需要很強的算法能力、甚至是 AI 能力。這和我們之前的積累一脈相承。比如用規則去監督數據收集,比如 AI 出的路徑,可能在幾何上非常不合理,明顯不像是人會開的,可以通過規則快速識别出來。
與傳統的技術方案相比,端到端往往被認為上限高、下限低。但這可能是我們做得很有特色的地方。我們在上一個時代,建立了充分大量的仿真數據集,這些仿真數據集,都是經過規則校正的,當 AI 的新模型上限的時候,會去跑這些數據集,我們就能夠快速發現模型的下限的不合理,進行對模型的快速校正。我們過去積累的規則為 AI 兜底了。
另外,目前只有小鵬和特斯拉能做到,既不依賴高清地圖,也不依賴激光雷達,用一套軟體适配所有高階智駕車型。
21 世紀經濟報道:為什麼其他車企做不到,他們差在哪裏?
李力耘:一是小鵬數據采集的效率更高;二是小鵬有很強的平台化工程能力。在 AI 端到端時代,有無激光雷達、無論怎樣的車型,對我們來説都是一套智能駕駛解決方案。
21 世紀經濟報道:特斯拉 V12 之後,很多車企擁抱端到端,希望借此彎道超車,彎道超車更容易了還是更難了?
李力耘:原來工程化能力拼的是招募和堆砌各種方向的冷兵器高手,只要湊齊了他們就可以打。
熱兵器時代需要更大的算力、更大的數據,在這背後,能讓這麼多算力、數據流轉起來的機制,還要把這些東西布置到車上,并且上車過程中,特斯拉和我們都不否認,偶爾有一些時候都是需要一些規則兜底。緊跟趨勢轉型的企業,我覺得也可能有成功,但總體而言,會系統性拉開第一梯隊和第二梯隊的差距。
袁婷婷:在工程上,我們投入了非常多的精力在 AI Infra 上(即人工智能基礎設施,連接算力和應用的 AI 中間層基礎設施)。打個比方,要炒一份菜,你可以用很好的灶、柴火和果木,也可以用酒精燈、上面放一個小鋁鍋,看起來好像都能很快端出一盤菜來,但長期來看是完全不一樣的。
做端到端,就像是十月懷胎。十月懷胎,就是真的需要十個月的充分的營養和照料,它才能有呱呱墜地的那一刻。它不是我打算做了,我投入足夠多的錢,所以我用十個人,就能一個月 " 生 " 出來。它需要足夠扎實的基礎,付出足夠扎實的努力,才能獲得最終的收獲。
" 智駕老兵 " 的三次嘗試
21 世紀經濟報道:小鵬最早試水端到端是什麼時候?當時端到端是什麼形态、表現如何?
李力耘:2022 年 9 月,小鵬城區輔助駕駛落地廣州,成為第一家量產城市導航輔助駕駛的車企,但我們整個研發是在 2022 年上半年就完成了,時間花在了審圖上,那時候我們認為高精地圖是一個拐杖。要想做好城區導航輔助駕駛,我們需要用更泛化、更好的技術方案,去适應各種各樣的路況。我們便開始向無圖方案切換。
起初,無圖的方案需要更復雜的算法,它要檢測三輪車、電動車等各樣的車,遠不如定義一個模型将之泛化便利,因此,我們當時嘗試了小模型堆砌的方式,堆了幾十個非常優秀的算法工程師,通過一些規則的耦合去解決問題。
但人為定義規則的接口,意味着這些模型仍然沒有擺脱算法規則,另外堆更多優秀的算法工程師上去,也是一件難事。
21 世紀經濟報道:小模型最難解決的問題是什麼?當時碰到哪些特殊案例?
李力耘:通過各個小模型規則的耦合是無法解決問題的,因為模型之間本身要傳遞更多信息。
小模型時期,環島、窄路、小路、調頭、大路口等場景非常難,我們可能要花 3 — 5 個月。
比如有些城市的路口很復雜,駕駛員在一個路口要左轉,但發現前面一條路是上橋、一條路是去輔路、旁邊還有一條路,系統可能直接減速為 0。
而端到端大模型很聰明的,它解決了兩大問題:一是特殊場景從不能開到能開;二是提升拟人性。比如駕駛員在上述路口,系統不會停下來,也不會換到另一個車道,而是會像人類一樣猶豫,稍微減速後笃定地選一條路走過去。稍許的感覺就像大廚燒菜,加稍許鹽,味道就剛剛好。這種變化非常拟人,非常有 " 端味 "。
在數據和大模型的加持下,我們大概一兩個月就可以把上述場景做好。
21 世紀經濟報道:什麼契機讓團隊開始思考需要向大模型轉型?
李力耘:要想成為全球頂尖 AI 企業,盯緊最前沿的 AI 技術發展不可少。2023 年 3 月,OpenAI 發布 GPT4。之後,從 OpenAI 發布 Sora、o1 的新模型的誕生,AI 大爆發,這些重要事件牽引了我們的思考。
我們之前有數據積累、架構積累,去年年初,我們開始思考如何将大模型運用到自動駕駛領網域。今年年初,我們又開始探索從大模型轉型至雲端大模型。
我覺得雲端大模型更有魅力,未來,在一個路口,系統甚至可以更加笃定地直接按照記憶去選一個更好的路,它可以降維打擊大模型、賦能智能駕駛。
21 世紀經濟報道:今年 5 月,小鵬宣布量產了端到端智駕大模型,成為繼特斯拉後全球唯二、國内首家量產端到端智駕大模型的車企。當時智駕大模型的設計思路和今天有哪些不同?
李力耘:第一版上車的端到端智駕大模型是按照場景逐步上車的過程。在小鵬即将發布的 AI 天玑 XOS 5.4.0 系統,我們不分場景、全量使用了端到端大模型,整體的拟人性會上一個大的台階。
One piece 端到端見效快,卻有很大副作用
21 世紀經濟報道:在端到端方案的選擇上,目前主流的觀點有兩種:One-model 端到端和分段式端到端,小鵬被歸為分段式端到端,你認可這種觀點嗎?
李力耘:分段式端到端是人為造出來的概念,小鵬不是分段式端到端。
在小鵬自動駕駛系統中,分别扮演人類眼睛、大腦和小腦角色的 XNet、XBrain 和 XPlanner 是互相重疊、互相耦合的。深度學習時,三個大網絡會對各個部分做預訓練,之後再聯合訓練。
21 世紀經濟報道:為什麼要這樣設計?
李力耘:兩個方面的原因。第一個很重要的原因是,我覺得我們站在一個認知的高地,因為我們從很早就開始投入端到端的研發,并且本着完全拟人的原則設計了 XNet、XBrain 和 XPlanner。而在這背後更重要的是我們有雲端大模型或者叫 foundation model,為了可解釋性以及算力的合理分配和部署,才把它預訓練成三個網絡。
其實華為的端到端架構中也有一個感知網絡、一個規控網絡,以及一個本能安全網絡。我們和華為在模型認知上有相似之處,即在端到端本質下,我們更在意信息的無損傳輸、信息保留的最大化,而不會刻意追求 one piece 的訓練、部署。
另一方面,讓 AI 去開車這件事本身非常激進。在端到端大模型設計時,如果采取循序漸進的方式,三個網絡既有側重又有聯合,既可以增加更多可解釋性、可管控性,算力的分配和部署也将更合理。至少在調試過程中,我們更容易知道什麼地方出了問題。
21 世紀經濟報道:One piece 端到端有自己的優勢嗎,又有哪些挑戰?
李力耘:車端一個 One piece 大模型,可能見效很快,因此外界會覺得其有彎道超車的潛力。但它卻有很大的副作用——未來,随着數據量的增加,車上的有限算力其實吃不下這麼多數據,便可能會帶來很多挑戰。
21 世紀經濟報道:三個網絡去聯合訓練不如 One piece 那麼快,小鵬怎麼解決這個問題?
李力耘:在方法論上,慢就是快。我現在更認同類似 Open AI 這樣的雲端大模型,這是徹底的 One piece 的智能體。所以我們會布局雲端的大模型,并且會去考慮車端可解釋性的安全兜底。
雖然見效是一個逐步的過程,但我們不用做重復建設,上限會更高。雲端模型參數會是現在車端的 80 — 100 倍,2025 年底,我們的雲端算力會達到 10EFlops 以上,相比 2024 年的規劃增加 2.6 倍。
21 世紀經濟報道:今年 5 月小鵬宣布完成 100% 無圖化。有種觀點認為,小鵬将無圖做到極致後,智駕大部隊才去研發端到端,路線比較保守。
李力耘:一開始研發無圖,我們就有一些端到端預埋在裏面。想要實現真正的無圖,無圖意味着要泛化,意味着車企要具備一定的理解能力,所以從無圖之初我們就開始(端到端),無圖化的過程,就是端到端逐步上升的過程。
只不過無圖化走完了, 端到端仍然沒有走完。因為我們最終的目标是以 L2 的成本實現類似 L3 的體驗,進一步走向自動駕駛和無人駕駛。
用組織陣型,适配端到端大模型
21 世紀經濟報道:何小鵬在今年 7 月的 "AI 智駕技術發布會 " 上説,小鵬今年在智駕上投入了 35 億元,還招了 4000 人。特斯拉的智駕團隊規模自始至終也沒超過 1000 人,小鵬為什麼需要這麼多人?
李力耘:我們團隊規模持續跟随業務的變化在增長,但一直穩定在 2000 人左右。招募 4000 人,是指整個大 AI 方面。
小鵬立志成為中國甚至全球的 top AI 企業,所以圍繞整個 AI 的業務進行團隊布局,汽車制造、語音座艙、機器人、自動駕駛都是 AI,并不是僅僅指自動駕駛。
因為相信,所以看見。小鵬對于智能化的投入是非常笃定的。我們不用去對比其他公司的人數,我們希望能以 L2 級的成本實現 L3 級的體驗,最終走向自動駕駛跟無人駕駛。
21 世紀經濟報道:今年上半年小鵬智駕團隊有 5 名老将離職,人才流動頻繁,對你的心态有影響嗎?
李力耘:這是一件正常的事,也是一件良性的事,人員的流動對整個行業都是有好處的。
21 世紀經濟報道:小鵬沒有裁員算法工程師,那之前 " 冷兵器時代 " 的算法工程師現在去哪裏了?
李力耘:我們特别注重人才,我覺得原來 " 冷兵器時代 " 優秀的算法工程師,就是那個時代非常聰明的人。
内部,我們會積極培養他們的轉型;外部,我們會持續招聘優秀的人才,牽引他們的轉型、激活人才。小鵬作為一個立志成為中國和全球 top 級的 AI 公司,我們非常珍惜人才、非常求賢若渴。
我們最近也對組織架構做了調整,我們把它叫做面向 " 熱兵器時代 " 做的調整。
凡事都是變化的,團隊人才的畫像有一定的變遷,但演化是很正常的。原來優秀的同學我相信只要他們去努力學習,仍然會優秀。
21 世紀經濟報道:在小鵬之前,蔚來和理想都調整了自動駕駛團隊的組織架構,為什麼小鵬這麼遲?有一種較為尖鋭的觀點認為,小鵬有包袱,因為如何安排在無圖城區 NOA 時代立下戰功的人是一個難題。你怎麼看待這種説法?
李力耘:8 月只是我們對外宣發的節點,調整是順其自然、應運而生的。在無圖的過程中,伴随着 AI 端到端的滲透率上升,我們便開始調整了團隊的運作方式,逐步向 AI 的應用、AI 的研發、AI 的效率這幾個方向轉變,所以工作方式的變化其實很早就存在。
21 世紀經濟報道:具體的組織調整是怎樣的,涉及多少規模?調整效果如何?
李力耘:原來,小鵬的技術部門分為規劃、預測、控制、感知、融合各個組,我們的組織架構以 AI 為核心,新組建了 AI 模型開發、AI 應用交付、AI 效能三個部門,希望充分發揮 AI 的生產力,涉及百人規模。
調整之後,我們能夠盡最快的速度實現全國都能開,而且在原來的弱勢場景上,比如調頭、窄路、博弈上,我們取得了長足的進步。這些都是我們調整組織架構帶來的實打實的收益。
21 世紀經濟報道:從算法工程師向大模型轉型,他們會有哪些不适應的地方?
袁婷婷:無論是在北美還是在國内,我跟大家聊起這件事情來,他們都是很開心的。這些同學具備了非常好的工程素養、基礎算法能力,向大模型轉型期,他們既拓展了自己能力的邊界,還能為公司做出更大的貢獻,又适配上了這個時代的趨勢。
現在我們整個組織陣型的調整适配了我們現在生產力的發展。
在中國練兵,再出海
21 世紀經濟報道:小鵬在德國路測是因為大眾嗎?
李力耘:和大眾無關,是和產品節奏有關。我們和大眾不只是一個簡單的供應商關系,也是一個戰略合作的關系,我們也是按平台化的思路來賦能大眾的。
21 世紀經濟報道:何小鵬今年 4 月説,小鵬已經完成了在德國的高速領航輔助駕駛 NGP 路測。特斯拉 FSD 入華這麼難,小鵬憑什麼有信心智駕出海?
袁婷婷:小鵬作為一個面向全球的 AI 企業,出海是笃定去做的。
第一,我們堅守全程全球化的市場定位,是我們的長期主義。第二,我們要和本地共赢。第三,我們堅定走智能化科技的路線,而不是賣更便宜的車,我們要做中高端的車。
中國的場景相對比較復雜,比如有 3 億小電驢、各種各樣復雜的場景,是一個很好的練兵的場面,也對我們的 AI 體系能力做了很多的鍛煉,讓我們摸到了端到端數據驅動的這條路。
通過數據驅動來對海外的市場做賦能,遠比我們去每個國家找一組工程師去适配規則更高效,也對海外用户更加負責。我們有信心把海外市場做到很好。
21 世紀經濟報道:目前小鵬出海的進展如何?
袁婷婷:我們目前已經完成了兩個 OTA 的海外核心版本的上線,這一部分也在海外客户裏獲得了好的口碑。我們相信在 2025 年、2026 年,我們在海外的智駕一定會給大家帶來更大的驚喜。
SFC
本期編輯 黎雨桐
21 君薦讀