今天小編分享的汽車經驗:商湯絕影發布AI汽車創新產品“A New Member For U”,端到端智駕方案即将量產,歡迎閱讀。
經觀汽車
11 月 27 日,在 2024" 絕影實力 AI DAY" 上,商湯絕影發布智能座艙大模型創新產品 "A New Member For U"(你的家庭新成員),讓汽車擁有 " 有趣的靈魂 "。
此外,面向智能駕駛,商湯絕影構建了 " 車雲一體 " 的產品矩陣,發布涵蓋高速、城區以及泊車等全場景的高階智駕、端到端智駕等絕影量產智駕產品體系,同時全新更新行業标杆級别的 " 開悟 " 世界模型,以此打造堅實的數據基礎設施。
商湯絕影 CEO、商湯科技聯合創始人、首席科學家王曉剛表示:" 我們已經站在 AGI 時代的門口。作為加速智能汽車駛入 AGI 時代的戰略合作夥伴,商湯絕影将牢牢把握住新一輪智能汽車變革的時間視窗,與車企夥伴進行全方位深度合作,共享大算力與大模型,共建數據基礎設施,共同打造智能汽車大模型創新應用。"
商湯絕影 CEO、商湯科技聯合創始人、首席科學家王曉剛
擁有類人記憶,A New Member For U 會察言觀色
商湯絕影的 A New Member For U 為會察言觀色、能夠感知和理解用戶需求,提供有溫度、有情感的主動關懷。例如,在駕駛旅途中,A New Member For U 注意到坐在後排的孩子睡着了,會主動把空調溫度升高、音樂的聲量調低,底盤和駕駛模式都調整為舒适模式。
A New Member For U 之所以能夠察言觀色,源于商湯絕影的原生流式多模态大模型。絕影多模态大模型擁有強大的理解和推理能力,以此為基礎," 家庭新成員 " 能全面感知用戶的語音、表情、手勢、以及環境數據,并進行深度理解和推理思考。
但着還不夠,如果要讓汽車與用戶心有靈犀,它就必須有擁有記憶。為此,商湯絕影打造了國内首個 " 車載類人記憶框架 ",讓系統實現類人的記憶能力。
商湯絕影的記憶框架與人類的記憶機制相似。它有臨時記憶,能記得一些瞬時信息,比如車裡的物品、人的搭配、有沒有系安全帶等;也有長期記憶,就像是一個 " 檔案庫 ",存儲用戶的基本信息、行為模式和偏好等,它可以自我迭代,能從用戶長期使用中總結規律并不斷優化。而通過場景記憶,車機能針對當前場景進行毫秒級的動态記憶檢索,提取關鍵信息,進行決策,主動服務。
此外,商湯絕影還打造了能夠持續推理的 Always-on 運行框架,将多模态感知到的信息與各種記憶相結合,依托端雲協同架構,數據延遲控制在 1 毫秒以下,首包延時最快只需 60 毫秒,推理速度達 40 Tokens/ 秒,對數據進行高效處理和反饋,時刻感知需求。
在追求智能和情感化的同時,商湯絕影通過全方位的隐私保護與數據安全體系,做到 " 數據跟人走 "、" 隐私數據不出車 "、" 不該說的不說 ",确保系統在安全合規的前提下提供極致體驗,為每一位用戶打造專屬的安全空間。
端到端量產在即,絕影構建 " 車雲一體 " 新智駕
從北京車展開始,商湯絕影等多家公司陸續發布端到端智駕方案,智駕正在邁向端到端時代。本屆 " 絕影實力 AI DAY" 上,商湯絕影全面展示了基于 J6E、J6M、Orin 等不同算力平台打造的全場景高階智駕、端到端智駕等絕影量產智駕產品體系。
商湯絕影表示,其智駕量產交付也在穩步推進,基于 J6 平台的智駕方案預計 2025 年第二季度将量產交付,而量產端到端智駕方案則預計會在明年年底量產落地。
在高階智駕領網域,目前,高階智駕研發範式從規則驅動轉變為數據驅動,端到端智駕模型對于高質量數據的需求呈指數級的增長,但受限于高階智駕的量產規模、算力資源,大多數車企和智駕公司都面臨着,高質量駕駛數據的獲取難度大、效率低、成本高的問題。
為此,商湯絕影通過實車采集和仿真生成 " 雙輪驅動 " 的數據閉環,構建量產智駕產品體系和世界模型深度融合的 " 車雲一體 " 智駕新範式。
王曉剛表示:" 智駕高端局的競争不止是車端模型的比拼,端到端的決戰,戰場在雲端。" 由此,商湯絕影全新更新并發布了 " 開悟 " 世界模型。
世界模型最基礎也是最核心的能力是生成高質量視頻數據,高質量數據的關鍵在于 " 真實 "。基于多模态大模型打造的絕影世界模型,能夠理解真實世界的物理規則、交通規則,生成的視頻數據也更加逼真。
發布會現場展示的 " 開悟 " 生成視頻案例中,晴朗天氣下,汽車、路燈都是有影子的,右轉車輛會主動讓行優先級更高的直行車輛。在真實的基礎上," 開悟 " 生成的場景視頻,時間最長為 150 秒、分辨率可達 1080P、視角可以實現 11V,是行業首個同時完成上述指标的智駕世界模型。
更重要的是,通過多模态大模型," 開悟 " 世界模型可以支持多樣化的自動駕駛場景及 Corner case 的可控生成。目前商湯絕影基于 1024 類場景,能夠泛化出更多的平行世界,打造了千萬級的生成場景庫,預計 2025 年對行業開放。
商湯方面表示,以絕影量產智駕方案和 " 開悟 " 世界模型為核心,實車采集的真實數據和雲端生成的仿真數據在「車雲一體」的新範式下進行閉環流轉,使得端到端智駕系統的訓練更加全面、高效,大幅縮短了研發周期,降低了成本。
在商業化落地方面,目前,商湯絕影已和大卓智能、東風汽車等合作夥伴籤訂戰略合作協定,在高階智駕量產、端到端量產、AI 雲服務、AI 大模型等領網域開展全方位的深度合作,加速自動駕駛的落地與進化。
據了解,商湯絕影的智駕方案已量產交付廣汽埃安、一汽紅旗等 3 家車企 6 款車型,座艙 AI 大模型產品已上車小米 SU7、智己、LEVC L380 等車型。如今,商湯絕影已與超 30 家國内外車企達成合作,覆蓋 100 餘款車型,預計至 2024 年底,量產交付累計将突破 350 萬輛。