今天小編分享的汽車經驗:全球唯一3nm工藝!聯發科天玑平台開啟AI汽車新時代,歡迎閱讀。
新能源汽車的賽道愈加寬闊,前途似錦,越來越多的玩家加入其中,智能體驗日新月異。
現在,芯片大廠聯發科重磅出擊,帶來了全套的天玑汽車平台,正在陸續商用落地。
它可為智能汽車帶來全新的衛星通信、5G 通信、Wi-Fi 和藍牙連接、端側 AIGC 等座艙體驗,尤其是在人機互動、駕乘體驗、娛樂、社交、辦公等多種應用場景實現 AI 賦能。
市調數據顯示,預計 2024 年全球乘用車銷量可達 8500 萬輛,其中新能源汽車占比 20%,而到了 2028 年,這兩個數字将分别達到 8900 萬輛、35%。
中國乘用車市場總銷量在 2024 年預計為 2200 萬輛,2028 年達到 2400 萬輛,其中新能源普及速度更快,占比今年就會有 50%,未來四年後更是高達 80%,不可限量。
很多人可能不知道的是,聯發科已經在汽車行業耕耘了十多年,碩果累累,而且一直保持持續增長的勢頭。
其中天玑汽車座艙平台全球市場出貨量已超過 2000 萬套,預計到 2028 年全球累計收入可超過 30 億美元;
天玑汽車聯接平台獲得了全球頭部汽車制造商的采用,TOP15 車企已拿下 8 家,預計到 2028 年全球出貨量可超過 3000 萬套;
天玑汽車衛星導航系統截止 2023 年市場占比超過 40%,電源管理芯片截止 2023 年出貨量超過 2 億顆;
此外,天玑汽車駕駛平台的進度也十分順利。
2023 年 4 月,聯發科正式發布了全新整合的汽車解決方案——天玑汽車平台 "Dimensity Auto"。
它包括座艙平台、聯接平台、駕駛平台、關鍵組件四大組成部分,具備高算力、智能、開放性、節能、可靠等特點。
僅僅一個月後,聯發科宣布與 NVIDIA 合作,共同開發集成 NVIDIA GPU 圖形與計算 IP、Chiplet 芯粒設計的 SoC 芯片,為軟體定義汽車提供完整的 AI 智能座艙方案。
今年 3 月的 NVIDIA GTC 大會上,聯發科正式宣布了一系列融入 AI 技術的天玑汽車座艙平台系統單芯片 ( SoC ) ,包括旗艦的 CT-X1、高端的 CT-Y1/CT-Y0、主流的 CT-M1、入門的 CT-V1,都支持 NVIDIA DRIVE OS 車機系統軟體。
對于與 NVIDIA 的深度合作,聯發科技資深副總經理、運算聯通元宇宙事業群總經理遊人傑對快科技表示,這是基于多方面的考慮,而且不只是硬體合作,也不是短期合作,而是面向長期的未來布局,包括智能座艙和智能駕駛的整合布局,也就是所謂的艙駕融合。
其次,兩家公司具有相當強的互補,合作可以給彼此帶來更多增值,比如聯發科的低功耗 IP,比如高中低端的全產品線布局,都可以通過合作展現競争力。
還有就是,無論硬體 SoC 還是軟體,再到整個生态,NVIDIA 如今都是整個 AI 生态圈的龍頭,聯發科希望借助彼此合作,加速聯發科在 AIGC 浪潮元年的布局和發展,也給生态和業界帶來更好的選擇。
其中,旗艦級的 CT-X1 采用了當今最先進的 3nm 制造工藝,在汽車行業還是第一,在全球也是繼蘋果 A17 Pro 之後的第二款 3nm 工藝芯片。
高端的 CT-Y1/Y0 也采用了非常先進的 4nm 工藝。
如此高端的工藝,可以大大提高芯片尤其是多芯片芯粒設計的集成度、性能,并顯著降低功耗和發熱,從而在更有限的空間内提供更強大的解決方案。
二者的詳細規格參數均未公布,目前只知道基于最新的 ARMv9 CPU 架構。
聯發科透露,目前采用 CT-X1、CT-Y1/Y0 平台方案的國内頭部車企,都已經超過了 6 家,不過按照行業慣例,需要等車企自行宣布。
CT-X1 内建了強大的 APU AI 計算單元,AI 算力号稱相比 2023 年的旗艦產品都高出 20%,而且采用了先進的散熱設計,可以保證性能完整釋放。
同時集成端側 AIGC 混合精度 INT4 輕量化技術、内存硬體壓縮技術,既能滿足 AI 運算精度,還能更高效利用内存容量與帶寬,。
它可以支持 130 億參數大語言模型的端側離線應用、130 億參數的多模态 AIGC 模型,能夠在車内運行多種主流的大模型和 AI 繪圖功能 ( Stable Diffusion 等等 ) ,生圖不到 1 秒鍾就可以完成。
CT-Y1 的性能略低一些,大模型參數降至 70 億,但依然能夠不到 1 秒就生圖。
有了這樣的算力基礎,基于 3D 圖形界面的車載語音助手、豐富的多屏互動與顯示技術、駕駛警覺性監測等先進的 AI 安全和娛樂應用,都可以在天玑座艙裡跑起來。
另外,針對車機系統需求,聯發科還提供強大的多媒體支持," 一芯多屏 " 可以連接超過 10 塊螢幕 ( CT-Y1 6 塊 ) ,可以配置三組 3K 分辨率的高清屏,還有 MiraVision AI 顯示增強技術加持。
集成 ISP 單元,支持多路攝像,以及 AI 增強的降噪、HDR;集成音頻 DSP,支持環繞立體聲音效。
對于車機互聯,聯發科技副總經理、車用平台事業部總經理張豫台表示,這是非常重要的事情,主流的安卓和 iPhone 一定會支持的,并且還會學習華為,不斷與生态系統探讨,讓聯發科的手機連接聯發科的汽車後有着不同的體驗。
那麼,為什麼要在汽車上做端側 AI?
目前的智能汽車座艙依賴于雲端 AI,雖然可以跑 1000 億參數以上的大模型,但在端側只有 10 億參數甚至更少,性能嚴重不足,而且存在延遲、安全方面的不足。
聯發科認為,未來的智能座艙将在端側全面增強,可以輕松支持 70 億乃至上百億參數的端側大模型,脫離網絡依賴後能 24 小時随時提供服務,當然還能大大降低延遲,并确保個人隐私安全。
同時,多模态大模型落地端側,可以在艙内艙外實現更加豐富的感知和應用。
比如在艙内的語音、手勢、動作甚至是情感等各種新型人機互動,而且哪怕是在車内,也能滿足社互動動,以及通話、視頻會議、紀要總結等辦公需求 ( 當然是在安全前提下 ) 。
艙外方面,可以通過 AI 進行周邊場景、标識的識别,尤其是輔助停車。
目前,天玑汽車座艙平台已經有了超過 25 家 AIGC 合作夥伴,大模型已支持 Meta Llama 2、百度文心一言、百川等等。
聯發科還提供全套的 NeuroPilot 開發工具套件,可以适配 10 億 -130 億等不同參數規模的大模型,還支持模型壓縮技術,内存優化效率超過 40%。
衛星通信方面,聯發科不但提供強大的 NR-NTN 功能,還全球首個支持主流衛星通信的 Ku 頻段,已經引入汽車座艙平台,它的可用帶寬明顯高于 FR1,還支持 6G FR3 協同效應。
同時,聯發科還有一系列的衛星通信創新技術,比如 Ku 波段 UE 相控陣、基于星歷的 UE 波束成型,等等。
當然,全球衛星定位導航系統也是少不了的,支持 L1+L5 雙頻段、GPS/ 北鬥 / 伽利略 / 格洛納斯 /QZSS、WAAS ( 美國雷聲公司廣網域增強系統 ) /EGNOS ( 歐空局接收衛星導航系統 ) /MSAS ( 日本多功能衛星增強系統 ) /GAGAN ( 印度 GPS 輔助靜止地球軌道增強導航系統 ) 、高精度 IMU,水平和垂直精度分别小于 1.5m、2.25m CEP,速度精度 0.05m/s。
5G 通信方面,通過集成先進的 AI 基帶,支持下一代 3GPP R17 甚至是未來的 3GPP R18 解決方案,對比前代可提供更高的吞吐量、更低的功耗、更好的覆蓋範圍 ( 比如小區邊緣 ) 。
Wi-Fi 連接方面,全系标配 2.4/5GHz 雙頻段并發,雙天線或三天線,Wi-Fi 6、Wi-Fi 7 的極限速率分别達到 1.2Gbps、6.4Gbps,覆蓋車内串流、車外 OTA、車載娛樂與後座娛樂、熱點接入等應用。
同時,一顆芯片集成兩個藍牙,而且是最新的藍牙 5.4 标準、藍牙 LE Audio 音頻,可同時覆蓋主副駕。
順帶一提,對于汽車安全标準,聯發科也提供全面的支持,包括全系标配 AEC-Q100 二級車規認證。
接下來,是平台技術與應用的 DEMO 展示。
天玑汽車聯接平台:
左邊兩個是車規級的 5G 模組 T-Y1、T-Y2,右側是基于 T-Y1 模組的 5G T-Box 無線網關。
T-Y1 5G 模組,四個 A55 CPU 核心,主頻 1.5GHz,性能為 15K DMIPS。
它支持 3GPP 5G R15,Sub-6GHz 頻段最大下行速率 4.7Gbps,還有 200MHz 帶寬、NR 雙載波聚合、L1+L5 雙頻段衛星定位導航、NR ecall 緊急呼叫。
安全方面通過了 AEC-Q100 車規認證,可适應 -40 ℃到 85 ℃溫度範圍。
T-Y2 5G 模組,主頻提高到 2.0GHz,性能提高到 22K DMIPS。
通信更新到 5G R16,最大下行速率 7.0Gbps,還有 300MHz 帶寬、NR 四載波聚合。
5G 網關。
聯接平台應用展示:
包括全球衛星定位導航、Wi-Fi 與藍牙模組、藍牙 LE Audio。
CT-Y1 智能座艙:
注意看有多達 12 個攝像頭,最高可達 3200 萬像素,還同時在執行地圖導航、視頻播放、視頻會議等應用。
銳承 ( ReaCheng ) CM-M1 智能座艙方案:
雖然定位不高,但功能齊全。
它支持 AVM ( 全景式監控影像 ) 、DMS ( 司機監測系統 ) 、OMS ( 乘客監測系統 ) ,支持系統快啟、倒車影像快啟、多屏異顯異觸、語音識别、聲音音效、地圖、音樂等等,還有 HyperVisor 軟體。
錦途圖 ( GentAI ) CM-M1 智能座艙方案:
最大特點是内置騰訊 TAI 4.0 全家桶,囊括語音、微信、愛趣聽、随行等。
它也有高清 AVM、DMS、OMS,并支持 10 路影像輸入、5 路影像輸出,支持儀表和中控雙屏顯示。
天玑智能座艙三網域融合量產平台:
7nm 工藝,三合一融合車載終端、網關、數字鑰匙等功能,并結合國内自主研發的安全微内核,以及高性能的 HyperVisor,在 GPU 損耗等關鍵性能指标上表現優異。
天玑汽車 AIGC 應用之新聞智選:
基于 70 億參數的大模型,可以自動總結過去 24 小時發生的用戶感興趣類别的新聞,在上車時向用戶簡要介紹。
用戶也可以通過自然、直接的語音互動,進一步要求 AI 對感興趣的内容做摘要甚至評論。
這一應用還可以延伸到端側通話結論、會議摘要等場景。
天玑汽車 AIGC 應用之智能汽車用戶手冊:
通過語音輸入查詢問題,大模型結合上下文,識别用戶意圖,搜索知識庫内信息,并根據汽車實時狀态,整合答案輸出。
技術方面,它是經由端側運算仲裁模型,根據用戶問題判斷,由端側或雲端運算給出結果。
這不但可以确保快速且正确的回應,而且即便在未聯網情況下也能完成,保證全時在線運作。
天玑汽車 AIGC 應用之疾速文生圖:
基于 SDXL Turbo 加速的疾速文生圖,可以根據提示詞 ( Prompt ) 的不同實時變化,随時得到不同的圖片,而且一切都在端側完成。
它還可以延伸到互動式生圖遊戲等應用。
天玑汽車 AIGC 應用之神筆:
基于 AIGC 圖片生成大模型,用戶通過觸屏繪畫,結合語音或文字提示詞 ( prompt ) ,只需簡單幾筆,即可生成精美畫作。
技術方面,它融合了多模态互動,可以生成高清圖片。
延伸應用場景包括疾速互動生圖、個性化座艙主題、生成式遊戲應用等。
今天,AI 正在重新定義千行百業,汽車行業自然也不例外。
AIGC 有望在人機互動、駕乘體驗、車載娛樂、社交辦公等方方面面,重塑沉浸式的座艙體驗。
聯發科基于自身在芯片產業的雄厚技術積累,加上與 NVIDIA、行業生态夥伴、汽車廠商的通力合作,全新打造的天玑汽車平台,不但擁有強勁性能、創新應用、融合生态,更是開啟了汽車端側 AIGC 的新篇章。
作為行業頂尖的車用計算平台,天玑汽車不但提供了靈活的軟硬體平台、成熟工具鏈,更有日漸豐富的 AIGC 生态,可以幫助車企快速将 AI 功能部署到全系車型,推動汽車產業邁入 "AI 定義座艙 " 的新時代。