今天小编分享的汽车经验:全球唯一3nm工艺!联发科天玑平台开启AI汽车新时代,欢迎阅读。
新能源汽车的赛道愈加宽阔,前途似锦,越来越多的玩家加入其中,智能体验日新月异。
现在,芯片大厂联发科重磅出击,带来了全套的天玑汽车平台,正在陆续商用落地。
它可为智能汽车带来全新的卫星通信、5G 通信、Wi-Fi 和蓝牙连接、端侧 AIGC 等座舱体验,尤其是在人机互動、驾乘体验、娱乐、社交、办公等多种应用场景实现 AI 赋能。
市调数据显示,预计 2024 年全球乘用车销量可达 8500 万辆,其中新能源汽车占比 20%,而到了 2028 年,这两个数字将分别达到 8900 万辆、35%。
中国乘用车市场总销量在 2024 年预计为 2200 万辆,2028 年达到 2400 万辆,其中新能源普及速度更快,占比今年就会有 50%,未来四年后更是高达 80%,不可限量。
很多人可能不知道的是,联发科已经在汽车行业耕耘了十多年,硕果累累,而且一直保持持续增长的势头。
其中天玑汽车座舱平台全球市场出货量已超过 2000 万套,预计到 2028 年全球累计收入可超过 30 亿美元;
天玑汽车联接平台获得了全球头部汽车制造商的采用,TOP15 车企已拿下 8 家,预计到 2028 年全球出货量可超过 3000 万套;
天玑汽车卫星导航系统截止 2023 年市场占比超过 40%,电源管理芯片截止 2023 年出货量超过 2 亿颗;
此外,天玑汽车驾驶平台的进度也十分顺利。
2023 年 4 月,联发科正式发布了全新整合的汽车解决方案——天玑汽车平台 "Dimensity Auto"。
它包括座舱平台、联接平台、驾驶平台、关键组件四大组成部分,具备高算力、智能、开放性、节能、可靠等特点。
仅仅一个月后,联发科宣布与 NVIDIA 合作,共同开发集成 NVIDIA GPU 图形与计算 IP、Chiplet 芯粒设计的 SoC 芯片,为軟體定义汽车提供完整的 AI 智能座舱方案。
今年 3 月的 NVIDIA GTC 大会上,联发科正式宣布了一系列融入 AI 技术的天玑汽车座舱平台系统单芯片 ( SoC ) ,包括旗舰的 CT-X1、高端的 CT-Y1/CT-Y0、主流的 CT-M1、入门的 CT-V1,都支持 NVIDIA DRIVE OS 车机系统軟體。
对于与 NVIDIA 的深度合作,联发科技资深副总经理、运算联通元宇宙事业群总经理游人杰对快科技表示,这是基于多方面的考虑,而且不只是硬體合作,也不是短期合作,而是面向长期的未来布局,包括智能座舱和智能驾驶的整合布局,也就是所谓的舱驾融合。
其次,两家公司具有相当强的互补,合作可以给彼此带来更多增值,比如联发科的低功耗 IP,比如高中低端的全产品线布局,都可以通过合作展现竞争力。
还有就是,无论硬體 SoC 还是軟體,再到整个生态,NVIDIA 如今都是整个 AI 生态圈的龙头,联发科希望借助彼此合作,加速联发科在 AIGC 浪潮元年的布局和发展,也给生态和业界带来更好的选择。
其中,旗舰级的 CT-X1 采用了当今最先进的 3nm 制造工艺,在汽车行业还是第一,在全球也是继苹果 A17 Pro 之后的第二款 3nm 工艺芯片。
高端的 CT-Y1/Y0 也采用了非常先进的 4nm 工艺。
如此高端的工艺,可以大大提高芯片尤其是多芯片芯粒设计的集成度、性能,并显著降低功耗和发热,从而在更有限的空间内提供更强大的解决方案。
二者的详细规格参数均未公布,目前只知道基于最新的 ARMv9 CPU 架构。
联发科透露,目前采用 CT-X1、CT-Y1/Y0 平台方案的国内头部车企,都已经超过了 6 家,不过按照行业惯例,需要等车企自行宣布。
CT-X1 内建了强大的 APU AI 计算单元,AI 算力号称相比 2023 年的旗舰产品都高出 20%,而且采用了先进的散热设计,可以保证性能完整释放。
同时集成端侧 AIGC 混合精度 INT4 轻量化技术、内存硬體压缩技术,既能满足 AI 运算精度,还能更高效利用内存容量与带宽,。
它可以支持 130 亿参数大语言模型的端侧离线应用、130 亿参数的多模态 AIGC 模型,能够在车内运行多种主流的大模型和 AI 绘图功能 ( Stable Diffusion 等等 ) ,生图不到 1 秒钟就可以完成。
CT-Y1 的性能略低一些,大模型参数降至 70 亿,但依然能够不到 1 秒就生图。
有了这样的算力基础,基于 3D 图形界面的车载语音助手、丰富的多屏互动与显示技术、驾驶警觉性监测等先进的 AI 安全和娱乐应用,都可以在天玑座舱里跑起来。
另外,针对车机系统需求,联发科还提供强大的多媒体支持," 一芯多屏 " 可以连接超过 10 块螢幕 ( CT-Y1 6 块 ) ,可以配置三组 3K 分辨率的高清屏,还有 MiraVision AI 显示增强技术加持。
集成 ISP 单元,支持多路摄像,以及 AI 增强的降噪、HDR;集成音频 DSP,支持环绕立体声音效。
对于车机互联,联发科技副总经理、车用平台事业部总经理张豫台表示,这是非常重要的事情,主流的安卓和 iPhone 一定会支持的,并且还会学习华为,不断与生态系统探讨,让联发科的手机连接联发科的汽车后有着不同的体验。
那么,为什么要在汽车上做端侧 AI?
目前的智能汽车座舱依赖于云端 AI,虽然可以跑 1000 亿参数以上的大模型,但在端侧只有 10 亿参数甚至更少,性能严重不足,而且存在延迟、安全方面的不足。
联发科认为,未来的智能座舱将在端侧全面增强,可以轻松支持 70 亿乃至上百亿参数的端侧大模型,脱离网络依赖后能 24 小时随时提供服务,当然还能大大降低延迟,并确保个人隐私安全。
同时,多模态大模型落地端侧,可以在舱内舱外实现更加丰富的感知和应用。
比如在舱内的语音、手势、动作甚至是情感等各种新型人机互動,而且哪怕是在车内,也能满足社互動动,以及通话、视频会议、纪要总结等办公需求 ( 当然是在安全前提下 ) 。
舱外方面,可以通过 AI 进行周边场景、标识的识别,尤其是辅助停车。
目前,天玑汽车座舱平台已经有了超过 25 家 AIGC 合作伙伴,大模型已支持 Meta Llama 2、百度文心一言、百川等等。
联发科还提供全套的 NeuroPilot 开发工具套件,可以适配 10 亿 -130 亿等不同参数规模的大模型,还支持模型压缩技术,内存优化效率超过 40%。
卫星通信方面,联发科不但提供强大的 NR-NTN 功能,还全球首个支持主流卫星通信的 Ku 频段,已经引入汽车座舱平台,它的可用带宽明显高于 FR1,还支持 6G FR3 协同效应。
同时,联发科还有一系列的卫星通信创新技术,比如 Ku 波段 UE 相控阵、基于星历的 UE 波束成型,等等。
当然,全球卫星定位导航系统也是少不了的,支持 L1+L5 双频段、GPS/ 北斗 / 伽利略 / 格洛纳斯 /QZSS、WAAS ( 美国雷声公司广網域增强系统 ) /EGNOS ( 欧空局接收卫星导航系统 ) /MSAS ( 日本多功能卫星增强系统 ) /GAGAN ( 印度 GPS 辅助静止地球轨道增强导航系统 ) 、高精度 IMU,水平和垂直精度分别小于 1.5m、2.25m CEP,速度精度 0.05m/s。
5G 通信方面,通过集成先进的 AI 基带,支持下一代 3GPP R17 甚至是未来的 3GPP R18 解决方案,对比前代可提供更高的吞吐量、更低的功耗、更好的覆盖范围 ( 比如小区边缘 ) 。
Wi-Fi 连接方面,全系标配 2.4/5GHz 双频段并发,双天线或三天线,Wi-Fi 6、Wi-Fi 7 的极限速率分别达到 1.2Gbps、6.4Gbps,覆盖车内串流、车外 OTA、车载娱乐与后座娱乐、热点接入等应用。
同时,一颗芯片集成两个蓝牙,而且是最新的蓝牙 5.4 标准、蓝牙 LE Audio 音频,可同时覆盖主副驾。
顺带一提,对于汽车安全标准,联发科也提供全面的支持,包括全系标配 AEC-Q100 二级车规认证。
接下来,是平台技术与应用的 DEMO 展示。
天玑汽车联接平台:
左边两个是车规级的 5G 模组 T-Y1、T-Y2,右侧是基于 T-Y1 模组的 5G T-Box 无线网关。
T-Y1 5G 模组,四个 A55 CPU 核心,主频 1.5GHz,性能为 15K DMIPS。
它支持 3GPP 5G R15,Sub-6GHz 频段最大下行速率 4.7Gbps,还有 200MHz 带宽、NR 双载波聚合、L1+L5 双频段卫星定位导航、NR ecall 紧急呼叫。
安全方面通过了 AEC-Q100 车规认证,可适应 -40 ℃到 85 ℃温度范围。
T-Y2 5G 模组,主频提高到 2.0GHz,性能提高到 22K DMIPS。
通信更新到 5G R16,最大下行速率 7.0Gbps,还有 300MHz 带宽、NR 四载波聚合。
5G 网关。
联接平台应用展示:
包括全球卫星定位导航、Wi-Fi 与蓝牙模组、蓝牙 LE Audio。
CT-Y1 智能座舱:
注意看有多达 12 个摄像头,最高可达 3200 万像素,还同时在执行地图导航、视频播放、视频会议等应用。
锐承 ( ReaCheng ) CM-M1 智能座舱方案:
虽然定位不高,但功能齐全。
它支持 AVM ( 全景式监控影像 ) 、DMS ( 司机监测系统 ) 、OMS ( 乘客监测系统 ) ,支持系统快启、倒车影像快启、多屏异显异触、语音识别、声音音效、地图、音乐等等,还有 HyperVisor 軟體。
锦途图 ( GentAI ) CM-M1 智能座舱方案:
最大特点是内置腾讯 TAI 4.0 全家桶,囊括语音、微信、爱趣听、随行等。
它也有高清 AVM、DMS、OMS,并支持 10 路影像输入、5 路影像输出,支持仪表和中控双屏显示。
天玑智能座舱三網域融合量产平台:
7nm 工艺,三合一融合车载终端、网关、数字钥匙等功能,并结合国内自主研发的安全微内核,以及高性能的 HyperVisor,在 GPU 损耗等关键性能指标上表现优异。
天玑汽车 AIGC 应用之新闻智选:
基于 70 亿参数的大模型,可以自动总结过去 24 小时发生的用户感兴趣类别的新闻,在上车时向用户简要介绍。
用户也可以通过自然、直接的语音互動,进一步要求 AI 对感兴趣的内容做摘要甚至评论。
这一应用还可以延伸到端侧通话结论、会议摘要等场景。
天玑汽车 AIGC 应用之智能汽车用户手册:
通过语音输入查询问题,大模型结合上下文,识别用户意图,搜索知识库内信息,并根据汽车实时状态,整合答案输出。
技术方面,它是经由端侧运算仲裁模型,根据用户问题判断,由端侧或云端运算给出结果。
这不但可以确保快速且正确的回应,而且即便在未联网情况下也能完成,保证全时在线运作。
天玑汽车 AIGC 应用之疾速文生图:
基于 SDXL Turbo 加速的疾速文生图,可以根据提示词 ( Prompt ) 的不同实时变化,随时得到不同的图片,而且一切都在端侧完成。
它还可以延伸到互動式生图游戏等应用。
天玑汽车 AIGC 应用之神笔:
基于 AIGC 图片生成大模型,用户通过触屏绘画,结合语音或文字提示词 ( prompt ) ,只需简单几笔,即可生成精美画作。
技术方面,它融合了多模态互動,可以生成高清图片。
延伸应用场景包括疾速互动生图、个性化座舱主题、生成式游戏应用等。
今天,AI 正在重新定义千行百业,汽车行业自然也不例外。
AIGC 有望在人机互動、驾乘体验、车载娱乐、社交办公等方方面面,重塑沉浸式的座舱体验。
联发科基于自身在芯片产业的雄厚技术积累,加上与 NVIDIA、行业生态伙伴、汽车厂商的通力合作,全新打造的天玑汽车平台,不但拥有强劲性能、创新应用、融合生态,更是开启了汽车端侧 AIGC 的新篇章。
作为行业顶尖的车用计算平台,天玑汽车不但提供了灵活的软硬體平台、成熟工具链,更有日渐丰富的 AIGC 生态,可以帮助车企快速将 AI 功能部署到全系车型,推动汽车产业迈入 "AI 定义座舱 " 的新时代。