今天小编分享的财经经验：端侧 AI 的硬體大潮袭来前，更应该了解特斯拉的成功故事，欢迎阅读。
文 | aiAR 研究媛
OpenAI 的神奇在边际递减。Sora 无法涌现真实世界的物理法则，成本和效用没法商业闭环；o1 被推测的 CoT+RL 路线展现了强大的数学推理能力，但依旧争论不停，跟随者寥寥；GPT-5 听不到好消息同时，坏消息先来了，OpenAI 的高层团队和核心技术骨干几乎全部出走。
AGI 的终极远景固然吸引人，在历史级的天量资本投入和期待下，OpenAI 似乎都架不住，要从非营利性组织向正常企业「转型」。
大模型从「中枢」走向「边缘」
今年以来，有一股明显的市场力量，驱动大模型向 PC、手机、汽车向这些边缘端渗透，这些恰好也是人们工作、学习、生活、出行，最高频使用的终端。
一个普通用户每天产生的文本数据、影像数据、声音数据，散落在各个终端，如果这些数据推送给大模型互動、处理，可以极大地提升我们工作学习的效率，带入更便捷和更高质量的生活。
比如 AIPC，有了大模型 GUI Agent，可以做到用户指令生成螢幕操作。大模型可以自动进行工作邮件和会议快速总结，读取经营统计数据，瞬间转换成 markdown 表格，长图文在正确的提示词互動下，快速生成指定汇报主题的 PPT。
AI Phone 相比 AIPC，多模态数据和应用为丰富。智能手机有 10 多种不同种类的传感器，位置 GPS、摄像头 cmos、加速度、气压计、麦克风阵列，手机能调用的 App 种类和数量也极为丰富，大模型被封装成更高权限层级的个人助手，融入手机 OS，能实现自动化智能操作和高效互動。
智能汽车更进一步，各类传感器数量高达数百个，可以控制的权限和实现的更复杂。智能汽车互動方式多样，频次多、粘性强、多模态数据规模大，大模型在这种复杂传感器、多种互動和功能、融入了人际互动的移动空间，天然能够重新组织、协调、梳理、关联，将其整合成为一个高度智能的服务整体。比如通过语音和汽车交流，智能座舱基于大模型可以自动制作、控制、定向生成符合用户情绪偏好的音乐、氛围灯、影视内容，创造超级个性化的舒适智能空间。
从正常的商业视角审视，把最高频的三个消费电子让大模型接管或重铸，想象力太太太大了。大模型公司有概率上演，当年苹果和谷歌替换诺基亚、摩托罗拉，这种生态位切换的故事。
特斯拉的故事，给了一点启示
当一种新的、截然不同的计算需求和设备形态出现的时候，同类的终端厂商和上游的芯片厂商不一定能最快反应过来。
举个离我们最近的例子。今天风光无限的 Elon Musk，全民偶像、超级极客、世界首富，助他真正登上神坛，是其创立的特斯拉改变了百年汽车工业。Musk 掌控下的特斯拉，早在 2014 年就发布了 HW 1.0，即特斯拉 Hardware Platform ，电动汽车中用于自动驾驶功能的计算和传感系统。
特斯拉电动汽车的魔力，可能并非大胆采用了一系列眼花缭乱的、汽车巨头不敢尝试的 " 新技术 "。一体化压铸、线控底盘、松下动力电池、灵感来自伺服器分级管理的 BMS 电池管理系统，这些都可以被其他厂商快速模仿并掉价，但从 2014 年的 HW 1.0 更新到 2024 年的 HW 4.0，目标直指 Full Self-Driving，FSD，它可没有容易被模仿和追赶了。
2018 年初，特斯拉深陷产能危机、面临生死考验时，马斯克坚持研发 " 基于大规模神经网络训练的全自动驾驶方案 "。
凝视深渊的马斯克，在 2019 年 4 月发布了 HW 3.0 硬體，两颗 FSD 第一代自动驾驶 AI 计算芯片，纸面算力 7 倍于当时英伟达车端智驾芯片 Xavier。
车身分布几个分辨率并不高的摄像头，配合在车端本地运行、实时数据处理的智驾芯片，以及不断上传到云端伺服器的驾驶数据训练神经网络，当特斯拉发展到 FSD v12 的时候，迎来了 " 端到端 " 的突破：：一端输入摄像头等传感器捕捉的数据，另一端输出复杂路况环境下的自动驾驶。
端到端的神经网络，直接从大量真实的车辆驾驶、转向、加速减速踩踏板、倒车、泊车等操作车辆的数据中学习，不是穷尽各种可能的驾驶路况编写固定的规则和决策链路，而是在神经网络的 " 黑盒 " 中直接输出开放式环境下的驾驶动作。FSD v12 中，30 万行规则代码被减少到 2000 多行，不到原来的 1%，原有的 " 固定 " 规则不复存在。端到端方案的本质不同在于，摄像头等传感器获得的原始信息没有经过一环一环预设的、不同模块的过滤和处理，而是直接传递到神经网络，输出驾驶 " 决策 "。传感器信息的无损传递，模型从数据学习到更多的驾驶关联和隐层信息，各种复杂场景不需要一一编写规则，从而提升真实开放环境下的自动驾驶能力。
训练神经网络，学会像人类一样的开车。这种底层能力的领先，一整套方案的构建，传感器分布，视觉识别算法，Jim Keller 操刀的自研终端智驾芯片，Andrej Karpathy 主导开发的大规模自动驾驶神经网络，还有多年实际运行大量人类司机上传的天量驾驶数据，短时间内，是不可能有其他厂商能够进行一一复制。
大模型上端，被忽略的东西
电动化、电气化架构容易追赶，特斯拉把电动汽车另一个竞争层次，智能化中的自动驾驶，带到了一个新高度。早在 2014 年就推出的 HW1.0，这种远见，从今天的视角来看，非常罕见。
因为下游任务和需求的变化，传导到上游厂商，一般存在一个时间差。以上游构成智驾系统最关键硬體的算力芯片来说，设计专门的微架构，推出专用芯片，通常情况下，一定是巨大的市场驱动。在产品还没有跑出一个巨大的市场，没有需求验证的情况下，敢重构一个体系，并且积累先发优势，直到今天特斯拉无法复制、难以撼动。
特斯拉的发展故事，对于今天的大模型上 PC 端、手机端，依然有很强的借鉴意义。
今天 AIPC、AI Phone 的热潮，大模型融入最高频消费电子终端，本质是改变了什么？又需要提前布局，在什么层面进行竞争？
大模型运行在端侧最大的优势，有的人说，是数据本地处理，隐私和数据安全。但是云端的能力明显更强、更全面。隐私安全和能力更强怎么取舍，现实情况，消费者更愿意让渡隐私换取方便。除非那种对数据安全有极高需求的垂直行业。
不依赖网络和云端算力的真正优势，可能在于多模态的感知在终端本体实时进行、实时处理，当手机、AR 眼镜、机器人需要大模型常驻，服务即时响应，端侧模型的不可替代价值就显现出来。你不可能等着图片、长文本、视频、声音上传云端，推理计算，再返回结果，有两次的网络传输延迟。
在消费者日常高频请求、高频度推理的时候，调用设备自身的算力，几乎没有成本。在云端每进行一次推理，完成一次任务，它的消耗却不能忽略，如果云端模型有天量的用户，也意味着天量的算力储备、电力消耗、带宽需求，用户量和互動请求的增长，伺服器集群也要跟着扩建。
并不是所有的任务都需要调用云端的强大能力。压缩在端侧的小模型，随着模型能力发展，应该处理绝大多数高频任务和请求，而且 On-device LoRA，几乎等同于只懂你一人、只服务你一个人的大模型。
端侧模型的趋势不可阻挡。端侧模型 always-on 的运行需求，已经开始主导硬體的演进。来自行业一线的基本判断是，" 大模型在端侧的落地，内存大小、带宽的限制超过了算力限制。" 算力可以很大，但数据会成为瓶颈，芯片一定要和算法做联合优化。
端侧模型厂商、芯片厂商、终端公司，最近有一个明显的趋势，它们在共同优化端侧模型在各种终端的运行。
之前，以云端大模型见长、主走 B 端的智谱，下半年开始瞄准 AI Phone、AI PC，在 C 端的 AI 硬體上动作频频，官宣与中国三星合作，开启与多家芯片公司的协作。同属清华系今年年初开始 All in 端侧模型的面壁智能，在完成了跟 MediaTek 最新一代旗舰移动 SoC 天玑 9400 的端侧模型联合调校之后，再与英特尔协作，两家公司进行 MiniCPM 模型在酷睿 Ultra 二代旗舰芯片的部署支持、适配优化、计算加速。荣耀、vivo 这些终端品牌接连发布自研端侧模型和跑在上层的应用。
端侧模型和底层算力芯片，模型层和算力层的打通意义在于，终端推理的性能优化至关重要，经过优化的推理性能，以及芯片微架构的改进，可以较未经优化的原始性能提升数十倍。一个案例是，面壁 MiniCPM 在今年 9 月份这次和英特尔芯片的适配，相比 2 月份的 " 首次 "，仅隔半年，提速 169%。
现代的主流计算有三种体系，CPU、GPU 和 ASIC 思想下专门的 NPU。从軟體编写的角度看，CPU 在通用性支持复杂指令和逻辑方面最强，高效率编译的开发工作量最小。GPU 在硬體上比 CPU 更简单，数千个针对单一任务的并行处理单元，线程最多，但是軟體编写更难，CUDA 就是英伟达的长期耕耘才铸造的高效率 GPU 程式开发壁垒。而 AI 计算加速，Transformer 原生优化的微架构，它需要非常大的矩阵乘法器，却是少得多的线程来做高负载的数学运算，它的编译难度是最大的。
大模型上端，早早着手硬體架构的演化，发展出在内存、数据处理带宽、更高编译效率的芯片架构，不仅仅是模型的压缩和性能更强，算力芯片和模型的联合优化，谁能提前布局、重视、乃至重构出一套体系，谁的胜算可能更大。
最后还是举特斯拉智驾的例子。直到今天，发展端到端智驾系统各家厂商使出了浑身解数，打造智能汽车这一的关键能力，但是底层的智驾芯片厂商，针对端到端还没有能拿出高算力、高带宽、适用专用算法的 AI 计算架构，主要动作依然是在传统架构下，优化制程工艺、提升 AI 算力。
如今国内车企主流使用的智驾芯片 NVIDIA DRIVE Orin 发布于 2019 年，地平线的征程 5 芯片发布于 2021 年。专用架构的 AI 芯片相较于通用芯片几乎是碾压式领先，若能基于端到端大模型优化和设计芯片，紧跟算法和模型的变化，必然能够推动端到端技术的进步和领先。
底层芯片厂商迟迟没有推出针对端到端大模型设计的芯片，在于端到端大模型真正爆火，还是特斯拉 FSD Beta V12.3 版本示范的。这种全新思维和体系的智驾系统，端到端大模型仍处于落地早期阶段，对于行业上游的底层硬體厂商还没有起到深刻影响。
等上游芯片终于推出了高效率的端到端智驾芯片，追赶上 FSD，这个时间差之内，特斯拉新的 FSD 芯片和积累的大量人类驾驶数据训练的模型，恐怕又甩出追赶者一大截了。
很难有人能够长期保持技术领先，洼地终究会被填平。但是提前构建一个体系，发展生态的好处在于，你在这个体系下积累了先发优势，过去智能手机时代是 App，大模型上端时代，是专用 Transformer 的芯片的计算加速、模型编译适配、数据和应用踩动的飞轮，时间积攒了强大市场推力，谁能从洪荒中觉醒，率先创世，谁可能成为新一代的巨头。
