今天小编分享的科技经验：苹果自动驾驶新进展：36块钱训练百万公里数据，10天跑完16亿公里，欢迎阅读。
车东西
作者 ｜ Janson
编辑 ｜ 志豪
一天训练 950 年驾驶经验，苹果让自动驾驶自己 " 修仙 "。
车东西 2 月 24 日消息，日前，苹果在机器学习研究页面公布了一项其在自动驾驶领網域最新的研究论文。
▲苹果自动驾驶前沿进展在 Apple 官网
该论文的创新之处在于提出了一种全新的大规模自博弈强化学习框架 GIGAFLOW，并证明其能够有效训练出通用且具备鲁棒性的驾驶策略。
数据显示，通过这一套自监督训练体系，每 10 天即可完成 16 亿公里的训练，等效约 9500 年的驾驶经验，换算成一天就相当于 1.6 亿公里和 950 年驾驶经验。
而这样的训练，成本控制也十分突出，每百万公里的模拟成本低于 5 美元（约合人民币 36.1 元），且不需要真实世界数据。
这项研究的公布也证明了苹果即使在放弃了造车之后，也还没有完全停止对于汽车行业的关注，或许未来苹果也会在自动驾驶领網域拿出令人震惊的新产品。
苹果造车历程始于 2008 年乔布斯亲自启动的 " 泰坦计划 "，历经多次战略调整、团队重组和领导层变动，目标从全自动驾驶转向技术开发，但因战略模糊和执行不力，始终未能推出实质性产品。
终于在 2024 年初，苹果正式放弃电动汽车开发，据媒体报道，当时的苹果在造车项目上至少已经投入了 100 亿美元（约合人民币 721 亿元）。这样的结局也引发了马斯克、雷军等不少科技圈大佬的集体感怀。
一、引入自博弈训练设计 短时间可获大量训练经验
GIGAFLOW 是一个高度并行化的模拟器和强化学习框架，专门为自博弈训练而设计。其主要目标是通过模拟数十亿公里的驾驶数据，训练出一种能够适应多种交通参与者和驾驶风格的通用驾驶策略，同时这也是一种不需要真实世界数据的训练模型。
GIGAFLOW 能够在 8 块 GPU 上同时模拟 3.84 万个虚拟环境，每小时生成 4.4 亿次状态转换，这相当于 42 年的驾驶经验。
值得一提的是 GIGAFLOW 的模拟环境设计简洁，但通过大规模自博弈的方式弥补了其设计上的简化。
▲ GIGAFLOW 的环境模拟
GIGAFLOW 使用了 8 张基本地图，每张地图的车道总长度在 4 到 40 公里之间。这些地图经过随机变换（例如缩放和翻转）生成新的变体，形成一个总长 136 公里的道路网络。
在这样的 " 世界 " 中，每个智能体从随机位置出发，目标是到达地图中随机生成的目的地，途中需要经过若干个中间点。
▲ GIGAFLOW 的不同驾驶风格
从互動决策的角度来看，这样的环境中最多可以同时存在 150 个智能体（包括车辆和行人等），所有参与者均由同一策略控制，但通过参数化条件展现出多样化的行为模式，如激进驾驶和守法驾驶等。
在训练过程中，智能体通过自博弈逐步学会了复杂的驾驶行为。
这些行为包括在拥堵路段执行 " 拉链式 " 并线、在环岛中协调通行、在狭窄空间中执行多点掉头，以及在发生事故或遇到路障时重新规划路径。
要知道，所有这些复杂行为均是在没有预设脚本或人类示例的情况下，通过自博弈自然涌现的。
二、多项措施优化训练开销 成本表现突出
从能力上看，GIGAFLOW 在单节点上进行 3.84 万个并行环境的模拟，通过 GPU 加速的物理计算和动态状态压缩，显著降低了内存占用和通信开销。
在训练资源配置方面，GIGAFLOW 完整训练需要 2000GPU 小时（大约 10 天完成），总计算量约为 2.3×10^19FLOP，训练数据总量为 16 亿公里。
根据 AWS p4d 实例（8 GPU/ 节点）的价格估算，总训练成本约为 4.8 万美元（约合人民币 34.56 万元），低于同类强化学习方案。
▲ GIGAFLOW 训练量对比其他模型
此外，依赖人类数据的模仿学习通常需要高昂的数据标注成本，而 GIGAFLOW 则避免了这一部分开销。
为了进一步提升效率，GIGAFLOW 采用了优势过滤技术，通过动态阈值丢弃低优势样本，减少约 80% 的反向传播计算量，再加上所有交通代理（包括车辆和行人）共享同一策略网络，避免了多模型训练的开销。
▲所有交通参与者共享同一策略网络
此外，GIGAFLOW 通过离线生成地图的栅格化特征（如车道拓扑和交通灯位置）优化也可以减少实时计算负载。
然而，GIGAFLOW 仍存在一些成本局限性，例如对 8 GPU 节点级算力的依赖，还有一定门槛，该策略的鲁棒性需要超过 15 亿公里的训练量，短周期训练难以收敛。
再加上车辆动力学和奖励函数的实时随机化会增加约 15% 的计算负载，可以说这个系统是目前自动驾驶训练一个不错的发展方向，但还远未到达 " 革命性 " 时刻。
三、能力超越基准 未来仍有改进空间
在基准测试中，GIGAFLOW 策略的零样本泛化能力在三个主流自动驾驶基准上得到了验证，包括 CARLA、nuPlan 和 Waymax。
CARLA 基于手工设计的驾驶场景，主要评估长距离驾驶中的表现；nuPlan 基于记录的真实驾驶数据，评估短距离驾驶中的表现；Waymax 则使用 Waymo Open Motion Dataset 构建的模拟环境，评估复杂场景中的驾驶表现。
▲ GIGAFLOW 在 CARLA 的测试表现
测试结果显示，GIGAFLOW 的策略在所有基准上均超越了特定于基准的专家模型，展现出较强的零样本泛化能力，甚至在未针对任何特定基准进行微调的情况下，其表现仍优于那些专门为基准优化的模型。
在 CARLA 中，GIGAFLOW 的策略能够有效处理突发的行人穿越和拥堵的交叉路口等复杂场景。
▲ GIGAFLOW 在其他基准下的测试表现
而在 nuPlan 和 Waymax 的基准测试中，GIGAFLOW 策略展现了自然且鲁棒的驾驶行为。
进一步分析表明，GIGAFLOW 策略在长期驾驶鲁棒性方面也表现优秀，在降低动态噪声和提高控制频率的条件下，智能体平均可以连续驾驶 1750 万公里才发生一次事故，而美国人类驾驶者的平均事故发生率为每 82.9 万公里一次。
▲ GIGAFLOW 在模拟 / 决策不同值情况下模型的事故率
此外，研究者还深入探讨了 GIGAFLOW 策略的行为特性，包括其长远决策能力，能够根据未来可能发生的事件（如 150 米外的路障）调整当前的驾驶行为；多样化驾驶风格，策略可以通过调整参数化条件展现从谨慎到激进的多种驾驶风格；以及在需要多主体协调的复杂场景（如车流合并）中，策略展现出灵活且自然的行为。
不过，这样的成就在该项目团队中也还有不少进展空间，尽管这种方法的优势在于减少了对人工数据采集的依赖，能够生成多样化的驾驶行为，但是研究仍存在局限性。
首先，纯模拟训练的策略尚未在现实世界中进行验证，因此其在实际应用中的表现仍然未知。
此外，研究假设感知系统是完美的，但在现实中，传感器噪声和环境的不确定性可能会显著影响策略的表现。
最后，尽管自博弈展现了强大的泛化能力，但如何将其与基于人类数据的模仿学习相结合，仍然是未来研究的重要方向。
结语：苹果仍在继续发力汽车行业
这篇论文通过 GIGAFLOW 框架展示了自博弈在自动驾驶领網域的巨大潜力。不过，目前该模型仍有诸如真实世界的验证和感知系统的集成等许多挑战需要解决。
从苹果的角度来看，尽管其已经官宣停止造车项目，但从目前来看还并没有放弃在机器学习领網域的前沿追求，仍在继续发力汽车行业。
GIGAFLOW 框架的研究为未来的自动驾驶研究开辟了新的方向，也为其他多智能体协作领網域提供了的启发。我们不妨期待苹果在自动驾驶领網域给行业带来的更多震撼。
