今天小编分享的科学经验：3D高斯泼溅算法大漏洞：数据投毒让GPU显存暴涨70GB，甚至伺服器宕机，欢迎阅读。
随着 3D Gaussian Splatting（3DGS）成为新一代高效三维建模技术，它的自适应特性却悄然埋下了安全隐患。在本篇 ICLR 2025 Spotlight 论文中，研究者们提出首个专门针对 3DGS 的攻击方法—— Poison-Splat，通过对输入影像加入扰动，即可显著拖慢训练速度、暴涨显存占用，甚至导致系统宕机。这一攻击不仅隐蔽、可迁移，还在现实平台中具备可行性，揭示了当前主流 3D 重建系统中一个未被重视的安全盲點。
引言：3D 视觉的新时代与未设防的后门隐患
过去两年，3D 视觉技术经历了飞跃式发展，尤其是由 Kerbi 等人在 2023 年提出的3D Gaussian Splatting ( 3DGS ) ，以其超高的渲染效率和拟真度，一跃成为替代 NeRF 的 3D 视觉主力军。
你是否用过 LumaAI、Spline 或者 Polycam 之类的应用上传图片生成三维模型？它们背后很多就用到了 3DGS 技术。3D 高斯泼溅无需繁重的神经网络，仅靠一团团显式的、不固定数量的 3D 高斯点即可构建逼真的三维世界。
但你知道吗？这个看起来高效又灵活的 " 新王者 "，居然隐藏着一个巨大的安全隐患——只要改动图片的细节，就能让系统在训练阶段直接崩溃！
来自新加坡国立大学和昆仑万维的研究者在 ICLR 2025 上的 Spotlight 论文《Poison-Splat: Computation Cost Attack on 3D Gaussian Splatting》中，首次揭示了这一致命漏洞，并提出了首个针对 3DGS 计算复杂度的攻击算法：Poison-Splat。
图一：干净（左）与 Poison-Splat 攻击后（右）的输入影像、三维高斯点云，以及 GPU 显存、训练时间和渲染速度的显著变化。这里的每张图片由像素表征（左上）和 3DGS 高斯点的可视化（右下）拼接而成，更好地展示其二维像素空间和三维高斯空间的变化。
问题背景：强大的模型 " 适应性 " 是优点，还是漏洞？
图二：NeRF ( 左 ) 和 3D Gaussian Splatting ( 右 ) 分别引领了 3D 视觉的一个时代，但它们的核心思想却截然不同。NeRF ( 图 a ) 使用神经网络对三维场景隐式建模，其复杂度和计算成本由训练者通过超参数人为指定；而 3DGS ( 图 b ) 使用不固定数量的三维高斯对场景显式建模，其复杂度和计算成本会根据需要建模的三维内容进行自适应调整。
3D Gaussian Splatting 相比于 NeRF 最大的区别之一，就是它拥有自适应的模型复杂度：
训练过程中，模型会根据影像复杂度自动增加或减少高斯点（3D Gaussian）
影像越复杂，模型训练过程就会产生越多的高斯点 → 占用更多显存、需要更长训练时间
本质上，3DGS 会智能地根据建模场景 " 细节多不多 " 来决定要分配多少计算资源。
图三：计算成本（GPU 显存占用、训练效率）、高斯点数量、数据集影像复杂度之间的强正相关关系。对于不同的数据集场景， ( a ) GPU 显存占用和高斯点数量的关系； ( b ) 训练耗时和高斯点数量的关系； ( c ) 高斯点数量和图片复杂程度 ( 以 Total Variation Score 衡量 ) 的关系。
这原本是一个很聪明的设计 , 3DGS 依靠其强大的适应性，可以让每一个参与训练的高斯点都 " 物尽其用 "。
但问题来了，如果有人故意上传 " 带毒的复杂影像 "，会发生什么？
揭秘 3DGS 的复杂度漏洞：Poison-Splat 攻击算法
攻击目标：GPU 占用率和训练时间
设计一种扰动输入影像的方法，将经过扰动的影像作为 3DGS 的输入后，能够大幅增加训练成本（GPU 显存和训练时长）。
问题建模：max-min 双层优化问题
我们可以将整个攻击建模成一个 max-min 双层优化 ( bi-level optimization ) 问题：
内层 ( min ) ：3DGS 尝试还原三维场景，拟合各视角的输入影像。（正常训练）
外层 ( max ) ：攻击者试图找到最 " 消耗资源 " 的影像扰动方式。（攻击目标）
这类双层优化问题通常都极难直接求解。为此，研究者们提出了三大创新策略：
核心技术 1：引入 " 代理模型 " ( proxy model ) 作为内层近似器
为了降低计算成本，我们训练一个轻量的代理 3DGS 模型，用于快速模拟 victim 的行为
每次攻击迭代时，从代理模型生成视图，再进行优化更新
保证多视角一致性（multi-view consistency），避免影像之间相互矛盾
核心技术 2：利用影像 " 非光滑性 " 诱导高斯密度增长
观察发现，3DGS 会在细节丰富 / 边缘突出的影像区網域生成更多高斯点
Total Variation ( TV ) 值是对影像 " 非光滑度 " 的一个很好的度量。因此我们最大化影像的 Total Variation ( TV ) 值，从而诱导 3DGS 模型过度复杂。
核心技术 3：约束扰动强度，提升攻击隐蔽性
攻击影像若改动过大，容易被检测
借鉴对抗攻击领網域的经典设定，攻击者可引入 L- ∞球约束（ϵ -ball）控制每个像素最大扰动，确保影像语义完整、肉眼难以分辨
如果没有隐蔽性要求，攻击者可以无限制扰动输入影像，最大化攻击效果
图四：在约束条件下，攻击者的代理模型产生的变化被限制在像素扰动预算内，可以隐蔽地增加三维重建需要的计算消耗。
图五：无约束攻击中，攻击者使用的代理模型的三维表征不受限制地复杂化，使三维重建所需的计算成本大大增加。
实验结果：最高让训练时间翻倍、显存飙升 20 倍
研究者在多个公开 3D 数据集（NeRF-Synthetic、Mip-NeRF360、Tanks and Temples）上评估了攻击效果。实验结果证实，对于危害最大的无限制攻击，其攻击效果令人震惊。在被攻击的最差 3D 场景下：
GPU 显存：从原本不到 4GB 飙升到80GB（直接击穿主流显卡）
训练时间：最长可达接近5 倍增长
高斯数量：最高可增加至原来的 20 倍 +
渲染速度：最坏可降至原来的1/10
图六：当攻击者可以无限制地对输入影像进行改动，可以带来极高的额外计算开销，对服务提供商造成重大的资源浪费。
就算对输入图片做了隐蔽性约束，当图片中每个像素的扰动都不得和干净图片偏离 16 个像素值时，其攻击效果仍然不容小觑，且隐蔽性更高，更加难以识别和检测：
图七：在像素值扰动不超过 16/255 的约束下，部分场景能使显存消耗增高超过 8 倍，以至超过常见 24GB 显卡的显上限。
此外，攻击对黑盒模型同样有效（如 Scaffold-GS），表明它不仅 " 杀伤力强 "，还具备 " 跨平台传染性 "。
图八：即使攻击者无法事先知道服务商具体的模型和参数，黑盒攻击也能产生效果。当攻击者针对原始 3DGS 算法进行 Poison-splat 攻击，产生的投毒数据对于 Scaffold-GS 这样的变体模型仍然有很好的攻击效果。
实际风险：这不是学术游戏，而是真实威胁
现实中，很多 3D 服务商（如 Polycam、Kiri）都支持用户自由上传影像或视频进行建模。
这意味着：
攻击者可以伪装成普通用户提交 " 毒图 "
在高峰时段导致系统 " 忙不过来 "
若 GPU 资源被 " 毒图 " 霸占，其他用户任务将被拒绝执行，导致服务瘫痪（DoS）
图九：原始影像、约束攻击、无约束攻击作为输入时的计算代价对比。横坐标是 3DGS 模型拟合输入图片需要的训练时长，纵坐标是训练过程中 GPU 实时显存消耗。相比于原始影像，poison-splat 攻击会大幅增加 GPU 显存占用和训练时长，让系统负载飙升。
意义与贡献：为何要 " 攻击 "3DGS？
提出风险不是在 " 捣乱 "，而是在为 AI 系统打预防针。这项工作是：
首次系统性地揭示 3DGS 训练阶段的资源安全漏洞
首个在三维视觉中将 " 数据投毒 " 扩展到 " 训练资源消耗 " 这一维度
提出一套通用且具备可迁移性的攻击框架，推动 3D 安全领網域发展
与此同时，研究者们也揭示了简单的防御（如限制高斯数量）无法有效应对攻击，且会严重降低模型重建精度，导致模型 " 学不好 "，服务方依然无法交付高质量 3D 场景。
图十：简单限制高斯点总量并不是理想的防御。虽然能限制资源消耗，但会严重影响 3D 重建的服务质量。如何设计更加智能的防御仍然是一个开放问题。
这些结果预示着，如果 3D 重建厂商没有相应防护，一旦有人 " 恶意上传 " 或 " 篡改 " 用户数据，系统很可能出现显存不足或训练无效。
目前该研究已将全部代码、数据处理流程、可复现实验开源，感兴趣的小伙伴可以在 Github 上查看
在空间智能、世界模型更加需要依赖三维视觉的今天，讨论其算法的安全性也变得越来越重要。
在通往更强大 AI 的道路上，我们需要的不仅是性能的飞跃，还有安全的护栏。希望这篇工作能唤起大家对 3D AI 系统安全性的重视。
欢迎在留言区分享你的观点、疑问或补充！
论文链接：https://arxiv.org/pdf/2410.08190
GitHub：https://github.com/jiahaolu97/poison-splat
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点亮星标
科技前沿进展每日见
