今天小编分享的科学经验：CVPR‘25跨模态因果对齐，让机器更懂视觉证据，欢迎阅读。
跨模态因果对齐，让机器更懂视觉证据！
来自中山大学、新加坡南洋理工大学等团队提出跨模态因果对齐框架（CRA），通过因果干预和跨模态对齐，显著提升时空定位的准确性与可解释性。
相关论文已被 CVPR 2025 接收，代码已开源。
事情是这样的——
近年来随着多模态大模型的发展，视频问答（VideoQA）任务——要求模型根据视频内容回答自然语言问题——性能显著提升。
然而，现有模型往往依赖训练数据中的统计偏差（如语言关键词与答案的虚假关联），而非真正的因果视觉证据，导致回答缺乏可解释性。
举个栗子～
例如下图中，当视频中出现 " 婴儿 " 和 " 女性 " 时，模型可能仅因二者高频共现而给出答案，却忽略真实因果事件（如 " 女性抱起婴儿 "）。
也就是说，虽然结果答对了，但过程中模型采纳的是错误的视觉依据。
针对类似情况，为提供可靠的视觉证据支持，视频问答定位（VideoQG）任务应运而生，要求模型同时输出答案及其对应视频片段的时间区间。
但现有方法面临两大挑战：
多模态偏差：视频与语言中的混淆因素（如高频关键词、短时视觉特征）导致模型学习虚假关联；
弱监督限制：标注视频片段成本高昂，现有模型依赖视频问答（VideoQA）的弱监督信号，难以精准定位。
以上就是 CRA 框架诞生的背景。
此外，中山大学 HCP-Lab 团队已将关键的因果模块集成到开源因果框架 CausalVLR 中。
该框架是一个基于 PyTorch 的 python 开源工具包，用于因果关系发现，因果推理，为各种视觉语言推理任务实现最先进的因果学习算法。
三模块驱动因果推理
现有方法常因依赖于训练数据中的统计偏差，导致模型无法准确识别与问题相关的因果视觉场景，进而产生不准确的时空定位结果。
为克服这一问题，CRA 框架通过三个核心模块实现了从噪声抑制、特征对齐到因果关系建模的全流程优化。
该框架在 NextGQA 和 STAR 数据集上的实验结果表明，CRA 能够显著提升模型的时空定位能力和因果推理的准确性，为视频问答定位任务提供了更可靠的技术解决方案。
三个核心模块具体展开如下：
GSG：抑制噪声，聚焦关键帧
第一个，高斯平滑定位模块（GSG）。
GSG 模块通过自适应高斯滤波去噪，精准估计视频片段的时间间隔。
它的核心功能，是基于跨模态注意力估计时间区间，通过自适应高斯滤波去噪，生成鲁棒的视频片段特征。
技术亮点主要有仨：
1、跨模态注意力计算：利用 CLIP 视频特征与 RoBERTa 语言特征的互動，生成初始时间注意力权重；
2、自适应高斯滤波：引入可学习参数的高斯核，抑制时序上的不稳定噪声（如无关背景帧），突出关键事件区網域（下图）；
3、动态阈值分割：根据平滑后的注意力分布，动态截取高响应区间，提升定位精度。
消融实验显示，移除高斯滤波（GSG w/o GS）会导致 [email protected] 下降 2.2%（下表），证明其对噪声抑制的关键作用。
△GSG 消融实验，其中 SGG w/o GS †表示 GSG 在训练过程中具有高斯平滑，但在推理过程中没有高斯平滑 CMA：弱监督下的双向对齐
第二个，交叉模态对齐模块（CMA）。
CMA 模块利用双向对比学习，增强视频与问答特征的对齐效果。
它的核心功能，是通过双向对比学习，对齐视频片段特征与问答特征，增强跨模态一致性。
技术亮点有二：
双向 InfoNCE 损失：从同一批次中采样正 / 负样本，分别对齐视觉→语言和语言→视觉特征（公式 1-2）；
动态难样本挖掘：优先选择语义差异大的负样本，迫使模型关注细粒度因果关联。
移除 CMA 模块后，Acc@GQA 下降 2%，[email protected] 下降 2.2%（下表），凸显其对弱监督训练的重要性。
ECI：切断虚假因果链
第三个，显式因果干预模块（ECI）。
ECI 模块则通过前门和后门干预，消除多模态偏差，提升因果一致性。
它的核心功能，是针对视觉和语言模态分别设计前门干预与后门干预，消除多模态混淆因素。
语言后门干预：解析问答语义结构图（如主谓宾关系），阻断关键词与答案的虚假路径；
视觉前门干预：以视频片段为中介变量，通过特征聚类模拟混杂因子分布，重构因果链（公式 3-4）。
实验结果显示，在 NextGQA 数据集上，去除了 Causal 模块后相对于 CRA 在 Acc@GQA 造成了 1.2% 的性能损失。
实验结果：多维度性能领先
在 NextGQA 数据集中，CRA 以 18.2% 超越 Temp [ CLIP ] （NG+）2.2%，且在使用 FrozenBiLM 大模型时仍保持优势。
此外，[email protected] 达 28.5%，显著优于基于 LLM 伪标注的 TimeCraft（27.8%），证明其无需额外数据的高效性。
在 STAR 数据集中，CRA 分别以 26.8% 与 27.5% 的 Acc@GQA 分数在 Temp [ CLIP ] 和 FrozenBiLM 的 Backbone 下领先 NG+。
而通过统计弱监督视频定位的分布情况，研究团队可以观察到 NG+ 局限于小区间的估计，而 CRA 所估计的区间与真实分布情况更符合。
综上，CRA 框架通过跨模态因果对齐，首次在弱监督条件下实现了视频问答定位的高精度与可解释性。
目前，CRA 框架代码已开源。
研究团队表示，CRA 为视频理解提供了新的因果推理范式，或将推动自动驾驶、智能监控等领網域的可信 AI 应用。
论文地址：
https://arxiv.org/abs/2503.07635
CRA-GQA 仓库：
https://github.com/WissingChen/CRA-GQA
因果框架仓库：
https://github.com/HCPLab-SYSU/CausalVLR
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
一键关注 点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
