CVPR’25跨模态因果对齐，让机器更懂视觉证据丨中大南洋理工等联合开源

衡宇
2025-03-17
11:58:46

来源：量子位

CRA团队 投稿

量子位 | 公众号 QbitAI

跨模态因果对齐，让机器更懂视觉证据！

来自中山大学、新加坡南洋理工大学等团队提出跨模态因果对齐框架（CRA），通过因果干预和跨模态对齐，显著提升时空定位的准确性与可解释性。

相关论文已被CVPR 2025接收，代码已开源。

事情是这样的——

近年来随着多模态大模型的发展，视频问答（VideoQA）任务——要求模型根据视频内容回答自然语言问题——性能显著提升。

然而，现有模型往往依赖训练数据中的统计偏差（如语言关键词与答案的虚假关联），而非真正的因果视觉证据，导致回答缺乏可解释性。

举个栗子～

例如下图中，当视频中出现“婴儿”和“女性”时，模型可能仅因二者高频共现而给出答案，却忽略真实因果事件（如“女性抱起婴儿”）。

也就是说，虽然结果答对了，但过程中模型采纳的是错误的视觉依据。

针对类似情况，为提供可靠的视觉证据支持，视频问答定位（VideoQG）任务应运而生，要求模型同时输出答案及其对应视频片段的时间区间。

但现有方法面临两大挑战：

• 多模态偏差：视频与语言中的混淆因素（如高频关键词、短时视觉特征）导致模型学习虚假关联；
• 弱监督限制：标注视频片段成本高昂，现有模型依赖视频问答（VideoQA）的弱监督信号，难以精准定位。

以上就是CRA框架诞生的背景。

此外，中山大学HCP-Lab团队已将关键的因果模块集成到开源因果框架CausalVLR中。

该框架是一个基于PyTorch的python开源工具包，用于因果关系发现，因果推理，为各种视觉语言推理任务实现最先进的因果学习算法。

三模块驱动因果推理

现有方法常因依赖于训练数据中的统计偏差，导致模型无法准确识别与问题相关的因果视觉场景，进而产生不准确的时空定位结果。

为克服这一问题，CRA框架通过三个核心模块实现了从噪声抑制、特征对齐到因果关系建模的全流程优化。

该框架在NextGQA和STAR数据集上的实验结果表明，CRA能够显著提升模型的时空定位能力和因果推理的准确性，为视频问答定位任务提供了更可靠的技术解决方案。

三个核心模块具体展开如下：

GSG：抑制噪声，聚焦关键帧

第一个，高斯平滑定位模块（GSG）。

GSG模块通过自适应高斯滤波去噪，精准估计视频片段的时间间隔。

它的核心功能，是基于跨模态注意力估计时间区间，通过自适应高斯滤波去噪，生成鲁棒的视频片段特征。

技术亮点主要有仨：

1、跨模态注意力计算：利用CLIP视频特征与RoBERTa语言特征的交互，生成初始时间注意力权重；
2、自适应高斯滤波：引入可学习参数的高斯核，抑制时序上的不稳定噪声（如无关背景帧），突出关键事件区域（下图）；

3、动态阈值分割：根据平滑后的注意力分布，动态截取高响应区间，提升定位精度。

消融实验显示，移除高斯滤波（GSG w/o GS）会导致IoU@0.5下降2.2%（下表），证明其对噪声抑制的关键作用。

△GSG消融实验，其中SGG w/o GS†表示GSG在训练过程中具有高斯平滑，但在推理过程中没有高斯平滑

CMA：弱监督下的双向对齐

第二个，交叉模态对齐模块（CMA）。

CMA模块利用双向对比学习，增强视频与问答特征的对齐效果。

它的核心功能，是通过双向对比学习，对齐视频片段特征与问答特征，增强跨模态一致性。

技术亮点有二：

• 双向InfoNCE损失：从同一批次中采样正/负样本，分别对齐视觉→语言和语言→视觉特征（公式1-2）；
• 动态难样本挖掘：优先选择语义差异大的负样本，迫使模型关注细粒度因果关联。

移除CMA模块后，Acc@GQA下降2%，IoP@0.5下降2.2%（下表），凸显其对弱监督训练的重要性。

ECI：切断虚假因果链

第三个，显式因果干预模块（ECI）。

ECI模块则通过前门和后门干预，消除多模态偏差，提升因果一致性。

它的核心功能，是针对视觉和语言模态分别设计前门干预与后门干预，消除多模态混淆因素。

技术亮点有二：

• 语言后门干预：解析问答语义结构图（如主谓宾关系），阻断关键词与答案的虚假路径；
• 视觉前门干预：以视频片段为中介变量，通过特征聚类模拟混杂因子分布，重构因果链（公式3-4）。

实验结果显示，在NextGQA数据集上，去除了Causal模块后相对于CRA在Acc@GQA造成了1.2%的性能损失。

实验结果：多维度性能领先

在NextGQA数据集中，CRA以18.2%超越Temp[CLIP]（NG+）2.2%，且在使用FrozenBiLM大模型时仍保持优势。

此外，IoP@0.5达28.5%，显著优于基于LLM伪标注的TimeCraft（27.8%），证明其无需额外数据的高效性。

在STAR数据集中，CRA分别以26.8%与27.5%的Acc@GQA分数在Temp[CLIP]和FrozenBiLM的Backbone下领先NG+。

而通过统计弱监督视频定位的分布情况，研究团队可以观察到NG+局限于小区间的估计，而CRA所估计的区间与真实分布情况更符合。

综上，CRA框架通过跨模态因果对齐，首次在弱监督条件下实现了视频问答定位的高精度与可解释性。

目前，CRA框架代码已开源。

研究团队表示，CRA为视频理解提供了新的因果推理范式，或将推动自动驾驶、智能监控等领域的可信AI应用。

论文地址：
https://arxiv.org/abs/2503.07635
CRA-GQA仓库：
https://github.com/WissingChen/CRA-GQA
因果框架仓库：
https://github.com/HCPLab-SYSU/CausalVLR

Read More