今天小编分享的科学经验：长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力，欢迎阅读。
Mamba 混合架构视频模型来了，不再对视频 token 进行压缩——
而是通过改进模型架构设计的方式提升模型在训练及推理预填充阶段处理视频 token 的效率。
滑铁卢大学陈文虎团队与多伦多大学、零一万物、向量学院以及 M-A-P 的研究人员提出了一种新的 Mamba-Transformer 混合模型 Vamba。
通过大量实验验证，研究团队发现 Vamba 在同等硬體条件下可处理的视频帧数较传统 Transformer 架构提升 4 倍，训练内存消耗降低 50% 以上，并且可实现单步训练速度的翻倍。
同时，该方法完整保留了原始视频的时空特征，避免传统方法因降采样或池化操作导致的关键动作或场景的信息丢失。
在多个长视频的评价标准上，Vamba 保持了高准确率和出色的性能，尤其在 LVBench 长视频理解基准上相较先前的高效长视频理解模型达到了约 4.3% 的性能提升。团队现已开源 Vamba 模型的代码、模型权重以及训练、推理脚本供研究社区进一步探索与应用。
核心方法
目前流行的多模态大语言模型多使用 Transformer 作为模型的基本结构，其中的因果注意力机制相对于输入的 token 序列长度存在二次时间 / 空间复杂度关系。
在长视频理解任务中，多模态大模型一般会将视频转化为一段极长的 token 序列，因此这些模型往往需要高昂的训练或推理成本。举例来说，一种较为流行的视频编码方式为使用 CLIP 或者 SigLIP 编码器将视频的每帧转换为约 196 个 token。
基于这种编码方式，一个 512 帧的视频输入将会转换为约 10 万个视频 token，从而造成极高的训练或推理复杂度。现有方法在处理这个问题时，往往采用压缩视频 token 数量的模型设计，即通过不同的压缩机制合并或删除一些非必要的视频 token 并缩短视频 token 序列长度，从而降低多模态模型在长视频理解任务上的资源消耗。
尽管相关研究已经取得了一定的进展，这些高效的长视频理解模型仍然存在一个共同的问题，即过度的视频 token 序列压缩可能会造成一定程度的信息损失。这使得目前的高效长视频理解模型在性能方面仍然与最顶级的模型存在一定差距。
Vamba 的核心设计思路是将原本作用于整个视频 + 文本序列的运算成本高昂的因果自注意力运算操作分解为两个更为高效且协同操作的计算组件。
（1）在处理文字 token 的过程中，通过引入交叉注意力机制使文字 token 获得视频 token 的信息。此类操作的计算开销相比将文字与视频同时经由因果注意力模块处理更为可控，同时确保文本语义与视觉信息的高效对齐。
（2）针对海量的视频 token，采用基于状态空间模型（SSM）的 Mamba-2 模块进行序列建模。该模块通过选择性扫描机制，在保持了更新视频 token 序列时可以检索全局序列信息的同时，将计算复杂度从 Transformer 的二次复杂度降至线性复杂度，从而突破了长视频序列的处理瓶颈。
如图所示，对于文字 token 输入，Vamba 使用了因果自注意力机制和交叉注意力机制同时处理文字 token，从而省去了视频 token 在因果注意力模块中所需要的计算成本。在此基础上，Vamba 使用 Mamba-2 模块处理视频 token 序列，从而既保持了对视频序列的信息更新又将该操作所需要的复杂度控制在了线性范围。
研究团队通过不同帧数的视频输入，对 Vamba 与 Transformer 模型在训练与推理中的计算成本进行了比较。对比发现 Vamba 在长视频 / 高帧数输入的情景下（128 帧及以上的视频输入），相比 Transformer 类模型达到了 50% 以上的运行时间与显存需求下降。同时，Vamba 可以准确地描述视频内容，根据用户输入的问题对视频进行分析，并作出相应的回答。
总结
本文介绍了 Vamba 模型，一种专为高效理解超长视频设计的 Mamba-Transformer 混合模型。
该方法通过集成面向文本 token 的交叉注意力机制与面向视频 token 的 Mamba-2 模块更新策略，在显著降低计算复杂度与显存占用的同时，实现了对长、中、短视频理解任务的性能提升。基于 LVBench 等数据集的大量实验评估表明，Vamba 在长视频理解任务中以 4.3% 的显著优势超越了现有的高效长视频理解模型，并在多个分布各个视频时常区间的基准测试中展现出了卓越的竞争力。
论文地址：https://arxiv.org/abs/2503.11579
项目主页：https://tiger-ai-lab.github.io/Vamba/
代码仓库：https://github.com/TIGER-AI-Lab/Vamba
模型权重：https://huggingface.co/TIGER-Lab/Vamba-Qwen2-VL-7B
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点亮星标
科技前沿进展每日见
