今天小编分享的科学经验：AI模仿人类看漫画，视频大模型时序定位能力新SOTA，欢迎阅读。
用看漫画的方式，大幅提升视频大模型时序定位能力！
方法名为NumPro，无需训练，通过数字视觉提示就能增强。
就像漫画中用编号的画格引导读者按顺序理解故事，将视觉内容与清晰的时间线联系起来一样。
NumPro 通过在视频帧上添加独特的数字标识符，将视频时序定位转化为直观的 " 翻阅漫画 " 式过程，使 Vid-LLMs 能够轻松 " 读取 " 事件时间线，准确关联视觉内容与相应的时序信息。
实验中，NumPro 显著提升了视频时序定位能力，在多个基准上超越此前 SOTA，而且还能保持对模型通用视频理解能力影响较小。
这项工作由来自东南大学、马克斯 · 普朗克信息学研究所、腾讯微信团队、加州大学伯克利分校的研究人员共同完成。
NumPro 方法核心创新
视频大语言模型（Vid-LLMs）在视频内容理解问答对话方面已取得显著进展，但在精确的时序定位任务（Video Temporal Grounding, VTG）上仍面临挑战。
例如，在实际应用中，识别视频中事件的发生时刻，如定位厨师添加调料的精确时间，对于现有模型来说颇具难度，这一挑战阻碍了视频理解技术在众多领網域的深入应用。
传统方法在增强模型的 VTG 能力时，往往需要大量的重新训练或复杂的模型适配，灵活性和可迁移性受限。
NumPro 是如何实现的呢？
无需训练設定（Training-Free）：
在无训练設定下，NumPro 直接为每个视频帧标记对应的帧号。
借助 Vid-LLMs 内置的光学字元识别（OCR）能力，模型能够通过与视觉内容相关联的帧号 " 读取 " 时间线。
为明确添加数字的目的，在每个事件查询前添加简单指令，告知模型帧号的含义。如此，Vid-LLMs 可直接将帧号与语言查询链接，准确识别帧级边界。
微调优化設定（Fine-tuning Setting）：
为进一步提升性能，NumPro-FT 在经过了 NumPro 增强数据集上对 Vid-LLMs 进行微调。
此过程将帧号与训练数据中的时间跨度对齐，将时序定位能力嵌入模型的学习表示中。
微调时，冻结视觉编码器，仅对视觉投影仪和大语言模型（LLM）组件进行优化，并采用低秩适应（LoRA）技术调整 LLM，有效减少参数数量和训练开销。
为确保 NumPro 的有效性，研究团队从字体大小、颜色和位置三个关键因素对其进行精心设计优化。
通过基于 CLIP 的实验，使用 Number Accuracy 和 Caption Accuracy 两个指标平衡数字的可识别性和对视觉内容的干扰。
最终确定了字体大小为 40、颜色为红色、位置在右下角的最优设计，该设计能最大程度发挥 Vid-LLMs 的 OCR 和视觉语言对齐能力，实现精准的视频时序定位。
实验成果显著
在标准 VTG 基准测试中，NumPro 表现卓越。
在 Moment Retrieval 任务中，无需训练的 NumPro 使 Vid-LLMs 性能接近或超越以往最优水平。
而经过 NumPro-FT 微调后，LongVA-7B-DPO 在 Charades-STA 和 ActivityNet 数据集上的多个指标上均大幅超越现有 SOTA，展现出 NumPro 在提升模型时序定位能力方面的巨大潜力。
NumPro 不仅在领先模型上效果显著，对多种 Vid-LLMs 也具有广泛的适用性。
应用于不同模型如 LLaVA-Video-7B、LLaVA-OneVision-7B 和 Qwen2-VL-72B 等，均带来了显著的性能提升。此外，在与微调结合时，NumPro-FT 始终优于传统微调方法，尤其在较长视频数据集上表现出色。
将 NumPro 集成到通用视频问答任务（如 VideoInstruct 基准测试）中，发现其对一般理解指标影响极小，在保持强大通用视频理解能力的同时，显著提升了视频时序定位能力。
论文连接：https://arxiv.org/pdf/2411.10332
代码仓库：https://github.com/yongliang-wu/NumPro
