AI能看懂细节了！IDEA研究院多模态目标检测模型DINO-XSeek，自然语言精准定位目标

今天小编分享的科学经验：AI能看懂细节了！IDEA研究院多模态目标检测模型DINO-XSeek，自然语言精准定位目标，欢迎阅读。

AI 能看懂细节了！

IDEA 研究院发布基于多模态大语言模型的目标检测模型 DINO-XSeek。

结合视觉与语言理解，只需通过自然语言描述，DINO-XSeek 就能精准定位复杂场景中的目标。

比如这张图。

消防员手持喷水枪，站在执行任务的消防车云梯上。

结果它能精准识别出来这个正在工作的消防员。

在人来人往的米兰大教堂前，找到个有金色头发的人 ~

结果也精准识别出来了。

基于 IDEA 研究院 DINO-X 统一视觉模型，DINO-XSeek 在精准感知能力的基础上，融合了多模态大语言模型的推理与理解能力。

它的核心突破在于，不仅能识别名词层级的目标（如 " 女孩 "），还能联合解析形容词（如 " 红色上衣 "）和介词（如 " 站在旁边 "），真正让 AI 看懂细节。

无论是 " 穿红色上衣的女孩 " 还是 " 站在白衣男生旁边的她 "，DINO-XSeek 都能准确检测。

传统目标检测模型虽然在目标感知上表现优异，但缺乏对复杂语言的理解能力。大语言模型在文本理解方面突出，却在精确目标定位上存在短板。

为了解决这一矛盾，DINO-XSeek 参考 ChatRex 的模型架构，采用了一种检索式框架。

即先使用开集目标检测模型 DINO-X 检测影像中的所有物体，并生成候选目标的边界框。

然后，大语言模型根据指代表达，从检测出的目标集合中检索最相关的对象，而非直接预测坐标。

△DINO-XSeek 模型概览图。其主要有三部分组成，包括提取视觉 token 的视觉编码器、提取物体 token 的目标检测模型，以及提取文本 token 的 tokenizer。三种 token 一起送入 LLM 中，进行物体索引预测。

现有主流方法，往往仅针对单实例进行训练和推理，难以应对现实世界中一条指代描述对应多个目标的情况。

这一设计避免了传统 MLLM 在检测任务上的泛化难题，使得 DINO-XSeek 能精准处理多实例指代任务。

通过自然语言描述，DINO-XSeek 可以推理出待检测目标的属性（如颜色、大小、姿势、穿着等）、方位（如朝向、距离、深度等）或者（物品之间或与环境的）互動关系，从而实现精准的目标定位。DINO-XSeek 实现了指代表达理解（Referring Expression Comprehension, REC）。REC 是计算机视觉与自然语言理解交叉领網域的核心任务，旨在通过自然语言描述精准定位影像中的目标对象。DINO-XSeek 通过多模态融合和高级语义推理，为 REC 任务提供了更强大的解决方案。

△DINO-XSeek 识别结果。在工业制造与质检、安防等行业应用潜力广泛。

与主流目标检测模型以物体为核心不同，DINO-XSeek 以 " 理解物体属性及关系 " 为核心，不再孤立地关注物体本身，而是专注于物体相关的处理逻辑。

具体而言，以人类学习为例，以物体为核心的模型更像是幼儿启蒙阶段对物体的认知，如幼儿会辨认道路的 " 车 "。随着见识（即数据）增长，部分高阶的认知能够进一步识别物体基础的属性以及关系，如 " 红色的车 "、" 前面的车 "、" 大的车 "、" 货车 "，但仍旧难以理解 " 正在执行任务的消防车 " 之类的更复杂的描述。

相比之下，DINO-XSeek 则像是一位学生，已经建立起知识储备和对事务逻辑的理解，能够对 " 正在执行任务的消防车的云梯上拿着喷水枪的消防员 " 这样复杂的描述进行正确的辨认，而不是简单地标记 " 消防车 " 或 " 消防员 "，真正实现了近似人类对复杂场景的理解能力。

以 " 理解物体属性及关系 " 为切入点意味着，DINO-XSeek 将能够根据用户输入的业务处理逻辑来完成相关的目标检测任务，降低在实际生产应用中，用户基于视觉模型进行二次处理的后置开发成本。

举个例子，在当前的工厂流水线中，企业在使用视觉模型检测出零部件存在缺陷以后，需要进一步对缺陷进行分类，如划痕、裂纹、尺寸偏差等，并统计各种缺陷的出现频率和分布情况，为生产工艺的改进提供数据支持。

而 DINO-XSeek 为生产工艺智能化提供了更多想象。比如通过使用 DINO-XSeek 精准区分出 " 划痕过多的零部件 "、" 带裂纹的零部件 " 或者 " 尺寸不合格的零部件 "，企业便可以实现零部件缺陷的检测和分类工作全自动化，无需再像之前一样投入巨大的资源对零部件缺陷进行进一步分类和统计。

安全合规检测：识别「未佩戴护目镜的操作员」「进入危险区網域的工人」，触发语音警告。