今天小编分享的科学经验：透明物体也能被机器人抓起来了，单目的那种，欢迎阅读。
让机器人精准抓起透明物体，这个难题终于被解决了。
而且还是仅靠一张图、单目的那种方法。
效果是这样的：
这就是由地瓜机器人和中科院自动化所等部門共同提出的一项新研究——
MODEST，一个针对透明物体的单目深度估计和语义分割的多任务框架。
MODEST 算法框架作为通用抓取模型的前置模块，即插即用，灵活高效，且无需依赖额外传感器。
并且仅靠单张 RGB 影像，便可实现透明物体的抓取，效果上甚至要优于其它双目和多视图的方法。
可以广泛应用于智能工厂、实验室自动化、智慧家居等场景，降低设备成本并大幅提升机器人对透明物体的操作能力。
值得一提的是，这项研究已经入选全球机器人领網域顶会ICRA 2025（IEEE 机器人与自动化国际会议）。
如何做到的？
当前透明物体的抓取核心在于深度信息的获取，目前无论是深度传感器还是多视角重建的方法都无法获取透明物体准确完整的深度信息。
透明物体复杂的折射和反射特性给机器人感知造成了很大困难。在大多数 RGB 影像中的透明物体往往缺乏清晰的纹理，而容易与背景混为一体。
此外，商用深度相机也难以准确捕捉这些物体的深度信息，导致深度图缺失或噪声过多，从而限制了机器人在多个领網域的广泛应用。
为了解决透明物体感知难题，传统方法大多依赖特殊传感设备或多视角影像，增加了时间和经济成本，并常常受限于应用场景。
MODEST 单目框架首次突破了传统传感器处理透明物体时的限制，降低了设备成本和使用复杂度，提供了更加高效、经济和便捷的透明物体感知方案。
△单目透明物体感知框架与其他方法之间的对比
MODEST主要聚焦于透明物体的深度估计，通过设计的语义和几何结合的多任务框架，获取物体准确的深度信息，之后结合基于点云的抓取网络实现透明物体的抓取。
相当于在通用抓取网络前面增加一个针对透明物体的增强模块。
MODEST 模型的整体架构如图所示，输入为单目 RGB 影像，输出为透明物体的分割结果和场景深度预测。
网络主要由编码、重组、语义几何融合和迭代解码四个模块组成。
输入影像首先经过基于 ViT 的编码模块进行处理，随后重组为对应分割和深度两个分支的多尺度特征。
在融合模块中对两组特征进行混合和增强，最后通过多次迭代逐步更新特征，并获得最终预测结果。
△基于语义几何融合和迭代策略的透明物体单目多任务框架
对于透明物体来说，语义分割任务可以为深度估计提供语义和上下文信息，而同样深度估计可以为分割提供边界、表面等几何信息。
为了充分挖掘两个任务间的互补信息，MODEST 算法框架构建了基于注意力机制的语义几何融合模块，旨在同时提升两个任务的性能。
△语义几何融合模块结构
当人类观察透明物体等不显著物体时，我们人类会倾向于先注意物体的整体轮廓，然后是局部细节。受人眼启发，MODEST 框架提出了一种由粗到细的特征更新策略，进一步提升预测精度。
实验结果
为了测试 MODEST 全新算法框架的检测效果，团队选取了透明物体领網域两个影响力广泛的公开仿真数据集 Syn-TODD和真实数据集 ClearPose。
在其上与目前最先进的透明物体双目方法 SimNet、多视图方法 MVTran 以及多任务方法 InvPT 和 TaskPrompter 进行对比实验。
两个大规模数据集都拥有超过 100k 的良好标注影像数据，并且包含了严重遮挡等极端场景。
1、公开数据集上的定性和定量对比实验
△仿真数据集 Syn-TODD 上的定性对比结果
△真实数据集 ClearPose 上的定性对比结果
通过在两个数据集上的定性对比结果可以看出，由于透明物体会错误地折射背景，并且在 RGB 影像中缺乏纹理，因此 SimNet、MVTrans 等方法无法获得令人满意的预测，从而导致深度图和分割掩膜的大面积缺失。
然而，通过有效的融合和迭代，在某些即使人眼都难以分析和判断的场景，团队的方法依然能够产生完整和清晰的预测结果。
△仿真数据集 Syn-TODD 上的定量对比结果
△真实数据集 ClearPose 上的定量对比结果
从表格中的定量对比可以看出，MODEST 算法框架在各项指标上都要大幅超过其他所有方法。
值得注意的是，尽管只使用单张 RGB 影像作为输入，MODEST 在深度估计和语义分割方面都要明显优于其他双目甚至多视图方法。
并且在 Syn-TODD 数据集上，与排名第二的方法相比，MODEST 算法框架在 RMSE 和 REL 两项指标有着超过 45% 的提升，语义分割的精度也均超过了 90%。
2、真实平台抓取实验
团队还将算法迁移到真实机器人平台，开展了透明物体抓取实验。
平台主要由 UR 机械臂和深度相机构成，在借助 MODEST 方法进行透明物体精确感知的基础之上，采用 GraspNet 进行抓取位姿的生成。
在多个透明物体上的实验结果表明，MODEST 方法在真实平台上具有良好的鲁棒性和泛化性。
One More Thing
值得一提的是，除了 MODEST 之外，地瓜机器人主导研发的DOSOD 开放词汇目标检测算法，也入选了 ICRA 2025。
MODEST 是通过动态语义理解框架提升复杂场景识别准确率，而 DOSOD 则是结合几何建模与语义分析技术优化透明物体操作精度。
两项技术成果均已在规模化商业场景中得到有效验证。
感兴趣的小伙伴可以戳下方链接了解详情哦 ~
MODEST 文章地址：
https://arxiv.org/pdf/2502.14616
MODEST 代码地址：
https://github.com/D-Robotics-AI-Lab/MODEST
DOSOD 文章地址：
https://arxiv.org/abs/2412.14680
DOSOD 代码地址：
https://github.com/D-Robotics-AI-Lab/DOSOD?tab=readme-ov-file
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
一键关注 点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
