今天小编分享的科学经验：港大马毅团队等开源新作：用编码率正则化重构视觉自监督学习范式，“少即是多”，欢迎阅读。
最新开源的视觉预训练方法，马毅团队、微软研究院、UC 伯克利等联合出品！
SimDINO和SimDINOv2，通过编码率正则化简化 DINO 和 DINOv2 模型训练流程得到的两个最新模型。
在目前视觉预训练领網域，DINO 和 DINOv2 是最强视觉模型梯队选手，也是目前最常用的方法。在多模态大模型火热的当下，DINOv2 也经常被用作 VLM 中的视觉编码器提供视觉特征。
此外，图灵奖得主、Meta 首席 AI 科学家杨立昆团队近期关于世界模型的工作，也基于 DINOv2 而来。
（当然了，DINO 模型本身就是四年前 Meta AI 团队提出的）
但 DINO 系列目前仍然需要基于非常复杂的工程方法来实现。
而SimDINO 通过去除 DINO 中复杂的后处理步骤等，解决了 DINO 系列的训练难题。
更令人惊喜的是，简化后的模型不仅训练更容易，性能反而更强。
或许这就是 " 简单即是美 " 的设计理念在深度学习中的重要价值？（手动狗头）
马毅表示：
我们不是在修补 DINO，而是在重新发现视觉表示学习的本质规律。
核心方法：化繁为简
自监督学习（Self-Supervised Learning，SSL）在处理大规模未标记影像数据方面取得了显著进展。
在 CV 领網域，DINO 系列模型堪称自监督学习的标杆选手。
这个无需人工标注就能从海量影像中自主学习特征的模型，不仅在下游任务中屡创佳绩，更成为多模态大模型视觉编码器的标配。
但是，DINO 系列模型的强能力，伴随着「需要被精心呵护」：
需要精心设计的温度调度策略（温度参数 τ 要精确到小数点后三位）
依赖复杂的中心化 - 锐化操作（堪比精密仪器的校准流程）
必须搭配高维原型投影层（特征维度动辄破万）
这些 " 保命装置 " 虽然能防止模型陷入特征崩溃，却让训练过程变成了超参数调优的噩梦。并且当研究人员尝试改进模型架构或适配新领網域时，往往牵一发而动全身，稍有不慎就会让整个系统停摆。
为了解决这些问题，SimDINO 和 SimDINOv2 模型闪亮登场～
通过引入编码率正则化，简化训练流程，提高模型的鲁棒性和性能。
这俩模型的核心思想，是通过编码率正则化防止表示崩溃，从而去除原始 DINO 和 DINOv2 训练流程中许多经验性设计组件。
具体方法包括：
移除经验性组件：删除权重归一化的线性层、平衡操作（如中心化、锐化）以及各种超参数（如温度调度、中心化动量）等。
引入编码率正则化：在损失函数中添加一个简单的编码率正则化项，以防止表示崩溃。
SimDINO 和 SimDINOv2 模型的主要创新点除了上述 2 种方法外，还有一点，即简化的训练流程。
通过上述 2 种具体方法的改进，SimDINO 和 SimDINOv2 的训练流程更加简洁，减少了对超参数的依赖，提高了训练的稳定性和效率。
引入编码率正则化，训练更稳定、性能更强
回顾自监督对比学习 " 同类相聚，异类相斥 " 的原始出发点，研究团队发现，DINO 中许多复杂设计（如输出层高维投影、教师网络输出中心化 - 锐化操作、温度调节等）都是在间接地利用负样本信息来防止模型习得的表示 " 崩溃 "。
而 SimDINO 系列研究团队提出这一需求，可以转而使用马毅提出的数据编码率失真估计方法（可参考 MCR2 等系列工作），采用显示度量模型表征的质量作为正则化项。
基于这一发现，研究人员提出了一个解决方案：
引入编码率（coding rate）正则化，通过在损失函数中添加一个显式的编码率正则项来避免表示崩溃。
这个简单的改动就能替代原本复杂的设计，将训练流程向简约靠近。
而简化的模型训练流程可以带来几个关键优势，即「更清晰的优化目标、更少的组件依赖、更容易的理论分析、更好的可扩展性」。
具体而言，SimDINO 保留了 DINO 模型的 EMA 自蒸馏方案和多视图数据增强方法，但在对比学习方案上进行了修改。
抛弃输出层高维原型投影 + 交叉熵多分类，直接使用欧几里得距离 / 余弦相似度比较学生网络（student network）和教师网络（teacher network）生成的特征。
加入编码率正则化项促使模型学习到更具区分性的表示，移除教师网络输出中心化 - 锐化操作、温度调节等避免表示崩溃的技巧。
通过引入编码率正则化，SimDINO 能够有效防止特征崩溃，确保学习到的信息具有较大的信息熵，从而提高模型的泛化能力。
SimDINOv2 则进一步将 DINOv2 引入的 iBOT 机制进行替换。
它直接使用余弦相似度监督掩码区網域 token 与教师网络表示间的对齐，而 Sinkhorn-Knopp centering、KoLeo 正则化等复杂设计也被简化移除。
相比于原版 DINO， SimDINO 的训练流程更为简洁，去除了许多繁琐的组件和超参数，降低了模型训练的复杂度，使得研究人员和工程师更容易理解和实现这些模型。
从实验角度看，这一系列操作可以让模型训练更稳定，性能也更强。
各种评估均优于 DINO 系列
为了验证 SimDINO 和 SimDINOv2 的有效性，研究团队在多个数据集和任务上进行了广泛的实验评估，包括影像分类、目标检测、语义分割以及视频对象分割。
实验结果表明，SimDINO 系列在计算效率、训练稳定性和下游任务性能上均优于 DINO 系列。
ImageNet-1K 影像分类
SimDINO 和 SimDINOv2 在 ImageNet-1K 上进行了评估，包括 k-NN 分类和线性评估（linear probing）。
还与 DINO、DINOv2 进行了对比。
COCO val2017 无监督目标检测与实例分割
在目标检测任务中，研究团队采用 MaskCut 作为基础检测框架，并在 COCO val2017 数据集上进行了评估。
具体来说，主要对比了 AP50、AP75 和 AP 三个指标：
ADE20K 语义分割和 DAVIS-2017 视频对象分割
在语义分割任务上，研究团队采用 linear head 并在 ADE20K 数据集上进行了评估。
这个任务上主要对比了 mIoU（平均交并比）和 mAcc（平均像素精度）。
特别要提到的是，SimDINO 还在 DAVIS-2017 上进行了评估，包括 ( J&F ) m、Jm 和 Fm 三个标准指标。
结果显示，它在定性的特征可视化分析上也展现出了 DINO 系列工作中表现突出的语义表达能力涌现现象。
与此同时，SimDINO 和 SimDINOv2 对超参数和数据的变化更稳健了。
其它
此外，项目论文中通过理论分析，提出了一个关于 SimDINO 超参数选择的理论：
如何平衡编码率正则化项和距离项的梯度范数。
通过理论推导，作者给出了一个关于超参数 γ 的选择方法，使得两个项的梯度范数在优化过程中保持平衡。
下图显示的是在 SimDINO 和 DINO 下训练 ViT-B/16 的训练动态。
X 轴表示训练周期（epochs），Y 轴表示在 ImageNet-1K 上的 k-NN 评估性能。
其中，左图显示的是两个模型均在 ImageNet-1K 数据集上训练。
为更好地展示优化过程，研究团队省略了早期训练阶段的数据。
右图显示的是两个模型均在 COCO train2017 数据集（大约是 ImageNet-1K 的 1/10）上训练。
作为一个验证实验，该结果表明 SimDINO 需要更少的超参数调优，并且优化过程更加简单。
研究团队
SimDINO 系列由多所学校与机构的研究者共同完成，包括 UC 伯克利、忆生科技、微软研究院、香港大学等。
一作是 UC 伯克利三年级博士生吴梓阳，导师是马毅。
他主要研究方向为表征学习与多模态学习，致力于通过数学与统计理论构建高效、可解释的深度学习模型。
此前，吴梓阳本硕均就读于康奈尔大学。
在论文最后，SimDINO 研究团队进一步提出和建议了 SimDINO 的几个潜在改进方向：
在 SimDINO 框架基础上进一步探索不需要自蒸馏优化的自监督目标。
简化后的框架为自监督学习的理论分析提供了更好的切入点。
将 " 显式化隐式设计选择 " 的范式推广到其他框架，启发并探索其他模型的简化改进方法。
论文地址：https://arxiv.org/abs/2502.10385
项目主页：https://robinwu218.github.io/SimDINO
GitHub：https://github.com/RobinWu218/SimDINO
— 完 —
学术投稿请于工作日发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
一键关注 点亮星标
科技前沿进展每日见
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
