核心内容摘要
【重磅】辣妹敲门，纯爱暴击！《泡我家的黑田辣妹》第2季真人版原班人马归来，这谁顶得住？
DINO是一种用于自监督视觉学习的深度学习模型于 2021 年由Facebook AI提出。
DINO 是最先探讨基于Transformer架构的自监督学习代表作之一其通过在无标签图像上进行自监督训练来学习视觉特征表示。
DINOV2 (Distillation with No Labels version
是MetaAl开发的自监督视觉基础模型基于Vision Transformer(ViT)架构在
42亿张无标注图像上训练能生成无需微调即可直接用于下游任务的通用视觉特征。
工业缺陷检测的痛点在制造业质检场景中异常样本往往只占总数的
1%-5%却直接影响产品质量。
传统监督学习需要大量标注数据同时需要不停的进行数据迭代需要消耗标注及数据清洗的人力和训练设备及电力。
而DINOv2通过自监督学习在海量无标注图像上预训练能够提取具有判别力的视觉特征特别适合工业缺陷异常检测任务。
采用的范式为“预训练下游任务微调”本质上是知识的复用与迁移。
DINOv2基于Vision Transformer(ViT)架构通过自注意力机制捕捉图像全局特征。
采用了自监督学习的方法来从大量未标注的数据中学习有用的特征表示。
其核心思想在于对比学习即通过对同一张图片的不同变换版本进行编码并尝试让这些变换后的表示尽可能相似同时与其他图片的表示保持距离。
这种策略使得模型能够在没有标签的情况下学习到图像中的语义信息。
我们将使用预训练的ViT模型作为特征提取器构建一个简单而高效的异常检测系统。
在当前计算机视觉领域的自监督预训练方法中对比学习(Contrastive Learning)和掩码图像建模(Masked Image Modeling)最为流行前者通过构建图像对及优化相似度度量来增强区分性表征能力后者则通过重建遮蔽区域使模型学习通用图像特征。