(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210960243.4 (22)申请日 2022.08.11 (71)申请人 西安电子科技大 学广州研究院 地址 510555 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 (72)发明人 刘静　何奎奎　刘晓涛　 (74)专利代理 机构 广州大象飞扬知识产权代理 有限公司 4 4745 专利代理师 刘子晏 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/82(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/778(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于知识蒸馏的纹 理物体缺陷检测方法 (57)摘要 本发明涉及图像处理技术领域， 具体的说是 基于知识蒸馏的纹理物体缺陷检测方法， 包括构 建模块、 特征提取模块、 重采样模块、 卷积神经网 络模块、 特征损失函数模块、 重构损失函数模块 和损失函数模块； 本发明采用基于多清晰度的知 识蒸馏得到不同层次、 不同尺度的特征， 克服了 现有技术为了提取不同尺度的特征， 而设置不共 享参数的不同神经网络针对不同尺寸输入进行 特征提取， 因此降低了算法的资源占用， 同时使 得推理速度更快， 而且省去了自编码器中的解码 模块， 进一步加快了模型的推理速度， 更加利于 实际场景中的缺陷检测任务。 权利要求书2页 说明书7页 附图2页 CN 115294073 A 2022.11.04 CN 115294073 A 1.基于知识蒸馏的纹理物体缺陷检测方法， 包括构建模块、 特征提取模块、 重采样模 块、 卷积神经网络模块、 特征损失函数模块、 重构损失函数模块和损失函数模块， 其特征在 于： 包括如下步骤： S1、 构建模块： 数据集中任意选取90％无缺陷图像作 为训练集， 将剩下的无缺陷图像所 有缺陷图像组成测试集； S2、 特征提取模块： 利用Swin ‑Transformer构建Teacher和Student两个模块分别提取 图像多尺度、 多层次特 征； S3、 卷积神经网络模块： 构建一个一层的卷积神经网络， 将Teacher和Student网络最后 一层的输出作为输入， 并输出一个三 通道的重构输出； S4、 特征损失函数模块： 构建特 征损失函数； S5、 重构损失函数模块： 通过 所述重采样模块构建重构损失函数； S6、 损失函数模块： 计算总的损失函数； S7、 完成整个模型的训练后保存 模型参数； S8、 完成纹 理物体缺陷检测。 2.根据权利要求1所述的基于知识蒸馏的纹理物体缺陷检测方法， 其特征在于： 所述步 骤S2具体包括： S21、 利用Teac her网络提取每 个图像的特 征； S22、 利用Student网络提取每 个图像的特 征。 3.根据权利要求2所述的基于知识蒸馏的纹理物体缺陷检测方法， 其特征在于： 所述步 骤S21具体包括： S211、 搭建一个具有4层Swin ‑Transformer‑Layer的自注意力网络、 每层分别具有2、 2、 18、 2个Sw in‑Transformer ‑Block， 加载 预训练的网络参数； S212、 将训练集输入到训练好的Teacher网络中， 输出每层自注意力网络对应的特征向 量。 4.根据权利要求2所述的基于知识蒸馏的纹理物体缺陷检测方法， 其特征在于： 所述步 骤S22具体包括： S221、 搭建一个具有4层Swin ‑Transformer‑Layer的自注意力网络， 每层分别具有2、 2、 2、 2个Swin‑Transformer ‑Block， 随机初始化网络参数； S222、 将训练集输入到训练好的Student网络中， 输出每层自注意力网络对应的特征向 量。 5.根据权利要求1所述的基于知识蒸馏的纹理物体缺陷检测方法， 其特征在于： 所述步 骤S4具体包括： S41、 计算所选图像的每层Teacher和Student网络输出特征向量数值损失， 其计算公式 如下所示： 所述Lval表示所选图像Te acher与Student模型输出 特征向量的数值损失， K、 I分别表示网络层数和每层的特征向量数量， 分别表示 Teacher模型和Student模型的第k层， 第i个特 征向量， |·|1表示使用L1损失函数；权　利　要　求　书 1/2 页 2 CN 115294073 A 2S42、 计算所选图像的每层Teacher和Student网络输出特征向量方向相似度,其计算公 式如下所示： 所述Ldir表示所选图像Teacher与 Student模型输出特征向量的方向损失， K、 I分别表示网络层数和每层的特征向量数量， 分别表示Teacher模型和Student模型的第k层， 第i个特征向量， 表示取特征 向量的转置， | |·||表示计算向量的模； S43、 计算所选图像经过Teacher模块和Student模型处理过之后获取的特征向量的特 征损失， 其计算公式如下 所示： Lfeature＝(1‑λ )Lval+λLdir， 所述Lfeature表示模型 经过加权之后得到的特 征向量损失。 6.根据权利要求1所述的基于知识蒸馏的纹理物体缺陷检测方法， 其特征在于： 所述步 骤S5具体包括： S51、 通过 所述重采样模块对所选图像进行重采样， 大小为 N×N S52、 计算卷积网络的重构输出的重构损失， 其计算公式如下 所示： 所述Lrec表示模型经过加权之后得到的重构损 失， N表示重采样图的宽高值， xi,j， 分别表示重构图像和重采样图像的第i行， 第j列的像 素值， 使用L1作为损失函数。 7.根据权利要求1所述的基于知识蒸馏的纹理物体缺陷检测方法， 其特征在于： 所述步 骤6具体包括： 计算模型总的损失函数， 其计算公式如下 所示： 所述β和所述λ分别为重构损失的 权重和方向损失的权 重。 8.根据权利要求1所述的基于知识蒸馏的纹理物体缺陷检测方法， 其特征在于： 所述步 骤S8具体包括： S81、 为测试集所有样本设定标签， 0表示无缺陷样本， 1表示有缺陷样本； S82、 将测试集中所有图像和标签对应的输入到步骤7中训练好的网络中， 得到每个样 本对应的模型损失； S83、 将模型损失作为判断图像是否为缺陷的分数， 按照下面的式子判断是否为缺陷图 像： output输出判断结果， 0表示无缺陷样本， 1表示有 缺陷 样本， T表示判决阈值。权　利　要　求　书 2/2 页 3 CN 115294073 A 3