(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221095424 4.8 (22)申请日 2022.08.10 (71)申请人 中国钢研科技 集团有限公司 地址 100089 北京市海淀区学院南路76号 (72)发明人 侯雅青　王炫东　李发发　张浩　 何亚洲　孔豪豪　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 专利代理师 刘晓丹 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/187(2017.01) G06T 7/194(2017.01) G06T 7/62(2017.01)G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像识别的微观 缺陷处理方法、 装置及 计算机设备 (57)摘要 本发明涉及一种基于图像识别的微观缺陷 处理方法、 装置及计算机设备， 所述方法包括获 取输入图像， 对输入图像进行预处理， 得到待识 别图像， 利用训练好的深度学习模 型对待识别图 像进行分割识别， 输出识别结果， 根据识别结果 的确定缺陷类型， 根据缺陷类型对识别结果进行 后处理与统计， 其中， 深度学习模型基于解码器 ‑ 编码器网络结构构建， 编码器与解码器以拼接的 方式将两者中相同尺寸的特征图进行融合。 本发 明通过训练好的深度学习模型对激光原位合金 化样品的图像进行识别， 在识别缺陷类型后， 针 对缺陷类型进行相应处理与统计， 本申请将传统 数字图像处理方法与 深度学习方法相结合， 用于 缺陷的高效标记和集成识别与统计， 识别精度 高， 实现方式更简单。 权利要求书2页 说明书10页 附图3页 CN 115311235 A 2022.11.08 CN 115311235 A 1.一种基于图像识别的微观缺陷处 理方法， 其特 征在于， 包括： 获取输入图像， 对所述输入图像进行 预处理， 得到待识别图像； 利用训练好的深度学习模型对所述待识别图像进行分割识别， 输出识别结果； 根据所述识别结果确定缺陷类型， 根据所述 缺陷类型对识别结果进行后处 理与统计； 其中， 所述深度 学习模型基于解码器 ‑编码器网络结构构建， 所述编码器与解码器以拼 接的方式将两者中相同尺寸的特 征图进行融合。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述输入图像进行预处理， 得到待 识别图像， 包括： 对所述输入图像进行 灰度转换， 得到灰度图像； 对所述灰度图像进行 标尺识别， 以确定目标真实长度与像素 数量之间的关系； 读取所述灰度图像的缺陷区域， 将所述缺陷区域以外的区域确定为背景区域， 删除所 述背景区域中的背景并填充标准 化背景。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述深度学习模型的训练方法， 包括： 基于不同批次、 不同成分的制造样品的金相原始照片生成数据集； 其中， 每张原始照片 中均包括 一个以上的缺陷类型； 对所述数据集中的原 始照片进行 标记， 得到标记照片； 基于所述原始照片和标记照片进行扩充操作， 生成样本集， 将所述样本集划分为训练 集和测试集； 采用训练集对神经网络模型进行迭代训练， 并在训练过程中每轮训练结束后使用测试 集进行一次测试并给出测试集识别准确率， 训练结束后选择测试集识别准确率最高时的模 型参数作为深度学习模型的模型参数， 输出深度学习模型。 4.根据权利要求3所述的方法， 其特征在于， 所述采用训练集对神经网络模型进行迭代 训练， 包括： 编码器对训练集中的输入图像进行纹 理特征提取， 得到特 征图； 解码器将所述特 征图还原为原来的分辨 率； 以拼接的方式将编码器与解码器中相同尺寸的特 征图进行融合， 得到融合结果； 迭代训练调整模型中卷积层各 卷积核的权 重， 得到深度学习模型。 5.根据权利要求2所述的方法， 其特征在于， 所述利用训练好的深度学习 模型对所述待 识别图像进行分割识别， 输出识别结果， 包括： 对待识别图像进行裁 剪， 得到第一预设尺寸的图片； 对所述第一预设尺寸的图片进行识别， 将识别结果裁 剪为第二预设尺寸； 将具有第二预设尺寸的识别结果进行融合， 将融合结果作为 最终识别结果； 其中， 所述第二预设尺寸小于第一预设尺寸。 6.根据权利要求5所述的方法， 其特征在于， 所述识别结果包括不同类型的缺陷； 所述 根据所述识别结果确定缺陷类型， 根据所述 缺陷类型对识别结果进行后处 理， 包括： 对识别结果进行缺陷类型统计； 所述 缺陷类型包括裂纹、 孔洞与未 熔区域； 对不同的缺陷类型进行相应的后处 理， 具体包括： 对于裂纹的识别结果， 删除小对象以减少干扰； 对于孔洞、 未熔区域的识别结果， 进行直径预设像素的圆形区域开运算， 即先腐蚀后膨权　利　要　求　书 1/2 页 2 CN 115311235 A 2胀， 将未连通的识别区域进行 连接， 再进行泛洪填充操作。 7.根据权利要求6所述的方法， 其特 征在于， 所述对识别结果进行缺陷类型统计， 包括： 对于裂纹缺陷， 统计识别为裂纹的像素点占比， 其结果作为裂纹缺陷占比； 对于孔洞与未熔区域缺陷， 统计识别为孔洞或未熔区域的像素点占比， 其结果作为孔 洞或未熔区域缺陷占比； 同时， 统计识别结果中每一个连通区域作为一个单独的缺陷， 计算 该缺陷所包含的像素点数量作为该缺陷的面积， 再根据对输入图像进 行预处理时读取的标 尺信息由像素面积转换为真实面积， 计算约化 直径； 最终将上述识别统计信息汇总。 8.根据权利要求7 所述的方法， 其特 征在于， 所述识别结果的统计信息包括： 裂纹缺陷占比、 孔洞缺陷占比、 未熔区域缺陷占比、 孔 洞缺陷数量与平均直径、 未 熔区域缺陷数量与平均直径。 9.一种基于图像识别的微观缺陷处 理装置， 其特 征在于， 包括： 获取模块， 用于获取输入图像， 对所述输入图像进行 预处理， 得到待识别图像； 识别模块， 用于利用训练好的深度学习模型对所述待识别图像进行分割识别， 输出识 别结果； 处理模块， 用于根据所述识别结果确定缺陷类型， 根据所述缺陷类型对识别结果进行 后处理与统计； 其中， 所述深度 学习模型基于解码器 ‑编码器网络结构构建， 所述编码器与解码器以拼 接的方式将两者中相同尺寸的特 征图进行融合。 10.一种计算机设备， 其特征在于， 包括： 存储器和处理器， 所述存储器存储有计算机程 序， 所述计算机程序被所述处理器执行时， 使得所述处理器执行所述权利要求1至8任一项 所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115311235 A 3