(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210937091.6 (22)申请日 2022.08.05 (71)申请人 博瑞霖信息科技 （青岛） 有限公司 地址 266000 山东省青岛市崂山区株洲路 187-1号崂山智慧产业园2号楼401-1 (72)发明人 孟凡辉　黄振　孙恒文　 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 基于机器视觉的纸塑复合袋表面缺陷检测 的方法及系统 (57)摘要 本发明涉及缺陷检测技术领域， 具体为基于 机器视觉的纸塑复合袋表面缺陷检测方法及系 统， 包括以下步骤： S1： 采集数据； S2： 处理图像； S3： 制作数据集； S4： 目标检测； S5： 改进算 法； S6： 训练模型； S7： 检测缺陷。 本发明中， 相比于传统 的目标检测方法， 本发明避免设计特征提取算 子， 通用性更强； 与大多数的深度学习的方法相 比， 本发明在此基础上针对产线回传数据， 检测、 识别产品表面存在的缺陷， 针对纸塑复合袋产线 实际需求作出改进， 进一步提高了检测的准确性 和效率， 本发 明构建的纸塑复合袋表 面缺陷数据 集， 可以填补开源数据集在该领域的空白， 能够 针对产线实际需求训练有效的缺陷检测模型， 提 升检测的速度、 准确度， 提高企业 生产效率。 权利要求书3页 说明书8页 附图3页 CN 115294061 A 2022.11.04 CN 115294061 A 1.基于机器视觉的纸塑复合袋表面 缺陷检测方法， 其特 征在于， 包括以下步骤： S1： 采集数据； S2： 处理图像； S3： 制作数据集； S4： 目标检测； S5： 改进算法； S6： 训练模型； S7： 检测缺陷。 2.根据权利要求1所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述S1中， 采集数据具体为前往工厂通过工业相 机采集数据， 所述工业相机采用感光芯片 为CMOS、 扫描方式为 面阵、 接口为USB3.0类型的彩色工业相机 。 3.根据权利要求1所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述S2中， 处理图像具体为对采集到的图像降噪， 并针对 数据样本不均衡的问题， 需要对部 分缺陷样本做数据增强处 理， 以增加数据量， 包括滤波降噪和图像增强。 4.根据权利要求3所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述滤波降噪是对于脉冲噪声进行降噪处理， 所述脉冲噪声的概率密度函数表达式为 所述滤波降噪具体为利用一个特定尺寸的模板按照某 种规律依 次覆盖图像的一个小区域， 对覆盖区域范围内的像素值求均值， 最后用均值替代 模板区域内中心的像素值， 从而达到去噪的目的， 对于图像f(x,y)， 对它的每个像素点(x, y)选取邻域S， 使用S的平均值作为像素点(x,y)的像素值， 进行滤波操作之后得到图像g(x, y)， 其数学表达式为 其中， N为邻域S内含有 的像素个数， m和n分别为横纵坐标扩展的像素， 所述图像增强采用google的AutoAugment进 行第一阶段的数据增广。 5.根据权利要求1所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述S3中， 制作数据集具体为对原始图像数据进行上述预处理工作后， 定义复合袋图像样 本的缺陷分别为褶皱、 破皮、 孔洞、 脏点、 凸筋 等， 而后使用标注工具构建纸 塑复合袋表 面缺 陷检测数据集。 6.根据权利要求1所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述S4中， 目标检测具体为采用Y OLOv5单阶段目标检测算法， 使用端到端的方式， 实现图像 检测， 在网络推理 时， 其卷积层将 输入图像划分为若干网格， 每个单元格会预测若干个边框 及其置信度， 置信度包含两块内容， 一个是边框包含目标的置信度标记为Pr(object)＝0， 另一个是边框本体的准确度， 通常用边界框与GroundTruth的交并比表示， 标记为 整体置信度为 二者乘积， 所述网络推理的公式为 权　利　要　求　书 1/3 页 2 CN 115294061 A 27.根据权利要求1所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述S5中， 改进算法包括融合注意力机制和优化特征金字塔， 所述融合注意力机制具体为 引入坐标注意力机制， 对于小目标和密集目标提取特征信息， 进一步提高检测的准确率， 一 个CA模块可以看作是一个用来增强特征表示能力的计算单元， 可以将任何中间张量X＝ [x1,x2,…,xc]∈RC×H×W作为输入并输出一个有增强表示能力的同样尺寸的输出Y＝[y1, y2,…,yc]， 其中C为通道数， H和W分别为输入图片的高和宽， 对 于坐标注意力生成来说， 级联 之前模块首先生成两个特征层， 然后使用一个共享卷积进行变换F， 其公式为 其中δ表示非线性激活函数， 分别表示沿 水平方向和竖直方向的通道编 码， 所述优化特征金字塔具体为原Y OLOv5模型算法在语义特 征融合上使用特征金字塔并将原有特征金字塔模块替换成加权双向特征金字塔网络结构， 实现高效的双向跨尺度连接和加权特征融合， 具体来说， 首先删除了只有一个输入的节点； 然后在原始输入节点和输出节点之 间增加了一条边， 最后 将自顶向下和自底向上的路径融 合到一个模块中， 以便重复堆叠， 实现更高层次的特征融合， 所述特征融合过程公式为 其中 为节点i自下而上的输出特征， 为节点i自下而上的输入特征， 为节点i自上而下的中间特征， wt代表自学习权重， ε代表 偏置， Resize为上采样或下采样 操作， Conv为卷积 操作。 8.根据权利要求1所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述S6中， 训练模型具体为设计一种 联合学习的目标函数指导模型收敛， 实现了端到端的 训练， 其公式为 其中coordError、 iouError和classError分别代表预测数据和groundTrut h之间的坐标误差、 IOU误差和分类 误差， 所述分类误差的计算公式为 所述坐标误差的计算公式为 所述IOU误差具体为引入修 正iouError进行计算， 所述 IOU误差的计算公式为 在评估标准方面， 使用准 确率(precision)、 召回率(recall)和F 1分数(F1 ‑socre)来衡量检测的效果， 并通过调整 参 数， 使得F1分数达 到最高。 9.根据权利要求1所述的基于机器视觉的纸塑复合袋表面缺陷检测方法， 其特征在于： 所述S7中， 检测缺陷具体为通过工业相 机抓拍的实时产线数据检测产品是否出现缺陷， 需 要把抓拍图像回传至终端进行快速的预处理操作， 获得预处理图像N， 然后将预处理图像N 输入到模 型中， 即可判断该产品是否出现缺陷， 如若 出现缺陷， 将对检测出的缺陷进 行分类权　利　要　求　书 2/3 页 3 CN 115294061 A 3