(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211115696.3 (22)申请日 2022.09.14 (71)申请人 中国计量大 学 地址 310018 浙江省杭州市下沙高教园区 学源街258号 (72)发明人 王嘉盛　张斌　林子祥　王欣然　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 施利江 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 20/50(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 改进YOLOv4-tiny算法的焊缝特征点提取方 法 (57)摘要 本发明公开了改进YOLOv4 ‑t iny算法的焊 缝特征点提取方法， 其特征在于： 包括S1建立焊 缝图像数据集， 其中将90％的焊缝图像数据集作 为训练集， 将余下10％的焊缝图像数据集作为测 试集； S2利用训练集对改进后的YOLOv4 ‑Tiny网 络模型进行训练； 所述改进后的YOLOv4 ‑Tiny网 络模型包括一条与YOLOv4 ‑t iny算法浅层卷积 层相连的路径， 以提高焊缝特征提取能力； S3在 训练全部 结束后， 将训练好的权值参数保存到相 应文件中， 以便用于对测试集的图片进行焊缝目 标的检测； S4利用测试集对经过训练的改进后的 YOLOv4‑Tiny网络模型进行焊缝目标的检测。 在 YOLOv4‑t iny算法的浅层加入有效的特征提取 层， 提取更多的焊缝特征点特征信息， 从而减少 了检测误差 。 权利要求书1页 说明书6页 附图3页 CN 115546604 A 2022.12.30 CN 115546604 A 1.改进YOLOv4 ‑tiny算法的焊缝 特征点提取方法， 其特 征在于： 包括 S1建立焊缝图像数据集， 其中将90％的焊缝图像数据集作为训练集， 将余下10％的焊 缝图像数据集作为测试集； S2利用训练集对改进后的YOLOv4 ‑Tiny网络模型进行训练； 所述改进后的YOLOv4 ‑Tiny 网络模型包括 一条与YOLOv4 ‑tiny算法浅层卷积层相连的路径， 以提高焊缝 特征提取能力； S3在训练全部结束后， 将训练好的权值参数保存到相应文件中， 以便用于对测试集的 图片进行焊缝目标的检测； S4利用测试集对经 过训练的改进后的YOLOv4 ‑Tiny网络模型进行焊缝目标的检测。 2.根据权利要求1所述的改进YOLOv4 ‑tiny算法的焊缝 特征点提取方法， 其特 征在于： 步骤S1中建立图像训练集的过程如下： S11采用图像传感器采集焊缝原 始图像； S12对步骤S11中的原始图像至少经过翻转、 平移、 缩放中的任意一种或是多种操作以 进行数据增强， 将原 始图像数据集进行扩充 若干倍； S13对步骤S12中的所有焊缝图像进行标注并生成对应的XML标签文件后， 便完成了焊 缝图像数据集的制作。 3.根据权利要求1所述的改进YOLOv4 ‑tiny算法的焊缝特征点提取方法， 其特征在于： 步骤S2中的训练过程如下： 每次向神经网络喂入批次为24的数据， 迭代次数为12000次， 最 大学习率设为0.001， 权重衰减系数为0.0002， 使用L2正则 化防止过拟合， 使用Adam优化器 作为模型优化 算法。 4.根据权利要求1所述的改进YOLOv4 ‑tiny算法的焊缝 特征点提取方法， 其特 征在于： 改进后的YOLOv4 ‑Tiny网络模型采用如下 方式获得： 首先， 原YOLOv4 ‑tiny目标检测算法在图像经过主干特征提取网络后获取两个有效特 征层， 将其传入加强特 征提取网络进行 特征金字塔的构建； 接下来， 对原模型第二(26 ×26×255)预测层中的拼接层再进行一次卷积和上采样操 作， 再将其与第一次经过CSPBlock残差网络的浅层特征图进行拼接操作， 得到第三个特征 图层， 这样整个模型的预测层就由原来的2层结构变成13 ×13、 26×26和52×52像素的3层 结构。 5.根据权利要求1所述的改进YOLOv4 ‑tiny算法的焊缝特征点提取方法， 其特征在于： 改进后的YOLOv4 ‑Tiny网络模型 所采用的激活函数为 LeakyReLU， LeakyReLU定义如下： 其中 a∈(1,+∞)， 以有效避免梯度消失 的情况。 6.根据权利要求1所述的改进YOLOv4 ‑tiny算法的焊缝特征点提取方法， 其特征在于： 改进后的YOLOv4 ‑tiny算法的损 失函数包括边界框回归损 失函数Loss1、 置信度损 失函数 Loss2和分类损失函数L oss3三个方面， 即： L oss＝Loss1+Loss2+Loss3。 7.根据权利要求1所述的改进YOLOv4 ‑tiny算法的焊缝特征点提取方法， 其特征在于： 还包括S5对改进后的YOLOv4 ‑tiny目标检测算法性能的衡量， 采用平均准确率Mp、 平均漏检 率Mo以及目标识别速率Ms作为评价指标。权　利　要　求　书 1/1 页 2 CN 115546604 A 2改进YOLOv4‑tiny算法的焊缝特征点提取方 法 技术领域 [0001]本发明涉及计算机视觉的图像检测领域， 具体涉及一种改进YOLOv4 ‑tiny算法的 焊缝特征点提取方法。 背景技术 [0002]在现代制造工业中,机器人焊接广泛应用于机械制造、 航空航天、 汽车等制造领 域。 自动化焊接的关键问题之一是通过相关算法实现噪声环境下激光条纹与焊缝特征点 (即激光条纹与焊缝坡口 的交点)的准确提取。 [0003]目前已知的焊缝检测技术主要还是基于视觉传感器采集图像， 通过数字图像处理 技术来进 行焊缝特征点的定位检测。 伏喜斌等利用基于三角形测量原理的激光传感器采集 激光条纹图像,并使用二值化和中心线提取等数字图像处理算法， 从而提取出角焊缝的特 征信息。 陈海永等提出一种基于阈值变换的行像素点统计算法和自适应形态学收缩算法分 割出结构光条纹图像， 并提出一种基于距离搜索的算法,从而得到焊缝特征点。 Lee等利用 中值滤波 滤除噪声后采用最大类间方差法(Otsu)进 行二值化分割,提出改进的霍夫变换提 取焊缝特征方法。 Kiddee等在对图像进行腐蚀和膨胀等预处理的基础上,利用边缘信息采 用几何中心法获得激光条纹中心线的位置,进而得出了焊缝特征点的位置。 但是上述几种 方法存在时间 复杂度高、 图像信息易丢失和过度依赖图像预处 理等缺点。 发明内容 [0004]本发明的目的是提供一种改进YOLOv4 ‑tiny算法的焊缝特征点提取方法， 可以解 决上述技术问题中的一个或是多个。 [0005]为了达到上述目的， 本发明提出的技 术方案如下： [0006]改进YOLOv4 ‑tiny算法的焊缝 特征点提取方法， 包括 [0007]S1建立焊缝图像数据集， 其中将90％的焊缝图像数据集作为训练集， 将余下10％ 的焊缝图像数据集作为测试集； [0008]S2利用训练集对改进后的YOLOv4 ‑Tiny网络模型进行训练； 所述改进后的YOLOv4 ‑ Tiny网络模型包括一条与YOLOv4 ‑tiny算法浅层卷积层相连的路径， 以提高焊缝特征提取 能力； [0009]S3在训练全部结束后， 将训练好的权值参数保存到相应文件中， 以便用于对测试 集的图片进行焊缝目标的检测； [0010]S4利用测试集对经过训练的改进后的YOLOv4 ‑Tiny网络模型进行焊缝目标的检 测。 [0011]优选的： 步骤S1中建立图像训练集的过程如下： [0012]S11采用图像传感器采集焊缝原 始图像； [0013]S12对步骤S11中的原始图像至少经过翻转、 平移、 缩放中的任意一种或是多种操 作以进行 数据增强， 将原 始图像数据集进行扩充 若干倍；说　明　书 1/6 页 3 CN 115546604 A 3