(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210962084.1 (22)申请日 2022.08.11 (71)申请人 日照职业 技术学院 地址 276826 山 东省日照市东港区烟台北 路16号 (72)发明人 李顺达　熊文生　冷波　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 蔡运红 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/56(2022.01) G06V 10/44(2022.01)G06N 3/04(2006.01) (54)发明名称 基于人体姿态检测的建筑巡检机器人防护 穿戴识别方法 (57)摘要 本发明为基于人体姿态检测的建筑巡检机 器人防护穿戴识别方法， 首先， 通过人体姿态识 别选取与防护穿戴相关的关键点， 通过像素点填 充的方式将各个关键点由坐标形式转换为图像 形式， 生成人体姿态热图； 其次， 构建防护穿戴识 别模型， 防护穿戴识别模型包括第一级神经网 络、 第二级神经网络以及位于两级神经网络之间 的连接模块； 最后， 对防护穿戴识别模型进行训 练， 将训练后的防护穿戴识别模 型移植到建筑巡 检机器人中， 用于对建筑工人是否穿戴手套、 反 光衣和安全帽进行智能识别， 输出各种防护用具 的类别、 置信度和识别框， 并对反光衣识别框和 安全帽置信度的修正。 通过关键点对防护用具进 行定位， 考虑了防护用具与人体穿戴部位的位置 关联性， 避免图像中相似物体对识别结果的干 扰。 权利要求书3页 说明书7页 附图5页 CN 115294654 A 2022.11.04 CN 115294654 A 1.一种基于人体姿态检测的建筑巡检机器人防护穿戴识别方法， 其特征在于， 包括以 下步骤： 第一步、 采集含有建筑工人的彩色图像、 深度图像和高亮彩色图像， 高亮彩色图像在闪 光的情况 下采集； 第二步、 通过人体姿态识别得到人体25个关键点， 选取与防护穿戴相关的关键点， 并将 与防护穿戴相关的关键点在深度相机坐标系中的坐标转换到彩色相机坐标系中； 防护穿戴 识别包括手套、 安全帽和反光衣三种防护用具； 第三步、 根据与防护穿戴相关的关键点在彩色相机坐标系中的坐标， 通过计算人体姿 态热图中各个像素点的像素值， 将与防护穿戴相关的各个关键点由坐标形式转换为图像形 式， 生成人体姿态热图； 第四步、 构建防护穿戴识别模型， 防护穿戴识别模型包括第 一级神经网络、 第 二级神经 网络以及位于两级神经网络之间的连接模块； 将人体姿态热图、 彩色图像和高亮彩色图像 输入到第一级神经网络中进行特征提取， 连接模块用于调整第一级神经网络输出特征的尺 寸和通道数， 将连接模块的输出特征输入到第二级神经网络中进行特征处理， 实现防护穿 戴识别； 第五步、 对防护穿戴识别模型进行训练， 将训练后的防护穿戴识别模型移植到建筑巡 检机器人中， 在机器人巡检中对建筑工人是否穿戴手套、 反光衣和安全帽进行智能识别； 防 护穿戴识别模型输出手套、 反光衣和安全帽三种防护用具的类别、 置信度和识别框； 对防护 穿戴识别模型的输出 结果进行修 正， 包括对反光衣识别框和安全帽置信度的修 正； 反光衣识别框的修 正步骤为： 步骤E1、 将彩色图像和高亮彩色图像分别转换为彩色灰度图像和高亮灰度图像， 将高 亮灰度图像与彩色灰度图像相同位置上像素点的像素值相减， 得到亮差图像； 步骤E2、 对 亮差图像进行处 理， 得到高亮彩色图像中反光衣所在的区域， 即前 景图； 步骤E3、 利用种子填充法计算得到前景图中所有独立的前景块， 再利用虫随法计算各 个前景块的边缘点， 基于边缘点根据最小外接矩形法得到每个前景块的边框； 根据前景块 与反光衣识别框的位置关系将前景块分为三类， 分别为： 全部区域位于反光衣识别框内的 前景块、 部分区域 位于反光衣识别框内的前 景块、 全部区域 位于反光衣识别框 外的前景块； 步骤E4、 将部分区域和全部区域位于反光衣识别框内的所有前景块的边缘点以及 反光 衣识别框的四条边框上的所有点进行汇总， 根据最小外接矩形法得到汇总后所有点的最小 外接矩形框， 即修正后的反光衣识别框； 利用修正后的反光衣识别框替换防护穿戴识别模 型输出的反光衣识别框， 得到最终的反光衣识别框； 安全帽置信度的修 正步骤为： 步骤F1、 假设防护穿戴识别模型输出的安全帽识别框内的所有像素点数量为n， 安全帽 识别框内安全帽占据的像素点数量为m， 则安全帽识别框内安全帽在世界坐标系中的投影 面积hs为： hs＝ps×m m＝n×75％ 式中， ps为彩色图像中安全帽所在区域单个 像素点在世界坐标系中的投影面积； 步骤F2、 设置安全帽的投影面积区间为[hs1,hs2]， 假设安全帽置信度的原始值为权　利　要　求　书 1/3 页 2 CN 115294654 A 2conf1， 则安全帽置信度的修 正值conf2表示为： 再利用安全帽置信度的修正值替换防护穿戴识别模型输出的安全帽置信度， 得到最终 的安全帽置信度。 2.根据权利要求1所述的基于人体姿态检测的建筑巡检机器人防护穿戴识别方法， 其 特征在于， 第三步的具体过程为： 首先为每个关键点创建与彩色图像尺寸相同的空白图像， 将关键点在彩色图像中的坐标作为空白图像中各个像素点的初始坐 标(x0,y0)， 再将空白图 像中每个像素点的像素坐标(x,y)代入式(5)， 计算各个像素点的像素值f(x,y)， 得到人体 姿态热图； 式中， A表示幅值， σx、 σy分别表示横、 纵坐标的方差 。 3.根据权利要求1所述的基于人体姿态检测的建筑巡检机器人防护穿戴识别方法， 其 特征在于， 所述第一级神经网络通过VGG19神经网络改进得到， 即删除VGG19神经网络的第 17、 18和19层结构， 将VGG19神经网络的第1层结构调整为三个卷积分支， 第2层结构调整为 两个卷积分支， 每个卷积分支的卷积核大小均为3 ×3， 卷积核个数均为64， VGG19神经网络 的第3～16层结构不变； 第1层结构的三个卷积分支的输入分别为人体姿态热图、 彩色图像 和高亮彩色图像； 首先， 7张人体姿态热图经过其中一个卷积分支后， 得到特征图CA1； 彩色 图像和高亮彩色图像分别经过另外两个卷积分支后， 得到特征图CB1和CB1 ’； 然后， 特征图 CA1经过第2层结构的其中一个卷积分支后， 得到特征图CA2； 特征图CB1和CB1 ’经过通道拼 接后， 再经过第2层结构的另外一个卷积分支后， 得到特征图CB2； 最后， 特征图CA2和CB2经 过通道拼接后， 输入到第3层结构中， 经过其余结构层的处理后， 得到第一级神经网络的输 出特征； 所述连接模块包括级联的第 一卷积块、 第二卷积块、 卷积操作和下采样操作； 两个卷积 块均包括三个卷积操作分支， 每个卷积块的三个卷积操作分支得到的特征图经过通道拼接 后， 得到各个卷积块的输出特征； 第一卷积块的第一个卷积操作分支包括一个卷积核大小 为3×3、 个数为64的卷积层， 第一卷积块的第二个卷积操作分支包括一个卷积核 大小为1× 1、 个数为256的卷积层和一个卷积核大小为3 ×3、 个数为128的卷积层， 第一卷积块的第三 个卷积操作分支包括一个最大池化层和一个卷积核大小为1 ×1、 个数为64的卷积层； 第二 卷积块的第一个卷积操作分支包括一个卷积核大小为1 ×1、 个数为32的卷积层， 第二卷积 块的第二个卷积操作分支包括一个卷积核大小为1 ×1、 个数为128的卷积层和一个卷积核 大小为3×3、 个数为64的卷积层， 第二卷积块的第三个卷积操作分支包括一个最大池化层 和一个卷积核大小为1 ×1、 个数为32的卷积层； 所述第二级神经网络通过改进YOLOV4神经网络得到 。 4.根据权利要求1所述的基于人体姿态检测的建筑巡检机器人防护穿戴识别方法， 其 特征在于， 与防护穿戴相关的关键点包括左手、 右手、 左肩、 右肩、 脊柱中点、 头和脖子7个关权　利　要　求　书 2/3 页 3 CN 115294654 A 3