(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210913538.6 (22)申请日 2022.08.01 (71)申请人 深圳市海清视讯科技有限公司 地址 518100 广东省深圳市宝安区西乡街 道固戍开发区泰华梧桐工业园8号建 筑3层 (72)发明人 梁书玉　周波　莫少锋　邹小刚　 苗瑞　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 李湘　刘芳 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/44(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 特征提取模型训练、 手部动作识别方法、 装 置及电子设备 (57)摘要 本申请提供一种特征提取模 型训练、 手部动 作识别方法、 装置及电子设备。 方法包括： 获取至 少一帧目标图像； 将至少一帧目标图像输入至三 维结构图特征提取模型中， 得到各帧目标图像中 包括的目标关键点对应的三维结构图； 目标关键 点包括： 手部的关键点； 三维结构图特征提取模 型为采用特征提取模型训练方法训练得到的； 三 维结构图包括： 在三维坐标系下， 目标图像中包 括的各目标关键点之间的连接关系； 根据各帧目 标图像中包括的目标关键点对应的三维结构图， 获取至少一帧目标图像对应的动作类型。 本申请 提高了手部动作识别效率。 权利要求书3页 说明书15页 附图7页 CN 114973424 A 2022.08.30 CN 114973424 A 1.一种特 征提取模型训练方法， 其特 征在于， 所述方法包括： 获取第一样本数据集； 所述第 一样本数据集包括： 至少一个第一样本数据子集； 所述第 一样本数据子集包括： 样本图像， 以及， 所述样本图像中包括的目标关键点对应的三 维结构 图标签； 所述目标关键点包括： 手部的关键点； 所述三 维结构图包括： 在三 维坐标系下， 所述 样本图像中包括的各目标关键点之间的连接关系； 使用所述第一样本数据集训练第一预设模型， 得到三维结构图特征提取模型； 所述第 一预设模型包括： 第一预设子模型、 第二预设子模 型， 以及， 第三预设子模型； 所述第一预设 子模型用于对所述样本图像进 行特征提取， 得到所述样本图像中的各目标关键点对应的初 始二维结构图， 以及， 各目标关键点对应的图像特征； 所述第二预设子模型用于根据所述各 目标关键点对应的图像特征， 对所述各目标关键点对应的初始二维结构图进行调整， 得到 所述各目标关键点对应的目标二维结构图； 所述二维结构图包括： 在二 维坐标系下， 所述样 本图像中包括的各目标关键点之间的连接 关系； 所述第三预设子模型用于将所述各目标关 键点对应的目标二维结构图转换为三 维结构图； 所述三 维结构图特征提取模型用于根据输 入的目标图像， 获取 所述目标图像中包括的目标关键点对应的三维结构图。 2.根据权利要求1所述的方法， 其特征在于， 所述目标关键点还包括： 所述手部所持物 体的关键点。 3.根据权利要求2所述的方法， 其特 征在于， 所述获取第一样本数据集， 包括： 获取至少一个初始样本图像； 通过预设的图像分割模型， 对所述初始样本 图像进行图像分割， 得到手部与所述手部 所持物体的图像； 将所述手部与所述手部所持物体的图像， 作为所述样本图像； 根据所述样本图像， 以及， 所述样本图像中包括的目标关键点对应的三维结构图标签， 获取所述第一样本数据集。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述第二预设子模型， 以及， 所述 第三预设子模型均包括至少一层图卷积层； 所述图卷积层对应的图卷积公式中包括： 参数 化可训练邻接矩阵， 所述使用所述第一样本数据集训练第一预设模型， 得到三维结构图特 征提取模型， 包括： 在使用所述第一样本数据集， 对所述第一预设模型进行每一轮训练过程中， 更新所述 参数化可训练邻接矩阵中的参数， 直到得到所述 三维结构图特 征提取模型。 5.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述第一预设模型的损失函数为 所述第一预设子模型对应的第一子损失函数、 所述第二预设子模型对应的第二子损失函 数， 以及， 所述第三预设子模型对应的第三子损失函数的加权和。 6.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 在所述使用所述第 一样本数据集 训练第一预设模型， 得到三维结构图特 征提取模型之前， 所述方法还 包括： 获取第二样本数据集； 所述第 二样本数据集包括： 至少一个第二样本数据子集； 所述第 二样本数据子集包括： 样本图像， 以及， 所述样本图像中包括的目标关键点对应的二 维结构 图标签； 使用所述第二样本数据集训练第一初始模型， 得到所述第一预设子模型； 获取第三样本数据集； 所述第 三样本数据集包括： 至少一个第三样本数据子集； 所述第权　利　要　求　书 1/3 页 2 CN 114973424 A 2三样本数据子集包括： 将样本图像输入所述第一预设子模型得到的所述样本图像中的各目 标关键点对应的初始 二维结构图、 各目标关键点对应的图像特征， 以及， 所述样本图像中包 括的目标关键点对应的二维结构图标签； 使用所述第三样本数据集训练第二初始模型， 得到所述第二预设子模型； 根据所述第一预设子模型， 以及， 所述第二预设子模型， 得到所述第一预设模型。 7.一种手部动作识别方法， 其特 征在于， 所述方法包括： 获取至少一帧目标图像； 将所述至少一帧目标图像输入至三维结构图特征提取模型中， 得到各帧所述目标图像 中包括的目标关键点对应的三 维结构图； 所述目标关键点包括： 手部的关键点； 所述三 维结 构图特征提取模型为采用如权利要求1 ‑6任一项所述的方法训练得到的； 所述三维结构图 包括： 在三维坐标系下， 所述目标图像中包括的各目标关键点之间的连接关系； 根据所述各帧所述目标图像中包括的目标关键点对应的三维结构图， 获取所述至少一 帧目标图像对应的动作类型。 8.根据权利要求7所述的方法， 其特征在于， 所述目标关键点还包括： 所述手部所持物 体的关键点。 9.根据权利要求8所述的方法， 其特 征在于， 所述获取至少一帧目标图像包括： 获取至少一帧初始图像； 通过预设的图像分割模型， 对所述初始图像进行图像分割， 得到手部与所述手部所持 物体的图像； 将所述手部与所述手部所持物体的图像， 作为所述目标图像。 10.根据权利要求7 ‑9任一项所述的方法， 其特征在于， 所述根据所述各帧所述目标图 像中包括的目标关键点对应的三维结构图， 获取所述至少一帧目标图像对应的动作类型， 包括： 针对任意相邻的两帧目标图像对应的三维结构图， 建立该两个三维结构图中相同标识 的目标关键点之间的连接关系， 得到所述至少一帧目标图像对应的一个三维结构图； 将所述至少一帧目标图像对应的一个三维结构图， 输入预先训练好的手部动作识别模 型， 得到所述至少一帧目标图像对应的动作类型。 11.根据权利要求7 ‑9任一项所述的方法， 其特征在于， 在所述获取所述至少一帧目标 图像对应的动作类型之后， 所述方法还 包括： 执行所述动作类型对应的目标操作。 12.一种特 征提取模型训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取第一样本数据集； 所述第 一样本数据集包括： 至少一个第 一样本数 据子集； 所述第一样本数据子集包括： 样本图像， 以及， 所述样本图像中包括的目标关键点 对应的三维结构图标签； 所述目标关键点包括： 手部的关键点； 所述三维结构图包括： 在三 维坐标系下， 所述样本图像中包括的各目标关键点之间的连接关系； 训练模块， 用于使用所述第一样本数据集训练第一预设模型， 得到三维结构图特征提 取模型； 所述第一预设模型包括： 第一预设子模型、 第二预设子模型， 以及， 第三预设子模 型； 所述第一预设子模型用于对所述样本图像进行特征提取， 得到所述样本图像中的各目 标关键点对应的初始 二维结构图， 以及， 各目标关键点对应的图像特征； 所述第二预设子模权　利　要　求　书 2/3 页 3 CN 114973424 A 3