(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021869.5 (22)申请日 2022.08.24 (71)申请人 杭州云栖智慧视通科技有限公司 地址 310000 浙江省杭州市西湖区转塘科 技经济区块16号2幢401室 申请人 深圳市星火电子 工程公司 (72)发明人 易珂　王学军　刘静　李冠华　 (74)专利代理 机构 杭州信与义专利代理有限公 司 33450 专利代理师 马育妙 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 17/20(2006.01) G06V 10/44(2022.01)G06V 40/10(2022.01) (54)发明名称 基于相机参数约束的单帧图像3D人体姿态 估计及重建方法 (57)摘要 本发明公开了一种基于相机参数约束的单 帧图像3D人体姿态估计及重建方法， 步骤包括： S1， 标定单目相机参数； S2， 利用2D 姿态估计模型 对单目相机采集的单帧图像进行2D人体关键点 和2D人体轮廓识别， 得到2D人体关键点K和2D人 体轮廓图S； S3， 以2D人体关键点K和2D人体轮廓 图S为SMPL参数估计模型的输入， 推理得到形体 尺寸Shape参数β、 姿态Pose参数θ和相机参数 T； S4， 以步骤S1标定的真实相机参数和步骤S3推 理得到的相机参数T为重建3D人体时的空间约 束， 通过β、 θ驱动SMPL模型重建3D人体。 本发明 在3D人体重建中， 考虑了关键点投影损失、 人体 轮廓投影损失和顶点投影损失， 并利用相机参数 对3D人体的投影约束， 提升了重建的3D人体的空 间真实感。 权利要求书3页 说明书10页 附图4页 CN 115393436 A 2022.11.25 CN 115393436 A 1.一种基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， 步骤 包括： S1， 标定单目相机参数； S2， 利用2D姿态估计模型对所述单目相机采集的单帧图像进行2D人体关键点和2D人体 轮廓识别， 得到2D人体关键点K和2D人体 轮廓图S； S3， 以所述2D人体关键点K和所述2D人体轮廓图S为SMPL参数估计模型的输入， 推理得 到形体尺寸Shape参数β 、 姿态Pose参数θ和相机参数T； S4， 以步骤S1标定的真实相机参数和步骤S3推理得到的所述相机参数T为重建3D人体 时的空间约束， 通过β 、 θ 驱动SMPL模型重建3D人体。 2.根据权利要求1所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， 所述SMPL参数估计模型包括形体尺寸Shape估计模块、 姿态Pose估计模块、 相 机Camera估计模块,所述形体尺 寸Shape估计模块包括第一形体尺寸Shape估计模块和第二 形体尺寸Shape估计模块， 所述姿态Pose估计模块以所述2D人体关键点K为输入， 预测输出 所述姿态Pose参数θ； 所述相机 Camera估计模块以所述2D人体关键点K为输入， 预测输出 所述相机参数T； 所述第一形体尺寸Shape估计模块以所述2D人体轮廓图S为输入， 预测输出中间特征向 量f； 所述第二形体尺寸Shap e估计模块以所述 中间特征向量f、 所述姿态Pose参数θ、 所述相 机参数T为输入预测输出 所述形体尺寸Shape参数β 。 3.根据权利要求1或2所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方 法， 其特征在于， 所述SMPL 参数估计模型的目标函数通过以下公式(1)表达： L＝LJ+λSLS+λVLV+λaLa+λbLb 公式(1) 公式(1)中， LJ表示3D人体重建后的关键点投影损失； LS表示3D人体重建后的人体 轮廓投影损失； LV表示对重建的所述3D人体， 计算用于表征 所述3D人体的各三角网格的顶点投影损失； La表示关节 弯曲的先验惩罚； Lb表示全身 姿态先验惩罚； λS、 λV、 λa、 Lb分别表示 LS、 LV、 La、 Lb的损失权 重系数。 4.根据权利要求3所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， LJ通过以下公式(2)计算而得： 公式(2)中， Ki表示所述2D人体关键点K中的第i个关键点的坐标； Jproj‑i表示所述SMPL模型重建的所述3D人体上与Ki具有一一对应关系的关键点投影坐 标； M表示所述2D人体关键点K中的关键点数量。 5.根据权利要求3所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， LS通过以下公式(3)计算而得：权　利　要　求　书 1/3 页 2 CN 115393436 A 2公式(3)中， S表示所述2D人体 轮廓图S； Sproj表示3D人体重建后的人体 轮廓投影。 6.根据权利要求3所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， LV通过以下公式(4)计算而得： 公式(4)中， c表示以指定角度c设置的投影相机； “3”表示3个不同角度c设置的投影相机； μc表示对重建的所述3D人体， 计算用于表征所述3D人体的各三角网格的顶点投影损失 LV时， 所占的权 重； Vproj‑cj表示对重建的所述3D人体以所述指定角度c设置的投影相机进行投影计算得到 的第j个顶点的投影坐标； Vgt‑cj表示对3D重建人体groud  truth以所述指定角度c设置的投影相机进行投影计算 得到的第j个顶点的投影坐标。 7.根据权利要求6所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， 3个不同的所述指定角度c 两两间的夹角为120 °。 8.根据权利要求3所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， La通过以下公式(5)计算而得： La＝∑i∈(eblows， knees)exp( θi) 公式(5) 公式(5)中， θi表示所述姿态Pose参数θ 中的第i个值； eblows表示72维姿态Pose参数θ 中肘部关节的位置集 合； knees表示72维姿态Pose参数θ 中膝盖关节的位置集 合； Lb通过以下公式(6)计算而得： 公式(6)中， m表示高斯混合模型的分量下 标； gm表示高斯混合模型第m个分量的权 重； 表示高斯混合模型的第m个分量； μθ,m表示第m个分量中姿态参数θ 的均值向量； ∑θ,m表示第m个分量的协方差矩阵； d为一常量。 9.根据权利要求1所述的基于相机参数约束的单帧图像3D人体姿态估计及重建方法， 其特征在于， 步骤S4中， 重建所述3D人体时的空间约束通过以下公式(7)表达：权　利　要　求　书 2/3 页 3 CN 115393436 A 3