(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221095843 6.6 (22)申请日 2022.08.11 (65)同一申请的已公布的文献号 申请公布号 CN 115061577 A (43)申请公布日 2022.09.16 (73)专利权人 北京深光科技有限公司 地址 100088 北京市海淀区知春路7号 致真 大厦A座4层A036 (72)发明人 冯翀　陈铁昊　王雪灿　王宇轩　 张梓航　张梦遥　郭嘉伟　 (74)专利代理 机构 北京智乾知识产权代理事务 所(普通合伙) 11552 专利代理师 张丽侠 (51)Int.Cl. G06F 3/01(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) (56)对比文件 CN 106055091 A,2016.10.26 US 2008312663 A1,2008.12.18 CN 112657176 A,2021.04.16 审查员 胡平 (54)发明名称 手部投影交 互方法、 系统及存 储介质 (57)摘要 本发明公开一种手部投影交互方法、 系统及 存储介质， 该方法包括： 获取用户的手部图片； 识 别出手部的若干个 关键骨关节 点并进行跟踪； 计 算投影转换参数， 并根据投影转换参数调整投影 画面， 实现投影画面与手部锚定； 手指尖点击投 影画面时， 开始获取手指 尖关键骨关节点的坐标 对应的第一纵向深度值、 投影画面中操作按钮对 应的第二纵向深度值， 以及手指 尖关键骨关节点 的坐标与 操作按钮的坐标之间的第一横向距离； 当纵向深度值之差达到第一阈值， 且第一横向距 离达到第二阈值时， 判定用户做出了一次点击事 件， 根据用户点击的操作按钮发出投影变化指 令； 根据投影变化指令更新投影内容， 完成与用 户的交互。 本发 明解决了在狭小空间投影交互体 验差的问题。 权利要求书2页 说明书10页 附图5页 CN 115061577 B 2022.11.11 CN 115061577 B 1.一种手部投影交 互方法， 其特 征在于， 包括如下步骤： S01.获取用户的手部图片， 包括第一手部图片和第二手部图片； S02.识别出手部的若干个关键骨关节点， 并对其中第二手部手指尖附近的若干个关键 骨关节点进行跟踪； S03.根据步骤S02中识别及跟踪的若干个关键骨关节点计算投影转换参数， 并根据投 影转换参数调整投影画面， 实现投影画面与第一手部的锚定； S04.当用户用第二手部的手指尖点击第一手部的投影画面时， 开始获取： 所述第二手 部手指尖附近的若干个关键骨关节点的坐标对应的第一 纵向深度值， 所述投影画面中操作 按钮的坐标对应的第二 纵向深度值， 以及所述第二手部手指尖附近的若干个关键骨关节点 的坐标与所述操作按 钮的坐标之间的第一横向距离； S05.当所述第一纵向深度值与所述第二纵向深度值之差达到第一阈值， 且所述第一横 向距离达到第二阈值时， 判定用户做出了点击事件， 根据用户点击的所述操作按钮发出投 影变化指令； S06.根据投影 变化指令更新投影内容， 完成与用户的交 互； 步骤S01还 包括步骤： 进行投影对焦和梯形 校正， 进行画面信号的重合和校准判断， 直到投影画面清晰； 在投影画面中显示包 含带有编码信息的C hArUco标记； 所述步骤S03具体包括： 根据步骤S02中识别和跟踪的若干个关键骨关节点以及投影画面 中的ChArUco标记， 解 算出投影画面在图像空间的对应顶点坐标， 同时记录此时投影画面的深度值， 根据所述投 影画面的深度值和初始投影转换参数计算并存储投影转换参数， 根据投影转换参数调整投 影画面， 实现投影画面与第一手部的锚定 。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S02具体包括： 通过手掌检测分离出第一手部的手掌区域； 通过手部骨关节点标定算法， 分析出第一手部的21个关键骨关节点， 并且存储21个关 键骨关节点的坐标； 通过插值算法， 根据用户设置对所述21个关键骨关节点进行扩展， 得到更多第一手部 手掌区域的关键骨关节点 坐标并存 储； 跟踪第二手部指尖的五个关键骨关节点， 并实时更新所述五个关键骨关节点的坐标。 3.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S04还 包括点击判定步骤： 当用户的第 二手部手指尖距离第一手部的投影画面为1cm时， 判定用户将要点击， 这时 开始持续获取 所述第一纵向深度值、 所述第二纵向深度值和所述第一横向距离 。 4.根据权利要求1所述的方法， 其特征在于， 所述步骤S05中， 判定用户做出了一次点击 事件， 根据用户点击的所述操作按 钮发出投影 变化指令， 具体包括： 在判定出确为用户点击事件后， 获取当前投影内容并结合多帧点击信 息分析用户状态 和动作意图， 将分析 结果作为下一 步分析的源数据； 如果用户点击对应的功能是某一事件的调用， 则执行相应的调用并记录调用信息， 如 果用户点击对应的是 标记功能， 则显示标记并记录标记信息 。 5.根据权利要求1所述的方法， 其特 征在于，权　利　要　求　书 1/2 页 2 CN 115061577 B 2通过检测用户的手部姿态来识别第 一手部和第 二手部， 包括检测预先指定的手部姿势 来确定第一手部和第二手部， 以及通过特定语义的手势实现第一手部和第二手部的切换； 所述第二手部作为触控发起方在第一手部的投影画面上进行触控操作。 6.一种手部投影交互系统， 包括信 息采集单元、 投影单元和计算分析单元， 所述计算分 析单元分别与信息采集单 元和投影单 元通讯连接， 其特 征在于： 所述信息采集单元用于获取用户的第 一手部图片和第 二手部图片， 并进行投影对焦和 梯形校正， 进 行画面信号的重合和校准判断， 直到投影画 面清晰； 在投影画 面中显示包含带 有编码信息的C hArUco标记； 所述计算分析单元用于收到用户手部 图片后， 解析识别出手部若干个关键骨关节点， 并对其中第二手部手指尖附近的若干个关键骨关节点进行跟踪； 所述计算分析单元还用于根据识别出的关键骨 关节点计算投影转换参数， 根据识别和 跟踪的若干个关键骨关节点以及投影画面中的ChArUco标记， 解算出投影画面在图像空间 的对应顶点坐标， 同时记录此时投影画面的深度值， 根据所述投影画面的深度值和初始投 影转换参数计算并存 储投影转换参数； 所述投影单元用于根据投影转换参数调整投影画面， 实现投影画面与第一手部的锚 定； 所述计算分析单元还用于获取： 所述第 二手部手指尖附近的若干个关键骨 关节点的坐 标对应的第一纵向深度值， 所述投影画面中操作按钮的坐标对应的第二纵向深度值， 以及 所述第二手部手指尖附近的若干个关键骨关节点的坐标与所述操作按钮的坐标之间的第 一横向距离； 当第一纵向深度值与第二纵向深度值之差达到第一阈值， 且所述第一横向距 离达到第二阈值时， 所述计算分析单元判定用户做出了点击事件， 所述计算分析单元根据 用户点击的操作按 钮向所述投影单 元发出投影 变化指令； 所述投影单 元还用于根据投影 变化指令更新投影内容， 完成与用户的交 互。 7.根据权利要求6所述的系统， 其特 征在于， 所述信息采集单元包括RGB摄像头和TOF摄像头组合、 RGB摄像头和3D结构光摄像头组 合或双目摄 像头； 所述投影单 元为投影仪 。 8.一种存储介质， 其特征在于， 所述存储介质包括存储的程序， 其中， 在所述程序运行 时控制所述存 储介质所在设备 执行如权利要求1 ‑5任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115061577 B 3