(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476359.0 (22)申请日 2022.04.29 (71)申请人 海信视像科技股份有限公司 地址 266555 山东省青岛市经济技 术开发 区前湾港路218号 (72)发明人 张子浩　鲁翔　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 郭润湘 (51)Int.Cl. G06T 17/05(2011.01) G06T 5/50(2006.01) G06V 10/74(2022.01) G06K 9/62(2022.01) (54)发明名称 基于多帧图像的地图融合方法及设备 (57)摘要 本申请涉及VR技术领域， 提供一种基于多帧 图像的地图融合方法及设备， 当第一初始地图和 第二初始地图中的两关键帧的相似度大于相似 度阈值时， 分别在第一初始地图和第二初始地图 中标记关键帧的位置， 并按照预设的关键帧间 隔， 从两个初始地图中再次获取关键帧， 并当再 次获取的两关键帧之间的相似度大于相似度阈 值时， 也在第一初始地图和第二初始地图中标记 位置， 这样， 两个初始地图各得到一个位置向量， 当两个位置向量一致时， 确定检测到共视区域， 可以进行地图融合。 通过两个位置向量进行回环 检测， 相对于基于单帧关键帧， 可 以减小由于不 同场景包含局部相似区域的错误匹配， 提高回环 检测的准确性和鲁棒性， 进而提高地图融合的准 确性。 权利要求书3页 说明书9页 附图9页 CN 114764847 A 2022.07.19 CN 114764847 A 1.一种基于多帧图像的地图融合方法， 其特 征在于， 包括： 获取第一终端构建的第一初始地图和第二终端构建的第二初始地图； 从所述第一初始地图和所述第 二初始地图中， 确定相似度 大于相似度阈值的多个关键 帧对， 每个关键帧对包含一张所述第一初始 地图中的关键帧和一张所述第二初始地图中的 关键帧； 分别标记所述多个关键帧对中的关键帧， 在所述第 一初始地图和所述第 二初始地图中 位置， 其中， 相邻的两个关键帧对中属于同一初始地图的两个关键帧间隔K帧， K＞5； 若所述多个关键帧对中相邻的两个关键帧对， 在所述第 一初始地图和所述第 二初始地 图的位置向量 一致， 则确定所述第一初始地图和所述第二初始地图存在共视区域； 根据所述共视区域， 对所述第一初始地图和所述第二初始地图进行地图融合， 得到一 张目标地图。 2.如权利要求1所述的方法， 其特征在于， 所述从所述第 一初始地图和所述第 二初始地 图中， 确定相似度大于相似度阈值的多个关键帧对， 包括： 从所述第一初始地图中获取第 一关键帧， 并确定所述第 一关键帧与 所述第二初始地图 中每一第二关键帧之间的相似度； 将最高相似度与所述相似度阈值进行比较， 当所述最高相似度大于所述相似度阈值 时， 将所述最高相似度对应的第一关键帧和第二关键帧作为一个关键 帧对， 并按照预设的 关键帧间隔K， 遍历所述第一初始 地图中的其余第一关键帧， 重复其余第一关键帧和每一第 二关键帧之间的相似度判定操作， 生成多个关键帧对。 3.如权利要求2所述的方法， 其特征在于， 所述确定所述第 一关键帧与 所述第二初始地 图中每一第二关键帧之间的相似度， 包括： 针对每一第 二关键帧， 提取所述第 一关键帧中的第 一词汇和所述第 二关键帧中的第 二 词汇； 根据所述第 一词汇的词向量和所述第 二词汇的词向量， 确定所述第 一关键帧和所述第 二关键帧之间的余弦相似度。 4.如权利要求1所述的方法， 其特征在于， 所述若所述多个关键帧对中相邻的两个关键 帧对， 在所述第一初始地图和所述第二初始地图的位置 向量一致， 则确定所述第一初始地 图和所述第二初始地图存在共视区域， 包括： 获取第一关键帧对中第 一关键帧在所述第 一初始地图中的第 一位置， 以及第 二关键帧 对中第一关键帧在所述第一初始地图中的第一 位置； 根据两个第一 位置， 确定第一 位置向量； 获取第一关键帧对中第 二关键帧在所述第 二初始地图中的第 二位置， 以及第 二关键帧 对中第二关键帧在所述第二初始地图中的第二 位置； 根据两个第二 位置， 确定第二 位置向量； 若所述第一位置向量和所述第 二位置向量一致， 则确定所述第 一初始地图和所述第 二 初始地图存在共视区域。 5.如权利要求 4所述的方法， 其特 征在于， 位置向量 一致的判定公式为： 权　利　要　求　书 1/3 页 2 CN 114764847 A 2其中， a表示第一 位置向量， b表示第二 位置向量。 6.一种服务器， 其特征在于， 包括处理器、 存储器和通信 接口， 所述通信接口、 所述存储 器和所述处 理器通过总线连接： 所述存储器存储有计算机程序， 所述处 理器根据所述计算机程序执 行以下操作： 通过所述通信 接口， 获取第 一终端构建的第 一初始地图和第 二终端构建的第 二初始地 图； 从所述第一初始地图和所述第 二初始地图中， 确定相似度 大于相似度阈值的多个关键 帧对， 每个关键帧对包含一张所述第一初始 地图中的关键帧和一张所述第二初始地图中的 关键帧； 分别标记所述多个关键帧对中的关键帧， 在所述第 一初始地图和所述第 二初始地图中 位置， 其中， 相邻的两个关键帧对中属于同一初始地图的两个关键帧间隔K帧， K＞5； 若所述多个关键帧对中相邻的两个关键帧对， 在所述第 一初始地图和所述第 二初始地 图的位置向量 一致， 则确定所述第一初始地图和所述第二初始地图存在共视区域； 根据所述共视区域， 对所述第一初始地图和所述第二初始地图进行地图融合， 得到一 张目标地图， 并通过所述通信接口， 将所述 目标地图分别发送给所述第一终端和所述第二 终端。 7.如权利要求6所述的服务器， 其特征在于， 所述处理器从所述第 一初始地图和所述第 二初始地图中， 确定相似度大于相似度阈值的多个关键帧对， 具体操作为： 从所述第一初始地图中获取第 一关键帧， 并确定所述第 一关键帧与 所述第二初始地图 中每一第二关键帧之间的相似度； 将最高相似度与所述相似度阈值进行比较， 当所述最高相似度大于所述相似度阈值 时， 将所述最高相似度对应的第一关键帧和第二关键帧作为一个关键 帧对， 并按照预设的 关键帧间隔K， 遍历所述第一初始 地图中的其余第一关键帧， 重复其余第一关键帧和每一第 二关键帧之间的相似度判定操作， 生成多个关键帧对。 8.如权利要求7所述的服务器， 其特征在于， 所述处理器确定所述第 一关键帧与所述第 二初始地图中每一第二关键帧之间的相似度， 具体操作为： 针对每一第 二关键帧， 提取所述第 一关键帧中的第 一词汇和所述第 二关键帧中的第 二 词汇； 根据所述第 一词汇的词向量和所述第 二词汇的词向量， 确定所述第 一关键帧和所述第 二关键帧之间的余弦相似度。 9.如权利要求6所述的服务器， 其特征在于， 所述若所述多个关键帧对中相邻的两个关 键帧对， 在所述第一初始地图和所述第二初始地图的位置 向量一致， 则所述处理器确定所 述第一初始地图和所述第二初始地图存在共视区域， 具体操作为： 获取第一关键帧对中第 一关键帧在所述第 一初始地图中的第 一位置， 以及第 二关键帧 对中第一关键帧在所述第一初始地图中的第一 位置； 根据两个第一 位置， 确定第一 位置向量； 获取第一关键帧对中第 二关键帧在所述第 二初始地图中的第 二位置， 以及第 二关键帧 对中第二关键帧在所述第二初始地图中的第二 位置； 根据两个第二 位置， 确定第二 位置向量；权　利　要　求　书 2/3 页 3 CN 114764847 A 3