(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210461334.3 (22)申请日 2022.04.28 (71)申请人 北京大学深圳研究生院 地址 518000 广东省深圳市南 山区西丽深 圳大学城北大园区H栋208室 (72)发明人 李革　李庄子　高伟　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 于彬 (51)Int.Cl. G06V 10/778(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/42(2022.01) G06V 10/776(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种点云上采样网络的确定方法及确定装 置 (57)摘要 本申请提供了一种点云上采样网络的确定 方法及确定装置， 包括： 获取目标物体的初始点 云数据和真实稠密点云数据； 将初始点云数据输 入特征提取模块以提取点云特征； 将初始点云数 据和点云特征输入点云上采样模块 以获取上采 样后得到的目标稠密点云数据； 将真实稠 密点云 数据和目标点云数据分别输入点 云分类网络， 以 获取点云分类网络输出的真实稠密点云数据对 应的真实输出值和目标稠密点云数据对应的目 标输出值； 基于目标数值优化初始点云上采样网 络， 得到点 云上采样网络。 这样， 能够提高点 云上 采样网络的性能， 使 得上采样后得到的稠 密点云 数据更适用于点云分类任务， 点 云分类结果更加 准确， 更精准 地识别出目标物体的种类 。 权利要求书3页 说明书16页 附图5页 CN 114821251 A 2022.07.29 CN 114821251 A 1.一种点云上采样网络的确定方法， 其特征在于， 所述点云上采样网络包括特征提取 模块和点云上采样模块； 所述确定方法包括： 获取目标物体的初始点云数据和真实稠密点云数据； 将所述初始点云数据输入初始点云上采样网络 中的特征提取模块， 提取所述初始点云 数据的点云特 征； 将所述初始点云数据和所述点云特征输入所述初始点云上采样网络中的点云上采样 模块， 获取 经所述点云上采样模块上采样后得到的目标稠密点云数据； 将所述真实稠密点云数据输入预先构建的点云分类网络， 获取所述点云分类网络输出 的所述真实稠密点云数据对应的真实输出值； 以及将所述目标点云数据输入所述点云分类 网络， 获取 所述点云分类网络 输出的所述目标稠密点云数据对应的目标输出值； 基于目标数值优化所述初始点云上采样网络， 得到所述点云上采样网络； 其中， 所述目 标数值包括以下各项中的至少一项或多项： 所述真实稠密点云数据、 所述 目标稠密点云数 据、 所述真实输出值和所述目标输出值。 2.根据权利要求1所述的确定方法， 其特征在于， 所述特征提取模块包括初始卷积模块 和多个稠密卷积模块； 所述初始卷积模块和所述多个稠密卷积模块依 次稠密连接； 所述将 所述初始点云数据输入初始 点云上采样网络中的特征提取模块， 提取所述初始 点云数据的 点云特征， 包括： 将所述初始点云数据输入所述初始卷积模块， 得到维度扩增后的第一 点云特征； 针对所述多个稠密卷积模块中的任意一个稠密卷积模块， 将所述第 一点云特征和该稠 密卷积模块之前的每个稠密卷积模块输出的第二点云特征作为输入特征输入该稠密卷积 模块， 以获取 该稠密卷积模块输出的第二 点云特征； 基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第二点 云特征， 确定所述初始点云数据的点云特 征。 3.根据权利要求2所述的方法， 其特征在于， 针对任意一个稠密卷积模块， 该稠密卷积 模块包括动态图卷积单元、 图聚合单元和池化单元； 所述动态图卷积单元包括边提取子单 元和多个边卷积子单元； 所述边提取子单元和所述多个边卷积子单元依次稠密连接以构成 所述动态图卷积单 元； 该稠密卷积模块 通过以下 方式确定第二 点云特征： 将所述输入特征输入所述动态图卷积单元， 以获取所述动态图卷积单元根据K近邻算 法得到的来自多个特 征层级的多个图特 征； 将所述多个图特 征按照各自的特 征层级的顺序进行排列， 得到高维图特 征； 对该高维图特征进行维度变换， 以将该高维图特征按照维度排列的顺序划分为多组低 维图特征； 其中， 所述多组低 维图特征的组数等于所述边提取子单元和所述多个边卷积子 单元稠密连接的增长率； 将所述多组低维图特征输入所述图聚合单元， 所述图聚合单元按照每组低维图特征的 权重将所述多组低维图特征进 行加权求和， 以将所述多组低维图特征重新聚合为新的多组 低维图特 征； 将新的多组低维图特 征进行维度变换的逆变换， 以得到新的高维图特 征； 将新的高维图特征输入所述池化单元， 通过对新的高维图特征进行最大池化以得到所 述第二点云特征。权　利　要　求　书 1/3 页 2 CN 114821251 A 24.根据权利要求2所述的方法， 其特征在于， 所述特征提取模块还包括关键点注意力模 块； 在所述基于所述第一点云特征和所述多个稠密卷积模块中每个稠密卷积模块输出的第 二点云特征， 确定所述初始点云数据的点云特征之后， 所述将所述初始点云数据输入初始 点云上采样网络中的特 征提取模块， 提取 所述初始点云数据的点云特 征， 还包括： 将所述初始点云数据的点云特征和所述初始点云数据中每个点的注意力数据输入所 述关键点注意力模块； 其中， 通过将所述初始 点云数据输入所述点云分类网络， 以根据所述 点云分类网络的雅各比矩阵确定所述每 个点的注意力数据； 将所述关键点注意力模块输出的第 三点云特征确定为所述初始点云数据的点云特征； 其中， 所述关键点注 意力模块基于所述初始 点云数据的点云特征和所述初始 点云数据中每 个点的注意力数据， 以输出 经过注意力机制的所述第三 点云特征。 5.根据权利要求1所述的方法， 其特征在于， 所述点云上采样模块包括点洗牌模块和近 邻预插值模块； 将所述初始 点云数据和所述点云特征输入所述初始 点云上采样网络中的点 云上采样模块， 获取 经所述点云上采样模块上采样后得到的目标稠密点云数据， 包括： 将所述点云特征输入所述点洗牌模块， 通过所述点洗牌模块对所述初始点云数据进行 点洗牌以获取第一上采样后的第一稠密点云数据； 将所述初始点云数据输入所述近邻预插值模块， 通过所述近邻预插值模块对所述初始 点云数据进行近邻预插值以获取第二上采样后的第二稠密点云数据； 基于所述第一稠密点云数据和第二稠密点云数据， 确定所述目标稠密点云数据。 6.根据权利要求1所述的确定方法， 其特征在于， 所述将所述真实稠密点云数据输入预 先构建的点云分类网络， 获取所述点云分类网络输出的所述真实稠密点云数据对应的真实 输出值； 以及将所述 目标点云数据输入所述点云分类网络， 获取所述点云分类网络输出 的 所述目标稠密点云数据对应的目标输出值， 包括： 将所述真实稠密点云数据输入所述点云分类网络， 获取所述点云分类网络的全局池化 层所输出的所述真实稠密点云数据的全局特 征； 将所述目标稠密点云数据输入所述点云分类网络， 获取所述点云分类网络的全局池化 层所输出的所述目标稠密点云数据的全局特征； 以及获取所述点云分类网络的输出层所输 出的所述目标稠密点云数据属于每 个类别标签的概 率。 7.根据权利要求6所述的确定方法， 其特征在于， 所述基于目标数值优化所述初始点云 上采样网络， 得到所述 点云上采样网络， 包括： 基于所述真实稠密点云数据的全局特征和所述目标稠密点云数据的全局特征， 计算所 述点云分类网络的第一损失函数； 基于所述目标稠密点云数据的每个类别标签和所述目标稠密点云数据属于每个类别 标签的概 率， 计算所点云 分类网络的第二损失函数； 基于所述真实稠密点云数据和所述目标稠密点云数据， 计算所述初始点云上采样网络 的第三损失函数； 基于目标损 失函数对所述初始点云上采样网络进行优化， 得到所述点云上采样网络； 其中， 所述目标损失函数包括以下各项中的至少一项或多项： 所述第一损失函数、 所述第二 损失函数和所述第三损失函数。 8.一种点云上采样网络的确定装置， 其特征在于， 所述点云上采样网络包括特征提取权　利　要　求　书 2/3 页 3 CN 114821251 A 3