(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210977934.5 (22)申请日 2022.08.16 (71)申请人 北京地平线信息技 术有限公司 地址 100094 北京市海淀区丰豪东路9号院 2号楼3层1单 元301 (72)发明人 廖本成　陈少宇　程天恒　张骞　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 专利代理师 李洪娟 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 目标检测模型的训练方法、 地图的生成方 法、 装置和设备 (57)摘要 本公开实施例公开了一种目标检测模型的 训练方法、 地图的生成方法、 装置和设备， 其中， 方法包括： 获取训练输入数据及对应的第一标签 数据， 训练输入数据包括训练图像数据和/或训 练点云数据， 第一标签数据包括训练输入数据中 第一数量的实例分别对应的有序点集， 有序点集 包括目标数量的第一坐标系下的坐标点； 基于训 练输入数据、 第一标签数据、 点对点损失函数及 方向损失函数， 对预先建立的目标检测网络进行 训练， 获得目标检测模型。 本公开实施例获得的 目标检测模型可以准确有效地预测出各实例分 别对应的有序点集， 实现了实例的坐标点级别的 预测， 相对于现有的实例框级别的预测， 大大提 高了预测结果的精度。 权利要求书3页 说明书16页 附图12页 CN 115331188 A 2022.11.11 CN 115331188 A 1.一种目标检测模型的训练方法， 包括： 获取训练输入数据及对应的第一标签数据， 所述训练输入数据包括训练图像数据和/ 或训练点云数据， 所述第一标签数据包括所述训练输入数据中第一数量的实例分别对应的 有序点集， 所述有序点 集包括目标 数量的第一 坐标系下的坐标点； 基于所述训练输入数据、 所述第 一标签数据、 点对点损失函数及方向损失函数， 对预先 建立的目标检测网络进行训练， 获得目标检测模型， 所述点对点损失函数用于确定所述 目 标检测网络输出的训练实例点集相对于所述第一标签数据中实例的有序点集的点对点损 失， 所述方向损失函数用于确定所述训练实例点集中点与点之 间的方向相对于所述第一标 签数据中实例的有序点 集的点与点之间的方向的损失。 2.根据权利要求1所述的方法， 其中， 所述基于所述训练输入数据、 所述第 一标签数据、 点对点损失函数及方向损失函数， 对预先建立的目标检测网络进行训练， 获得目标检测模 型， 包括： 基于所述训练输入数据及所述目标检测网络， 获得 所述训练实例点 集； 基于所述训练实例点 集、 所述第一标签数据及所述 点对点损失函数， 确定第一损失； 基于所述训练实例点 集、 所述第一标签数据及所述方向损失函数， 确定第二损失； 基于所述第一损 失和所述第二损 失， 对所述目标检测网络的网络参数进行调整， 直至 所述第一损失和所述第二损失满足预设条件， 获得 所述目标检测模型。 3.根据权利要求2所述的方法， 其中， 所述基于所述训练实例点集、 所述第一标签数据 及所述点对点损失函数， 确定第一损失， 包括： 对于每个所述实例， 基于所述第一标签数据中该实例对应的有序点集， 分别以该有序 点集的不同顺序， 确定该有序点集中各点与所述训练实例点集中该实例的点的对应关系， 获得各顺序分别对应的点对点关系； 基于各顺序分别对应的所述 点对点关系， 确定各顺序分别对应的点对点损失； 将点对点损失最小的顺序作为该实例的目标顺序； 将所述目标顺序对应的点对点损失作为该实例的目标点对点损失； 基于各所述实例的所述目标点对点损失， 确定所述第一损失。 4.根据权利要求3所述的方法， 其中， 所述基于所述训练实例点集、 所述第一标签数据 及所述方向损失函数， 确定第二损失， 包括： 基于所述训练实例点集、 所述第一标签数据、 各实例分别对应的目标顺序及所述方向 损失函数， 确定所述第二损失。 5.根据权利要求2所述的方法， 其中， 所述训练输入数据还包括初始查询特征及初始参 考点， 所述初始查询特征包括所述第一数量的实例分别对应的目标数量的初始特征， 所述 初始参考点包括各所述初始特征分别对应的参考坐标点； 所述目标检测网络为基于可变形 检测变换器的检测网络； 所述基于所述训练输入数据及所述目标检测网络， 获得 所述训练实例点 集， 包括： 基于所述目标检测网络 中的第一特征提取网络对所述训练图像数据进行特征提取， 获 得第一训练图像特 征； 基于所述目标检测网络 中的第二特征提取网络对所述训练点云数据进行特征提取， 获 得第一训练点云特 征；权　利　要　求　书 1/3 页 2 CN 115331188 A 2基于所述目标检测网络 中的编码器网络对所述第 一训练图像特征和/或所述第 一训练 点云特征进行编码， 获得第一 坐标系下的目标训练特 征图； 基于所述目标训练特征图、 所述初始查询特征、 所述初始参考点、 及所述目标检测网络 中的解码器网络， 获得训练解码结果， 所述 解码器网络包括至少一个解码器； 基于所述训练解码结果， 确定所述训练实例点 集。 6.根据权利要求5所述的方法， 其中， 所述基于所述目标训练特征图、 所述初始查询特 征、 所述初始参 考点、 及所述目标检测网络中的解码器网络， 获得训练解码结果， 包括： 对于所述解码器网络中的每个所述解码器， 基于所述目标训练特征图及该解码器对应 的输入查询特征和输入参考点， 获得该解码 器的解码结果， 其中， 第一个解码 器对应的输入 查询特征和输入参考点分别为所述初始 查询特征和所述初始 参考点， 除所述第一个解码 器 之外的任一其他解码 器对应的输入查询特征为该其他解码器的前一解码 器的解码结果， 该 其他解码器的输入参 考点为基于前一 解码器的解码结果确定的输出参 考点； 将最后一个所述 解码器的解码结果作为所述训练解码结果。 7.根据权利要求6所述的方法， 其中， 在所述对于所述解码器网络中的每个所述解码 器， 基于所述 目标训练特征图及该解码器对应的输入查询特征和输入参考点， 获得该解码 器的解码结果之后， 还 包括： 基于该解码器的解码结果、 及该解码器对应的偏移量预测网络， 确定该解码器对应的 第一偏移量； 基于所述第 一偏移量及该解码器对应的所述输入参考点， 确定该解码器对应的输出参 考点； 所述基于所述训练解码结果， 确定所述训练实例点 集， 包括： 将基于所述训练解码结果确定的所述最后一个解码器对应的输出参考点作为所述训 练实例点 集。 8.根据权利要求5所述的方法， 其中， 所述第 一标签数据还包括所述训练输入数据中各 所述实例分别对应的类型 标签； 在所述基于所述目标训练特征图、 所述初始查询特征、 所述初始参考点、 及所述目标检 测网络中的解码器网络， 获得训练解码结果之后， 还 包括： 基于所述训练解码结果， 确定训练类型结果， 所述训练类型结果包括各所述实例分别 对应的预测类型； 基于所述训练类型 结果及所述第一标签数据中的类型 标签， 确定类型损失； 所述基于所述第一损 失和所述第二损 失， 对所述目标检测网络的网络参数进行调整， 直至所述第一损失和所述第二损失满足预设条件， 获得 所述目标检测模型， 包括： 基于所述第一损失、 所述第二损失、 所述类型损失及预设权 重， 确定综合损失； 基于所述综合损 失， 对所述目标检测网络的网络参数进行调整， 直至所述综合损 失满 足所述预设条件， 获得 所述目标检测模型。 9.根据权利要求2所述的方法， 其中， 所述基于所述第一损 失和所述第二损 失， 对所述 目标检测网络的网络参数进行调整， 直至所述第一损失和所述第二损失满足预设条件， 获 得所述目标检测模型， 包括： 基于所述第一损失和所述第二损失， 确定综合损失；权　利　要　求　书 2/3 页 3 CN 115331188 A 3