(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210965409.1 (22)申请日 2022.08.12 (71)申请人 北京亮道智能汽车技 术有限公司 地址 100102 北京市朝阳区广顺北 大街33 号福码大厦A座18层 (72)发明人 罗川宇　李晗　冯冠植　马嗣昆　 李肖含　剧学铭　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孟维娜　马敬 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) (54)发明名称 模型训练、 点云数据处理方法、 装置、 设备及 存储介质 (57)摘要 本发明实施例提供了一种模 型训练、 点云数 据处理方法、 装置、 设备及存储介质， 涉及数据处 理技术领域， 上述方法包括： 获得样本点云数据 以及多种任务标注信息； 将样 本点云数据输入特 征提取层， 得到样本特征图； 将样本特征图分别 输入各个任务处理层， 得到各个任务处理层进行 任务处理的任务处理结果； 根据任务处理结果以 及任务标注信息， 计算任务处理层进行任务处理 的训练损失； 按照各个任务处理层对应的训练损 失， 调整待训练模型的模型参数， 实现对待训练 模型的训练， 得到点云数据处理模型。 应用根据 本发明实施例提供的模型训练方案训练得到的 模型， 能够实现对点云数据进行多 任务处理。 权利要求书3页 说明书20页 附图4页 CN 115512175 A 2022.12.23 CN 115512175 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获得样本点云数据以及所述样本点云数据的多种任务标注信息； 将所述样本点云数据输入待训练模型中的特征提取层， 得到所述样本点云数据的样本 特征图， 其中， 所述待训练模型还 包括： 多个任务处 理层； 将所述样本特征图分别输入各个任务处理层， 得到各个任务处理层基于所述样本特征 图进行任务处 理的任务处 理结果； 针对每一任务处理层， 根据 该任务处理层输出的任务处理结果以及该任务处理层所实 现任务对应的任务标注信息， 计算该任务处 理层进行任务处 理的训练损失； 按照各个任务处理层对应的训练损 失， 调整所述待训练模型的模型参数， 实现对所述 待训练模型的训练， 得到点云数据处 理模型。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述样本点云数据输入待训练模型 中的特征提取层， 得到所述样本点云数据的样本特 征图， 包括： 将所述样本点云数据输入待训练模型中的特征提取层， 得到所述特征提取层对所述样 本点云数据进行以下处 理后输出的样本特 征图： 沿两个预设划分方向， 对所述样本点云数据进行区域划分， 得到所述样本点云数据中 包括的多个点柱 区域， 其中， 所述预设划分方向根据采集所述样本点云数据的激光雷达的 参数确定； 在所得到的多个点柱区域中查找区域内数据点数量大于预设数量的有效点柱区域； 对各个有 效点柱区域的点云数据进行特征提取， 得到各个有 效点柱区域对应的点云特 征； 根据各个有 效点柱区域在所述样本点云数据中的位置以及所对应的点云特征， 得到伪 图像， 其中， 所述伪图像的宽度维度、 高度维度分别对应所述两个划分方向所在维度， 所述 伪图像的图像通道维度对应所述点云特征 的深度维度， 所述伪图像各像素点的像素值为： 所述点云特征中与像素点 位置对应的位置上的特 征值； 对所述伪图像进行特征提取， 得到伪图像的特征图， 作为所述样本点云数据的样本特 征图。 3.根据权利要求1或2所述的方法， 其特征在于， 所述待训练模型中包括以下任务处理 层中至少两种： 用于实现对象识别任务的任务处理层、 用于实现对象分类任务的任务处理层、 用于实 现对象速度预测任务的任务处理层、 用于实现语义分割任务的任务处理层、 用于实现车道 线检测的任务处 理层以及用于实现实例分割任务的任务处 理层。 4.根据权利要求1或2所述的方法， 其特征在于， 在所述待训练模型包括用于实现对象 识别任务的第一任务处理层的情况下， 所述将所述样本特征图分别输入各个任务处理层， 得到各个任务处 理层基于所述样本特 征图进行任务处 理的任务处 理结果， 包括： 将所述样本特征图输入所述第 一任务处理层， 得到所述第 一任务处理层对所述样本特 征图进行如下处 理后输出的任务处 理结果： 按照各种预设对象类型对应的预设的特征变换系数， 对所述样本特征图进行特征变 换， 得到变换后的各种预设对象类型对应的分类特 征图； 针对每一对象类型， 根据该对象类型对应的分类特征图中像素值大于预设阈值的像素权　利　要　求　书 1/3 页 2 CN 115512175 A 2点的位置， 确定该对象类型的对象在所述样本点云数据中的对象中心点。 5.根据权利要求4所述的方法， 其特征在于， 在所述待训练模型包括用于实现对象速度 预测任务的第二任务处 理层的情况 下， 所述方法还 包括： 将各个分类特征图输入所述第 二任务处理层， 得到所述第 二任务处理层基于各个分类 特征图预测的、 所述样 本点云数据对应的各个采集对象在所述样本点云数据采集时刻下的 运动速度。 6.根据权利要求1或2所述的方法， 其特征在于， 在所述待训练模型包括用于实现对象 分类任务的第三任务处理层的情况下， 所述将所述样本特征图分别输入各个任务处理层， 得到各个任务处 理层基于所述样本特 征图进行任务处 理的任务处 理结果， 包括： 将所述样本特征图输入所述第 三任务处理层， 得到所述第 三任务处理层对所述样本特 征图进行如下处 理后输出的任务处 理结果： 针对每一有 效点柱区域， 将该有 效点柱区域中每一数据点的信 息和所述样本特征图中 与该有效点柱区域对应的特 征进行叠加， 得到该有效点柱区域中各 数据点的叠加信息； 针对每一数据点， 对该数据点的叠加信息与预设转换矩阵进行矩阵点乘计算， 得到计 算结果， 根据所述计算结果， 在多个预设对象类型中确定该 数据点对应的对象类型。 7.根据权利要求1或2所述的方法， 其特征在于， 所述按照各个任务处理层对应的训练 损失， 调整所述待训练模型的模型参数， 包括： 针对每一任务处理层， 根据连续多个已完成的训练迭代过程中该任务处理层对应的训 练损失， 确定该任务处理层对应的训练损失的权重系 数， 并对计算得到的该任务处理层对 应的训练损失进行加权计算； 按照加权后的各个任务处 理层对应的训练损失， 调整所述待训练模型的模型参数。 8.一种点云数据处 理方法， 其特 征在于， 所述方法包括： 获得待处 理的目标点云数据； 将所述目标点云数据输入训练后的点云数据处理模型， 得到所述点云数据处理模型中 各任务处理层输出的任务处理结果， 其中， 所述点云数据处理模型为根据所述权利要求 1‑7 中任一项 所述的训练方法训练得到的， 所述点云数据处理模型包括特征提取层和多个任务 处理层， 一个任务处理层用于基于所述特征提取层提取的特征实现对点云数据进 行一种处 理任务。 9.一种模型训练装置， 其特 征在于， 所述装置包括： 样本获得模块， 用于获得样本点云数据以及所述样本点云数据的多种任务标注信息； 特征提取模块， 用于将所述样本点云数据输入待训练模型中的特征提取层， 得到所述 样本点云数据的样本特 征图， 其中， 所述待训练模型还 包括： 多个任务处 理层； 任务处理模块， 用于将所述样本特征图分别输入各个任务处理层， 得到各个任务处理 层基于所述样本特 征图进行任务处 理的任务处 理结果； 损失计算模块， 用于针对每一任务处理层， 根据该任务处理层输出的任务处理结果以 及该任务处理层所实现任务对应的任务标注信息， 计算该任务处理层进 行任务处理的训练 损失； 参数调整模块， 用于按照各个任务处理层对应的训练损 失， 调整所述待训练模型的模 型参数， 实现对所述待训练模型的训练， 得到点云数据处 理模型。权　利　要　求　书 2/3 页 3 CN 115512175 A 3