(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933235.0 (22)申请日 2022.08.04 (71)申请人 青岛慧拓智能机 器有限公司 地址 266100 山东省青岛市高新 技术产业 开发区火炬路100号盘谷创客空间D座 206-1房间 (72)发明人 任凤至　杨雪　游昌斌　 (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 王欢 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 20/10(2022.01) G06V 10/82(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 矿区路面语义分割方法、 装置、 芯片、 终端和 计算机设备 (57)摘要 本申请提供了一种矿区路面语义分割方法、 装置、 芯片、 终端和计算机设备， 该方法包括： 采 集矿区路面的路面图像； 根据已构建的路面语义 分割模型， 分别提取路面图像中多个目标对象 的 浅层特征、 中层特征 以及深层特征； 对多个目标 对象的浅层特征、 中层特征以及深层特征进行特 征融合， 生成融合特征； 基于融合特征进行图像 分割， 得到矿区路面的路面 分割图像。 本申请， 能 够对不同尺寸的目标对象的不同特征信息进行 充分提取， 具有较好的适应目标对象的尺度变化 的能力， 提高了矿区路面的语义分割精度， 满足 实际应用需求， 进而保证矿车自动驾驶的决策规 划的准确性。 权利要求书2页 说明书13页 附图4页 CN 115376129 A 2022.11.22 CN 115376129 A 1.一种矿区路面语义分割方法， 其特 征在于， 包括： 采集矿区路面的路面图像； 根据已构建的路面语义分割 模型， 分别提取所述路面图像中不同尺寸的多个目标对象 的浅层特 征、 中层特 征以及深层特 征； 对多个所述目标对象的浅层特征、 中层特征以及深层特征进行特征融合， 生成融合特 征； 基于所述融合特 征进行图像分割， 得到所述矿区路面的路面分割图像。 2.根据权利要求1所述的方法， 其特征在于， 所述路面语义分割 模型包括用于提取所述 浅层特征的浅层特征提取网络， 所述浅层特征提取网络包括依次连接的第一浅层卷积层 组、 第二浅层卷积层组以及第三浅层卷积层组； 其中， 所述第 一浅层卷积层组对所述路面图像进行初步提取， 输出第 一浅层特征， 所述 第一浅层特 征的通道数为64； 所述第二浅层卷积层组对所述第一浅层特征进行深入提取， 输出第二浅层特征， 所述 第二浅层特 征的通道数为64； 所述第三浅层卷积层组对所述第二浅层特征进行深入提取， 输出第三浅层特征， 所述 第三浅层特 征的通道数为128， 所述第三浅层特 征为所述浅层特 征提取网络的最终输出。 3.根据权利要求1所述的方法， 其特征在于， 所述路面语义分割 模型包括用于提取所述 中层特征的中层特征提取网络， 所述中层特征提取网络包括依次连接的第一中层卷积层 组、 第二中层卷积层组、 第三中层卷积层组以及第四中层卷积层组； 其中， 所述第 一中层卷积层组对所述路面图像进行快速采样操作， 输出第 一中层特征， 所述第一中层特 征的通道数为16； 所述第二中层卷积层组对所述第一中层特征进行深入提取， 输出第二中层特征， 所述 第二中层特 征的通道数为64； 所述第三中层卷积层组对所述第二中层特征进行深入提取， 输出第三中层特征， 所述 第三中层特 征的通道数为128； 所述第四中层卷积层组获取所述第三中层特征的上下文语义信息， 输出第四中层特 征， 所述第四中层特征的通道数为 128， 所述第四中层特征为所述中层特征提取网络的最 终 输出。 4.根据权利要求1所述的方法， 其特征在于， 所述路面语义分割 模型包括用于提取所述 深层特征的深层特征提取网络， 所述深层特征提取网络包括依次连接的第一深层卷积层 组、 第二深层卷积层组、 第三深层卷积层组以及第四深层卷积层组； 其中， 所述第 一深层卷积层组对所述路面图像进行快速采样操作， 输出第 一深层特征， 所述第一深层特 征的通道数为16； 所述第二深层卷积层组对所述第一深层特征进行深入提取， 输出第二深层特征， 所述 第二深层特 征的通道数为32； 所述第三深层卷积层组对所述第二深层特征进行深入提取， 输出第三深层特征， 所述 第三深层特 征的通道数为64； 所述第四深层卷积层组对所述第 三深层特征进行深入提取并获取上下文语义信 息， 输 出所述第四深层特征， 所述第四深层特征的通道数为 128， 所述第四深层特征为所述深层特权　利　要　求　书 1/2 页 2 CN 115376129 A 2征提取网络的最终输出。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 在所述得到所述矿区路面的 路面分割图像之后或同时， 还 包括： 采集点云数据， 并将所述 点云数据投影到预设二维图像上， 生成点云投影图像； 根据所述路面分割图像的每个像素的语义类别标签， 标定所述点云投影图像对应像素 的语义类别标签； 将所述点云投影图像每个像素的语义类别标签映射到所述点云数据上， 得到具有语义 信息的所述 点云数据。 6.一种矿区路面语义分割装置， 其特 征在于， 包括： 图像采集模块， 用于采集矿区路面的路面图像； 特征提取模块， 用于根据已构建的路面语义分割模型， 分别提取所述路面图像中不同 尺寸的多个目标对象的浅层特 征、 中层特 征以及深层特 征； 特征融合模块， 用于对多个所述目标对象的浅层特征、 中层特征以及深层特征进行特 征融合， 生成融合特 征； 分割模块， 用于基于所述融合特 征进行图像分割， 得到所述矿区路面的路面分割图像。 7.一种芯片， 其特征在于， 所述芯片包括至少一个处理器和通信 接口， 所述通信 接口和 所述至少一个处理器耦合， 所述至少一个处理器用于运行程序或指 令， 以实现如权利要求 1 至5中任一项所述的矿区路面语义分割方法的步骤。 8.一种终端， 其特 征在于， 所述终端包括如权利要求6所述的矿区路面语义分割装置 。 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述计算机程序被处理器执行时实现权利要求1至5中任一项所述 的矿区路面语义分割方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至 5中任一项所述的矿区路面语义分割方法的步骤。权　利　要　求　书 2/2 页 3 CN 115376129 A 3