(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210461761.1 (22)申请日 2022.04.28 (71)申请人 北京地平线信息技 术有限公司 地址 100094 北京市海淀区丰豪东路9号院 2号楼3层1单 元301 (72)发明人 高欢　王国利　张骞　黄畅　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 专利代理师 郑晓斐 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 用于处理语义分割模型的方法、 装置、 介质 和设备 (57)摘要 公开了一种用于处理语义分割模型的方法、 装置、 存储介质和电子设备， 其中， 其中， 方法包 括： 获取第一语义分割模型的中间层输出的两种 亮图像各自的中间层特征和第二语义分割模型 的中间层输出的两种暗图像各自的中间层特征； 确定两个场景中每个场景对应的亮图像和暗图 像之间的风格相似度和内容相似度， 得到第一风 格相似度、 第二风格相似度和第一内容相似度、 第二内容相似度； 基于第一风格相似度与第二风 格相似度， 确定风格损失函数； 基于第一内容相 似度与第二内容相似度， 确定内容损失函数； 基 于风格损失函数和内容损失函数， 确定蒸馏损失 函数； 将蒸馏损失函数作为监督， 通过蒸馏训练 更新第二语义分割模型的参数， 得到处理后的第 二语义分割模型。 权利要求书3页 说明书16页 附图9页 CN 114972749 A 2022.08.30 CN 114972749 A 1.一种用于处 理语义分割模型的方法， 包括： 利用第一语义分割模型对两种 亮图像进行处理， 并获取所述第 一语义分割模型的中间 层输出的所述两种亮图像各自的中间层特征， 所述两种亮图像为在两个场景中采集得到的 图像； 利用第二语义分割模型对两种暗图像进行处理， 并获取所述第 二语义分割模型的中间 层输出的所述两种暗图像各自的中间层特征， 所述第二语义分割模型与所述第一语义分割 模型具有相同结构， 所述两种暗图像为在所述两个场景中采集得到的图像； 基于所述两种亮图像各自的中间层特征与 所述两种暗图像各自的中间层特征， 分别确 定出所述两个场景中每个场景对应的亮图像和暗图像之 间的内容相似度， 得到第一内容相 似度和第二内容相似度， 以及， 分别确定出所述两个场景中每个场景对应的亮图像和暗图 像之间的风格相似度， 得到第一 风格相似度和第二 风格相似度； 基于所述第一 风格相似度与所述第二 风格相似度， 确定风格损失函数； 基于所述第一内容相似度与所述第二内容相似度， 确定内容损失函数； 基于所述 风格损失函数和所述内容损失函数， 确定蒸馏损失函数； 将所述蒸馏损 失函数作为监督， 通过蒸馏训练更新所述第二语义分割模型的参数， 得 到处理后的第二语义分割模型。 2.根据权利要求1所述的方法， 其中， 所述方法还 包括： 获取第一图像集、 第二图像集、 第三图像集和第四图像集， 其中， 所述第一图像集中的 第一图像为在第一场景采集的、 已标记的亮图像， 所述第二图像集中的第二图像为在所述 第一场景采集的、 已标记的暗图像， 所述第三图像集中的第三图像为在第二场景采集的、 未 标记的亮图像， 所述第四图像集中的第四图像为在所述第二场景采集的、 未 标记的暗图像； 将所述第一图像集中的第一图像和所述第三图像集中的第三图像确定为所述两种亮 图像， 将所述第二图像集中的第二图像和所述第四图像集中的第四图像确定为所述两种暗 图像。 3.根据权利要求2所述的方法， 其中所述第一风格相似度和所述第二风格相似度通过 如下方式确定： 利用所述第一语义分割模型分别对所述第一图像集中的第一图像和所述第三图像集 中的第三图像进 行处理， 并获取所述第一语义分割模型的中间层输出的所述第一图像的第 一中间层特 征和所述第三图像的第三中间层特 征； 利用所述第二语义分割模型分别对第二图像集中的第二图像和第四图像集中的第四 图像进行 处理， 并获取所述第二语义分割模型的中间层输出的第二图像的第二中间层特征 和所述第四图像的第四中间层特 征； 分别确定所述第一中间层特征对应的第 一风格嵌入、 所述第 二中间层特征对应的第 二 风格嵌入、 所述第三中间层特征对应的第三风格嵌入以及所述第四中间层特征对应的第四 风格嵌入； 基于所述第一 风格嵌入和所述第二 风格嵌入的相似程度， 确定所述第一 风格相似度； 基于所述第三 风格嵌入和所述第四风格嵌入的相似程度， 确定所述第二 风格相似度。 4.根据权利要求3所述的方法， 其中， 所述第 一内容相似度和所述第 二内容相似度通过 如下方式确定：权　利　要　求　书 1/3 页 2 CN 114972749 A 2分别确定出所述第 一中间层特征对应的第 一内容嵌入、 所述第 二中间层特征对应的第 二内容嵌入、 所述第三中间层特征对应的第三内容嵌入以及所述第四中间层特征对应的第 四内容嵌入； 基于所述第一内容嵌入和所述第二内容嵌入的相似程度， 确定所述第一内容相似度； 基于所述第三内容嵌入和所述第四内容嵌入的相似程度， 确定所述第二内容相似度。 5.根据权利要求4所述的方法， 其中， 所述第一内容嵌入、 所述第二内容嵌入、 所述第三 内容嵌入和所述第一内容嵌入通过如下 方式确定： 利用预设的映射模块， 分别将所述第 一中间层特征、 所述第 二中间层特征、 所述第三中 间层特征和所述第四中间层特征分别映射至语义特征空间， 得到所述第一内容嵌入、 所述 第二内容嵌入、 所述第三内容嵌入和所述第四内容嵌入； 其中， 所述映射模块采用映射损 失函数对 映射过程进行约束， 所述映射损 失函数表征 预设乘积与第三预设散度、 第四预设散度的差值， 其中， 预设乘积为第一预设散度与第二预 设散度的和与预设权重系数的乘积， 所述第一预设散度为所述第一内容嵌入与所述第二内 容嵌入之 间的预设散度， 所述第二预设散度为所述第三内容嵌入与所述第四内容嵌入 之间 的预设散度， 所述第三预设散度为所述第一内容嵌入与所述第三内容嵌入之间的预设散 度， 所述第四预设散度为所述第二内容嵌入与所述第四内容嵌入之间的预设散度。 6.根据权利要求2至 5之一所述的方法， 其中， 所述第二图像通过如下 方式得到： 将所述第一图像和所述第四图像分别映射至第 一预设色彩空间， 得到变换后的第 一图 像和变换后的第四图像； 确定所述变换的第一图像的第一均值和第一方差， 以及， 所述变换后的第 四图像的第 四均值和第四方差； 调整所述变换后的第 一图像， 使得所述第 一均值和所述第 一方差分别与所述第四均值 和所述第四方差对齐， 得到调整后的第一图像； 将所述调整后的第一图像映射至第二预设 色彩空间， 得到所述第二图像。 7.根据权利要求6所述的方法， 其中， 所述方法还 包括： 获取所述第一语义分割模型输出的所述第一图像对应的第一预测结果和所述第三图 像对应的第三预测结果； 获取所述第二语义分割模型输出的所述第二图像对应的第二预测结果和所述第四图 像对应的第四预测结果； 分别确定所述第一预测结果和所述第二预测结果各自的交叉熵； 将所述第三预测结果作为所述第四图像的标签， 确定所述第四预测结果的交叉熵； 基于所述第一预测结果、 所述第二预测结果和所述第 四预测结果各自对应的交叉熵， 确定交叉熵损失函数； 以及， 所述将所述蒸馏损失函数作为 监督之前， 所述方法还 包括： 基于所述交叉熵损失函数， 对所述蒸馏损失函数进行修 正。 8.一种用于处 理语义分割模型的装置， 包括： 第一处理单元， 被配置成利用第一语义分割模型对两种亮图像进行处理， 并获取所述 第一语义分割模型的中间层输出的所述两种亮图像各自的中间层特征， 所述两种亮图像为 在两个场景中采集得到的图像；权　利　要　求　书 2/3 页 3 CN 114972749 A 3