(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211077934.6 (22)申请日 2022.09.05 (71)申请人 徐工消防安全 装备有限公司 地址 221100 江苏省徐州市高新 技术产业 开发区珠 江东路17号 申请人 国网安徽省电力有限公司电力科 学 研究院 (72)发明人 张勇　张佳庆　徐小东　王磊　 李忠涵　高志刚　刘睿　叶家良　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 王莉莉 (51)Int.Cl. G06V 10/56(2022.01) G06V 10/44(2022.01)G06V 10/26(2022.01) G06V 10/774(2022.01) (54)发明名称 火焰检测模型训练、 火焰检测方法和装置 (57)摘要 本公开提出了一种火焰检测模 型训练、 火焰 检测方法和装置， 涉及人工智能技术领域。 其中， 火焰检测模 型训练方法包括： 获取第一样本图像 集， 所述第一样本图像集包括火焰样本图像和非 火焰样本图像； 生成所述第一样 本图像集的温度 热力图； 根据第一样本图像集及其温度热力图， 构建训练样本集， 其中， 所述训练样本集包括多 个训练样 本， 每个训练样本包括样 本的图像特征 和温度热力图特征； 根据所述训练样本集， 训练 火焰检测模型。 通过以上火焰检测模型训练方 法， 能够提高训练得到的火焰检测模型的性能， 进而提高火焰检测结果的准确性。 权利要求书3页 说明书13页 附图8页 CN 115439662 A 2022.12.06 CN 115439662 A 1.一种火焰检测模型的训练方法， 包括： 获取第一样本图像集， 所述第一样本图像集包括火焰样本图像和非火焰样本图像； 生成所述第一样本图像集的温度热力图； 根据第一样本图像集及其温度 热力图， 构建训练样本集， 其中， 所述训练样本集包括多 个训练样本， 每 个训练样本包括样本的图像特 征和温度热力图特 征； 根据所述训练样本集， 训练火焰检测模型。 2.根据权利要求1所述的火焰检测模型训练方法， 其中， 所述根据第 一样本图像集及其 温度热力图， 构建训练样本集包括： 在目标火场环境下， 采集第二样本图像集及其温度热力图； 根据第一样本 图像集及其温度热力图、 第二样本 图像集及其温度热力图， 构建训练样 本集。 3.根据权利要求2所述的火焰检测模型训练方法， 其中， 所述根据第 一样本图像集及其 温度热力图、 第二样本图像及其温度热力图， 构建训练样本集包括： 将所述样本图像的温度 热力图作为第四个通道特征， 与 所述样本图像的三通道图像特 征进行堆叠， 以得到四通道特 征数据； 按照预设比例， 将所述四通道特 征数据中的一部分作为训练样本 。 4.根据权利要求3所述的火焰检测模型训练方法， 还包括： 在所述按照预设比例， 将所 述四通道特 征数据中的一部分作为训练样本之前， 执 行以下至少一项预处 理： 将第一样本图像集和第二图像集中的样本图像和其温度热力图设置为相同尺寸； 对第一样本图像集和第二图像集中的所有样本图像进行中值滤波； 利用多尺度视网膜增强算法， 对火焰样本图像进行增强处 理； 对所述温度热力图进行直方图均衡化处 理。 5.根据权利要求1所述的火焰检测模型训练方法， 其中， 所述火焰检测模型包括第 一特 征提取网络模块、 以及第二特征提取网络模块， 所述根据所述训练样 本集， 训练火焰检测模 型包括： 利用第一特征提取网络模块对训练样本的图像特征进行编码， 以得到编码后的图像特 征； 利用第二特征提取网络模块对训练样本的温度热力图特征进行编码， 以得到编码后的 温度特征； 对所述编码后的图像特征和所述编码后的温度特征进行拼接， 以得到所述训练样本的 拼接特征； 根据所述训练样本的拼接特 征， 确定所述训练样本的类别预测结果； 根据所述训练样本的类别预测结果与所述训练样本的真实类别标签， 确定损失函数 值； 根据所述损失函数值， 对所述火焰检测模型进行迭代更新。 6.根据权利要求1所述的火焰检测模型训练方法， 其中， 所述生成所述第 一样本图像集 的温度热力图包括： 在所述样本 图像为火焰样本 图像的情况下， 根据火焰颜色通道约束条件， 从所述火焰 样本图像中提取火焰颜色特 征区域；权　利　要　求　书 1/3 页 2 CN 115439662 A 2根据所述火焰颜色特 征区域， 确定火焰主体 轮廓； 确定以所述火焰主体 轮廓为中心的多个温度赋值区域； 根据火焰温度扩散模拟函数， 对所述多个温度赋值区域中的像素点进行温度赋值， 以 得到所述火焰样本图像的温度热力图。 7.根据权利要求6所述的火焰检测模型训练方法， 其中： 所述火焰颜色通道约束条件为RGB颜色空间或HSV颜色空间中的颜色通道约束条件； 和/或 所述根据所述火焰颜色特征区域， 确定火焰主体轮廓包括： 对所述火焰颜色特征区域 执行去除散点、 以及 对空心处进 行填补中的至少一项， 以得到火焰 主体区域， 利用多边形拟 合提取所述火焰主体区域的轮廓， 以得到火焰主体 轮廓。 8.根据权利要求1至7任一所述的火焰检测模型训练方法， 其中， 所述生成所述第一样 本图像集的温度热力图包括： 在所述样本图像为非火焰样本图像的情况下， 将非火焰样本图像的温度热力图设为 空、 或者将其设为预设像素值的灰度图。 9.根据权利要求2所述的火焰检测模型训练方法， 所述根据第一样本图像集及其温度 热力图， 构建训练样本集还 包括： 在构建训练样本集之前， 对采集的温度热力图进行插值、 以及灰度化处理中的至少一 项。 10.根据权利要求5所述的火焰检测模型训练方法， 其中： 所述第一特 征提取网络模块包括两层卷积层； 和/或 所述第二特 征提取网络模型包括两层卷积层。 11.一种火焰检测方法， 包括： 获取待检测环境的特征数据， 其中， 所述待检测环境的特征数据包括待检测环境的图 像特征数据和温度热力图特 征数据； 根据权利要求1 ‑10任一所述的火焰检测模型训练方法训练得到的火焰检测模型， 判断 所述待检测环境是否包 含火焰。 12.根据权利要求1 1所述的火焰检测方法， 还 包括： 在确定所述待检测环境包含火焰的情况下， 确定火焰到数据采集器的距离及火焰的实 际尺寸。 13.一种火焰检测模型训练装置， 包括： 获取模块， 被配置为获取第一样本 图像集， 所述第一样本 图像集包括火焰样本 图像和 非火焰样本图像； 生成模块， 被 配置为生成所述第一样本图像集的温度热力图； 构建模块， 被配置为根据第一样本图像集及其温度热力图， 构建训练样本集， 其中， 所 述训练样本集包括多个训练样本， 每 个训练样本包括样本的图像特 征和温度热力图特 征； 训练模块， 被 配置为根据所述训练样本集， 训练火焰检测模型。 14.一种火焰检测装置， 包括： 获取模块， 被配置为获取待检测环境的特征数据， 其中， 所述待检测环境的特征数据包 括待检测环境的图像特 征数据和温度热力图特 征数据；权　利　要　求　书 2/3 页 3 CN 115439662 A 3