(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211047957.2 (22)申请日 2022.08.30 (71)申请人 中国电子科技 集团公司第三十八研 究所 地址 230088 安徽省合肥市高新 技术开发 区香樟大道19 9号 (72)发明人 窦浩　伍政华　代泽洋　高乾坤　 李静　王潇　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 朱文振 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于级联注意力机制和神经网络的图像融 合方法及系统 (57)摘要 本发明提供基于级联注意力机制和神经网 络的图像融合方法及系统， 方法包括： 将位于RGB 空间的彩色可见光图像转换为YCbCr空间； 分别 提取彩色图像和红外图像的特征并计算出其注 意力图； 通过融合模块构建彩色融合结果； 将 YCbCr空间转换为RGB空间， 使得融合后的 图像显 示在RGB空间中。 本发明解决了过分依赖人工设 计、 适用性差以及视 觉效果下降的技 术问题。 权利要求书3页 说明书8页 附图5页 CN 115331111 A 2022.11.11 CN 115331111 A 1.基于级联注意力机制和 神经网络的图像融合方法， 其特 征在于， 所述方法包括： S1、 将RGB空间中的彩色可见光图像传输至预置YCbCr空间， 据以提取所述彩色可见光 图像的彩色可 见光亮度， 获取并转换色度信息为Cb和Cr通道， 以完成图像空间的转换； S2、 采集获取红外图像， 以预置级联注意机制来计算所述红外图像的红外有效注意图， 所述步骤S2中的所述预置级联注意机制包括： S21、 利用通道注意力特征强制模型， 重新加权处理所述红外图像的特征， 并计算初始 注意力及初始注意力图， 以关注关键特征， 并滤除不相关特征， 获取隐藏神经元的激活值， 据以衡量神经 元重要性， 在所述Cb和Cr通道上进行最大值映射 运算， 以获取注意图； S22、 利用预置全局注意模块进行高斯核卷积运算， 以从所述注意图中捕获所述红外有 效注意图， 据以完 善所述初始 注意力图； S3、 对于彩色可见光图像， 利用预置级联注意模块的第一阶段处理， 以捕获所述彩色可 见光图像的彩色可 见光图像注意力图； S4、 利用预置红外特征提取模块提取红外深度特征， 并利用在可见光图像特征提取模 块， 采用卷积运 算提取图像局部细节特 征。 S5、 处理红外有效注意图、 彩色可见光图像注意力图、 源图像的所述红外深度 特征以及 所述图像局部细节特征， 据以获取融合亮度映射Y， 以得到融合亮度图， 将所述融合亮度图 与Cb和Cr相结合， 据以重建得到彩色融合结果Y CbCr； S6、 图像空间的转换： 将所述彩色融合结果YCbCr传输至所述RGB空间中， 以在RGB空间 中显示融合后图像。 2.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在 于， 所述步骤S1中， 以下述逻辑 转换所述色度信息为所述Cb和Cr通道： 3.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在 于， 所述步骤S2中的所述预置级联注意机制为： Att＝gmax(Convg(gmax(ωi*fi),k)), 其中， gmax表示空间信息的max选择策略， 该策略可以帮助模型在注意映射操作中专注 于判别空间位置； Convg表示卷积操作， 核为高斯核k， 偏置为零； ωi表示第i个特征的权重 fi。 4.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在 于， 所述步骤S3中， 利用预置级联注意模块的第一阶段捕获彩色可 见光图像亮度的注意图。 5.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在 于， 所述步骤S4包括： S41、 在所述预置红外特 征提取模块中， 利用ResNet5 0提取所述红外深度特 征； S42、 在所述预置可见光图像特征提取模块中， 采用卷积运算提取所述图像局部细节特 征。 6.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在权　利　要　求　书 1/3 页 2 CN 115331111 A 2于， 所述步骤S5包括： S51、 根据所述融合亮度图获取融合亮度； S52、 获取 所述红外图像和所述彩色可 见光图像的红外亮度及彩色亮度； S53、 以预置强度损失逻辑处理所述融合亮度、 所述红外亮度及所述彩色亮度， 以得到 强度损失； S54、 提取所述红外图像、 所述彩色可见光图像的注意力图， 以预置注意力损失逻辑处 理所述注意力图， 以得到注意力损失； S55、 处理所述强度损失及所述注意力损失， 以得到全部损失。 7.根据权利要求6所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在 于， 所述步骤S 53中， 以下述逻辑处理所述融合亮度、 所述红外亮度及所述彩色亮度， 以得到 强度损失： 其中， If‑Y、 Ir和Iv‑Y分别为融合亮度、 红外图像和彩色可见光图像的亮度， λ和β 是控制两 项平衡的超参数， H和W表示图像的高度和宽度， | |·||F表示矩阵Forben ius范数。 8.根据权利要求1所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在 于， 所述步骤S54中， 以下述逻辑处 理所述注意力图， 以得到注意力损失： 9.根据权利要求6所述的基于级联注意力机制和神经网络的图像融合方法， 其特征在 于， 所述步骤S55中， 以下述逻辑处 理所述强度损失及所述注意损失， 以得到全部损失： L＝Lintensity+Latt 其中， L代 表全部损失， Lintensity和Latt分别代表所述强度损失和所述注意力损失。 10.基于级联注意力机制和 神经网络的图像融合系统， 其特 征在于， 所述系统包括： 图像空间转换模块， 用以将RGB空间中的彩色可见光 图像传输至预置YCbCr空间， 据以 提取所述彩色可见光图像的彩色可见光亮度， 获取并转换色度信息为Cb和 Cr通道， 以完成 图像空间的转换； 红外图像注意力图提取模块， 用以采集获取红外 图像， 以预置级联注意机制来计算所 述红外图像的红外有效注意图， 所述红外图像注 意力图提取模块与所述图像空间转换模块 连接， 所述红外图像注意力图提取模块中的所述预置级联注意机制包括： 第一优化阶段模块， 用以利用通道注意力特征强制模型， 重新加权处理所述红外 图像 的特征， 并计算初始注意力及初始注意力图， 以关注关键特征， 并滤除不相关特征， 获取隐 藏神经元的激活值， 据以衡量神经元重要性， 在所述Cb和Cr 通道上进 行最大值映射运算， 以 获取注意图； 第二优化阶段模块， 用以利用预置全局注意模块进行高斯核卷积运算， 以捕获所述红 外有效注意图， 据以完善所述初始注意力图， 所述第二优化阶段模块与所述第一优化阶段 模块连接； 彩色可见光图像注意力图提取模块， 用以对于彩色可见光图像， 利用预置级联注意模 块的第一 阶段处理， 以捕获所述彩色可见光图像的彩色可见光图像注意力图， 所述彩色可权　利　要　求　书 2/3 页 3 CN 115331111 A 3