(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026042.3 (22)申请日 2022.08.25 (71)申请人 哈尔滨工程大 学 地址 150001 黑龙江省哈尔滨市南岗区南 通大街145号 (72)发明人 冯收　唐英杰　樊元泽　赵春晖　 陈勇奇　闫奕名　宿南　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 时起磊 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/13(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 20/70(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度语义标记Transformer网络的遥 感图像变化检测方法 (57)摘要 基于多尺度语义标记Transformer网络的遥 感图像变化检测方法,涉及一种遥感图像变化检 测方法。 为了解决现有的基于Transformer的方 法在一定程度上忽略了变化区域的空间信息， 从 而影响了遥感图像变化检测能力的问题。 本发明 首先采用特征编解码器提取特征图， 利用多尺度 语义标记编码器将来自特征编码器的不同尺度 的特征图转化为不同长度的语义标记， 然后送入 Transformer获得全局语义信息。 之后利用多尺 度语义标记解码器将不同尺度的含有丰富语义 信息的语义标记和含有丰富空间信息的多尺度 特征图结合起来， 获得语义空间联合特征， 最终 多尺度的语义空间联合特征以跳跃连接的方式 在特征解码器中聚合， 再通过分类器得到最终的 变化结果图。 权利要求书3页 说明书7页 附图3页 CN 115393317 A 2022.11.25 CN 115393317 A 1.基于多尺度语义标记Transformer网络的遥感图像变化检测方法， 其特征在于， 首先 获取遥感图像的双时相图像， 然后输入遥感 图像变化检测网络进行检测， 得到遥感图像变 化信息； 所述的遥感图像变化检测网络包括两个编码网络、 一个concat层、 一个 Transformer模块、 两个多尺度语义标记解码器、 一个特 征解码器和一个分类 器； 两个编码网络分别输入双时相图像的一个时相图像， 两个编码网络结构相同， 均包括 一个特征编码器和一个多尺度语义标记编码器； 所述的特征编码器包括 四个依次连接的卷积神经网络单元； 每个特征编码器的输出分 别输入到与其对应的多尺度语义标记编码器和多尺度语义标记解码器； 一个多尺度语义标记编码器包括4个并行的语义标记编码器， 特征编码器包括四个依 次连接的卷积神经网络单元 的四个输出分别作为4个并行 的语义标记编码器的输入； 语义 标记编码器的处 理过程如下： 设输入的特征图为F， 首先特征图的通道数通过一个像素级卷积层被设置为一个固定 的值N， 即 其中H,W为特征图的宽和高； 之后特征图F1通过一个卷积核为1的卷 积层和Softmax激活层得到注意力图 最终将F1和A相乘得到语义标记 concat层将多尺度语义标记编码器的多尺度语义沿语义标记长度的维度进行叠加， 从 而得到新的语义标记 其中L指得是不同尺度的语义标记的长度之和， C是语义标 记的通道数； Transformer模块用于对新的语义标记 进行处理获得全局语义信息Tout， 然后 将全局语义信息Tout分别输入两个多尺度语义标记解码器； 两个多尺度语义标记解码器结构相同； 每个多尺度语义标记解码器包括4个不同尺度 的语义标记解码器， 在语义标记解码器中， 针对特征图 语义标记 首 先将特征图F的通道数通过一个像素级的卷积层设置为N， 即 之后将全局 语义 信息Tout通过一个Softmax激活函数层得到注意力权重， 并与通道数设置为N的特征图F2相 乘， 从而得到语义特征图 接下来语义特征图Fsem通过一个卷积核为1的卷积层 进行聚合并与特征图 相加得到语义空间联合特征 最终采用一个 卷积核为1的卷积层将联合特征的通道数设置为C； 每个不同尺度的语义标记 解码器都得到 一个语义空间联合特征图， 两个多尺度语义标记 解码器对应得到双时相语义空间联合特征 图； 特征解码器包括依次连接的三个反卷积层， 首先双时相图像通过特征编码器得到两个 输出 和 两个输出相减并取绝对值得到特征解码器的输入； 之后， 来自多尺度语义标 记解码器中不同尺度的语义标记解码器的语义空间联合特征图对应相减取绝对值并与各 自对应的输入叠加送入反卷积层； 特征解码器得到最终输出 后， 分类器对输出结果进行分类， 从而得到最终的变化结 果图。 2.根据权利要求1所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特征在于， 所述遥感图像变化检测网络为预先训练好的， 在训练遥感图像变化检测权　利　要　求　书 1/3 页 2 CN 115393317 A 2网络的过程中的损失函数如下： Loss＝α Lossce+(1‑α )Lossdice 其中， α 为调节参数， Lossce为交叉熵损失函数， Lossdice为Dice损失函数； Dice损失函数 如下： 其中， X指的是 预测结果图， Y指的是真值图。 3.根据权利要求2所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特 征在于， α 设置为0.9。 4.根据权利要求3所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特 征在于， 特 征解码器的输入： 其中， abs( ·)表示对括 号中的内容取绝对值。 5.根据权利要求4所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特征在于， 来自多尺度语义标记解码器中不同尺度的语义标记解码器的语义空间 联合特征图对应相减取绝对值并与各自对应的输入叠加送入反卷积层的过程表示如下： 其中， 和 表示双时相图像的多尺度语义空间联合特征图， i的不同表示特征图 尺度的不同， 表示i‑1尺度对应处理后的输出； concat( ·)表示拼接操作， TransConv (·)表示反卷积 操作。 6.根据权利要求5所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特征在于， 所述特征编码器的第一个卷积神经网络单元采用带有预训练权重的 ResNet18， 并将最后ResNet18的后两层替代为卷积核为1的卷积层。 7.根据权利要求6所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特征在于， 所述特征编码器的后三个卷积神经网络单元结构相同， 均包括4个卷积 层， 以及设置在第三个卷积层和 第四个卷积层之间的平均池化层和设置在第一个卷积层和 第二个卷积层之间的最大值池化层。 8.根据权利要求7所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特征在于， 针对特征编 码器的后三个卷积神经网络单元， 每个卷积神经网络单元中 4个卷积层的卷积核大小分别为7*7、 3 *3、 3*3、 3*3。 9.根据权利要求7所述的基于多尺度语义标记Transformer网络的遥感图像变化检测 方法， 其特 征在于， 所述的Transformer模块处 理过程如下： 对于其输入 首先加入一个位置编码从而考虑每一个语义标记的位置， 然后 利用多头自注 意力机制进行 处理； 然后送入一个Norm层， 之后再输入MLP层获得全局语义信 息Tout；权　利　要　求　书 2/3 页 3 CN 115393317 A 3