(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211212520.X (22)申请日 2022.09.29 (71)申请人 山东师范大学 地址 250061 山东省济南市历下区文化 东 路88号 (72)发明人 虞刚　赵博　蔡智　王晶晶　 张学仁　张子健　魏克鑫　李登旺　 (74)专利代理 机构 苏州科洲知识产权代理事务 所(普通合伙) 3243 5 专利代理师 周亮 (51)Int.Cl. G06T 11/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01)G06T 7/33(2017.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于残差Tran sformer生成对抗网络的MR图 像合成CT图像系统及方法 (57)摘要 本申请提供的一种基于残差Tran sformer生 成对抗网络的MR图像合成CT图像系统及方法， 设 计一个新的生成器结构， 在生器中加入了深层特 征提取模块以提取更深层次的特征， 对参考MR图 像和参考CT图像进行学习训练得到MR合成CT模 型； 将实际MR图像输入所述MR合成CT模型生成合 成CT图像。 本申请弥补了传统生成对抗网络在捕 捉全局信息能力的不足， 提高了合成CT图像的准 确性。 同时， 该生成器还包含特征增强模块， 该模 块利用卷积自适应加权全局信息与局部信息。 本 申请实现了Tran sformer与CNN的优势互补， 并将 其应用到医学图像合成任务中。 权利要求书2页 说明书7页 附图2页 CN 115546334 A 2022.12.30 CN 115546334 A 1.一种基于残差Transformer生成对抗网络的MR图像合成CT图像系统， 其特征在于， 所 述系统包括图像预处 理单元、 图像合成单 元、 图像生成单 元， 其中 所述图像预处 理单元， 用于对参 考MR图像和参 考CT图像进行 预处理； 所述图像合成单 元， 用于得到 MR合成CT模型； 所述图像生成单 元， 用于将实际MR图像输入所述MR合成CT模型生成合成CT图像。 2.根据权利要求1所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图 像系统， 其特 征在于， 所述图像合成单 元包括生成器和判别器， 其中 所述生成器， 用于根据参 考MR图像合成中间CT图像； 所述判别器， 用于鉴别参 考CT与中间CT图像,迫使所述 生成器生成更加真实的CT图像。 3.根据权利要求1所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图 像系统， 其特 征在于， 所述 生成器包括编码器、 深层特 征提取模块和解码器， 其中 所述编码器， 用于提取参考MR图像不同分辨率下的特征， 其中最后一个特征作为所述 深层特征提取模块的输入； 所述深层特征提取模块， 用于对所述最后一个特征进行深层特征提取， 并通过残差连 接将所述编码器提取的最后一个特 征与提取的深层特 征进行聚合； 所述解码器， 用于进行图像重建， 得到中间CT图像。 4.根据权利要求3所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图 像系统， 其特征在于， 所述深层特征提取模块包括12层Transformer层和特征增强模块， 所 述特征增强模块用于将聚合后的特 征进行归纳增强。 5.根据权利要求3所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图 像系统， 其特征在于， 所述编 码器由4层卷积模块、 4个下采样层组成； 所述解码 器由4个上采 样层、 4个特 征拼接层组成。 6.根据权利要求4所述的一种基于残差Transformer生成对抗网络 的MR图像合成CT图 像系统， 其特征在于， 所述特征增强模块由2层卷积层组成， 利用卷积的归纳偏置对聚合后 的特征进行归纳增强。 7.基于权利要求1 ‑6任一项所述系统的一种基于残差Transformer生成对抗网络 的MR 图像合成CT图像方法， 其特 征在于， 所述方法包括训练阶段和生成阶段， 其中 所述训练阶段包括： 图像预处 理： 对参考CT图像与参 考MR图像进行 预处理； 图像合成： 对预处理后的参考CT图像和参考MR图像输入条件生成对抗网络进行训练， 得到MR合成CT模型。 8.根据权利要求7所述的方法， 其特征在于， 所述对参考CT图像与参考MR图像进行预处 理包括： 对参考CT图像与参 考MR图像进行非刚体 配准； 提取参考CT图像中的患者主体图像； 对参考MR图像进行强度校正； 对参考MR图像进行强度匹配。 9.根据权利要求7 所述的方法， 其特 征在于， 所述图像合成包括： 训练判别器， 使所述判别器能够区分 真实CT图像与合成CT图像；权　利　要　求　书 1/2 页 2 CN 115546334 A 2训练生成器， 将参考MR图像输入至编码器， 由编码器对参考MR图像进行特征提取； 将所 述编码器提取的最后一个特征输入至深层特征提取模块， 所述深层特征提取模块对所述最 后一个特征进 行深层特征提取； 通过残差连接将所述编 码器提取的最后一个特征与所述深 层特征提取模块提取的深层特征进行聚合； 将聚合后的特征经过特征增强模块进 行特征归 纳； 所述解码器进行图像重建， 得到中间CT图像； 所述判别器对参考CT图像与中间CT图像进行鉴别， 若通过鉴别， 则得到MR合成CT模型， 若未通过鉴别， 则生成器继续训练， 直到通过判别器的鉴别。 10.根据权利要求7所述的方法， 其特征在于， 所述生成阶段包括： 将 实际MR图像输入所 述MR合成CT模型生成合成CT图像。权　利　要　求　书 2/2 页 3 CN 115546334 A 3