(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094079 9.7 (22)申请日 2022.08.06 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 章琛曦　裘茗烟　宋志坚　许剑民　 郑鹏　冯青阳　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 陆飞　陆尤 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01) G06V 10/44(2022.01)G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于集成交叉伪标签的肿瘤 图像半监督分 割方法 (57)摘要 本发明属于医学图像处理技术领域， 具体为 一种基于集成交叉伪标签的肿瘤图像半监督分 割方法。 本发 明方法通过训练差异 较大的三个分 割模型： 基于Transformer架构的UNETR模型， 基 于CNN的注意力U ‑Net， 基于CNN的多尺度特征信 息的注意力分割网络模型CSA ‑U‑Net， 来生成无 标注数据的伪标签； 然后使用带伪标签的无标注 数据扩展训练数据， 通过伪标签数据交替监督约 束输出结果的一致性。 最后集 成多个模 型的输出 结果， 以提升分割模型的精度。 本发明方法可 以 更好地通过结合无标注数据和有标注数据的信 息直接提升模型分割性能。 权利要求书2页 说明书6页 附图2页 CN 115393289 A 2022.11.25 CN 115393289 A 1.一种基于集成交叉伪标签的肿瘤图像半监 督分割方法， 其特 征在于， 具体步骤为： (1)对MRI 图像进行预处理， 包括对图像进行强度归一化以及直方图均衡化， 把整个图 像分成一定数量的小块像素， 进行非线性拉伸， 使局部的灰度直方图均匀分布； (2)将预处理过后的图像作 为输入图像缩放输入至分割模型U ‑Net进行粗分割， 定位出 目标区域； 然后在输入图像中裁 剪出以目标区域 为中心的图像， 增大 前景像素的占比； (3)然后训练差异较大的三个模型构成的分割网络模型， 三个模型分别为： 基于 Transformer架构的U NETR模型， 基于CNN的注意力U ‑Net， 基于CNN的多尺度特征信息的注意 力分割网络模 型CSA‑U‑Net； 用来生 成无标注数据的伪标签； 然后使用带伪标签的无标注数 据扩展训练数据， 通过伪标签数据交替 监督约束输出 结果的一 致性； (4)将所裁剪出的目标区域输入训练好分割网络模型中， 集成多个模型的输出结果， 得 到高精度分割结果。 2.根据权利要求1所述的肿瘤图像半监督分割方法， 其特征在于， 所述注意力U ‑Net是 在U‑Net的基础上在跳跃 连接中加入了注意力门控 模块； 所述多尺度特征信息 的注意力分割网络模型CSA ‑U‑Net是在U ‑Net的基础上加入了注 意力门控模块， 将解码 器中较粗尺度l ‑1层的卷积特征作为门控信号来选择编码 器l层中特 征图的空间区域， 即在全局范围计算注意力系 数以识别显著图像区域， 并修剪特征响应以 仅保留与特定任务相关的激活； 然后再将经过筛选的特征图与相应l层解码器精细密集预 测特征图拼接融合， 以更好地辅助解码器进 行目标定位与恢复； 利用多尺度信息， 在解码阶 段导出不同尺度的特征图进行预测， 即在计算损失函数的过程中嵌入不同尺度的空间语义 信息， 以更好 地监督模型的训练； 所述基于Transformer架构的UNETR模型的编码结构由堆叠的纯Transformer模块组 成， 解码结构与U ‑Net架构相似， 通过两层3 ×3×3卷积操作， 并使用反卷积对其输出进行上 采样， 直到特征图回复到原始的输入的分辨率； 最后通过具有Softmax激活的1 ×1×1卷积 层输出最终的分割预测结果。 3.根据权利要求2所述的肿瘤图像半监督分割方法， 其特征在于， 所述预处理后的图像 中， 将有标注数据输入到三个差异较大的分割网络模型中， 通过训练得到三个分割模型； 然 后将无标注数据输入到训练后的三个分割模型中， 三个模型分别输出三个预测概率结果 P1、 P2、 P3， 分别通过最大值的参数操作得到对应的独热编码标签Y1、 Y2和Y3； 假设验证集结 果最好的模型为模型f( θ3)， 次优为模型f( θ2)， 则将f( θ3)所输出的伪标签Y3来监督其他两 个模型的预测概率结果， 而f( θ2)的伪标签Y2来监督P3， 从而最大限度降低伪标签中的噪 声； 然后对三个模型均进行反向传播迭代优化。 4.根据权利要求3所述的肿瘤图像半监督分割方法， 其特征在于， 所述嵌入不同尺度的 空间语义信息时， 采用三阶样条插值法将所有体素重新采样为统一大小。 5.根据权利要求4所述的肿瘤图像半监督分割方法， 其特征在于， 模型训练中， 损 失函 数采用Dice与交叉熵损失函数组合即LDice+LCE， 总损失值为有标注数据与无标注数据的损 失值之和， L oss＝L有 标注+α L无标注， 其中α 表示权 重。 6.根据权利要求5所述的肿瘤图像半监督分割方法， 其特征在于， 模型训练中， 采用优 化算法Adabound进行迭代优化， 权重不断更新， 损失值逐渐下降， 最 终训练完成目标任务的 分割网络模型。权　利　要　求　书 1/2 页 2 CN 115393289 A 27.根据权利要求2所述的肿瘤图像半监督分割方法， 其特征在于， 所述在每次训练迭代 中对输入图像进行包括随机 旋转、 剪切、 缩放和翻转操作的随机变换以增强数据。 8.根据权利要求2所述的肿瘤图像半监督分割方法， 其特征在于， 所述集成多个模型的 输出结果， 是在基于验证集最好的模型输出的基础上， 遍历所有体素， 当某个体素在另外两 个模型中预测为1， 而最优模型预测为0的时候， 改变输出的结果为1； 集成多个结果后得到 最终的分割结果。权　利　要　求　书 2/2 页 3 CN 115393289 A 3