(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211012847.2 (22)申请日 2022.08.23 (71)申请人 苏州市立医院 地址 215000 江苏省苏州市道前街26号 (72)发明人 苟中山　俞雪娟　董彩霞　马建芳　 黄晓琼　丁洁　王海霞　 (74)专利代理 机构 苏州博格华瑞知识产权代理 事务所(普通 合伙) 32558 专利代理师 丁浩秋 (51)Int.Cl. G16H 50/20(2018.01) G06K 9/62(2022.01) G06K 9/00(2022.01) G06V 10/80(2022.01) G06V 10/44(2022.01)G06V 10/42(2022.01) G06V 10/82(2022.01) G06T 7/00(2017.01) (54)发明名称 基于跨模态图像融合与阳性小样本学习的 胎儿心律失常智能诊断方法 (57)摘要 本发明公开了基于跨模态图像融合与阳性 小样本学习的胎儿心律失常智能诊断方法， 包括 以下步骤： 针对PW频谱 图的目标点检测定位， 定 位出各个波的起点和峰值点； 提取B模态超声 图 像相邻帧的运动特性， 获得三维光流矢量场； 将 PW频谱图、 M型超声心动图、 B模态超声图像以及 三维光流矢量场作为输入， 进行多模态信息融 合； 将少量的胎儿心律失常的阳性样本视为分布 内的样本， 结合特征重建任务,在特征编码与解 码之间学习阳性小样本的特征隐式分布； 采用可 微分的神经网络结构搜索算法， 构建以搜索结构 单元为单位的搜索空间， 本发明克服小样本的学 习难题， 提高临床诊断效果。 权利要求书1页 说明书7页 附图3页 CN 115312190 A 2022.11.08 CN 115312190 A 1.基于跨模态图像融合与阳性小样本学习的胎儿心律失常智能诊断方法， 其特征在 于， 包括以下步骤： 针对PW频谱图的目标点检测定位， 通过引入E、 A、 S波的波形形状先验约束， 定位出各个 波的起点和峰值 点； 采用光流提取方法， 提取B模态超声图像相邻帧的运动特性， 获得三维光 流矢量场； 将PW频谱图、 M型超声心动图、 B模态超声图像以及三维光流矢量场作为输入， 进行多模 态信息融合； 基于OOD异常检测任务， 将少量的胎儿心律失常的阳性样本视为分布内的样本， 结合特 征重建任务,在特 征编码与解码之间学习阳性小样本的特 征隐式分布； 采用可微分的神经网络结构搜索算法， 构建 以搜索结构单元为单位的搜索空间， 每个 搜索单元中设置4个操作连接节点。 2.根据权利要求1所述的基于跨模态图像融合与 阳性小样本学习的胎儿心律失常智能 诊断方法， 其特 征在于： 所述多模态信 息融合的步骤包括： 使用堆叠的2D和3D的卷积块和相应的池化层来处理 图像信息， 并使用一个全局的池化层， 将特征图映射到同一尺度水平上， 从而进 行多模态的 信息融合。 3.根据权利要求1所述的基于跨模态图像融合与 阳性小样本学习的胎儿心律失常智能 诊断方法， 其特征在于： 在异常检测网络OOD中， 构建多模态特征重构的均方差损失函数 4.根据权利要求1所述的基于跨模态图像融合与 阳性小样本学习的胎儿心律失常智能 诊断方法， 其特征在于： 在 模型的预测过程中实时计算特征重构损失， 若损失值超过一定阈 值， 则认为 其是分布外样本， 即胎儿心律 正常， 反之则判断为胎儿心律失常。 5.根据权利要求1所述的基于跨模态图像融合与 阳性小样本学习的胎儿心律失常智能 诊断方法， 其特征在于： 在搜索过程中， 设定其优化目标约束分别为目标任务驱动的损失函 数， 以及网络参数量、 计算 量的大小。 6.根据权利要求1所述的基于跨模态图像融合与 阳性小样本学习的胎儿心律失常智能 诊断方法， 其特征在于： 所述光流提取方法包括： 利用图像序列中像素在时间域上的变化以 及相邻域之间的相关性 来找到上一帧与当前帧之间存在的对应关系。权　利　要　求　书 1/1 页 2 CN 115312190 A 2基于跨模 态图像融合与阳性小样本学习的胎儿心律失 常智能 诊断方法 技术领域 [0001]本发明涉及医学诊断领域， 尤其涉及基于跨模态图像融合与阳性小样本学习的胎 儿心律失常智能诊断方法。 背景技术 [0002]随着近年胎儿超声心动图的大规模开展， 胎儿心律失常的检出率正在逐年上升， 孕期发现胎儿心 律失常给准父母带来极大的忧虑与恐惧， 迫切需求产前诊断、 小儿心脏、 优 生优育等多学 科医生联合会诊， 提供确 切诊断结果和产前 ‑产后一体化管理策略。 [0003]胎儿心律失常主要 分为三类:心律不齐、 心动过缓、 心动过速， 临床工作中， 多数胎 儿心律失常表现为一过性或良性， 动态随访结果良好， 不需要 特殊治疗。 但约有10％患儿表 现为持续性的快速或缓慢心 律失常， 自然 预后较差， 如不及时诊断并采取积极的干预措施， 可致胎儿循环失代偿、 水肿及心力衰竭， 严重者可 出现早产甚至胎死宫内。 [0004]目前胎儿心律失常的产前诊断方式包括： 胎儿超声心动图、 胎儿心磁图和心电图。 其中心磁图尚处于实验研究阶段， 而心电图受多种因素干扰导致结果可靠性较差， 临床上 不常用于胎儿心 律失常的诊断。 胎儿超声心动图可采用M型、 频谱多普勒和组织多普勒三种 成像模式用于胎儿心脏节 律的显示。 M型超声通过记录心房、 心室的机械活动变化及其之间 的关系来诊断心律失常， 频谱多普勒则同时记录心房与心室的收缩的同步血流信号， 可用 于综合分析心脏血流情况和房室壁及心脏瓣膜的活动规律。 二者均具有无创性、 准确 性高 等特点， 是目前诊断胎儿心律失常最有效、 最实用的方法。 [0005]但是， 基于 M型超声和频谱多普勒图的诊断在临床实际中仍 面临如下问题： [0006](1)胎儿心律失常的诊断要求产前诊断医生具有扎实的心电活动知识储备并经过 反复训练， 其内容枯燥抽象， 学习周期 长， 仅少数产前诊断医生能掌握诊断技能， 难以普及， 导致胎儿心律失常的漏诊与误诊率非常高。 [0007](2)严重依赖于超声医师的读图经验以及手动测量经验， 因此往往需要由多位高 年资医生做双盲投票诊断， 读图和 测量耗费了医生大量时间。 [0008](3)胎儿心律失常的诊断往往要求医生在M型超声以及频谱多普勒的基础上， 还需 考虑B模态影像， 这对医生的手眼协调和实时观测提出了非常苛刻的要求。 [0009](4)由于超声机上提供的观测窗口非常有限， M型超声图的窗口内往往最多只能留 存10～15个心动周期的M波 形信息， 而 频谱多普勒图的波 形最佳观测数是5～7个， 因此非常 不利于超声医生 监测长间距、 偶发的心律失常。 [0010]基于上述现状， 实现基于M型超声和频谱多普勒的智能化心律失常筛查和诊断有 着非常重要的临床价值和社会意义。 人工智能在近年迅猛发展， 其在医学领域的开拓与成 功应用更是有目共睹。 深度学习作为现今人工智能的核心动力， 因其卷积核运算架构以及 内在的图像特征 ‑判别器的融合式、 层次化学习， 在图像分析领域占据了绝对的优势和主导 地位。 深度学习也颠覆式地推动了超声影像的智能化分析， 逐步影响和改善了临床超声医说　明　书 1/7 页 3 CN 115312190 A 3