(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210989902.7 (22)申请日 2022.08.18 (65)同一申请的已公布的文献号 申请公布号 CN 115063425 A (43)申请公布日 2022.09.16 (73)专利权人 合肥综合 性国家科 学中心人工智 能研究院 （安徽省人工智能实验 室） 地址 230094 安徽省合肥市蜀山区望江西 路5089号， 中国科学技术大学先进技 术研究院未来中心B120 5-B1208 (72)发明人 汤进　黄莉莉　谷宗运　赵海峰　 李传富　 (74)专利代理 机构 上海汉之律师事务所 31378 专利代理师 冯华 (51)Int.Cl. G06T 7/00(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01) G06T 7/11(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 111933251 A,2020.1 1.13 CN 1095834 40 A,2019.04.0 5 CN 114582470 A,202 2.06.03 CN 113222933 A,2021.08.0 6 CN 113366530 A,2021.09.07 CN 114724670 A,202 2.07.08 US 2022207729 A1,202 2.06.30 审查员 党英霞 (54)发明名称 基于读片知识图谱的结构化检查所见生成 方法及系统 (57)摘要 本发明涉及人工智能和医学图像处理领域， 具体涉及一种基于读片知识图谱的结构化检查 所见生成方法及系统， 所述方法包括如下步骤： 对待检查医学影像进行分割； 对 所述待检查医学 影像进行分类和或目标检出； 根据所述读片知识 图谱生成结构化检查所见。 本发 明以读片知 识图 谱作为先验知识， 引导结构化检查所见自动生成 的训练和预测这一系 列过程； 本发 明融合图像分 割、 图像分类和目标检出， 实现医学影像的病变 定性和病变 定位， 提高了识别准确率。 权利要求书4页 说明书13页 附图10页 CN 115063425 B 2022.11.11 CN 115063425 B 1.一种基于读片知识图谱的结构化检查所见生成方法， 其特征在于： 所述读片知识图 谱至少包括病变类型节点和病变位置节点， 所述病变类型节点和所述病变位置节点相互关 联； 所述结构化检查所 见是包含病变类型或包 含病变类型和病变位置的结构化语言； 所述方法包括如下步骤： 将待检查医学影像输入到图像分割 模型中， 得到与所述读片知识图谱的病变位置节点 对应的分割结果； 将所述待检查医学影像输入到图像分类模型中， 所述图像分类模型根据 所述读片知识 图谱的病变类型节点对所述待检查医学影像进行分类， 得到分类结果； 根据预设条件对所 述分类结果进行筛选， 将分类结果中满足所述预设条件的病变类型作为第一目标病变类 型， 并生成所述第一目标病变类型对应的热力图； 所述预设条件是： 所述第一目标病变类型 对应的病变类型节点的样本数量大于等于预设数量， 且所述第一目标病变类型对应的病变 类型节点的图像分类结果的AUC曲线下面积大于等于预设值； 根据所述读片知识图谱， 判断所述第 一目标病变类型对应的病变类型节点是否存在与 之相关联的病变位置节点； 若存在所述病变位置节点， 则根据所述分割 结果和所述热力图 确定所述第一目标病变类型对应的第一目标病变位置， 并根据所述第一目标病变类型和所 述第一目标病变位置， 生成结构化检查所见； 若不存在所述病变位置节点， 则根据所述第一 目标病变 类型， 生成结构化检查所 见； 将所述待检查医学影像输入到目标检测模型中， 所述目标检测模型根据 所述读片知识 图谱中的病变类型节点对所述待检查医学影像中的病变类型进行识别， 得到第二目标病变 类型， 以及所述第二 目标病变类型对应的病变区域； 所述第二 目标病变类型对应的病变类 型节点的样本数量小于所述预设数量， 或该病变类型节点的图像分类结果的AUC曲线下面 积小于预设值； 根据所述读片知识图谱， 判断所述第二目标病变类型是否存在位置信息； 若存在位置 信息， 则根据所述分割结果和病变区域确定所述第二目标病变类型对应的第二目标病变位 置， 并根据所述第二目标病变类型和所述第二目标病变位置， 生成结构化检查所见； 若不存 在位置信息， 则根据所述第二目标病变 类型， 生成结构化检查所 见。 2.根据权利要求1所述的基于读片知识图谱的结构化检查所见生成方法， 其特征在于， 所述读片知识图谱还包括与所述病变类型节点和所述病变位置节点相关联 的检查项目节 点； 所述将待检查医学影像输入到图像分割模型中， 得到与 所述读片知识图谱的病变位置 节点对应的分割结果的步骤之前还 包括如下步骤： 将所述待检查医学影像输入到检查项目分类模型中， 所述检查项目分类模型根据 所述 读片知识图谱中的检查项目节点对所述待检查医学影 像进行分类， 得到检查项目类别。 3.根据权利要求2所述的基于读片知识图谱的结构化检查所见生成方法， 其特征在于， 所述将待检查医学影像输入到图像分割模型中， 得到与所述读片知识图谱的病变位置节点 对应的分割结果的步骤如下： 根据所述检查项目类别， 调用对应的所述读片知识图谱， 确定与所述检查项目类别对 应的目标检查项目节点， 以及与所述目标检查项目节点相关联的病变位置节点； 将所述待检查医学影像输入到图像分割模型中， 所述图像分割 模型根据与 所述目标检权　利　要　求　书 1/4 页 2 CN 115063425 B 2查项目节点相关联的病变位置节点， 对所述待检查医学影 像进行分割， 得到分割结果。 4.根据权利要求2所述的基于读片知识图谱的结构化检查所见生成方法， 其特征在于， 所述检查项目分类模型采用如下 方法获得： 获取历史影像学图像， 所述历史影像学图像包括历史影像学分类项目名称数据及 分类 特征数据， 该历史影像学图像所述分类项目名称数据为第一实体信息， 该历史影像学图像 所述分类特 征数据为第二实体信息； 对所述历史影像学图像数据中与 所述第二实体信 息关联的图像特征添加分类标签， 该 分类标签用于表征该分类特征数据中是否存在与所述第一实体信息的分类项目名称相同 的所述第二实体信息； 将所述历史影像学图像项目分类名称数据中的分类标签有所述分类特征的图像作为 训练样本输入CSRA模型网络中进行训练， 首先使用Tr ansformer的编码器模块作为特征提 取器， 对训练样 本中的第一 实体信息、 第二 实体信息进 行分类提取； 根据提取的特征计算类 特定残差注意力评分； 根据所述类特定残差注意力评分计算残差注意力； 根据所述残差注 意力分别计算该训练样本的单头注意力和多头注意力， 并将多头的逻辑输出直接求和， 得 到最终的多头注意力逻辑输出用于医学影像学项目分类， 训练得到具有第二 实体信息的历 史影像学图像数据与具有第一实体信息的历史影像学图像数据对应的医学图像项目多分 类模型。 5.根据权利要求1所述的基于读片知识图谱的结构化检查所见生成方法， 其特征在于， 所述图像分类模型采用如下 方法获得： 获取历史影像学图像信 息， 所述历史影像学图像信 息包括由专家手动标注的病变位置 及病变特 征两个属性； 对该历史影像学图像信息中与病变位置及病变特征两个属性相关联的图像特征进行 提取并添加分类标签， 该分类标签用于表征该历史影像学图像信息中是否存在与原始获取 历史影像学图像属性相同的图像信息； 将该历史影 像学图像信息数据中的标注所述分类标签的图像特 征作为训练样本； 将该训练样本输入CSRA模型网络中进行训练， 首先使用Transformer的编码器模块作 为特征提取器， 对训练样本进 行特征提取； 根据提取的特征计算类特定残差注 意力评分； 根 据所述类特定残差注意力评 分计算残差注意力； 根据所述残差注意力分别计算该训练样本 的单头注意力和多头注意力， 并将多头的逻辑输出直接求和， 得到最终的多头注意力逻辑 输出用于图像分类； 训练得到图像分类模型。 6.根据权利要求1所述的基于读片知识图谱的结构化检查所见生成方法， 其特征在于， 所述图像分割模型采用如下 方法获得： 获取影像学图像， 对部分所述影像学图像的正常解剖位置及分区进行手动标注， 得到 影像学图像分割训练数据集； 将影像学图像分割训练数据集输入本UNet网络； 通过下采样整体呈现逐渐缩小的结构， 不断缩小特征图的分辨率， 共分为4个阶段， 在 每个阶段中， 使用最大池化层进 行下采样， 然后使用两个卷积层提取特征， 最 终的特征图缩 小16倍； 通过上采样逐步修复分割对象的细节和空间维度， 实现精准的定位， 分为4个阶段， 在权　利　要　求　书 2/4 页 3 CN 115063425 B 3