(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211076634.6 (22)申请日 2022.09.05 (71)申请人 中国科学院水生 生物研究所 地址 430072 湖北省武汉市东湖南路7号 申请人 宁波布拉泽 生态科技有限公司 (72)发明人 段明　姜昊　乔晔　段瑞　张东旭　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 刘芳 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 基于轮廓关键点和注意力机制的鱼类种类 识别方法及系统 (57)摘要 本发明公开了一种基于轮廓关键点和注意 力机制的鱼类种类识别方法及系统， 涉及鱼类种 类识别领域， 所述方法包括： 获取目标鱼体的目 标图像； 将目标图像输入精准轮廓关键点模型 中， 得到目标图像的轮廓点和轮廓关键点； 采用 稀疏采样的方法， 根据目标图像的轮廓点计算目 标鱼体的距离特征数据， 根据目标图像的轮廓关 键点计算目标鱼体的角度特征数据； 将目标鱼体 的距离特征数据和目标鱼体的角度特征数据融 合， 得到目标融合特征； 将目标融合特征输入鱼 类种类识别模型中， 得到目标鱼体的种类。 本发 明能提高鱼类种类识别的精度。 权利要求书3页 说明书11页 附图3页 CN 115527102 A 2022.12.27 CN 115527102 A 1.基于轮廓关键点和注意力机制的鱼类种类识别方法， 其特 征在于， 包括： 获取目标鱼体的目标图像； 将所述目标图像输入精准轮廓关键点模型中， 得到所述目标图像的轮廓 点和轮廓关键 点； 采用稀疏采样的方法， 根据所述目标图像的轮廓点计算所述目标鱼体的距离特征数 据， 根据所述目标图像的轮廓关键点计算所述目标鱼体的角度特 征数据； 将所述目标鱼体的距离特征数据和所述目标鱼体的角度 特征数据融合， 得到目标融合 特征； 将所述目标融合特 征输入鱼类种类识别模型中， 得到所述目标鱼体的种类； 其中， 所述精准轮廓关键点模型的确定方法为： 获取已标注种类的训练鱼体的训练图像； 提取所述训练图像中鱼的轮廓区域进行提取， 得到所述训练图像的轮廓点； 将所述轮廓 点中满足设定条件的点确定为轮廓关键点； 所述设定条件包括轮廓 点曲率 大于设定曲率值、 所述轮廓点与质心的距离大于相邻轮廓点与质心的距离或者所述轮廓点 与质心的距离小于相邻轮廓点与质心的距离； 将所述训练图像、 所述训练图像的轮廓 点和所述训练图像的轮廓关键点输入深度 学习 模型中， 并以损失函数最小为目标进行训练， 得到所述精准轮廓关键点模型； 其中， 所述鱼类种类识别模型的确定方法为： 采用稀疏采样的方法， 根据所述训练图像的轮廓点计算所述训练鱼体的距离特征数 据， 根据所述训练图像的轮廓关键点计算所述训练鱼体的角度特 征数据； 将所述训练鱼体的距离特征数据和所述训练鱼体的角度 特征数据融合， 得到训练融合 特征； 将所述训练融合特征和对应的标签数据输入基于注意力机制的深度学习模型中进行 训练， 得到所述鱼类种类识别模型。 2.根据权利要求1所述的基于轮廓关键点和注意力机制的鱼类种类识别方法， 其特征 在于， 所述采用稀疏采样的方法， 根据所述 目标图像的轮廓点计算所述 目标鱼体的距离特 征数据， 根据所述目标图像的轮廓关键点计算所述目标鱼体的角度特 征数据， 具体包括： 根据所述目标图像的轮廓点计算第一质心； 将按照顺时针方向计算得到的每个所述轮廓点与所述第一质心的距离确定为长度特 征数据； 确定所述长度距离数据中的最大值和最小值， 得到最大长度特 征和最小长度特 征； 根据所述最大长度特征和所述最小长度特征对所述长度 特征距离进行距离值归一化， 得到归一 化长度数据； 按照第一设定采样间隔对所述归一化长度 数据进行采样， 得到所述目标鱼体的距离特 征数据； 根据所述目标图像的轮廓关键点计算第二质心； 计算每个所述轮廓关键点与所述第二质心的角度， 得到角度数据； 按照第二设定采样间隔对所述角度数据进行采样， 得到所述目标鱼体的角度特征数 据。权　利　要　求　书 1/3 页 2 CN 115527102 A 23.根据权利要求1所述的基于轮廓关键点和注意力机制的鱼类种类识别方法， 其特征 在于， 所述损失函数的计算公式为： loss＝α *loss1+β *loss2； 其中， loss表示损失函数； loss1表示普通点的损失函数， 所述普通点为所述轮廓点中 除所述轮廓关键点之外的点； loss2表示轮廓关键点的损失函数； α表示普通点的损失函数 的权重； β 表示轮廓关键点的损失函数的权 重； β ＞α 。 4.根据权利要求1所述的基于轮廓关键点和注意力机制的鱼类种类识别方法， 其特征 在于， 所述获取已标注种类的训练鱼体的训练图像， 具体包括： 获取已标注种类的训练鱼体的初始图像； 对所述初始图像进行去噪增强处 理， 得到增强图像； 对所述增强图像进行 数据扩充处 理， 得到扩充图像； 对所述扩充图像进行 数据清洗处 理， 得到训练图像。 5.基于轮廓关键点和注意力机制的鱼类种类识别系统， 其特 征在于， 包括： 目标图像获取模块， 用于获取目标鱼体的目标图像； 目标轮廓点提取模块， 用于将所述目标图像输入精准轮廓关键点模型中， 得到所述目 标图像的轮廓点和轮廓关键点； 目标特征提取模块， 用于采用稀疏采样的方法， 根据所述目标图像的轮廓点计算所述 目标鱼体的距离特征数据， 根据所述目标图像的轮廓关键点计算所述目标鱼体的角度特征 数据； 目标特征融合模块， 用于将所述目标鱼体的距离特征数据和所述目标鱼体的角度 特征 数据融合， 得到目标融合特 征； 种类识别模块， 用于将所述目标融合特征输入鱼类种类识别模型中， 得到所述目标鱼 体的种类； 轮廓关键点模型确定模块， 用于确定所述精准轮廓关键点模型； 所述轮廓关键点模型 确定模块， 具体包括： 训练图像获取 单元， 用于获取已标注种类的训练鱼体的训练图像； 训练轮廓点提取单元， 用于提取所述训练图像中鱼的轮廓 区域进行提取， 得到所述训 练图像的轮廓点； 关键点提取单元， 用于将所述轮廓点中满足设定条件的点确定为轮廓关键点； 所述设 定条件包括轮廓点曲率大于 设定曲率值、 所述轮廓点与质心的距离大于相 邻轮廓点与质心 的距离或者所述轮廓点与质心的距离小于相邻轮廓点与质心的距离； 第一模型训练单元， 用于将所述训练图像、 所述训练图像的轮廓点和所述训练图像的 轮廓关键点输入深度学习模型中， 并以损失函数最小为 目标进行训练， 得到所述精准轮廓 关键点模型； 识别模型确定模块， 用于确定所述鱼类种类识别模型； 所述识别模型确定模块， 具体包 括： 训练特征提取单元， 用于采用稀疏采样的方法， 根据所述训练图像的轮廓点计算所述 训练鱼体的距离特征数据， 根据所述训练图像的轮廓关键点计算所述训练鱼体的角度特征 数据；权　利　要　求　书 2/3 页 3 CN 115527102 A 3