(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210491778.1 (22)申请日 2022.04.29 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 申请人 中国科学技术大学 (72)发明人 卢禹宁　刘健庄　田新梅　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 李杭 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) (54)发明名称 类别描述的特征信息的获取方法、 图像的处 理方法及设备 (57)摘要 本申请实施例公开一种类别描述的特征信 息的获取方法、 图像的处理方法及设备， 该方法 可用于人工智能领域的 图像处理领域中， 方法包 括： 获取与C个类别中每个第一类别对应的至少 两个类别描述的特征信息； 根据每个第一类别对 应的至少两个类别描述的特征信息和图像的特 征信息， 生成图像的预测类别信息， 图像的预测 类别包括于C个类别； 根据第一损失函数， 对与每 个第一类别对应的至少两个类别描述的特征信 息进行更新。 自动学习每个类别所对应的至少两 个类别描述的特征信息， 且迭代更新的目标包括 提高预测类别信息和正确类别信息之间的相似 度， 有利于获得与识别任务更为匹配的类别描 述， 有利于提高与同一类别中的不同图像的适配 度。 权利要求书4页 说明书20页 附图9页 CN 114998643 A 2022.09.02 CN 114998643 A 1.一种类别描述的特 征信息的获取 方法， 其特 征在于， 所述方法包括： 获取与C个类别中每个第 一类别对应的至少两个类别描述的特征信 息， 所述C为大于或 等于2的整数， 所述第一类别的类别描述包括类别描述模板和所述第一类别； 根据每个所述第 一类别对应的至少两个类别描述的特征信 息和图像的特征信 息， 生成 所述图像的预测类别信息， 所述预测类别信息指向的所述图像的预测类别包括于所述C个 类别； 根据第一损失函数， 对与每个第 一类别对应的所述至少两个类别描述的特征信 息进行 更新， 直至满足收敛条件， 利用所述第一损失函数进行迭代更新的目标包括提高所述预测 类别信息和所述图像的正确类别 信息之间的相似度。 2.根据权利要求1所述的方法， 其特征在于， 与 所述第一类别对应的所述至少两个类别 描述的特征信息包括第一特征信息和 第二特征信息， 所述第一类别的特征信息在所述第一 特征信息中的位置和所述第一类别的特 征信息在所述第二特 征信息中的位置不同。 3.根据权利要求1或2所述的方法， 其特征在于， 所述至少两个类别描述的特征信息包 括所述至少 两个类别描述的高层特征， 所述类别描述的高层特征为神经网络中的隐含层/ 所述神经网络生成的特 征， 所述神经网络用于对所述类别描述进行 特征更新； 所述根据每个所述第 一类别对应的至少两个类别描述的特征信 息和图像的特征信 息， 生成所述图像的预测类别 信息， 包括： 根据与所述第一类别对应的至少两个类别描述的高层特征， 确定与 所述第一类别对应 的所述类别描述的高层特 征的分布信息； 根据每个所述第一类别所对应的所述类别描述的高层特征的分布信息， 执行采样操 作， 得到特 征信息集 合， 所述特 征信息集 合包括与每 个所述第一类别对应的所述高层特 征； 根据图像的特 征信息和所述特 征信息集 合， 生成所述图像的预测类别 信息。 4.根据权利要求3所述的方法， 其特征在于， 所述获取与C个类别 中每个第一类别对应 的至少两个 类别描述的特 征信息， 包括： 获取与每个所述第 一类别对应的至少两个类别描述的底层特征， 所述类别描述的底层 特征为向量 化形式的所述类别描述； 将所述类别描述的底层特征输入所述神经网络， 通过所述神经网络对所述类别描述的 底层特征进行更新， 得到所述类别描述的高层特 征； 所述对与每 个第一类别对应的所述至少两个 类别描述的特 征信息进行 更新， 包括： 在保持所述神经网络的参数不变的前提下， 根据 所述第一损失函数的函数值对与 所述 C个类别对应的至少 两个所述类别描述模板的底层特征进行梯度更新， 以得到与每个第一 类别对应的所述至少两个 类别描述的更新后的底层特 征。 5.根据权利要求1或2所述的方法， 其特征在于， 所述根据第 一损失函数， 对与每个第一 类别对应的所述至少两个 类别描述的特 征信息进行 更新， 包括： 根据所述第 一损失函数和第 二损失函数， 对与每个第 一类别对应的所述至少两个类别 描述的特征信息进行更新， 采用所述第二损失函数进 行迭代更新的目标包括缩小至少两个 类别描述模板的特 征信息之间的相似度。 6.根据权利要求1或2所述的方法， 其特征在于， 所述第一损 失函数的函数值大于或等 于目标函数的函数值， 所述目标函数为所述预测类别信息和所述图像的正确类别信息之间权　利　要　求　书 1/4 页 2 CN 114998643 A 2的距离， 所述迭代更新的目标包括降低所述第一损失函数的函数值。 7.一种图像的处 理方法， 其特 征在于， 所述方法包括： 对图像进行 特征提取， 得到所述图像的特 征信息； 根据与C个类别 中每个第一类别对应的类别描述的特征信息和图像的特征信息， 生成 所述图像的预测类别信息， 所述预测类别信息指向的所述图像的预测类别包括于所述C个 类别， 所述C为大于或等于2的整数； 其中， 所述第 一类别的类别描述包括类别描述模板和所述第 一类别， 与所述C个类别中 每个第一类别对应的特征信息基于每个所述第一类别所对应的至少两个类别描述的特征 信息得到， 每个所述第一类别所对应的至少两个类别描述的特征信息为利用第一损失函数 进行迭代更新后得到， 利用所述第一损失函数进 行迭代更新的目标包括提高所述预测类别 信息和所述图像的正确类别 信息之间的相似度。 8.根据权利要求7所述的方法， 其特征在于， 与 所述第一类别对应的所述至少两个类别 描述的特征信息包括第一特征信息和 第二特征信息， 所述第一类别的特征信息在所述第一 特征信息中的位置和所述第一类别的特 征信息在所述第二特 征信息中的位置不同。 9.根据权利要求7或8所述的方法， 其特征在于， 与 所述C个类别对应的所述类别描述的 特征信息是利用所述第一损失函数和 第二损失函数进 行迭代更新后得到， 所述第二损失函 数指示至少两个所述类别描述模板的特 征信息之间的距离 。 10.一种类别描述的特 征信息的获取装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取与C个类别中每个第一类别对应的至少两个类别描述的特征信 息， 所述C为大于或等于2的整数， 所述第一类别的类别描述包括类别描述模板和所述第一类 别； 生成模块， 用于根据每个所述第 一类别对应的至少两个类别描述的特征信 息和图像的 特征信息， 生成所述图像的预测类别信息， 所述预测类别信息指向的所述图像的预测类别 包括于所述C个 类别； 更新模块， 用于根据第一损 失函数， 对与每个第一类别对应的所述至少两个类别描述 的特征信息进行更新， 直至满足收敛条件， 利用所述第一损失函数进行迭代更新的目标包 括提高所述预测类别 信息和所述图像的正确类别 信息之间的相似度。 11.根据权利要求10所述的装置， 其特征在于， 与 所述第一类别对应的所述至少两个类 别描述的特征信息包括第一特征信息和第二特征信息， 所述第一类别的特征信息在所述第 一特征信息中的位置和所述第一类别的特 征信息在所述第二特 征信息中的位置不同。 12.根据权利要求10或11所述的装置， 其特征在于， 所述至少两个类别描述的特征信 息 包括所述至少两个类别描述的高层特征， 所述类别描述的高层特征为神经网络中的隐含 层/所述神经网络生成的特 征， 所述神经网络用于对所述类别描述进行 特征更新； 所述生成模块， 具体用于： 根据与所述第一类别对应的至少两个类别描述的高层特征， 确定与 所述第一类别对应 的所述类别描述的高层特 征的分布信息； 根据每个所述第一类别所对应的所述类别描述的高层特征的分布信息， 执行采样操 作， 得到特 征信息集 合， 所述特 征信息集 合包括与每 个所述第一类别对应的所述高层特 征； 根据图像的特 征信息和所述特 征信息集 合， 生成所述图像的预测类别 信息。权　利　要　求　书 2/4 页 3 CN 114998643 A 3