(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221042143 0.5 (22)申请日 2022.04.21 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 陈弟虎　曾海棠　侯延柯　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/40(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06F 16/732(2019.01) G06F 16/532(2019.01) (54)发明名称 一种跨模态行 人重识别方法 (57)摘要 本发明提供的一种跨模态行人重识别方法， 该方法主要包括以下步骤： 通过第一数据集进行 训练得到初始行人重识别模型； 将所述初始行人 重识别模型进行转换得到跨模态行人重识别模 型， 将所述跨模态行人重识别模 型移植至目标平 台； 通过所述目标平台进行实时图像采集， 从所 述实时图像中提取得到行人检测结果； 将所述行 人检测结果和预设目标输入至所述跨模态行人 重识别模型， 得到行人重识别结果， 能够完善行 人重识别的真实环境全时空应用场景， 建立日间 夜间联合行人重识别实现离线或在线跨模态行 人重识别， 并且， 方法可以降低CPU占用率， 加快 了跨模态行人重识别速度， 同时保持了低功耗、 体积小的特点， 可广泛应用于行人重识别技术领 域。 权利要求书2页 说明书9页 附图2页 CN 114764921 A 2022.07.19 CN 114764921 A 1.一种跨模态行 人重识别方法， 其特 征在于， 包括以下步骤： 通过第一数据集进行训练得到初始行 人重识别模型； 将所述初始行人重识别模型进行转换得到跨模态行人重识别模型， 将所述跨模态行人 重识别模型移植至目标平台； 通过所述目标平台进行实时图像采集， 从所述实时图像中提取 得到行人检测结果； 将所述行人检测结果和预设目标输入至所述跨模态行人重识别模型， 得到行人重识别 结果。 2.根据权利要求1所述的一种跨模态行人重识别方法， 其特征在于， 所述通过第 一数据 集进行训练得到初始行 人重识别模型这 一步骤， 包括： 从所述第一数据集中获取 得到RGB图像以及红外图像； 对所述RGB图像进行特征提取得到RGB模态特征， 对所述红外图像进行特征提取得到红 外模态特 征； 将所述RGB模态特 征和所述红外模态特 征进行拼接得到混合模态特 征； 根据所述混合模态特 征输出得到跨模态特 征。 3.根据权利要求2所述的一种跨模态行人重识别方法， 其特征在于， 所述根据 所述混合 模态特征输出得到跨模态特 征这一步骤， 包括： 根据所述混合模态特征通过池化层输出得到跨模态特征； 所述跨模态特征包括： 身份 相关特征以及身份无关特 征。 4.根据权利要求3所述的一种跨模态行人重识别方法， 其特征在于， 所述根据 所述混合 模态特征通过池化层输出 得到身份相关特 征以及身份无关特 征这一步骤， 包括： 获取所述混合模态特征中不属于同一类的两幅图像的第 一特征距离， 以及属于同一类 的两幅图像的第二特 征距离； 根据所述第 一特征距离以及所述第 二特征距离， 通过反向三元组损失函数确定所述身 份无关特 征。 5.根据权利要求3所述的一种跨模态行人重识别方法， 其特征在于， 所述据所述混合模 态特征通过池化层输出 得到身份相关特 征以及身份无关特 征这一步骤， 包括： 通过相关系数协同和中心聚类损失函数、 三元组损失函数以及交叉熵损失韩式从所述 混合模态特 征中提取 得到。 6.根据权利要求3所述的一种跨模态行人重识别方法， 其特征在于， 在根据所述混合模 态特征通过池化层输出 得到跨模态特 征这一步骤之后， 所述方法还 包括以下步骤： 通过正交损失函数， 对所述身份相关特征的第 一特征向量以及所述身份无关特征的第 二特征向量进行正交解耦； 根据正交解耦的结果从所述身份相关特 征中分离出身份无关信息 。 7.根据权利要求4所述的一种跨模态行人重识别方法， 其特征在于， 所述反 向三元组损 失函数为： LossTri‑reverse＝max(da， n‑da， p+α， 0) 其中， LossTri‑reverse为反向三元组损失值， da， n为不属于同一类的两幅图像的第一特征 距离， da， p为属于一类的两幅图像的特征距离， α 为反向三元组损失值LossTri‑reverse的边界常 数。权　利　要　求　书 1/2 页 2 CN 114764921 A 28.根据权利要求5所述的一种跨模态行人重识别方法， 其特征在于， 所述相关系数协同 和中心聚类损失函数为： 其中， λ1和λ2为超参数， c为一个小批次中的类数目， 为第i类图像在小批次中的 RGB特征中心向量， 为第i类图像在小批次中红外特征中心向量； 为第i类RGB特征 在小批次中的关系系数矩阵， 为第i类红外特征在小批次中的关系系数矩 阵， i＝1， 2， 3， ...， n， n为正整数。 9.根据权利要求6所述的一种跨模态行人重识别方法， 其特征在于， 所述正交损失函数 为： 其中， b为小批次输入的数量， fiunrelated为是在小批次输入中第i个图像的身份 无关特征 和firelated在小批次输入中第i个图像的身份相关特 征。 10.根据权利要求1 ‑7任一项所述的一种跨模态行人重识别方法， 其特征在于， 所述将 所述初始行人重识别模型进行转换得到跨模态行人重识别模型， 将所述跨模态行人重识别 模型移植至目标平台这 一步骤， 包括： 对所述初始行 人重识别模型进行模型框架校验； 确定所述初始行人重识别模型不属于Caffe框架， 将所述初始行人重识别模型转换为 Caffe框架下的所述 跨模态行 人重识别模型。权　利　要　求　书 2/2 页 3 CN 114764921 A 3