(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210994031.8 (22)申请日 2022.08.18 (71)申请人 厦门理工学院 地址 361024 福建省厦门市集美区理工路 600号 (72)发明人 陈思　许博伦　王大寒　朱顺痣　 吴芸　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于全局-局部图卷积网络的跨域行人重识 别方法及系统 (57)摘要 本发明涉及一种基于全局 ‑局部图卷积网络 的跨域行人重识别方法及系统， 该方法包括以下 步骤： 利用特征提取器提取源域和目标域图像的 全局特征； 将 全局特征进行水平切分得到上半身 特征和下半身特征， 并使用仿射变换映射得到细 粒度更高的局部 特征； 使用DBSCAN聚类方法对不 带有标签的目标域图像生 成伪标签， 再利用自步 学习的策略生成可靠标签； 使用图卷积网络将同 一张图像的全局特征、 上半身特征、 下半身特征 及细粒度更高的局部特征进行特征融合； 将全局 特征、 细粒度更高的局部特征分别存储于全局特 征存储库、 局部特征存储库； 使用对比学习损失 函数训练网络模 型， 并利用训练好的网络模型对 图像进行重识别。 该方法及系统有利于提高跨域 行人重识别的准确性。 权利要求书3页 说明书8页 附图1页 CN 115331260 A 2022.11.11 CN 115331260 A 1.一种基于全局 ‑局部图卷积网络的跨域行人重识别方法， 其特征在于， 包括以下步 骤： A.利用特 征提取器提取源域和目标域图像的全局特 征Gi； B.将全局 特征进行水平切分得到上半身特征Ui和下半身特征Li， 并使用仿射变换 映射 得到细粒度更高的局部特 征Fi； C.使用DBSCAN聚类方法对不带有标签的目标域图像生成伪标签， 再利用自步学习的策 略生成可靠标签； D.使用图卷积网络将同一张图像的全局特征、 上半身特征、 下半身特征以及细粒度更 高的局部特 征进行特征融合； E.将全局特 征、 细粒度更高的局部特 征分别存 储于全局特 征存储库、 局部特 征存储库； F.使用对比学习损失函数训练网络模型， 并利用训练好的网络模型对图像进行重识 别。 2.根据权利要求1所述的基于全局 ‑局部图卷积网络的跨域行人重识别方法， 其特征在 于， 所述步骤A的实现方法为： 构造特征提取器： 对ResNet ‑50网络进行修改， 保留其基础网络模块， 将基础网络后面 的池化移除并将第四层残差块中步长为2的卷积修改为 步长为1； 然后将源域和目标域图像一起输入修改后的ResNet ‑50中提取特征， 获得第i个全局特 征Gi∈R2048×24×8， 其中2048、 24、 8分别表示 通道数量、 图像宽度和图像高度。 3.根据权利要求1所述的基于全局 ‑局部图卷积网络的跨域行人重识别方法， 其特征在 于， 所述步骤B的实现方法为： 首先， 将全局特征水平切割得到行人的上半身特征和下半身特征， 这两种特征的维度 都是2048x 12x8； 其次， 为了获得第i个图像中细粒度更高 的局部特征 其中p表示 在全局特征中的第p个局部特征， 对上半身 特征和下半身特征使用仿射变换操作， 从而让映 射的局部特 征更加准确， 对于上半身特 征Ui， Fip的映射公式如下： 其中 表示细粒度特征Fip的坐标系矩阵； (xu,yu)表示上半身特征Ui的坐标系矩 阵； Aθ是仿射变换的系数映射矩阵； θij是系数， i＝{1,2}且j＝{1,2}， bl是偏执量， l＝{0, 1}； 对于下半身特征Li， 采用同样的方法将特征映射成细粒度更 高的局部特征； 然后 对特征 的维度进行平均池化操作， 降低到25 6维。 4.根据权利要求1所述的基于全局 ‑局部图卷积网络的跨域行人重识别方法， 其特征在 于， 所述步骤C的实现方法为： 采用ResNet ‑50作为网络骨架提取目标域图像的特征， 并对该些特征进行 聚类， 获得相 应的伪标签； 首先使用DBSCAN聚类方法对特征进行 聚类， 使得不带标签的特征获得伪标签； 然后， 计 算独立性得分和紧凑性得分， 以进一步生成更可靠的伪标签， 独立性得分的计算公式如下权　利　要　求　书 1/3 页 2 CN 115331260 A 2所示： 其中 是在标准簇半径下与目标域特征 在同一个簇内的样本集合； 代 表将聚类半径扩大后与目标域图像 在同一个簇内的样本集合； 如果独立性得 分高代表将 簇的半径扩大后没有更多的样本被包括进来； 紧凑性得分的计算公式如下 所示： 其中， 是将聚类半径缩小后与目标域图像 在同一个簇内的样本集合； 更高 的紧凑性得分代表如果将簇的半径缩小， 则产生更多的簇； 根据独立性和紧凑性得分， 分别 设置两个阈值α和β， 如果Sindep＞α 并且Scomp＞β， 则该簇进行保留， 否则该簇内的所有样 本被 判别为不可靠的离群点； 一个簇内的所有特征被赋予相同的伪标签； 通过上述策略得到更 加可靠的簇， 进 而赋予各个特 征更加可靠的伪标签。 5.根据权利要求1所述的基于全局 ‑局部图卷积网络的跨域行人重识别算法， 其特征在 于， 所述步骤D中， 所述图卷积网络中包含四种特征X＝{G ′,U′,L′,F′}， 即降维后的256维的 全局特征 上半身特征 下半身特征 以及细粒度更高的局部特征 全局特征、 上半身特征、 下半身特征、 局部特征分别对应三层图卷积网络中的节 点； 所述图卷积网络表示 为Graph＝(X,E)， 其中X表示节点的集 合， E表示 边的集合； 所述图卷积网络中边的集合表示为邻接矩阵A(l)的形式， 使用0 ‑1值以及欧几里得距离 来分别作为 边值的权重； 则邻接矩阵表示如下： 其中i和j分别表示两个不同的样本； d(i,j)表示两个样本之间的欧式距离； 所述图卷积网络第l层的前向传播公式表示如下： 其中 表示在第l ‑1层的一个可学习的参数矩阵； 表示一个已经 被归一化的邻接矩阵； I表示单位矩阵， ρ表示LeakyReLU函数的非线性 映射； 和 分别表示第l层的输入特 征和输出 特征， dl‑1和dl是特征的维度。 6.根据权利要求1所述的基于全局 ‑局部图卷积网络的跨域行人重识别算法， 其特征在 于， 所述步骤E的实现方法为： 将第k个簇中所有第p个部位的特征 以簇中心即平均 值的形式 保存在局部 特征存储库， 即 则局部特 征存储库中每 个簇中心 表示如下：权　利　要　求　书 2/3 页 3 CN 115331260 A 3