(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641939.2 (22)申请日 2021.12.2 9 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 何东之　王鹏飞　孙亚茹　张震　 郭隆杭　 (74)专利代理 机构 北京汇信合知识产权代理有 限公司 1 1335 代理人 林聪源 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/62(2022.01) G06V 10/26(2022.01) G06V 10/776(2022.01) G06V 10/75(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多分支的行 人重识别方法和系统 (57)摘要 本发明公开了一种多分支的行人重识别方 法和系统， 属于机器学习技术领域， 所述方法包 括： 获取基于残差神经网络的多分支网络， 多分 支网络包括： 依次连接的多个中间卷积层和末端 卷积层， 一个和/或多个中间卷积层提取的特征 进入分支， 并进入下游操作， 获得的末端特征与 分割特征进行融合； 基于多分支网络， 训练识别 模型； 根据识别模型， 对行人图像和待识别图像 进行特征识别； 根据特征的相似度， 进行行人重 识别。 中间卷积层提取的特征具有良好的前景空 间信息和行人局部特征， 进入分支后获得具分割 特征， 而末端卷积层提取的末端特征具丰富语义 信息； 分割特征和高级特征融合， 使最终具有良 好空间信息和丰富语义信息， 避免背景对特征匹 配干扰。 权利要求书3页 说明书9页 附图6页 CN 114241278 A 2022.03.25 CN 114241278 A 1.一种多分支的行 人重识别方法， 其特 征在于， 所述方法包括： 获取基于残差神经网络的多分支网络， 所述多分支网络包括： 依次连接的多个中间卷积层和末端卷积层， 一个和/或多个中间卷积层提取的特征进入分支， 并进入下游操作， 下游操作包括： 对 进入分支的特 征进行池化和分割后， 进行点卷积化操作， 获得多个分割特 征， 末端卷积层提取的特 征进行池化操作后， 进行点卷积化操作， 获得末端特 征， 所述末端特 征与分割特 征进行融合， 获得识别特 征； 基于所述多分支网络， 训练识别模型； 根据所述识别模型， 对行 人图像和待识别图像进行 特征识别； 根据识别特 征的相似度， 进行 行人重识别。 2.根据权利要求1所述的行人重识别方法， 其特征在于， 所述中间卷积层包括第 三卷积 层和第四卷积层， 所述末端卷积层包括第五卷积层， 所述分支包括第二分支， 第三卷积层、 第四卷积层和末端卷积层依次连接； 第五卷积层删除下采样 操作后， 作为第二分支的第六 卷积层； 所述第四卷积层提取的特 征送入所述第六 卷积层进行 特征提取， 获得第六 特征； 所述第六 特征经过池化操作进行分割后， 进行点卷积化， 获得多个第一分割特 征。 3.根据权利要求2所述的行 人重识别方法， 其特 征在于， 所述分支还 包括第三分支， 第三分支中， 所述第三卷积层提取的第三特征和第 四卷积层提取的第 四特征融合后， 依次进行池化操作、 分割和点卷积化操作， 获得多个第二分割特 征； 将所述第一分割特 征、 第二分割特 征和末端特 征进行融合， 获得识别特 征。 4.根据权利要求3所述的行人重识别方法， 其特征在于， 还包括分支间的特征融合方 法： 第四特征通过上采样操作或插值操作后， 与第三特 征融合， 获得 过程特征； 过程特征经卷积操作后， 与第四特 征融合， 获得进入第三分支的第三融合特 征； 第三融合特征经池化操作后， 与第六卷积层提取的特征融合， 获得进入第二分支 的第 二融合特 征； 第二融合特征经池化操作后， 与末端卷积层提取的特征融合， 获得进入主分支 的第一 融合特征。 5.根据权利要求 4所述的行 人重识别方法， 其特 征在于， 还 包括语义 监督的方法： 所述多分支网络包依次连接的第一卷积层、 第二卷积层和第三卷积层； 所述第一卷积层、 第二卷积层和第三卷积层提取的特 征分别为feat0、 feat1、 feat 2； feat2卷积操作和上采样 操作后， 与feat1融合， 获得 特征de_feat1； de_feat1卷积 操作和上采样 操作后， 与feat0融合， 获得 特征de_feat0； de_feat0卷积 操作和上采样 操作后， 获得与行 人图像大小一 致的特征de_feat； 根据分割模型， 获得 行人图像的前 景掩模图； 利用交叉熵损失函数计算de_feat和前 景掩模图之间的损失； 根据所述损失， 监 督特征的提取。 6.根据权利要求5所述的行人重识别方法， 其特征在于， 所述卷积操作的卷积块包括核 为3x3大小的卷积、 BN层和ReLU激活函数；权　利　要　求　书 1/3 页 2 CN 114241278 A 2第三分支中， 第三融合特征经卷积核为8 ×8的池化操作进行水平分割， 获得多个第二 分割块； 第二分割块经 过1x1的点卷积层后， 获得25 6维的多个第二分割特 征； 第二融合特 征经卷积核为12 ×8的池化操作进行 水平分割后， 获得多个第一分割块； 第一分割块经 过1x1的点卷积层后， 获得降到25 6维的多个第一分割特 征； 第一融合特 征经过卷积核为12 ×4的池化层和1x1的点卷积层， 获得25 6维的末端特 征。 7.根据权利要求6所述的行人重识别方法， 其特征在于， 利用自注意力机制， 衡量所述 第三卷积层提取的第三特 征和第四卷积层提取的第四特 征； 利用正交正则化， 增强自注意力机制衡量后特 征的代表性。 8.根据权利要求7 所述的行 人重识别方法， 其特 征在于， 还 包括损失计算的方法： 第三融合特 征进行24 ×8的池化和1x1点卷积降维操作后， 获得第三度量特 征； 第二融合特 征进行24 ×8的池化和1x1卷积降维操作后， 获得第二度量特 征； 每个分支的下游特征依次经过批处理归一化层和全连接层后， 通过Softmax损失函数， 计算分类损失； 通过三元组损失函数， 计算度量特征的损失， 所述度量特征包括： 末端特征、 第二度量 特征和第三度量特 征； 总损失的计算方法表示 为： 其中， Ltotal为总损失， Lsoftmax表示为下游特征的分类损失， m表示为下游特征的数量， Ltriplet表示为度量特征的损失， n表示为度量特征的数量， 表示为正交正则化的惩罚 项。 9.一种用于实现如权利要求1 ‑8任一项所述行人重识别方法的系统， 其特征在于， 包括 多分支网终 获取模块、 训练模块、 特 征识别模块和重识别模块； 所述多分支网络获取模块用于获取基于残差神经网络的多分支网络； 所述训练模块用于基于所述多分支网络， 训练识别模型； 所述特征识别模块用于根据所述识别模型， 对行 人图像和待识别图像进行 特征识别； 所述重识别模块用于根据识别特 征的相似度， 进行 行人重识别。 10.根据权利要求9所述的系统， 其特征在于， 所述识别模型包括主分支、 第二分支、 第 三分支、 自注意力模块、 正交模块和损失计算模块； 依次连接的第一卷积层、 第二卷积层、 第三卷积层、 第 四卷积层和第五卷积层， 作为主 分支； 删除所述第五卷积层的下采样 操作， 作为第六 卷积层， 与第四卷积层连接的第六 卷积层作为第二分支； 将第三卷积层和第四卷积层提取的特征进行融合， 获得的第三融合特征进入第三分 支； 第三融合特征在第三分支中， 依次经过池化操作、 分割和降维操作后， 获得多个第二分 割特征；权　利　要　求　书 2/3 页 3 CN 114241278 A 3