陈梦蝶,卢健,张奇.基于双重增强网络的跨模态行人重识别[J].光电子激光,2024,35(7):745~752
基于双重增强网络的跨模态行人重识别
Cross-modality person re-identification based on dual enhancement network
投稿时间:2022-11-17  修订日期:2023-03-12
DOI:
中文关键词:  行人重识别(ReID)  跨模态  通道交换增强(CEA)  基于归一化的注意力模块(NAM)  特征分离模块(FSM)
英文关键词:person re-identification (ReID)  cross-modality  channel exchangeable augmentation (CEA)  normalization-based attention module (NAM)  feature separation module (FSM)
基金项目:西安市碑林区应用技术研发(GX2007)资助项目
作者单位
陈梦蝶 (西安工程大学 电子信息学院陕西 西安 710600) 
卢健 (西安工程大学 电子信息学院陕西 西安 710600) 
张奇 (西安工程大学 电子信息学院陕西 西安 710600) 
摘要点击次数: 101
全文下载次数: 5
中文摘要:
      针对异质样本差异、行人遮挡及背景干扰等造成的跨模态行人重识别(person re-identification,ReID)精度不高的问题,本文提出了一种基于通道与特征学习的双重增强网络(dual enhanced network,DEN)。首先从通道级出发,通过随机交换可见光通道来挖掘可见光与红外通道间的关系,增强模型对多模态样本变化的鲁棒性。其次从特征级出发,在模态共享网络前引入基于归一化的注意力模块(normalization-based attention module,NAM),通过惩罚贡献因子较小的权重来避免噪声对模态不变信息学习造成一定干扰。同时采用特征分离模块(feature separation module,FSM)来分离出身份相关特征与身份无关特征,有效提升了模型对异质样本的识别能力。最后联合难样本三元组和加权正则化损失对网络进行监督训练,从而约束行人特征学习。在RegDB数据集上,DEN的Rank1准确率和mAP分别达到了94.86%和90.10%的高水准。
英文摘要:
      This paper proposes a dual enhanced network (DEN) based on channel and feature learning to address the problem of poor accuracy in cross- modality person re-identification (ReID) caused by heterogeneous sample differences,person occlusion,and background interference.At the channel level,visible channels are randomly swapped to explore the relationship between visible and infrared channels,enhancing the model′s robustness to multimodal sample changes.At the feature level,a normalization-based attention module (NAM) is introduced before module sharing network to avoid noise interference on modality-invariant information learning by punishing weights with smaller contribution factors ,and a feature separation module (FSM) is used to separate identity-related features from identity-independent features,improving the model′s recognition ability for heterogeneous samples.Finally,the network is trained and supervised using hard sample triples and weighted regularization loss to constrain pedestrian feature learning.On the RegDB dataset,DEN achieves a high level of accuracy,with a Rank1 accuracy of 94.86% and mAP of 90.10%.
查看全文    下载PDF阅读器
关闭

版权所有:《光电子·激光》编辑部  津ICP备12008651号-1
主管单位:天津市教育委员会 主办单位:天津理工大学 地址:中国天津市西青区宾水西道391号
技术支持:北京勤云科技发展有限公司