基于混合注意力的双模态融合目标跟踪网络
CSTR:
作者:
作者单位:

(云南大学 信息学院,云南 昆明 650000)

作者简介:

何乐生 (1977-),男,博士,副教授,硕士生导师,主要研究方向为物联网技术、物联网加密。

通讯作者:

中图分类号:

TP391.41

基金项目:

国家自然科学基金(U1631121)和云南大学研究生科研创新项目基金(KC-2222245) 资助项目


Dual mode fusion object tracking network based on hybrid attention
Author:
Affiliation:

(College of Information, Yunnan University, Kunming, Yunnan 650000, China)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    目标跟踪通常在面对亮度变化、背景混杂和快速移动等复杂场景时难以取得良好的跟踪性能,为此提出了一种结合自适应特征融合和注意力机制的红外与可见光融合的目标跟踪算法。利用红外光与可见光的互补性优势,增强传统目标跟踪算法在复杂场景下的跟踪性能。首先在前3层卷积层中结合注意力机制对红外光与可见光模态特征进行特征筛选,同时针对不同通道特征进行动态权重分配实现自适应特征融合,然后将不同通道特征进行融合,并经过实例分类模块实现对目标的跟踪。在GTOT数据集和RGBT234数据集上的实验结果表明,该算法的精度和成功率分别到达了90.4%和73.2%、79.6%和56.1%,优于目前主流算法。

    Abstract:

    Object tracking is often difficult to achieve good tracking performance in complex scenes,such as brightness changes,background interference and fast movement.Therefore,we propose an object tracking algorithm that combines infrared and visible light with adaptive feature fusion and an attention mechanism to improve tracking performance.By leveraging the complementary strengths of infrared and visible light,we enhance the performance of traditional object tracking algorithms in complex scenes.To achieve this,we first employ an attention mechanism in the initial three convolution layers to select relevant features from both the infrared and visible modalities.Simultaneously,we dynamically allocate weights to the features of different channels,enabling adaptive feature fusion.Subsequently,the features from different channels are fused,and the object is tracked using the instance classification module.Experimental results obtained from the GTOT dataset and RGBT234 dataset demonstrate the effectiveness of our proposed algorithm.The accuracy and success ratio achieved 90.4% and 73.2% on the GTOT dataset,and 79.6% and 56.1% on the RGBT234 dataset,respectively.These results surpass those of current mainstream algorithms.

    参考文献
    相似文献
    引证文献
引用本文

权家锐,何乐生,晏开祥,尹恒,余圣涛,廖伟.基于混合注意力的双模态融合目标跟踪网络[J].光电子激光,2024,35(12):1259~1266

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-03-29
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2024-11-29
  • 出版日期:
文章二维码