-
题名基于孪生网络的特征融合位移RGB-T目标跟踪
- 1
-
-
作者
李海燕
曹永辉
郎恂
李海江
-
机构
云南大学信息学院
云南交通投资建设集团有限公司
-
出处
《湖南大学学报(自然科学版)》
北大核心
2025年第4期68-78,共11页
-
基金
国家自然科学基金资助项目(62166048)
云南省万人计划“云岭教学名师”
+1 种基金
云南省高校重点实验室建设计划资助项目(202101AS070031)
云南大学第十四届研究生科研创新项目(KC-22221737)。
-
文摘
为解决现有目标跟踪算法深层次特征提取困难、不能充分利用跨模态信息以及目标特征表示较弱等问题,提出了基于孪生网络的特征融合位移RGB-T目标跟踪算法.首先,基于可见光模态SiameseRPN++的目标跟踪框架,扩展设计红外模态分支,以获得多模态目标跟踪框架,设计了改进步长的ResNet50作为特征提取网络,有效挖掘目标的深层次特征.随后,设计特征交互学习模块,利用一种模态的判别信息引导另一种模态的目标外观特征学习,挖掘特征空间和通道中的跨模态信息,增强网络对前景信息的关注.然后,设计多模特征融合模块计算输入的可见光图像和红外图像的特征融合度,对不同模态的重要特征进行空间融合以去除冗余信息,并采用级联融合策略重建多模态图像,增强目标特征表示.最后,设计特征空间位移模块,分割红外模态分支的特征图并向四个不同方向移位,增强热源目标特征的边缘表示.在两个RGB-T数据集上的实验验证了提出算法的有效性,消融实验证明了设计的单个模块的优越性.
-
关键词
RGB-T跟踪
多模特征融合模块
特征空间位移模块
特征交互学习模块
-
Keywords
RGB-T tracking
multi mode feature fusion module
feature space shift module
feature interactive learning module
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
