边界框回归分支是深度目标跟踪器的关键模块,其性能直接影响跟踪器的精度.评价精度的指标之一是交并比(Intersection over union,IoU).基于IoU的损失函数取代了l_(n)-norm损失成为目前主流的边界框回归损失函数,然而IoU损失函数存在2个...边界框回归分支是深度目标跟踪器的关键模块,其性能直接影响跟踪器的精度.评价精度的指标之一是交并比(Intersection over union,IoU).基于IoU的损失函数取代了l_(n)-norm损失成为目前主流的边界框回归损失函数,然而IoU损失函数存在2个固有缺陷:1)当预测框与真值框不相交时IoU为常量0,无法梯度下降更新边界框的参数;2)在IoU取得最优值时其梯度不存在,边界框很难收敛到IoU最优处.揭示了在回归过程中IoU最优的边界框各参数之间蕴含的定量关系,指出在边界框中心处于特定位置时存在多种尺寸不同的边界框使IoU损失最优的情况,这增加了边界框尺寸回归的不确定性.从优化两个统计分布之间散度的视角看待边界框回归问题,提出了光滑IoU(Smooth-IoU,SIoU)损失,即构造了在全局上光滑(即连续可微)且极值唯一的损失函数,该损失函数自然蕴含边界框各参数之间特定的最优关系,其唯一取极值的边界框可使IoU达到最优.光滑性确保了在全局上梯度存在使得边界框更容易回归到极值处,而极值唯一确保了在全局上可梯度下降更新参数,从而避开了IoU损失的固有缺陷.提出的光滑损失可以很容易取代IoU损失集成到现有的深度目标跟踪器上训练边界框回归,在LaSOT、GOT-10k、TrackingNet、OTB2015和VOT2018测试基准上所取得的结果,验证了光滑IoU损失的易用性和有效性.展开更多
时序行为边界框生成任务的目的是定位未剪辑视频中行为的开始和结束时间.现有的生成行为边界框的方法存在两个缺点:所使用的特征不具有足够的时间全局信息,导致了边界框的不准确;特征提取和边界框生成的过程是分开的,导致生成的特征不...时序行为边界框生成任务的目的是定位未剪辑视频中行为的开始和结束时间.现有的生成行为边界框的方法存在两个缺点:所使用的特征不具有足够的时间全局信息,导致了边界框的不准确;特征提取和边界框生成的过程是分开的,导致生成的特征不完全适合边界框生成任务.为了解决上述问题,本文提出了时间全局相关网络(Temporal Global Correlation Network,TGCNet),利用时间全局相关(Temporal Global Correlation,TGC)模块获取全局信息.TGC模块主要包含动态相关结构和静态相关结构,分别编码动态和静态全局信息.TGCNet网络可以以端到端的方式训练,使得所学习到的特征更适合时序行为边界框生成任务.本文在两个具有挑战性的数据集THUMOS14和ActivityNet1.3上进行了实验,结果表明,所提出的TGCNet网络在这两个数据集上均达到了最好的时序行为边界框生成性能.展开更多
在目标检测领域中,基于交并比(intersection over union, IoU)的系列损失函数存在一定的局限性,使得边界框回归的精度和稳定性有待进一步提升。为此提出了一种基于非线性高斯平方距离的边界框回归损失函数。首先综合考虑了边界框中重叠...在目标检测领域中,基于交并比(intersection over union, IoU)的系列损失函数存在一定的局限性,使得边界框回归的精度和稳定性有待进一步提升。为此提出了一种基于非线性高斯平方距离的边界框回归损失函数。首先综合考虑了边界框中重叠性、中心点距离和长宽比3个因素,将边界框建模为高斯分布;然后提出一种高斯平方距离来衡量概率分布之间的差距;最后设计了符合优化趋势的非线性函数,将高斯平方距离转化为有利于神经网络学习的损失函数。实验结果表明,与IoU损失相比,所提方法在掩膜区域卷积神经网络、一阶全卷积目标检测器和自适应特征选择目标检测器上的平均精度均值分别提高了0.3%、1.1%和2.3%,证明了该方法能有效提升目标检测的性能,同时有利于高精度边界框的回归。展开更多
文摘边界框回归分支是深度目标跟踪器的关键模块,其性能直接影响跟踪器的精度.评价精度的指标之一是交并比(Intersection over union,IoU).基于IoU的损失函数取代了l_(n)-norm损失成为目前主流的边界框回归损失函数,然而IoU损失函数存在2个固有缺陷:1)当预测框与真值框不相交时IoU为常量0,无法梯度下降更新边界框的参数;2)在IoU取得最优值时其梯度不存在,边界框很难收敛到IoU最优处.揭示了在回归过程中IoU最优的边界框各参数之间蕴含的定量关系,指出在边界框中心处于特定位置时存在多种尺寸不同的边界框使IoU损失最优的情况,这增加了边界框尺寸回归的不确定性.从优化两个统计分布之间散度的视角看待边界框回归问题,提出了光滑IoU(Smooth-IoU,SIoU)损失,即构造了在全局上光滑(即连续可微)且极值唯一的损失函数,该损失函数自然蕴含边界框各参数之间特定的最优关系,其唯一取极值的边界框可使IoU达到最优.光滑性确保了在全局上梯度存在使得边界框更容易回归到极值处,而极值唯一确保了在全局上可梯度下降更新参数,从而避开了IoU损失的固有缺陷.提出的光滑损失可以很容易取代IoU损失集成到现有的深度目标跟踪器上训练边界框回归,在LaSOT、GOT-10k、TrackingNet、OTB2015和VOT2018测试基准上所取得的结果,验证了光滑IoU损失的易用性和有效性.
文摘时序行为边界框生成任务的目的是定位未剪辑视频中行为的开始和结束时间.现有的生成行为边界框的方法存在两个缺点:所使用的特征不具有足够的时间全局信息,导致了边界框的不准确;特征提取和边界框生成的过程是分开的,导致生成的特征不完全适合边界框生成任务.为了解决上述问题,本文提出了时间全局相关网络(Temporal Global Correlation Network,TGCNet),利用时间全局相关(Temporal Global Correlation,TGC)模块获取全局信息.TGC模块主要包含动态相关结构和静态相关结构,分别编码动态和静态全局信息.TGCNet网络可以以端到端的方式训练,使得所学习到的特征更适合时序行为边界框生成任务.本文在两个具有挑战性的数据集THUMOS14和ActivityNet1.3上进行了实验,结果表明,所提出的TGCNet网络在这两个数据集上均达到了最好的时序行为边界框生成性能.
文摘在目标检测领域中,基于交并比(intersection over union, IoU)的系列损失函数存在一定的局限性,使得边界框回归的精度和稳定性有待进一步提升。为此提出了一种基于非线性高斯平方距离的边界框回归损失函数。首先综合考虑了边界框中重叠性、中心点距离和长宽比3个因素,将边界框建模为高斯分布;然后提出一种高斯平方距离来衡量概率分布之间的差距;最后设计了符合优化趋势的非线性函数,将高斯平方距离转化为有利于神经网络学习的损失函数。实验结果表明,与IoU损失相比,所提方法在掩膜区域卷积神经网络、一阶全卷积目标检测器和自适应特征选择目标检测器上的平均精度均值分别提高了0.3%、1.1%和2.3%,证明了该方法能有效提升目标检测的性能,同时有利于高精度边界框的回归。
