电离层总电子含量(Total Electron Content,TEC)的监测与预报是空间环境研究的重要内容,对卫星通讯和导航定位等有重要意义.TEC值影响因素较多,很难确定精确物理模型来对其进行预测.本文设计了基于注意力机制的LSTM模型(Att-LSTM),采用...电离层总电子含量(Total Electron Content,TEC)的监测与预报是空间环境研究的重要内容,对卫星通讯和导航定位等有重要意义.TEC值影响因素较多,很难确定精确物理模型来对其进行预测.本文设计了基于注意力机制的LSTM模型(Att-LSTM),采用过去24小时TEC观测数据对未来TEC进行预测.选择北半球东经100°上,每2.5°纬度选择一个位置,共计36个位置来验证本文提出模型的性能,并与主流的深度学习模型如DNN、RNN、LSTM进行对比实验.取得了如下成果:(1)在选定的36个地区未来2小时单点预测上,基于本文的Att-LSTM模型的TEC预测性能明显优于其他对比模型;(2)讨论了纬度对Att-LSTM预测未来2小时TEC值时性能的影响,发现在北纬0°到60°之间,Att-LSTM预测性能随着纬度的升高而略有降低,在北纬62.5°~87.5°之间,模型预测性能出现扰动,预测效果略差;(3)讨论了磁暴期和磁静期模型的预测性能,发现无论是磁暴期还是磁静期,本文模型预测性能均较好;(4)还讨论了对未来多时点预测效果,实验结果表明,本文所提出的模型对未来2、4个小时的预测拟合度R-Square均超过0.95,预测结果比较可靠,对未来6、8、10个小时预测拟合度最高为0.7934,预测拟合度R-Square下降迅速,预测结果不可靠.展开更多
针对现有细粒度鸟类目标识别算法准确率不高的问题,提出一种鸟类目标检测算法YOLOv5-Bird。首先,在YOLOv5主干网络中引入基于混合域的坐标注意力(CA)机制,增大有价值的通道权重,以区分目标特征和背景中的冗余特征;其次,在原始主干网络...针对现有细粒度鸟类目标识别算法准确率不高的问题,提出一种鸟类目标检测算法YOLOv5-Bird。首先,在YOLOv5主干网络中引入基于混合域的坐标注意力(CA)机制,增大有价值的通道权重,以区分目标特征和背景中的冗余特征;其次,在原始主干网络中采用双层路由注意力(BRA)模块替换原网络中的部分C3模块,过滤低相关度的键值对信息,获得高效的长距离依赖关系;最后,使用WIoU(Wise-Intersection over Union)损失函数,增强算法对目标的定位能力。实验结果表明,YOLOv5-Bird在自建数据集上取得了82.8%的精确率和77.0%的召回率,比YOLOv5算法分别提高4.3和7.6个百分点,也优于增加其他注意力机制的算法。验证了YOLOv5-Bird在鸟类目标检测场景中具有较好的性能。展开更多
针对词向量语义信息不完整以及文本特征抽取时的一词多义问题,提出基于BERT(Bidirectional Encoder Representation from Transformer)的两次注意力加权算法(TARE)。首先,在词向量编码阶段,通过构建Q、K、V矩阵使用自注意力机制动态编...针对词向量语义信息不完整以及文本特征抽取时的一词多义问题,提出基于BERT(Bidirectional Encoder Representation from Transformer)的两次注意力加权算法(TARE)。首先,在词向量编码阶段,通过构建Q、K、V矩阵使用自注意力机制动态编码算法,为当前词的词向量捕获文本前后词语义信息;其次,在模型输出句子级特征向量后,利用定位信息符提取全连接层对应参数,构建关系注意力矩阵;最后,运用句子级注意力机制算法为每个句子级特征向量添加不同的注意力分数,提高句子级特征的抗噪能力。实验结果表明:在NYT-10m数据集上,与基于对比学习框架的CIL(Contrastive Instance Learning)算法相比,TARE的F1值提升了4.0个百分点,按置信度降序排列后前100、200和300条数据精准率Precision@N的平均值(P@M)提升了11.3个百分点;在NYT-10d数据集上,与基于注意力机制的PCNN-ATT(Piecewise Convolutional Neural Network algorithm based on ATTention mechanism)算法相比,精准率与召回率曲线下的面积(AUC)提升了4.8个百分点,P@M值提升了2.1个百分点。在主流的远程监督关系抽取(DSER)任务中,TARE有效地提升了模型对数据特征的学习能力。展开更多
文摘电离层总电子含量(Total Electron Content,TEC)的监测与预报是空间环境研究的重要内容,对卫星通讯和导航定位等有重要意义.TEC值影响因素较多,很难确定精确物理模型来对其进行预测.本文设计了基于注意力机制的LSTM模型(Att-LSTM),采用过去24小时TEC观测数据对未来TEC进行预测.选择北半球东经100°上,每2.5°纬度选择一个位置,共计36个位置来验证本文提出模型的性能,并与主流的深度学习模型如DNN、RNN、LSTM进行对比实验.取得了如下成果:(1)在选定的36个地区未来2小时单点预测上,基于本文的Att-LSTM模型的TEC预测性能明显优于其他对比模型;(2)讨论了纬度对Att-LSTM预测未来2小时TEC值时性能的影响,发现在北纬0°到60°之间,Att-LSTM预测性能随着纬度的升高而略有降低,在北纬62.5°~87.5°之间,模型预测性能出现扰动,预测效果略差;(3)讨论了磁暴期和磁静期模型的预测性能,发现无论是磁暴期还是磁静期,本文模型预测性能均较好;(4)还讨论了对未来多时点预测效果,实验结果表明,本文所提出的模型对未来2、4个小时的预测拟合度R-Square均超过0.95,预测结果比较可靠,对未来6、8、10个小时预测拟合度最高为0.7934,预测拟合度R-Square下降迅速,预测结果不可靠.
文摘针对现有细粒度鸟类目标识别算法准确率不高的问题,提出一种鸟类目标检测算法YOLOv5-Bird。首先,在YOLOv5主干网络中引入基于混合域的坐标注意力(CA)机制,增大有价值的通道权重,以区分目标特征和背景中的冗余特征;其次,在原始主干网络中采用双层路由注意力(BRA)模块替换原网络中的部分C3模块,过滤低相关度的键值对信息,获得高效的长距离依赖关系;最后,使用WIoU(Wise-Intersection over Union)损失函数,增强算法对目标的定位能力。实验结果表明,YOLOv5-Bird在自建数据集上取得了82.8%的精确率和77.0%的召回率,比YOLOv5算法分别提高4.3和7.6个百分点,也优于增加其他注意力机制的算法。验证了YOLOv5-Bird在鸟类目标检测场景中具有较好的性能。
文摘针对词向量语义信息不完整以及文本特征抽取时的一词多义问题,提出基于BERT(Bidirectional Encoder Representation from Transformer)的两次注意力加权算法(TARE)。首先,在词向量编码阶段,通过构建Q、K、V矩阵使用自注意力机制动态编码算法,为当前词的词向量捕获文本前后词语义信息;其次,在模型输出句子级特征向量后,利用定位信息符提取全连接层对应参数,构建关系注意力矩阵;最后,运用句子级注意力机制算法为每个句子级特征向量添加不同的注意力分数,提高句子级特征的抗噪能力。实验结果表明:在NYT-10m数据集上,与基于对比学习框架的CIL(Contrastive Instance Learning)算法相比,TARE的F1值提升了4.0个百分点,按置信度降序排列后前100、200和300条数据精准率Precision@N的平均值(P@M)提升了11.3个百分点;在NYT-10d数据集上,与基于注意力机制的PCNN-ATT(Piecewise Convolutional Neural Network algorithm based on ATTention mechanism)算法相比,精准率与召回率曲线下的面积(AUC)提升了4.8个百分点,P@M值提升了2.1个百分点。在主流的远程监督关系抽取(DSER)任务中,TARE有效地提升了模型对数据特征的学习能力。
