期刊文献+
共找到125篇文章
< 1 2 7 >
每页显示 20 50 100
基于多头自注意力机制和PANet的优化YOLOv5行人检测算法
1
作者 宋子昂 刘惠临 《宁夏师范学院学报》 2024年第1期93-101,共9页
针对行人检测任务中出现拥挤和目标尺寸小所导致的行人检测精度低和效果不佳问题,提出一种基于改进YOLOv5的检测算法.首先,将多头自注意力机制嵌入YOLOv5骨干网络末端,加强了网络对目标行人的全局信息感知,进一步增强了对行人目标可视... 针对行人检测任务中出现拥挤和目标尺寸小所导致的行人检测精度低和效果不佳问题,提出一种基于改进YOLOv5的检测算法.首先,将多头自注意力机制嵌入YOLOv5骨干网络末端,加强了网络对目标行人的全局信息感知,进一步增强了对行人目标可视化区域的特征提取.其次,改进了PANet结构,使模型可以获取更细粒度的特征图.最后,采用更适合密集场景的Varifocal Loss损失函数代替Focal Loss损失函数,以提高模型的鲁棒性.实验结果表明,相比于YOLOv5模型,改进后的算法mAP@0.5与mAP0.5∶0.95分别提高到90.2%和63%,并且对小尺度行人以及密集行人都表现出更好的检测效果,同时比其他同类主流算法拥有更高的鲁棒性和准确性. 展开更多
关键词 行人检测 YOLOv5 多头自注意力 损失函数
下载PDF
声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法
2
作者 张寒 熊云 +1 位作者 唐信 王枭 《应用声学》 CSCD 北大核心 2024年第1期119-130,共12页
为提升电力变压器工作状态的智能监测水平,提出声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法。基于图形差分场技术将声纹信号映射为二维图像,再借助多头注意力机制的视觉转换器实现图像信息的深层挖掘与状态辨识... 为提升电力变压器工作状态的智能监测水平,提出声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法。基于图形差分场技术将声纹信号映射为二维图像,再借助多头注意力机制的视觉转换器实现图像信息的深层挖掘与状态辨识,采用梯度加权类激活映射实现分类结果的可解释性分析。搭建了包含变压器4种典型工作状态下的实验模拟测试系统平台,实验结果表明:所提方法不仅能够有效表征变压器声纹信号的状态特征,且分类辨识精度相较于“时频图+引入多头注意力机制的变换网络”与“图形差分场+引入残差模块的卷积神经网络”的常规方法有显著提升,提升约6%,同时也具备较好的鲁棒性,可为电气设备的故障检测研究提供一定参考。 展开更多
关键词 图形差分场 多头自注意力机制 变压器 状态辨识
下载PDF
基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测
3
作者 徐瑞琪 刘丹丹 《科学技术与工程》 北大核心 2024年第6期2385-2395,共11页
针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征... 针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与4个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。 展开更多
关键词 非侵入式负荷监测 多尺度特征融合 金字塔池化 批量归一化 多头自注意力机制 状态识别
下载PDF
基于多头自注意力机制和Bi-GRU的人体动作识别算法 被引量:5
4
作者 路永乐 修蔚然 +3 位作者 孙旗 惠嘉威 杨杰 罗毅 《中国惯性技术学报》 EI CSCD 北大核心 2023年第1期1-6,共6页
目前基于惯性传感器的人体动作识别技术具有自主、可靠等优点,但现有人体动作识别算法结构复杂、参数量大、识别精度低。针对以上问题,提出了一种基于多头自注意力机制和双向门控循环单元(Bi-GRU)的人体动作识别算法。该算法首先通过多... 目前基于惯性传感器的人体动作识别技术具有自主、可靠等优点,但现有人体动作识别算法结构复杂、参数量大、识别精度低。针对以上问题,提出了一种基于多头自注意力机制和双向门控循环单元(Bi-GRU)的人体动作识别算法。该算法首先通过多头自注意力机制无视时间间隔地计算数据之间关联特征,再将关联特征与原始数据拼接,输入到深度Bi-GRU网络中提取顺序特征,最终通过Softmax层识别人体动作。采用YESENSE公司开发的YIS360-V姿态仪搭建了人体动作识别算法验证平台,在此基础上建立训练-测试数据集并进行了实验验证。实验结果表明,所提算法较传统Bi-GRU算法,参数量由40695个减少到18337个,识别准确率由93.36%提升至95.26%。 展开更多
关键词 惯性传感器 人体动作识别 多头自注意力 深度学习 双向门控循环单元
下载PDF
基于多头自注意力机制的大气数据系统多故障识别
5
作者 王力 金辉 《江苏大学学报(自然科学版)》 CAS 北大核心 2023年第4期444-451,共8页
针对大气数据具有时变性强、类型多、故障复杂等问题,提出一种基于多头自注意力机制的故障诊断方法.首先,使用LSTM提取故障数据的时域特征;然后,结合MSA提取不同类型数据间的空间位置特征;最后,利用MLP提升模型泛化能力,给出了故障诊断... 针对大气数据具有时变性强、类型多、故障复杂等问题,提出一种基于多头自注意力机制的故障诊断方法.首先,使用LSTM提取故障数据的时域特征;然后,结合MSA提取不同类型数据间的空间位置特征;最后,利用MLP提升模型泛化能力,给出了故障诊断流程.该方法在不同类型数据间形成故障互判,实现多故障识别,并利用大气数据对该方法有效性进行充分验证.给出了试验设置,采用带k折交叉验证的网格搜索法确定最优模型参数;为验证LSTM-MSA模型的性能,构建MSA-LSTM、LSTM-MSA-P、LSTM-CNN、RNN-MSA共4种深度学习模型进行对比试验;为验证诊断模型能否精确定位故障,使用验证集的预测标签和真实标签构建故障分类混淆矩阵;为进一步验证文中方法的诊断能力,基于t-SNE进行了可视化试验.结果表明,所提出方法的故障识别准确率达96.696%,F1达96.777%,且各类故障的误判率均控制在10%以下,诊断模型具有较高的鲁棒性. 展开更多
关键词 大气数据系统 故障诊断 深度学习 故障仿真 长短期记忆 多头自注意力机制
下载PDF
融合门控单元与多头自注意力机制的特征自动交互推荐算法
6
作者 喻金平 李钰 +1 位作者 姚炫辰 罗琛 《现代电子技术》 2023年第23期126-132,共7页
为了解决推荐算法中使用手工制作、特征工程等方式枚举所有的特征组合不但会带来巨大的存储空间和计算成本,而且无用的特征交互会引入噪声使模型训练过程复杂化的问题,文中提出融合多头自注意力机制的特征自动交互推荐算法。该算法首先... 为了解决推荐算法中使用手工制作、特征工程等方式枚举所有的特征组合不但会带来巨大的存储空间和计算成本,而且无用的特征交互会引入噪声使模型训练过程复杂化的问题,文中提出融合多头自注意力机制的特征自动交互推荐算法。该算法首先利用门控机制对输入特征进行初次筛选;然后将特征送入多头自注意力机制中,选取关键特征进行不同阶的组合;最后利用残差网络进行特征融合输出预测结果。该算法能有效地提高预测结果的准确性,同时具有良好的解释性。 展开更多
关键词 门控单元 自动特征交互 多头自注意力机制 推荐算法 特征组合 可解释性
下载PDF
检测脑电癫痫的多头自注意力机制神经网络 被引量:2
7
作者 仝航 杨燕 江永全 《计算机科学与探索》 CSCD 北大核心 2023年第2期442-452,共11页
癫痫是一种危及生命且具有挑战性的神经系统疾病,目前基于脑电图(EEG)的癫痫检测方法依然存在很多挑战,脑电图信号是不稳定的,不同的病人表现出的癫痫发作模式不同,检测脑电信号耗时费力,不仅会给医务人员带来沉重的负担,还容易造成误... 癫痫是一种危及生命且具有挑战性的神经系统疾病,目前基于脑电图(EEG)的癫痫检测方法依然存在很多挑战,脑电图信号是不稳定的,不同的病人表现出的癫痫发作模式不同,检测脑电信号耗时费力,不仅会给医务人员带来沉重的负担,还容易造成误检情况的发生。因此,研究高效的跨多患者的癫痫自动检测技术是非常有必要的。提出了一种基于多头自注意力机制神经网络的癫痫脑电检测方法(CABLNet),利用卷积层捕获脑电时序信号的短期时间模式和各通道之间的局部依赖关系,使用多头自注意力机制进一步捕获具有时序关系的短期时间模式特征向量的长距离依赖关系和时间动态相关性,将上下文表示送入双向长短时记忆网络(BiLSTM)提取前后方向的信息,用logsoftmax函数进行训练和分类。实验使用CHB-MIT头皮脑电数据库数据,灵敏度、特异性、准确率、F1-score分别为96.18%、97.04%、96.61%、96.59%,结果表明,提出的方法优于现有方法,在癫痫检测性能方面有显著提高,对癫痫的辅助诊断具有重要意义。 展开更多
关键词 脑电图 癫痫 癫痫检测 深度学习 多头自注意力机制
下载PDF
基于因果推断和多头自注意力机制的学生成绩预测
8
作者 张文奇 王海瑞 朱贵富 《现代电子技术》 2023年第17期111-116,共6页
学生成绩预测旨在为学校管理者提供决策支持,帮助教师改进教学手段,对学生进行学业指导,最终提高学生成绩。传统的学生成绩预测方法大多利用相关性分析选取重要因素,忽视多变量之间的间接联系和联系的方向性,而且在进行预测时没有区分... 学生成绩预测旨在为学校管理者提供决策支持,帮助教师改进教学手段,对学生进行学业指导,最终提高学生成绩。传统的学生成绩预测方法大多利用相关性分析选取重要因素,忽视多变量之间的间接联系和联系的方向性,而且在进行预测时没有区分输入特征的重要程度,因此提出一种基于因果推断和多头自注意力机制的学生成绩预测方法。该方法不仅使用因果推断选取与标签具有方向性联系的直接特征和间接特征,而且用多头自注意力机制区分不同特征对期末成绩的影响程度。在公开数据集上进行大量的实验,结果显示所提出方法的预测准确率高达93.06%,高于其他传统成绩预测方法。 展开更多
关键词 学生成绩预测 教育数据挖掘 因果推断 多头自注意力机制 TRANSFORMER 相关性分析
下载PDF
基于多头自注意力机制的协作频谱感知算法
9
作者 李涛 张煜培 赵知劲 《电子技术应用》 2023年第11期88-93,共6页
针对协作频谱感知中部分用户受到阴影、衰落等影响导致在低信噪比环境下对微弱信号的感知性能急剧降低及部分聚类模型没有充分利用能量向量的问题,提出一种基于多头自注意力机制的协作频谱感知算法。各次用户独立采样数据,融合中心收集... 针对协作频谱感知中部分用户受到阴影、衰落等影响导致在低信噪比环境下对微弱信号的感知性能急剧降低及部分聚类模型没有充分利用能量向量的问题,提出一种基于多头自注意力机制的协作频谱感知算法。各次用户独立采样数据,融合中心收集各次用户的能量数值并构成能量向量作为自注意力网络的输入;设计基于多头自注意力机制的网络模型,利用该网络自动学习信号和噪声的能量向量特征,有效提取局部特征,实现智能协作频谱感知。仿真结果表明,该频谱感知算法性能优于对比算法,在信噪比为-14 dB、虚警概率为0.001时,该算法检测概率高于对比算法0.29~0.4。 展开更多
关键词 认知无线电网络 多头自注意力机制 协作频谱感知 能量向量
下载PDF
融合多头自注意力的问答社区专家推荐算法
10
作者 陈颖婷 林耿 +3 位作者 陈梦 陈双梅 林夏莹 龙素娟 《计算机应用研究》 CSCD 北大核心 2023年第5期1452-1458,共7页
专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首... 专家推荐是在线问答社区的研究热点之一,但现有的算法大多关注用户的静态兴趣和问题信息的匹配,忽视了对用户的动态兴趣表征信息的有效捕捉,从而导致推荐的准确度不足。针对上述问题,提出了融合多头自注意力的问答社区专家推荐算法。首先,构造由卷积神经网络和注意力机制组成的问题编码器,来处理目标问题和用户历史回答问题,提取对应的问题表征;其次,将用户历史回答问题序列当做时间序列,利用多头自注意力机制学习序列中所蕴涵的动态兴趣表征,结合用户的静态兴趣表征,获取用户的综合兴趣表征;最后,将目标问题表征和用户综合表征进行相似性计算产生推荐结果。利用来自知乎问答社区的真实数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法性能要明显优于目前较流行的深度学习专家推荐算法。 展开更多
关键词 深度学习 卷积神经网络 多头自注意力机制 专家推荐 社区问答
下载PDF
基于多核卷积和多头自注意力的心电图身份识别方法
11
作者 姚嘉伟 蔡延光 《自动化与信息工程》 2023年第5期32-37,共6页
为提高心电图身份识别过程中神经网络的训练效率及识别正确率,提出一种基于多核卷积和多头自注意力的心电图身份识别方法。首先,利用多个大小不同的卷积核对预处理后的单个心拍进行特征提取;然后,采用多头自注意力模块加强卷积通道中全... 为提高心电图身份识别过程中神经网络的训练效率及识别正确率,提出一种基于多核卷积和多头自注意力的心电图身份识别方法。首先,利用多个大小不同的卷积核对预处理后的单个心拍进行特征提取;然后,采用多头自注意力模块加强卷积通道中全局特征的提取效果;接着,将特征通道一分为二进行半实例归一化,使多头自注意力模块能够关注归一化前后的特征,提升神经网络的收敛速度;最后,将多核多头自注意力模块进行ResNet残差连接。该方法在QT数据集上经过20个epoch训练,实现了94.92%的识别正确率。利用ResNet进行对比实验的结果表明,该方法能够有效地提升神经网络的训练效率及识别正确率。 展开更多
关键词 多核卷积 多头自注意力机制 半实例归一化 心电图 身份识别
下载PDF
基于多头自注意力机制的基数估计研究
12
作者 王焱 陈珊珊 《智能计算机与应用》 2023年第10期151-155,共5页
基数估计是数据库查询中关键的一步,数据库的查询优化器会根据基数估计的预期结果来从多个物理执行计划中选择最终要执行的计划。针对传统的基数估计方法没有考虑数据各个列之间可能存在的逻辑关系,在数据量过大时估计准确性较低的问题... 基数估计是数据库查询中关键的一步,数据库的查询优化器会根据基数估计的预期结果来从多个物理执行计划中选择最终要执行的计划。针对传统的基数估计方法没有考虑数据各个列之间可能存在的逻辑关系,在数据量过大时估计准确性较低的问题,本文提出了一种基于神经网络的多头注意力机制的基数估计模型,利用数据列之间的逻辑关系提高SQL特征关系的提取效率,通过针对语句的不同组成部分,采用多种细粒度的编码方式有效提取数据之间的逻辑特征;利用多头自注意力机制对特征数据进行加权计算,提高模型的预判准确性。在IMDb数据集上的实验结果表明,该模型可以有效提高基数估计的准确性。 展开更多
关键词 数据库 查询优化 基数估计 多头自注意力机制
下载PDF
基于多头自注意力模型的本体匹配方法
13
作者 吴楠 唐雪明 《无线电通信技术》 2023年第6期1081-1087,共7页
随着语义网的发展,本体数量不断增加,本体间的语义关系变得越来越复杂。因此,引入OWL2Vec*方法获取本体的语义嵌入表示。通常,匹配的类或属性具有相似的结构,因此利用了字符级和结构级的相似性度量。为高效融合多种相似度值,提出基于多... 随着语义网的发展,本体数量不断增加,本体间的语义关系变得越来越复杂。因此,引入OWL2Vec*方法获取本体的语义嵌入表示。通常,匹配的类或属性具有相似的结构,因此利用了字符级和结构级的相似性度量。为高效融合多种相似度值,提出基于多头自注意力模型的本体匹配方法(Ontology Matching Method Based on Multi-Head Self-Attention, OM-MHSA)自主学习各相似度方法对匹配结果的贡献值。在国际本体对齐评测组织(Ontology Alignment Evaluation Initiative, OAEI)提供的Conference数据集上进行实验,结果表明,相对LSMatch和KGMatcher+方法,提出的模型准确率(Precision)提升了6%,召回率(Recall)和F1值(F1-measure)超过了ALIOn、TOMATO和Matcha等方法。可见,提出的模型能够提升匹配结果的效率。 展开更多
关键词 语义关系 OWL2Vec* 本体匹配 多头自注意力模型
下载PDF
结合多头自注意力机制与BiLSTM-CRF的中文临床实体识别 被引量:25
14
作者 罗熹 夏先运 +1 位作者 安莹 陈先来 《湖南大学学报(自然科学版)》 EI CAS CSCD 北大核心 2021年第4期45-55,共11页
命名实体是电子病历中相关医学知识的主要载体,因此,临床命名实体识别(Clinical Named Entity Recognition,CNER)也就成为了临床文本分析处理的基础性任务之一.由于文本结构和语言等方面的特殊性,面向中文电子病历(Electronic Medical R... 命名实体是电子病历中相关医学知识的主要载体,因此,临床命名实体识别(Clinical Named Entity Recognition,CNER)也就成为了临床文本分析处理的基础性任务之一.由于文本结构和语言等方面的特殊性,面向中文电子病历(Electronic Medical Records,EMRs)的临床命名实体识别依然存在着巨大的挑战.本文提出了一种基于多头自注意力神经网络的中文临床命名实体识别方法.该方法使用了一种新颖的融合领域词典的字符级特征表示方法,并在BiLSTM-CRF模型的基础上,结合多头自注意力机制来准确地捕获字符间潜在的依赖权重、语境和语义关联等多方面的特征,从而有效地提升了中文临床命名实体的识别能力.实验结果表明本文方法超过现有的其他方法获得了较优的识别性能. 展开更多
关键词 中文电子病历 命名实体识别 长短期记忆 多头自注意力
下载PDF
融合多尺度多头自注意力和在线难例挖掘的小样本硅藻检测 被引量:2
15
作者 邓杰航 郭文权 +6 位作者 陈汉杰 顾国生 刘景建 杜宇坤 刘超 康晓东 赵建 《计算机应用》 CSCD 北大核心 2022年第8期2593-2600,共8页
硅藻训练样本量较少时,检测精度偏低,为此在小样本目标检测模型TFA(Two-stage Fine-tuning Approach)的基础上提出一种融合多尺度多头自注意力(MMS)和在线难例挖掘(OHEM)的小样本硅藻检测模型(MMSOFDD)。首先,结合ResNet-101与多头自注... 硅藻训练样本量较少时,检测精度偏低,为此在小样本目标检测模型TFA(Two-stage Fine-tuning Approach)的基础上提出一种融合多尺度多头自注意力(MMS)和在线难例挖掘(OHEM)的小样本硅藻检测模型(MMSOFDD)。首先,结合ResNet-101与多头自注意力机制构造一个基于Transformer的特征提取网络BoTNet-101,以充分利用硅藻图像的局部和全局信息;然后,改进多头自注意力为MMS,消除了原始多头自注意力的处理目标尺度单一的局限性;最后,引入OHEM到模型预测器中,并对硅藻进行识别与定位。把所提模型与其他小样本目标检测模型在自建硅藻数据集上进行消融及对比实验。实验结果表明:与TFA相比,MMSOFDD的平均精度均值(mAP)为69.60%,TFA为63.71%,MMSOFDD提高了5.89个百分点;与小样本目标检测模型Meta R-CNN和FSIW相比,Meta R-CNN和FSIW的mAP分别为61.60%和60.90%,所提模型的mAP分别提高了8.00个百分点和8.70个百分点。而且,MMSOFDD在硅藻训练样本量少的条件下能够有效地提高检测模型对硅藻的检测精度。 展开更多
关键词 小样本 硅藻检测 卷积神经网络 TRANSFORMER 在线难例挖掘 多尺度多头自注意力
下载PDF
基于多头自注意力机制与U-Net的增强CT图像肾脏小肿瘤自动分割研究 被引量:2
16
作者 吴倩倩 周蕾蕾 +1 位作者 陆小妍 蒋红兵 《中国医学装备》 2022年第2期27-31,共5页
目的:构建一种基于多头自注意力(MHSA)机制与U-Net网络的M-UNet优化分割模型,以提高增强CT图像中肾脏小肿瘤横断面最大直径≤3 cm的分割准确度。方法:选取医学图像计算和计算机辅助干预协会(MICCAI)的2019肾脏肿瘤分割挑战(KiTS19)数据... 目的:构建一种基于多头自注意力(MHSA)机制与U-Net网络的M-UNet优化分割模型,以提高增强CT图像中肾脏小肿瘤横断面最大直径≤3 cm的分割准确度。方法:选取医学图像计算和计算机辅助干预协会(MICCAI)的2019肾脏肿瘤分割挑战(KiTS19)数据集中64例最大层面肾脏肿瘤直径≤3 cm的数据,将其按7∶3划分为训练集与测试集,训练集进行五折交叉验证。建立基于MHSA机制与U-Net网络的M-UNet优化分割模型,对M-UNet和U-Net分别进行训练与测试,计算交并比(IOU)、Dice相似系数(Dice系数)和95%豪斯多夫距离(HD_95),对比M-Unet与U-Net二者对肾脏及肾脏肿瘤的分割精度。结果:M-UNet网络的IOU、Dice系数相较于U-Net分别提升3.19%和3.00%,HD_95下降41.63%。结合分割结果视觉图,M-UNet与U-Net相比,其对肾脏小肿瘤分割准确率更高,检测更为敏感。结论:M-UNet相对于传统的U-Net能够更准确分割增强CT图像中的肾脏小肿瘤,为临床对肾脏小肿瘤定位及诊断提供便利,有助于提升肾脏小肿瘤检出率。 展开更多
关键词 肾脏 小肿瘤 图像分割 多头自注意力(MHSA) 机制 增强CT
下载PDF
基于多头自注意力机制和卷积神经网络的结构损伤识别研究 被引量:2
17
作者 张健飞 黄朝东 王子凡 《振动与冲击》 EI CSCD 北大核心 2022年第24期60-71,共12页
为了提高卷积神经网络(convolutional neural networks,CNN)的结构损伤识别性能,提出了一种以结构振动加速度信号为输入的基于多头自注意力的CNN模型。模型首先利用一维CNN学习加速度信号中的局部特征,然后利用多头自注意力机制关注输... 为了提高卷积神经网络(convolutional neural networks,CNN)的结构损伤识别性能,提出了一种以结构振动加速度信号为输入的基于多头自注意力的CNN模型。模型首先利用一维CNN学习加速度信号中的局部特征,然后利用多头自注意力机制关注输入数据中不同位置和不同表征子空间中的重要信息、学习信号中的全局特征,最后利用学习到的特征进行结构损伤模式识别。悬臂梁数值试验和振动台试验的结果显示出:相比于CNN模型、CNN-长短期记忆网络(long short-term memory,LSTM)联合模型和CNN-双向LSTM(bidirectional LSTM,BiLSTM)联合模型,基于多头自注意力的CNN模型复杂度低、易于训练,且具有更高的损伤识别精度和更强的抗噪性以及对于损伤特征相近的损伤模式具有更好的辨识能力。 展开更多
关键词 深度学习 多头自注意力 卷积神经网络(CNN) 结构损伤识别
下载PDF
基于多头自注意力机制的LSTM-MH-SA滑坡位移预测模型研究 被引量:5
18
作者 张振坤 张冬梅 +1 位作者 李江 吴益平 《岩土力学》 EI CAS CSCD 北大核心 2022年第S02期477-486,507,共11页
受自身地质条件及外界周期、随机等因素影响,滑坡演变过程具有典型跃变特征。传统基于门控机制的深度学习模型对阶跃型滑坡预测能力不足,多头自注意力通过关注不同尺度时序数据的隐含信息能自适应挖掘序列的变化程度特征,有效学习数据... 受自身地质条件及外界周期、随机等因素影响,滑坡演变过程具有典型跃变特征。传统基于门控机制的深度学习模型对阶跃型滑坡预测能力不足,多头自注意力通过关注不同尺度时序数据的隐含信息能自适应挖掘序列的变化程度特征,有效学习数据潜在变化趋势,提升序列的预测能力。研究基于变分模态分解技术将滑坡累积位移量分解成趋势项、周期项和随机项,对各位移分量和影响因子开展动态时间规整相关性分析。结合多头自注意力机制和长短时记忆网络模型对各位移分量进行动态预测,各位移分量预测值相加得到实际预测结果。以三峡库区白水河滑坡作为研究区,对监测点ZG118开展累积位移预测,采用监测点ZG93、XD01进行模型适应性验证,试验结果表明对于降雨、库水位变化导致的阶跃数据段,新模型能大大提升预测的精度,为三峡库区滑坡位移预测研究提供新的思路。 展开更多
关键词 滑坡位移预测 变分模态分解 动态时间规整 多头自注意力机制 长短时记忆网络
原文传递
融合多头自注意力机制的金融新闻极性分析 被引量:6
19
作者 赵亚南 刘渊 宋设 《计算机工程》 CAS CSCD 北大核心 2020年第8期85-92,共8页
针对现有文本情感分析方法存在的无法高效捕捉相关文本情感特征从而造成情感分析效果不佳的问题,提出一种融合双层多头自注意力与卷积神经网络(CNN)的回归模型DLMA-CNN。采用多头自注意力机制学习序列内部的词依赖关系,从而捕获序列的... 针对现有文本情感分析方法存在的无法高效捕捉相关文本情感特征从而造成情感分析效果不佳的问题,提出一种融合双层多头自注意力与卷积神经网络(CNN)的回归模型DLMA-CNN。采用多头自注意力机制学习序列内部的词依赖关系,从而捕获序列的内部结构。重利用浅层特征并与多头自注意力特征进行融合,结合深度学习中的CNN进一步优化文本情感极性分析效果。在基准数据集SemEval-2017 Task 5上进行实验,结果表明,与传统机器学习算法CNN、ELSTM、Att-BLSTM等相比,该模型取得了较好的情感极性分析效果,且运行效率较高。 展开更多
关键词 金融文本 情感极性分析 多头自注意力机制 特征融合 深度学习
下载PDF
结合双层多头自注意力和BiLSTM-CRF的军事武器实体识别 被引量:3
20
作者 俞海亮 彭冬亮 谷雨 《无线电工程》 北大核心 2022年第5期775-782,共8页
军事武器实体识别是军事领域本体构建的一项重要任务,基于深度学习方法实现自动军事武器实体识别能够提升军事情报信息检索的效率。为提升军事武器实体识别的精确率,面向网络公开非结构化军事新闻数据,提出了一种结合双层多头自注意力... 军事武器实体识别是军事领域本体构建的一项重要任务,基于深度学习方法实现自动军事武器实体识别能够提升军事情报信息检索的效率。为提升军事武器实体识别的精确率,面向网络公开非结构化军事新闻数据,提出了一种结合双层多头自注意力机制和BiLSTM-CRF模型的武器实体识别方法。在BiLSTM-CRF模型的基础上,采用双层自注意力机制,分别在嵌入层提取重要输入特征以及BiLSTM层提取关键字符信息,并结合军事武器实体构词特点,建立正则匹配模板对识别结果进行校正。构建了包含1196条数据的军事武器数据集,测试结果表明,提出方法的精确率、召回率和F1值分别为0.9293,0.9301和0.9297,相比于经典深度学习模型的最优结果,在精确率、召回率以及F1值上分别提升了1.15%,0.97%和0.97%。 展开更多
关键词 武器实体识别 双层多头自注意力 BiLSTM-CRF 校正
下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部