期刊文献+
共找到242篇文章
< 1 2 13 >
每页显示 20 50 100
基于多头注意力机制字词联合的中文命名实体识别
1
作者 王进 王猛旗 +2 位作者 张昕跃 孙开伟 朴昌浩 《江苏大学学报(自然科学版)》 CAS 北大核心 2024年第1期77-84,共8页
针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低... 针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07. 展开更多
关键词 中文命名实体识别 词汇冗余 词汇边界信息 字词联合 多头注意力机制 BIE词集
下载PDF
基于增强多头注意力机制的Optuna-BiGRU测井岩性识别
2
作者 王婷婷 王振豪 +1 位作者 李方 赵万春 《地球科学与环境学报》 CAS 北大核心 2024年第1期127-142,共16页
测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种... 测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。 展开更多
关键词 岩性识别 深度学习 BiGRU 增强多头注意力机制 小波包自适应阈值 超参数优化
下载PDF
多头注意力机制的图同构网络智能合约源码漏洞检测
3
作者 师自通 师智斌 +2 位作者 刘冬明 雷海卫 龚晓元 《计算机工程与应用》 CSCD 北大核心 2024年第7期258-265,共8页
针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重... 针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重入漏洞和时间戳漏洞特点构建图结构并将其规范化;将规范化后的图结构数据投入图同构网络进行迭代训练,利用该网络强大的节点表示和图表示能力进行漏洞检测;在图同构网络的基础上增加多头注意力机制,进一步增强图同构网络的节点表示能力。实验结果显示该方法对重入漏洞和时间戳漏洞检测准确率达到93.08%和92.30%,相较于普通图同构网络方法分别提升1.44和2.00个百分点。证明该方法对相关漏洞的检测能力要优于其他检测工具。 展开更多
关键词 智能合约 漏洞检测 重入漏洞 时间戳漏洞 图同构网络 多头注意力机制
下载PDF
改进多头注意力机制的车道检测方法
4
作者 葛泽坤 陶发展 +1 位作者 付主木 宋书中 《计算机工程与应用》 CSCD 北大核心 2024年第2期264-271,共8页
针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MH... 针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MHSA,融合Fuse MBConv、MBConv模块与特征压缩模块,降低模型的参数,同时利用上下文信息嵌入模块,建立兼顾检测精度和推理速度的全局注意力网络;利用Transformer的编码和解码器以及前向反馈网络将车道线参数化,结合匈牙利拟合损失函数提高所提出方法对车道线细长结构的建模能力。在TuSimple数据集对所提出的方法进行验证,结果表明,所提出的方法识别精度达到96.3%,推理速度达到95帧/s,同时在Apollo无人驾驶平台上的运行速度达到60帧/s,能够满足实时检测的要求。 展开更多
关键词 多头注意力机制 上下文信息 轻量级车道检测方法 无人驾驶平台
下载PDF
CINO双通道结合多头注意力机制藏文情感分类方法
5
作者 白玛洛赛 群诺 尼玛扎西 《电子设计工程》 2024年第3期1-6,共6页
为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征... 为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。 展开更多
关键词 藏文情感分类 CINO 双通道 卷积神经网络 门控循环单元 多头注意力机制
下载PDF
基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法
6
作者 钱倍奇 陈谦 +2 位作者 李宗源 张政伟 牛应灏 《电网技术》 EI CSCD 北大核心 2024年第2期721-729,共9页
新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换... 新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换,得到图像模态数据;然后,将图像模态数据输入卷积神经网络进行特征提取;最后,利用多头注意力机制着重关注卷积神经网络提取特征的重要部分并进行扰动分类。与常规的图像模态转换方法相比,该方法具有更好的扰动分类效果与抗噪声能力。 展开更多
关键词 电能质量扰动 深度学习 马尔可夫转换场 多头注意力机制
原文传递
基于LSTM和多头注意力机制的企业违约预测模型
7
作者 柏凤山 迟国泰 温武军 《管理工程学报》 CSCD 北大核心 2024年第3期213-226,共14页
违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每... 违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每个时间窗口对违约预测状态的影响程度。用LSTM网络建立违约预测模型,用连续多年的企业数据预测违约概率,改变了违约预测建模时只用一个时间窗口预测违约概率的现状,并首次将多头注意力机制应用于违约预测模型,探索每个时间窗口对违约预测值的影响程度,避免了现有模型只做预测不揭示时间窗口对违约预测影响程度的弊端。研究表明:一是在违约预测建模时考虑企业数据的时序性更合理且会提升模型预测精度;二是违约预测的最佳时间窗口个数可以是5到10之间的数,总体上时间窗口越多违约预测精度越高;三是本文搭建的违约预测模型框架有效减少了违约预测结果的第2类错误,降低了坏客户被预测为好客户的风险。 展开更多
关键词 长短期记忆神经网络 多头注意力机制 违约预测
下载PDF
基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测
8
作者 谢乐 杨浙 刘东 《电机与控制应用》 2024年第3期21-29,共9页
居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;... 居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。 展开更多
关键词 数据驱动 充电桩 容量预测 多头注意力机制 门控循环单元神经网络
下载PDF
基于图像分块和多头注意力机制的气象识别研究
9
作者 赵旭峰 刘琳琳 +2 位作者 曹宇 叶成荫 郭宗凯 《辽宁石油化工大学学报》 CAS 2024年第2期83-90,共8页
基于图像对天气现象进行识别,对天气状况的分析至关重要。针对传统的机器学习方法对各类天气特征难以准确提取且天气现象分类效果差,以及深度学习对天气现象识别的准确率不高的问题,提出了基于图像分块和多头注意力机制的天气识别模型... 基于图像对天气现象进行识别,对天气状况的分析至关重要。针对传统的机器学习方法对各类天气特征难以准确提取且天气现象分类效果差,以及深度学习对天气现象识别的准确率不高的问题,提出了基于图像分块和多头注意力机制的天气识别模型。该模型首次将Swin Transformer引入天气识别领域中,采用了窗口多头自注意层与移位窗口多头自注意层相结合的多头注意力机制。结果表明,其区域相关特征提取能力弥补传统方法的不足,能够提取图像中复杂的天气特征。采用迁移学习对模型进行训练,将微调模型的全连接参数输入到Softmax分类器,实现了对多类别天气图像的识别,识别准确率为99.20%,优于对比的几种主流方法。因此,该方法可以作为天气识别模块应用于地面气象识别系统。 展开更多
关键词 天气识别 图像分块 多头注意力机制 区域相关特征 迁移学习
下载PDF
基于多头注意力机制的多模态帕金森病安全检测系统
10
作者 季培琛 李晨 《计算机测量与控制》 2024年第3期138-145,共8页
在实际的帕金森病远程诊断过程中,应用单模态数据检测帕金森病存在误诊率较高的问题,且远程诊断的安全性问题突出;为提高帕金森病远程诊断准确率与安全性,设计一种具有隐私保护功能的帕金森病多模态安全远程辅助检测系统;使用帕金森病... 在实际的帕金森病远程诊断过程中,应用单模态数据检测帕金森病存在误诊率较高的问题,且远程诊断的安全性问题突出;为提高帕金森病远程诊断准确率与安全性,设计一种具有隐私保护功能的帕金森病多模态安全远程辅助检测系统;使用帕金森病语音和步态双模态数据,在传统卷积神经网络后融合多头注意力机制与多层感知机,有效提高模型的特征提取、融合与识别能力;为了保证数据传输过程的安全性,使用基于余弦混沌的差分隐私加噪方式扰动随机拆分的数据编号,提高帕金森病数据传输安全性;通过两模态消融实验和对比实验结果表明,提出的基于多头注意力机制的帕金森病多模态远程检测模型实际测试准确率达到0.913,且模型的各项评估指标和收敛速度等均高于传统模型,具备良好的帕金森病智能辅助检测效果,能够满足帕金森病早期智能安全筛查与诊断需求。 展开更多
关键词 帕金森病 多头注意力机制 余弦混沌 差分隐私 多模态远程检测
下载PDF
基于多头注意力机制的飞机发动机寿命预测研究 被引量:1
11
作者 聂磊 徐诗奕 +3 位作者 张吕凡 尹业寒 董正琼 周向东 《推进技术》 EI CAS CSCD 北大核心 2023年第8期192-200,共9页
针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立... 针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立一个1DCNN-TCN模型,利用两层1DCNN对飞机发动机的多元传感器信号进行特征提取,利用TCN对特征量的时序信息进行记忆,通过多头注意力机制对多个1DCNN-TCN的输出分别进行加权处理,并拼接最终结果。分析结果表明,采用本文方法得到的RMSE和Score值比目前文献中最优值分别降低了6.84%,63.41%。该方法显著提升了飞机发动机剩余寿命预测的准确性。 展开更多
关键词 飞机发动机 卷积神经网络 时序卷积神经网络 多头注意力机制 剩余寿命
原文传递
融合多头注意力机制和孪生网络的语义匹配方法
12
作者 臧洁 周万林 王妍 《计算机科学》 CSCD 北大核心 2023年第12期294-301,共8页
考虑企业资源与客户需求匹配问题,现有的方法存在资源和需求封装不够准确以及匹配效果无法满足用户需求等问题。为解决企业资源与需求描述的多样性和歧义性,提出了动态自定义模板封装。针对封装后的需求与资源大多都是中文短文本这一特... 考虑企业资源与客户需求匹配问题,现有的方法存在资源和需求封装不够准确以及匹配效果无法满足用户需求等问题。为解决企业资源与需求描述的多样性和歧义性,提出了动态自定义模板封装。针对封装后的需求与资源大多都是中文短文本这一特点,兼顾句子间语义的差异性和相似性,提出了融合多头注意力机制和孪生网络的交互型文本匹配模型。模型使用字词混向量作为输入增强文本的语义信息,将孪生网络与多头注意力机制相融合,作为独立单元提取上下文的语义特征并使语义特征充分交互。为了验证模型的有效性,在经典数据集LCQMC和自我构建的CSMD数据集上对模型进行了实验,结果表明所提模型在准确率和性能等方面均有不同程度的提升,为企业资源与需求提供了更精准的匹配方法。 展开更多
关键词 自定义模板 语义匹配 孪生网络 多头注意力机制 双向GRU
下载PDF
基于BERT-BiGRU-CRF与多头注意力机制的地理命名实体识别
13
作者 徐道柱 金澄 +2 位作者 马超 焦洋洋 许剑 《网络安全与数据治理》 2023年第S01期169-173,共5页
地理知识图谱作为一种科学领域的知识图谱,从概念探讨和初步实验阶段快速发展为地理信息科学领域的跨学科研究热点。地理命名实体识别是地理知识图谱构建的基础,直接影响着地理知识图谱的构建效率与质量。设计了一个地理知识图谱应用管... 地理知识图谱作为一种科学领域的知识图谱,从概念探讨和初步实验阶段快速发展为地理信息科学领域的跨学科研究热点。地理命名实体识别是地理知识图谱构建的基础,直接影响着地理知识图谱的构建效率与质量。设计了一个地理知识图谱应用管理系统,针对其中地理实体库构建过程依赖人工制定规则以及信息提取不充分等问题,面向地理知识图谱构建过程进行地理命名实体识别研究。首先,通过人工标注方法构建了一个地理知识语料库;其次,通过BERT预训练模型得到结合语境信息的动态字向量,利用双向门控循环单元提取全局语义特征,并基于注意力机制获得增强语义特征;最后,通过CRF解码输出概率最大的全局最优标签序列,实现地理命名实体的自动识别。实验结果表明,相比传统的BiLSTM-CRF、BERT-BiLSTM-CRF等模型,所提出的基于BERT-BiGRU-CRF与多头注意力机制的模型在地理命名实体识别任务中表现更优,能够为地理知识图谱构建提供有效支撑。 展开更多
关键词 地理知识图谱 命名实体识别 BERT预训练模型 多头注意力机制
下载PDF
基于多头注意力机制的BM-Linear信用贷款评估模型
14
作者 赵雪峰 吴德林 +2 位作者 吴伟伟 王世璇 龙森 《系统管理学报》 CSCD 北大核心 2023年第1期118-129,共12页
信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Li... 信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Linear的优异性。研究表明:BM-Linear首先弱化与信贷训练集的对应关系,解决信贷模型受限于信贷场景问题,减少因反复训练模型所造成的放贷效率低下现象;其次,忽略缺失特征并将离散特征转为信贷文本,降低特征处理造成的信贷干扰,提高信贷评估效率;最后,克服因词袋与信贷词语对应关系所带来的词向量固化问题,实现动态词向量过程,进而提高评估准确率。所提出的BM-Linear模型,可为信贷机构高效评估快速放贷提供支持。 展开更多
关键词 多头注意力机制 Bert BAG-OF-WORDS 信用贷款 深度学习
下载PDF
基于多头注意力机制的僵尸网络检测方法 被引量:1
15
作者 李莉 陈权 +1 位作者 于丹 陈永乐 《计算机工程与设计》 北大核心 2023年第4期977-983,共7页
为提高僵尸网络的检测精度,解决特征表征单一的问题,提出一种融合挤压和激励模块的多头注意力(SE-MHA)机制实现僵尸网络的准确检测。以会话为单位提取流量的初始特征,引入连接失败熵特征和n-gram序列特征,利用多头注意力(MHA)机制挖掘... 为提高僵尸网络的检测精度,解决特征表征单一的问题,提出一种融合挤压和激励模块的多头注意力(SE-MHA)机制实现僵尸网络的准确检测。以会话为单位提取流量的初始特征,引入连接失败熵特征和n-gram序列特征,利用多头注意力(MHA)机制挖掘流量特征间的高维相关性,引入挤压和激励(SE)模块实现自适应调整不同“头”之间的依赖关系,增强MHA机制的表征能力,输入到Softmax分类器中对流量进行分类。通过ISCX-Bot-2014数据集,验证了该方法的精确度和有效性。 展开更多
关键词 僵尸网络 特征提取 多头注意力机制 SE模块 深度学习 异常流量 特征增强
下载PDF
基于融合多头注意力机制和门控循环单元的驾驶员意图识别方法
16
作者 阮钦 杨为 《中国科技论文在线精品论文》 2023年第1期8-20,共13页
为识别自动驾驶条件下驾驶员的细分行为意图,通过搭建驾驶模拟器以及虚拟场景,并采用角传感器、踏板位移、力传感器等,进行加速、制动、转弯、巡航及驻车制动等多种工况的驾驶员在环实验。利用所得车辆运行以及驾驶员驾驶数据,进行数据... 为识别自动驾驶条件下驾驶员的细分行为意图,通过搭建驾驶模拟器以及虚拟场景,并采用角传感器、踏板位移、力传感器等,进行加速、制动、转弯、巡航及驻车制动等多种工况的驾驶员在环实验。利用所得车辆运行以及驾驶员驾驶数据,进行数据归一化处理,并提出一种基于融合多头注意力机制(Multi-Head Attention)和门控循环单元(gatere current unit,GRU)的驾驶员意图识别模型,将处理数据作为模型输入,识别驾驶者多种细分驾驶意图。研究结果表明:相较于长短期记忆神经网络、单一GRU等方法,融合多头注意力机制和GRU网络模型,其精准率、模型收敛速度更优;利用多头注意力机制进行输入权重分配有助于提高驾驶意图识别模型的分类性能。本研究有助于识别多种细分驾驶意图,进而为智能驾驶辅助系统决策、控制提供参考。 展开更多
关键词 机械学 驾驶意图 GRU神经网络 多头注意力机制 驾驶模拟器
原文传递
一种基于多头注意力机制的关键蛋白质靶点识别方法
17
作者 杨文雅 关月 周予 《建模与仿真》 2023年第6期5693-5702,共10页
蛋白质是机体功能的重要执行者。特定的一些蛋白质对生物的生存、繁殖和生理调节尤为关键,它们往往成为疾病发生、发展中的重要参与者,这类蛋白质被称为关键蛋白质。因此,在疾病预防和治疗过程中快速找到蛋白质关键靶点是尤为重要的。... 蛋白质是机体功能的重要执行者。特定的一些蛋白质对生物的生存、繁殖和生理调节尤为关键,它们往往成为疾病发生、发展中的重要参与者,这类蛋白质被称为关键蛋白质。因此,在疾病预防和治疗过程中快速找到蛋白质关键靶点是尤为重要的。本文提出了一种借助多头注意力机制来解决这一难题的方法。该方法将蛋白质相互作用(PPI)网络的拓扑特征、基因表达谱特征以及同源特融合,从而构建一个融合PPI网络。进而,我们采用图注意力神经网络(GAT)模型,学习融合PPI网络中节点的特征表示,为了更好的地捕获蛋白质之间的关联关系,我们引入多头注意力机制增强模型的学习效果。最终,通过在DIP酵母蛋白数据集上的训练和测试,实验结果证明了我们的方法相较于传统的基于拓扑的策略具有更高的识别精度。 展开更多
关键词 多头注意力机制 图神经网络 蛋白质相互作用网 基因表达谱 同源相似性
下载PDF
基于多头注意力机制的用户窃电行为检测 被引量:6
18
作者 肖丁 张玙璠 纪厚业 《计算机科学》 CSCD 北大核心 2022年第1期140-145,共6页
窃电对社会和经济发展造成了重大损害。如何基于电力大数据来检测用户恶意窃电行为,已受到学术界和工业界的广泛关注。针对传统方法依赖于手工特征、行为序列表征不足和检测精度差等问题,提出了一种基于多头注意力机制的窃电检测模型(El... 窃电对社会和经济发展造成了重大损害。如何基于电力大数据来检测用户恶意窃电行为,已受到学术界和工业界的广泛关注。针对传统方法依赖于手工特征、行为序列表征不足和检测精度差等问题,提出了一种基于多头注意力机制的窃电检测模型(Electricity Theft Detection Based on Multi-Head Attention, ETD-MHA)。该模型基于双向门控循环神经网络(Bidirectional Gated Recurrent Unit, BiGRU)充分捕获用户用电行为序列的时序特征,引入多头注意力机制来进一步增强关键特征的区分度,并通过加深网络来提高学习效果。在爱尔兰和中国国家电网智能电表数据集上进行了大量的实验,结果表明,相比传统的逻辑回归(Linear Regression, LR)、支持向量机(Support Vector Machine, SVM)、随机森林(Random Forest, RF)等多种算法,所提模型展现出了明显的优势。例如,在爱尔兰智能电表数据集上,其AUC值相比LR算法最高提升了34.6%。 展开更多
关键词 智能电网 窃电检测 深度学习 门控循环神经网络 多头注意力机制
下载PDF
基于多头注意力机制和卷积模型的超短期风电功率预测 被引量:3
19
作者 李俊卿 胡晓东 +1 位作者 秦静茹 张承志 《电力科学与工程》 2022年第7期34-40,共7页
为提高风电功率预测精度及计算速度,提出了一种基于多头注意力机制卷积预测模型;利用多头注意力机制的集成作用,在继承了自注意力机制优势的同时防止了过拟合。首先,对收集到的数据进行皮尔逊相关性分析,挑选出与风电功率相关性大的变量... 为提高风电功率预测精度及计算速度,提出了一种基于多头注意力机制卷积预测模型;利用多头注意力机制的集成作用,在继承了自注意力机制优势的同时防止了过拟合。首先,对收集到的数据进行皮尔逊相关性分析,挑选出与风电功率相关性大的变量,将筛选后的数据归一化处理并划分为训练集、验证集和测试集;然后,利用划分好的数据集对模型开展实验。实验结果表明,模型的预测误差稳定在0.05%,预测精度优于卷积神经网络、长短期记忆网络等模型。 展开更多
关键词 风力发电 功率 预测分析 多头注意力机制 卷积神经网络
下载PDF
基于多头注意力机制的端到端土家语语音识别 被引量:2
20
作者 于重重 吴佳佳 +1 位作者 陈运兵 钱兆鹏 《计算机仿真》 北大核心 2022年第3期258-262,282,共6页
土家语是一种典型的濒危语言,因其母语人少、无文字、仅以口语形式存在等低资源性,很难典藏大量带标注的语音,导致其消亡速度日益加快,因此挽救和保护濒危语言迫在眉睫。针对上述问题,建立了一种基于多头注意力机制的端到端濒危语言语... 土家语是一种典型的濒危语言,因其母语人少、无文字、仅以口语形式存在等低资源性,很难典藏大量带标注的语音,导致其消亡速度日益加快,因此挽救和保护濒危语言迫在眉睫。针对上述问题,建立了一种基于多头注意力机制的端到端濒危语言语音识别模型。通过语音时域伸缩技术(time-scale-modification,TSM)改变土家语口语词汇语速对其进行扩充,有效解决了土家语语料不足的问题;建立基于注意力机制的端到端模型Listen,Attend,and Spell(LAS)实现土家语的自动语音识别功能;针对LAS模型中解码器状态向量与编码器状态向量对齐精度不高的问题,引入了多头注意力机制以提高模型的识别准确率。实验结果表明,多头注意力机制通过关注不同位置的空间信息能有效提升模型的表征能力,较传统注意力机制模型识别率提升了4.76%。 展开更多
关键词 濒危语言 低资源 语音识别 语音时域伸缩技术 多头注意力机制
下载PDF
上一页 1 2 13 下一页 到第
使用帮助 返回顶部