期刊文献+
共找到103篇文章
< 1 2 6 >
每页显示 20 50 100
基于概率稀疏自注意力的航空发动机剩余寿命预测 被引量:1
1
作者 王欣 黄佳琪 许雅玺 《科学技术与工程》 北大核心 2024年第6期2424-2433,共10页
航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Atten... 航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。 展开更多
关键词 概率稀疏自注意力 剩余寿命预测 航空发动机 TRANSFORMER 深度学习
下载PDF
基于探针稀疏注意力机制的门控Transformer模型
2
作者 赵婷婷 丁翘楚 +2 位作者 马冲 陈亚瑞 王嫄 《天津科技大学学报》 CAS 2024年第3期56-63,共8页
在强化学习中,智能体对状态序列进行编码,根据历史信息指导动作的选择,通常将其建模为递归型神经网络,但其存在梯度消失和梯度爆炸的问题,难以处理长序列。以自注意力机制为核心的Transformer是一种能够有效整合长时间范围内信息的机制... 在强化学习中,智能体对状态序列进行编码,根据历史信息指导动作的选择,通常将其建模为递归型神经网络,但其存在梯度消失和梯度爆炸的问题,难以处理长序列。以自注意力机制为核心的Transformer是一种能够有效整合长时间范围内信息的机制,将传统Transformer直接应用于强化学习中存在训练不稳定和计算复杂度高的问题。门控Transformer-XL(GTrXL)解决了Transformer在强化学习中训练不稳定的问题,但仍具有很高的计算复杂度。针对此问题,本研究提出了一种具有探针稀疏注意力机制的门控Transformer(PS-GTr),其在GTrXL中的恒等映射重排和门控机制的基础上引入了探针稀疏注意力机制,降低了时间复杂度和空间复杂度,进一步提高了训练效率。通过实验验证,PS-GTr在强化学习任务中的性能与GTrXL相当,而且训练时间更短,内存占用更少。 展开更多
关键词 深度强化学习 自注意力机制 探针稀疏注意力机制
下载PDF
融合稀疏注意力机制在DDoS攻击检测中的应用
3
作者 王博 万良 +2 位作者 叶金贤 刘明盛 孙菡迪 《计算机工程与设计》 北大核心 2024年第5期1312-1320,共9页
针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型G... 针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型GVBNet(global variable block net),使用攻击密度自适应计算稀疏注意力。利用信息熵以及信息增益分析提取攻击流量的连续字节作为特征向量,通过构建基于GVBNet的网络模型在两种数据集上进行训练。实验结果表明,该方法具有良好的识别效果、检测速度以及抗干扰能力,在不同的环境下具有应用价值。 展开更多
关键词 分布式拒绝服务攻击 稀疏注意力机制 攻击密度 信息熵 信息增益 模型优化 攻击检测
下载PDF
基于时序注意力机制的电动汽车灵活性概率建模
4
作者 王昊天 刘栋 +3 位作者 秦继朔 史锐 但扬清 孙英云 《电力系统自动化》 EI CSCD 北大核心 2024年第7期94-102,共9页
电动汽车是一种可以向电力系统提供灵活性的柔性负荷。现有研究对电动汽车灵活性进行建模时,多数仅考虑了充电行为的不确定性以及分时电价的影响,忽略了日前电价与实时电价的偏差,缺少对实时电价、充电负荷多时间尺度时序特征的建模。... 电动汽车是一种可以向电力系统提供灵活性的柔性负荷。现有研究对电动汽车灵活性进行建模时,多数仅考虑了充电行为的不确定性以及分时电价的影响,忽略了日前电价与实时电价的偏差,缺少对实时电价、充电负荷多时间尺度时序特征的建模。针对此问题,文中总结了电动汽车灵活性的表现形式与影响因素,考虑面向电价的响应不确定性以及充电行为不确定性,提出基于时序注意力机制的电动汽车灵活性概率建模方法。通过时序注意力机制提取不同时序权重,设计基于时序卷积网络的多时间尺度特征提取网络学习充电行为、电价等不确定性,提取多时间尺度灵活性波动特征。算例表明,所提模型能够有效学习充电行为不确定性与面向电价的响应不确定性,其概率建模效果具有更高的可靠性与精度。 展开更多
关键词 电力系统 灵活性 电动汽车 概率建模 多时间尺度 时序注意力机制 时序卷积网络
下载PDF
基于概率化稀疏自注意力LSTM的锂离子电池健康状态预测
5
作者 关燕鹏 刘成刚 +1 位作者 相洪涛 张晓宇 《控制工程》 CSCD 北大核心 2024年第10期1833-1840,共8页
针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行... 针对锂离子电池健康状态(state of health,SOH)预测,提出了一种基于概率化稀疏自注意力机制(probsparseself-attentionmechanism,PSM)和长短期记忆(longshort-term memory,LSTM)神经网络的预测模型。首先,提取锂离子电池容量数据并进行窗口化处理,利用位置嵌入获取高维数据之间的特征信息并对数据进行位置编码。然后,引入PSM对输入数据的权重进行稀疏性判断,增加对SOH预测具有关键影响的因素的权重。最后,利用LSTM神经网络捕获数据之间的时序特征进行锂离子电池SOH预测。实验结果表明,与其他常用的锂离子电池SOH预测模型相比,所提模型可以减少预测误差,具有更好的预测性能。 展开更多
关键词 锂离子电池 LSTM神经网络 健康状态 概率稀疏自注意力机制
原文传递
基于稀疏重构注意力机制的绝缘子缺陷检测方法
6
作者 刘敏 周国亮 +1 位作者 王红旭 郑怿 《广东电力》 北大核心 2024年第5期104-111,共8页
针对当前输电线路绝缘子缺陷样本数量少、缺陷目标背景复杂干扰导致检测过程中出现的特征冗余以及检测精度低等问题,提出基于稀疏重构注意力(sparse reconstruction dual attention,SRDA)机制的目标检测模型。首先,为了降低深层特征冗... 针对当前输电线路绝缘子缺陷样本数量少、缺陷目标背景复杂干扰导致检测过程中出现的特征冗余以及检测精度低等问题,提出基于稀疏重构注意力(sparse reconstruction dual attention,SRDA)机制的目标检测模型。首先,为了降低深层特征冗余对模型的影响,采用稀疏重构机制对模型的深层特征层进行筛选和过滤;其次,为了增强模型对不同背景下目标区域的表达能力,提出位置注意力机制来捕获浅层特征目标区域的上下文信息,并引入通道注意力机制在深层特征层上加强对特定类别语义的特征表示,增强缺陷目标的语义信息;最后,通过对无人机拍摄采集的输电线路绝缘子图像进行缺陷检测实验,证明该模型能够获取精确的缺陷特征,提高绝缘子缺陷检测精度,与其他模型相比,该模型具有一定的优越性。 展开更多
关键词 稀疏重构 绝缘子缺陷检测 注意力机制 语义信息
下载PDF
基于稀疏注意力关系网络的小样本图像分类方法 被引量:1
7
作者 郭礼华 王广飞 《重庆科技学院学报(自然科学版)》 CAS 2024年第1期41-47,共7页
针对小样本图像分类问题,从卷积操作的局部连接性和基于非局部操作的注意力机制出发,提出了稀疏注意力关系网络(SARN)模型。在非局部操作过程中,利用稀疏策略筛选参与响应计算的相关特征。通过稀疏注意力机制构建不同空间位置相关特征... 针对小样本图像分类问题,从卷积操作的局部连接性和基于非局部操作的注意力机制出发,提出了稀疏注意力关系网络(SARN)模型。在非局部操作过程中,利用稀疏策略筛选参与响应计算的相关特征。通过稀疏注意力机制构建不同空间位置相关特征之间的依赖性,切断语义无关特征之间的联系。后续卷积操作对不同空间位置的语义相关特征进行度量,抑制了无关信息的干扰,提高了模型的整体度量能力。通过在Mini-ImageNet和Tiered-ImageNet数据集上进行的一系列实验发现,相较于其他小样本学习模型,SARN模型的性能获得了显著提升。 展开更多
关键词 小样本学习 度量学习 关系网络 稀疏注意力机制 双重注意力机制
下载PDF
基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测
8
作者 冀荣华 李常昊 +1 位作者 郑立华 宋丽芬 《农业机械学报》 EI CAS CSCD 北大核心 2024年第10期392-398,409,共8页
氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自... 氮是影响作物生长的关键因素,精准获取土壤氮含量是实施各类农田水肥管理技术的基础。利用可见-近红外光谱技术可以快速检测土壤氮含量,预测模型精度和泛化能力是制约将光谱技术应用于土壤氮含量检测的瓶颈。为此,提出了一种基于稀疏自注意力和可见-近红外光谱的土壤氮含量预测模型(Visible-near-infrared reflection spectrum and sparse transformer,VNIRSformer)用于提升预测精度和泛化能力。模型由输入层、嵌入层、编码器、解码器、预测层和输出层组成。采用大型公开数据集(Land use/cover area frame statistical survey,LUCAS)训练模型以提升模型泛化能力。实验测试VNIRSformer模型在15种不同光谱波长间隔下的性能,发现:随着波长间隔增加,预测精度先升后降,模型规模不断变小。波长间隔为1 nm时模型预测精度最低,RMSE为0.47 g/kg,R^(2)为0.78。波长间隔为5 nm时模型预测精度最高,RMSE为0.35 g/kg,R^(2)为0.89。当波长间隔从0.5 nm增加至1 nm时,模型规模下降最快,下降比例约为72%。当增加至5 nm后,模型规模匀速下降,下降比例约为5%。综合考虑模型规模及性能,最佳波长间隔设为5 nm。与6种不同预测模型(2种卷积神经网络、传统自注意力模型、偏最小二乘回归、支持向量机回归和K近邻回归)进行对比实验,发现:VNIRSformer模型性能最佳,RMSE为0.35 g/kg,R^(2)为0.89,RPD为2.95。测试VNIRSformer对不同等级的土壤氮含量预测能力,发现:VNIRSformer模型能够较好预测小于5 g/kg的土壤氮含量。将VNIRSformer模型直接应用于自采数据集,发现:R^(2)下降约0.17,表明模型具有一定泛化能力。研究表明,选取波长间隔为5 nm的光谱数据作为VNIRSformer模型输入,预测性能最佳,规模适中;稀疏注意力机制有助于提升模型预测精度,降低模型训练时间;预测模型具有一定泛化能力。研究结果可为基于可见-近红外光谱的土壤氮含量预测技术田间实际应用提供理论支持。 展开更多
关键词 土壤氮含量 预测模型 稀疏自注意力机制 可见-近红外光谱
下载PDF
基于注意力机制的稀疏化剪枝方法
9
作者 叶汉民 李志波 +1 位作者 程小辉 陶小梅 《计算机工程与设计》 北大核心 2023年第12期3642-3648,共7页
为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度... 为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度,通过稀疏化训练与动态计算及更新掩码矩阵和权重矩阵完成剪枝操作。方法实验基于CIFAR10、CIFAR100数据集上进行,实验结果表明,该方法在较为复杂数据集CIFAR100上剪枝率为90%、95%、98%时,分类准确率可达到69.91%、67.15%、60.18%,与同类方法相比,在不同数据集和剪枝率的条件下仍具有较高的分类精度。 展开更多
关键词 资源受限设备 深度神经网络 模型压缩 注意力机制 稀疏化训练 网络剪枝 掩码
下载PDF
基于变量融合和稀疏注意力的系统日志异常检测方法
10
作者 苏岩 史方旭 +1 位作者 禹可 吴晓非 《智能安全》 2024年第3期12-20,共9页
随着计算和网络技术的进步,计算机应用系统的规模和复杂性不断增加,系统日志数据的数量和类型也随之迅速增加。因此,识别日志是否异常成为保障复杂系统安全的重大挑战。然而,现有的基于规则或机器学习的日志异常检测方法存在局限性,如... 随着计算和网络技术的进步,计算机应用系统的规模和复杂性不断增加,系统日志数据的数量和类型也随之迅速增加。因此,识别日志是否异常成为保障复杂系统安全的重大挑战。然而,现有的基于规则或机器学习的日志异常检测方法存在局限性,如忽略日志变量、日志语义特征提取不足及在检测新类型日志时性能不佳。为了解决上述问题,本文提出了一种新型的基于深度学习的日志异常检测模型——基于变量融合和稀疏注意力的模版驱动异常检测方法。该模型融合了日志数据中的模板和变量信息,并通过引入稀疏注意力机制,在处理长序列日志时表现出了优异的性能,可以有效地捕获并表征序列的整体特征。不仅能理解日志变量的语义,还能有效检测日志序列中的异常行为。实验结果表明,该模型在3个开源数据集上展示了较高的性能。 展开更多
关键词 异常检测 日志模版 日志变量 稀疏注意力机制
下载PDF
基于频谱注意力和无交叉联合分位数回归的海上风电功率超短期概率预测
11
作者 苏向敬 朱敏轩 +3 位作者 宇海波 李超杰 符杨 米阳 《电力系统保护与控制》 EI CSCD 北大核心 2024年第21期103-116,共14页
海上风电功率波动性和随机性强,其时序数据既存在时间上的全局性关联,又包含大量局部的短期噪声;同时,现有概率预测模型普遍采用的分位数回归方法存在分位数交叉问题,严重影响了预测结果的精度与合理性。针对上述挑战,提出了一种基于频... 海上风电功率波动性和随机性强,其时序数据既存在时间上的全局性关联,又包含大量局部的短期噪声;同时,现有概率预测模型普遍采用的分位数回归方法存在分位数交叉问题,严重影响了预测结果的精度与合理性。针对上述挑战,提出了一种基于频谱注意力和无交叉联合分位数回归的海上风电功率超短期概率预测方法。首先,结合长短期记忆网络(longshort-termmemory,LSTM)模型和频谱注意力模型,挖掘风电功率时序数据的全局长期依赖,并滤除局部噪声。其次,在此基础上构建了一种基于联合分位数回归的损失函数模型,通过共享各分位数预测任务间的信息,自主动态调节各分位数损失的权重,避免分位数交叉问题。最后通过真实算例分析表明,相比于现有概率预测模型,所提模型的锐度指标提升了6%以上,连续等级概率分数提高了10%以上,故具有更高的预测精度,并有效解决了分位数交叉问题。 展开更多
关键词 海上风电 概率预测 频谱注意力机制 分位数回归
下载PDF
基于自注意力机制的两阶段三维目标检测方法
12
作者 彭颖 张胜根 +1 位作者 黄俊富 张强 《科学技术与工程》 北大核心 2024年第25期10825-10831,共7页
为了精确地识别出交通场景下的目标障碍物,考虑到真实道路场景的复杂性和道路安全的重要性,以稀疏嵌入卷积检测(sparsely embedded convolutional detection,SECOND)模型作为基础模型,通过采取自注意力机制获得全局语义信息来增强点云... 为了精确地识别出交通场景下的目标障碍物,考虑到真实道路场景的复杂性和道路安全的重要性,以稀疏嵌入卷积检测(sparsely embedded convolutional detection,SECOND)模型作为基础模型,通过采取自注意力机制获得全局语义信息来增强点云表征能力,采用感兴趣区域(region of interest,RoI)检测头对候选区域生成的三维建议框进行优化,提升其检测精度方法,提出了一种基于自注意力机制的两阶段三维目标检测方法SAR-SECOND检测模型。结果表明:与现有的先进三维目标检测方法相比,SAR-SECOND在KITTI数据集上的检测精度与之不相上下,汽车整体检测精度为82.28%;行人整体精度为51.45%,骑行者整体精度为72.41%。检测结果验证了该方法的有效性。 展开更多
关键词 自动驾驶汽车 三维目标检测 注意力机制 稀疏卷积
下载PDF
基于概率稀疏自注意力的IGBT模块剩余寿命跨工况预测 被引量:1
13
作者 钟智伟 王誉翔 +3 位作者 黄亦翔 肖登宇 夏鹏程 刘成良 《上海交通大学学报》 EI CAS CSCD 北大核心 2023年第8期1005-1015,共11页
为提高绝缘栅双极型晶体管(IGBT)模块跨工况剩余寿命的预测精度以提升其可靠性,针对不同工况下IGBT模块的瞬态热阻特征提出一种基于概率稀疏自注意力机制和迁移学习的剩余使用寿命预测方法.搭建了IGBT模块加速老化试验台,在不同温度区... 为提高绝缘栅双极型晶体管(IGBT)模块跨工况剩余寿命的预测精度以提升其可靠性,针对不同工况下IGBT模块的瞬态热阻特征提出一种基于概率稀疏自注意力机制和迁移学习的剩余使用寿命预测方法.搭建了IGBT模块加速老化试验台,在不同温度区间进行IGBT模块功率循环实验,采集不同工况下该模块全生命周期状态数据,计算获得IGBT模块衰退过程中的瞬态热阻变化数据,提取并筛选能准确反映IGBT模块老化状态的瞬态热阻特征,并使用所提方法开展跨工况剩余使用寿命预测.实验结果表明,提出的IGBT模块剩余寿命的跨工况预测方法精度明显优于其他对比方法,特别是IGBT模块早期衰退过程中的剩余寿命预测精度得到了显著提升. 展开更多
关键词 绝缘栅双极型晶体管模块 瞬态热阻 剩余寿命预测 概率稀疏自注意力 迁移学习
下载PDF
基于交叉可变特征融合和动态稀疏注意力YOLOv8的遥感森林野火检测模型
14
作者 岳庚 《计算机科学与应用》 2024年第9期130-140,共11页
为了解决传统火焰烟雾检测算法在森林树木遮挡与雨雾天气因素影响下存在漏检误检、准确性下降、小目标检测效果不佳的缺陷,提出了基于交叉可变特征融合和动态稀疏注意力YOLOv8的遥感森林野火检测模型。首先,针对火焰烟雾目标特征复杂的... 为了解决传统火焰烟雾检测算法在森林树木遮挡与雨雾天气因素影响下存在漏检误检、准确性下降、小目标检测效果不佳的缺陷,提出了基于交叉可变特征融合和动态稀疏注意力YOLOv8的遥感森林野火检测模型。首先,针对火焰烟雾目标特征复杂的问题,在C2f模块中融合可变形卷积网络(DCNv3)实现特征融合,提升对网络图像中不同尺度火焰烟雾空间位置变化的细节感知能力,增强了网络在不同尺度下的特征表示能力。然后,在主干检测网络加入BiFormer注意力模块,达到抑制干扰信息,提升模型表征能力的效果。最后,引入小目标检测层,进一步提高了检测精度。改进后的算法相比于传统算法,mAP50值提高了1.3%,P值提高了1.5%,R值提高了0.4%。In order to solve the shortcomings of the traditional flame and smoke detection algorithm under the influence of forest tree occlusion and rain and fog weather factors, such as missing detection, false detection, reduced accuracy and poor detection effect of small targets, a remote sensing wildfire detection model based on cross-variable feature fusion and dynamic sparse attention YOLOv8 is proposed. Firstly, in order to solve the problem of complex features of flame smoke targets, the C2f module is fused with a Deformable Convolution Network v3 (DCNv3) to achieve feature fusion, which improves the detail perception ability of the spatial position changes of flame smoke at different scales in the network image, and enhances the feature representation ability of the network at different scales. Then, the attention module of BiFormer was added to the backbone detection network to suppress the interference information and improve the model representation ability. Finally, small object detection layer is introduced to further improve the detection accuracy. Compared with the traditional algorithm, the mAP50 value is increased by 1.3%, the P value is increased by 1.5%, and the R value is increased by 0.4%. 展开更多
关键词 森林野火检测 YOLOv8 动态稀疏注意力机制 交叉可变模块 小目标检测层
下载PDF
基于时序注意力机制的超短期风电功率概率预测
15
作者 杨可文 孙英云 《现代电力》 北大核心 2023年第6期906-913,共8页
提高预测精度是风电概率预测研究的关键问题,融合多源数值天气预报数据降低预测误差,采用时序注意力机制对输入信息进行自适应选择,采用时序卷积网络提取多时间尺度的概率特征,并使用混合Beta分布构建预测概率信息。算例结果表明通过时... 提高预测精度是风电概率预测研究的关键问题,融合多源数值天气预报数据降低预测误差,采用时序注意力机制对输入信息进行自适应选择,采用时序卷积网络提取多时间尺度的概率特征,并使用混合Beta分布构建预测概率信息。算例结果表明通过时序注意力机制融合多源气象信息能有效提高模型训练的收敛性,其预测结果具有更高的精度。 展开更多
关键词 概率预测 多源数值天气预报 时序注意力机制 时序卷积网络
原文传递
融合深度去噪自编码器和注意力机制的推荐算法 被引量:1
16
作者 张卫国 袁炜轩 周熙然 《计算机应用与软件》 北大核心 2023年第8期283-290,共8页
传统推荐算法无论在特征提取还是相似度计算方面仍存在数据稀疏和大量噪声数据问题,导致推荐效率不高、用户满意度低等问题,由此提出一种融合深度去噪自编码器和注意力机制的推荐算法。将深度去噪自编码器融入到基于项目相似度的协同过... 传统推荐算法无论在特征提取还是相似度计算方面仍存在数据稀疏和大量噪声数据问题,导致推荐效率不高、用户满意度低等问题,由此提出一种融合深度去噪自编码器和注意力机制的推荐算法。将深度去噪自编码器融入到基于项目相似度的协同过滤推荐算法中,同时加入了注意力机制,以惩罚活跃用户对实验结果的影响,既可以挖掘到用户与项目的线性特征又可以学习到用户与项目非线性特征。实验选取了MovieLens和Pinterest两个公开数据集,与传统推荐算法和近些年较先进算法相比,该算法能够显著提升传统推荐算法的性能,并可以缓解传统推荐算法存在的数据稀疏和冷启动问题。 展开更多
关键词 推荐算法 去噪自编码器 注意力机制 协同过滤 数据稀疏
下载PDF
基于邻居交互增强和多头注意力机制的跨域推荐模型
17
作者 孙克雷 汪盈盈 《湖北民族大学学报(自然科学版)》 CAS 2023年第4期454-461,共8页
针对基于映射的跨域推荐模型未充分关注源域中数据稀疏的用户,导致用户偏好的迁移效率降低的问题,提出了一种基于邻居交互增强和多头注意力机制的跨域推荐模型。首先,利用邻居用户的交互项目来增强源域中数据稀疏用户的交互序列,以捕获... 针对基于映射的跨域推荐模型未充分关注源域中数据稀疏的用户,导致用户偏好的迁移效率降低的问题,提出了一种基于邻居交互增强和多头注意力机制的跨域推荐模型。首先,利用邻居用户的交互项目来增强源域中数据稀疏用户的交互序列,以捕获更丰富的用户行为信息。然后,采用多头注意力机制从交互序列中提取用户可迁移的偏好特征,以全面捕捉用户兴趣的多个方面。最后,将提取的用户特征输入元网络生成个性化映射函数,并根据源域迁移的用户嵌入来实现目标域的个性化推荐。在亚马逊和豆瓣数据集上进行实验,结果表明所提出的模型相较于最优的基线模型,平均绝对误差指标最高提升了6.54%,均方根误差指标最高提升了3.73%。有效地提高了目标域的推荐性能,能够在电子商务等领域为用户提供更准确的项目推荐。 展开更多
关键词 跨域推荐 数据稀疏 邻居交互 注意力机制 元网络 冷启动用户
下载PDF
AttentionRanker--基于排名优化的自-互注意力机制
18
作者 赵艳明 林美秀 曾姝瑶 《中国传媒大学学报(自然科学版)》 2023年第4期27-38,共12页
图像匹配是精准估计相机位姿信息的关键,近年来基于深度学习注意力机制的图像匹配研究取得了较大进展,但如何降低Transformer类图像匹配网络的高计算复杂度仍是巨大挑战。为了提高匹配网络效率,本文提出一种基于排名优化的自-互注意力... 图像匹配是精准估计相机位姿信息的关键,近年来基于深度学习注意力机制的图像匹配研究取得了较大进展,但如何降低Transformer类图像匹配网络的高计算复杂度仍是巨大挑战。为了提高匹配网络效率,本文提出一种基于排名优化的自-互注意力机制。通过对位置编码后的一维输入特征图重塑形,采用类空间注意力机制挑选Top-m个活跃像素点的方法稀疏注意力图,成功地将点积注意力的时间复杂度从二次降为近线性。实验结果表明该方法在前向推理时耗时更短,并且能在一定程度上提升位姿估计精度。 展开更多
关键词 图像匹配 注意力机制 稀疏算法
下载PDF
基于综合几何关系稀疏自注意力机制的图像标注方法研究 被引量:2
19
作者 李艳 金小峰 《计算机应用研究》 CSCD 北大核心 2022年第4期1132-1136,共5页
针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取... 针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取详细全面的视觉表示,获取图像中潜在的上下文信息;其次提出了注意力层权重矩阵的稀疏化方法,该方法解决了Transformer忽略图像区域的局部性并引入噪声信息的问题;最后,采用了强化学习方法作为指导策略,实现模型在句子级别优化目标序列。通过在MS-COCO数据集上进行的对比实验结果表明,提出的方法在BLEU1、BLEU4、METEOR、ROUGE-L、CIDEr和SPICE指标上分别比基线模型提升了0.2、0.7、0.1、0.3、1.2和0.4,有效提升了图像自动标注的性能。 展开更多
关键词 图像标注 TRANSFORMER 自注意力机制 稀疏化方法
下载PDF
采用稀疏自注意力机制和BiLSTM模型的细粒度情感分析 被引量:2
20
作者 曹卫东 潘红坤 《计算机应用与软件》 北大核心 2022年第12期187-194,共8页
使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记... 使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记忆网络(BiLSTM)来对这些具有时序信息的文本进行全面特征的提取;使用分解后的稀疏自注意力机制(Sparse Self-Attention)再次对这些文本特征进行权重赋予;由Softmax对文本进行情感的分类。实验结果表明,使用Cw2vec训练的词向量相比Word2vec, F1-Score大约提高0.3%;CBSA模型相比未分解的自注意力机制(Self-Attention),内存消耗减少了大约200 MB,训练时间缩短了210 s。 展开更多
关键词 Cw2vec 细粒度情感分析 循环神经网络 双向长短期记忆网络 稀疏自注意力机制
下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部