基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

1

作者 栾方军 陈昱岑 袁帅 《计算机科学与应用》 2024年第3期159-168,共10页

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的... 随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。 展开更多

关键词 签名认证 多任务学习 残差通道注意力机制 双向长短期记忆 度量学习

下载PDF 职称材料

基于残差注意力机制的肺结节数据增强方法

2

作者 李阳 李春璇 +1 位作者 徐灿飞 方立梅 《电子科技大学学报》 EI CAS CSCD 北大核心 2023年第6期880-886,共7页

针对带标注的肺CT图像数据匮乏而导致的深度学习模型训练困难,以及现有生成算法生成肺结节不同特征模糊、细节丢失的问题,提出了肺结节图像的数据增强RAU-GAN算法。首先,在生成器网络中嵌入残差注意力模块,该模块可以聚焦于局部不同的... 针对带标注的肺CT图像数据匮乏而导致的深度学习模型训练困难,以及现有生成算法生成肺结节不同特征模糊、细节丢失的问题,提出了肺结节图像的数据增强RAU-GAN算法。首先,在生成器网络中嵌入残差注意力模块,该模块可以聚焦于局部不同的感兴趣区域,以实现肺结节与背景信息的独立生成,并且重新设计了注意力模块中的残差块来减少网络的深度和训练的复杂度。其次,将判别器设计为U-Net架构,可以给更新后的生成器反馈更多信息,以提高判别性能。最后,在数据集LUNA16和Deep Lesion上进行实验,结果与现有方法相比,在视觉效果和不同评价指标上均有提升,验证了生成图像包含了更丰富的细节信息。 展开更多

关键词 数据增强 Pix2Pix RAU-GAN 残差注意力机制 U-Net判别器

下载PDF 职称材料

一种融合残差机制和注意力机制的深度语音去噪方法 被引量：1

3

作者 李蕊 郭敏 马苗 《光电子．激光》 EI CAS CSCD 北大核心 2021年第5期485-490,共6页

针对深度网络模型进行端到端语音去噪时存在对语音底层信息表示能力不足以及网络只采用卷积级联的方式造成参数冗余的问题,提出了一种融合残差机制和注意力机制的生成对抗网络去噪模型(Attention Res-UNetGAN)。模型在波形域对语音进行... 针对深度网络模型进行端到端语音去噪时存在对语音底层信息表示能力不足以及网络只采用卷积级联的方式造成参数冗余的问题,提出了一种融合残差机制和注意力机制的生成对抗网络去噪模型(Attention Res-UNetGAN)。模型在波形域对语音进行去噪,其生成网络为U-Net结构,包含下采样层、中间层和上采样层。中间层为改进的嵌套残差模块(Residual-Residual Block,RRB),是由两块基础残差块进行残差拼接而形成的。对称的下采样层和上采样层之间采用注意力跳连和直接跳连进行连接。在VCTK(Voice Bank corpus)数据集进行去噪后并经PESQ等六种客观语音质量评价指标进行评价,Attention Res-UNetGAN相比原生成对抗网络模型各指标值平均提升了9.13%。 展开更多

关键词 深度学习 语音去噪 生成对抗网络 残差机制 注意力机制

原文传递

基于残差双重注意机制网络的电力数据压缩与高精度重建 被引量：8

4

作者 吴毓峰 李富盛 +4 位作者 余涛 潘振宁 刘前进 李捷 李卓环 《电网技术》 EI CSCD 北大核心 2022年第8期3257-3268,共12页

5G飞速发展与坚强智能电网深化建设的背景下,针对电力系统数据存储能力与数据采集传输能力不匹配的问题,文章提出一种基于残差双重注意机制网络的电力数据压缩与高精度重建方法。在数据压缩机制中,设计一种电力数据图像构建方法,并采用... 5G飞速发展与坚强智能电网深化建设的背景下,针对电力系统数据存储能力与数据采集传输能力不匹配的问题,文章提出一种基于残差双重注意机制网络的电力数据压缩与高精度重建方法。在数据压缩机制中,设计一种电力数据图像构建方法,并采用高斯滤波下采样对电力数据进行压缩;在重构机制中,结合通道注意机制与空间注意机制,构建一种残差双重注意机制网络,实现对压缩数据的高精度重构。通过在I-BLEND数据集上的仿真试验,验证所提方法能有效对电力数据进行压缩,减轻数据存储压力,同时相比于其他超分辨率重建方法,取得更精确的重构效果。 展开更多

关键词 电力数据图像 数据传输模式 数据压缩重建 超分辨率重建 残差双重注意机制网络

原文传递

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法 被引量：4

5

作者 黄有达 周大可 杨欣 《计算机应用研究》 CSCD 北大核心 2021年第7期2175-2178,2187,共5页

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络。在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码... 针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络。在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声。实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7%~12.1%的性能提升。 展开更多

关键词 三维人脸重建和密集对齐 密集连接 空洞卷积 残差注意力机制

下载PDF 职称材料

基于残差注意力机制的点云配准算法 被引量：6

6

作者 秦庭威 赵鹏程 +3 位作者 秦品乐 曾建朝 柴锐 黄永琦 《计算机应用》 CSCD 北大核心 2022年第7期2184-2191,共8页

针对传统点云配准算法精度低、鲁棒性差以及放疗前后癌症患者无法实现精确放疗的问题,提出一种基于残差注意力机制的点云配准算法(ADGCNNLK)。首先,在动态图深度卷积网络(DGCNN)中添加残差注意力机制来有效地利用点云的空间信息,并减少... 针对传统点云配准算法精度低、鲁棒性差以及放疗前后癌症患者无法实现精确放疗的问题,提出一种基于残差注意力机制的点云配准算法(ADGCNNLK)。首先,在动态图深度卷积网络(DGCNN)中添加残差注意力机制来有效地利用点云的空间信息,并减少信息损失;然后,利用添加残差注意力机制的DGCNN提取点云特征,这样做不仅可以在保持点云置换不变性的同时捕捉点云的局部几何特征,也可以在语义上将信息聚合起来,从而提高配准效率;最后,将提取到的特征点映射到高维空间中并使用经典的图像迭代配准算法LK进行配准。实验结果表明,所提算法与迭代最近点算法(ICP)、全局优化的ICP算法(Go-ICP)和PointNetLK相比,在无噪、有噪的情况下配准效果均最好。其中,在无噪情况下,与PointNetLK相比,所提算法的旋转均方误差降低了74.61%,平移均方误差降低了47.50%;在有噪声的情况下,与PointNetLK相比,所提算法的旋转均方误差降低了73.13%,平移均方误差降低了44.18%,说明所提算法与PointNetLK相比鲁棒性更强。将所提算法应用于放疗前后癌症患者人体点云模型的配准,从而辅助医生治疗,并实现了精确放疗。 展开更多

关键词 点云配准 特征提取 残差注意力机制 深度学习 放疗

下载PDF 职称材料

基于残差注意力机制和金字塔卷积的表情识别 被引量：2

7

作者 包志龙 陈华辉 《模式识别与人工智能》 EI CSCD 北大核心 2022年第6期497-506,共10页

随着深度学习的应用,表情识别技术得到快速发展,但如何提取多尺度特征及高效利用关键特征仍是表情识别网络面临的挑战.针对上述问题,文中使用金字塔卷积有效提取多尺度特征,使用空间通道注意力机制加强关键特征的表达,构建基于残差注意... 随着深度学习的应用,表情识别技术得到快速发展,但如何提取多尺度特征及高效利用关键特征仍是表情识别网络面临的挑战.针对上述问题,文中使用金字塔卷积有效提取多尺度特征,使用空间通道注意力机制加强关键特征的表达,构建基于残差注意力机制和金字塔卷积的表情识别网络,提高识别的准确率.网络使用MTCNN(Multi-task Convolutional Neural Network)进行人脸检测、人脸裁剪及人脸对齐,再将预处理后的图像送入特征提取网络.同时,为了缩小同类表情的差异,扩大不同类表情的距离,结合Softmax Loss和Center Loss,进行网络训练.实验表明,文中网络在Fer2013、CK+数据集上的准确率较高,网络参数量较小,适合表情识别在现实场景中的应用. 展开更多

关键词 表情识别 金字塔卷积 残差注意力机制 多尺度特征

下载PDF 职称材料

基于残差自注意力机制的航空发动机RUL预测 被引量：6

8

作者 叶瑞达 王卫杰 +2 位作者 何亮 陈晓岑 薛乐 《光学精密工程》 EI CAS CSCD 北大核心 2021年第6期1482-1490,共9页

针对传统神经网络在多维数据高分辨率特征识别和高精度信号提取方面的缺陷,开展基于残差自注意力机制的剩余使用寿命(RUL)预测算法研究。比较分析卷积神经网络(CNN)和长短期记忆神经网络(LSTM)的结构特性,揭示二者在长序列信息特征关联... 针对传统神经网络在多维数据高分辨率特征识别和高精度信号提取方面的缺陷,开展基于残差自注意力机制的剩余使用寿命(RUL)预测算法研究。比较分析卷积神经网络(CNN)和长短期记忆神经网络(LSTM)的结构特性,揭示二者在长序列信息特征关联能力和局部特征提取能力上的局限性。研究自注意力机制,引入双层残差网络抑制误差函数反向传播中扩散性,进而构建了一种卷积记忆残差自注意力机制的深度学习方法。基于上述方法对典型航空涡扇发动机退化实验数据集进行仿真分析,结果表明:所述方法能够有效建立监测数据与发动机健康状态之间的关系,关键评价指标——剩余使用寿命预测的均方误差为225,相比传统自注意力机制均方误差降低了17.9%,验证了所述方法的可行性和有效性。 展开更多

关键词 残差自注意力机制 神经网络 剩余使用寿命 航空发动机

下载PDF 职称材料

基于CNN-SAEDN-Res的短期电力负荷预测方法

9

作者 崔杨 朱晗 +2 位作者 王议坚 张璐 李扬 《电力自动化设备》 EI CSCD 北大核心 2024年第4期164-170,共7页

基于深度学习的序列模型难以处理混有非时序因素的负荷数据,这导致预测精度不足。提出一种基于卷积神经网络(CNN)、自注意力编码解码网络(SAEDN)和残差优化(Res)的短期电力负荷预测方法。特征提取模块由二维卷积神经网络组成,用于挖掘... 基于深度学习的序列模型难以处理混有非时序因素的负荷数据,这导致预测精度不足。提出一种基于卷积神经网络(CNN)、自注意力编码解码网络(SAEDN)和残差优化(Res)的短期电力负荷预测方法。特征提取模块由二维卷积神经网络组成,用于挖掘数据间的局部相关性,获取高维特征。初始负荷预测模块由自注意力编码解码网络和前馈神经网络构成,利用自注意力机制对高维特征进行自注意力编码,获取数据间的全局相关性,从而模型能根据数据间的耦合关系保留混有非时序因素数据中的重要信息,通过解码模块进行自注意力解码,并利用前馈神经网络回归初始负荷。引入残差机制构建负荷优化模块,生成负荷残差,优化初始负荷。算例结果表明,所提方法在预测精度和预测稳定性方面具有优势。 展开更多

关键词 短期电力负荷预测 卷积神经网络 自注意力机制 残差机制 负荷优化

下载PDF 职称材料

基于残差卷积自注意力神经网络的铝电解过热度识别方法 被引量：1

10

作者 林清扬 陈晓方 谢永芳 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第1期8-17,共10页

过热度是反映铝电解槽当前生产效率的重要指标,由于过热度难以在线实时测量,本文提出一种基于残差卷积自注意力神经网络的过热度识别方法.针对铝电解生产过程数据为时间序列数据且具有多源异构特性,设计异构数据的同构表示方法.在此基... 过热度是反映铝电解槽当前生产效率的重要指标,由于过热度难以在线实时测量,本文提出一种基于残差卷积自注意力神经网络的过热度识别方法.针对铝电解生产过程数据为时间序列数据且具有多源异构特性,设计异构数据的同构表示方法.在此基础上建立残差卷积自注意力神经网络模型以提取同构时间序列数据的全局与局部特征.针对过热度数据标签少且类别分布不均匀问题,采用基于自动编码器的无监督预训练方法与加权交叉熵损失函数以提高过热度识别任务的性能.在基准数据集上进行仿真对比实验以验证本文所提方法的有效性,然后在只包含少量不平衡标签的铝电解过热度数据集上进行实验验证,结果表明本文构建的过热度识别模型相较与其他现有模型不仅提高了过热度识别准确率,而且在训练样本较少时保证了模型的泛化能力. 展开更多

关键词 过热度识别 多源异构 残差卷积自注意力机制 无监督预训练 铝电解过程

下载PDF 职称材料

基于分割注意力机制残差网络的城市区域客流量预测

11

作者 李伯涵 郭茂祖 赵玲玲 《智能系统学报》 CSCD 北大核心 2022年第4期839-848,共10页

客流量预测是城市交通资源和公共安全智能化管理的重要依据。为了综合考虑城市乘客人群流动自身的既有周期性、趋势性和突发性,以及与城市物理和社会空间的耦合关系,在时空残差网络的基础上,本文提出了基于深度时空数据的分割注意力机... 客流量预测是城市交通资源和公共安全智能化管理的重要依据。为了综合考虑城市乘客人群流动自身的既有周期性、趋势性和突发性,以及与城市物理和社会空间的耦合关系,在时空残差网络的基础上,本文提出了基于深度时空数据的分割注意力机制残差网络的城市细粒度客流量预测模型。首先以不同时空间隔的区域客流量历史数据为基础,引入分割注意力机制模块,为各模态的数据分配不同的权重,动态捕捉更高相关性的抽象数据特征;在时空数据的基础上,引入城市功能区属性作为联合特征,结合节假日、气候等外部特征,形成deep&wide网络结构,有效记忆重要特征对客流量变化的贡献。基于北京出租车数据的区域客流量对比实验表明,相比于传统的深度时空残差网络和其他经典机器学习模型,引入了分割注意力机制和城市功能区特征的预测模型能够更好地提取数据多元化的特征,预测精度明显优于其他同类别方法。 展开更多

关键词 客流量预测 时空数据 深度学习 分割注意力机制残差网络 城市功能区 特征提取 智慧城市 智能交通

下载PDF 职称材料

基于超像素分割的图注意力网络的高光谱图像分类

12

作者 高路尧 胡长虹 肖树林 《吉林大学学报（理学版）》 CAS 北大核心 2024年第2期357-368,共12页

针对卷积神经网络(CNN)仅能应用于欧氏数据,无法有效获取像素间的全局关系特征以及长距离上下文信息的问题,构建一个基于超像素分割的图注意力网络SSGAT.该网络将超像素分割后的超像素块视为图结构中的图节点,有效减少了图结构的复杂度... 针对卷积神经网络(CNN)仅能应用于欧氏数据,无法有效获取像素间的全局关系特征以及长距离上下文信息的问题,构建一个基于超像素分割的图注意力网络SSGAT.该网络将超像素分割后的超像素块视为图结构中的图节点,有效减少了图结构的复杂度,并降低了分类图的噪声.在3个数据集上对SSGAT及对比算法的分类精度进行测试,分别获得了94.11%,95.22%,96.37%的总体分类精度.结果表明该方法性能优异,在处理大尺度区域的分类问题时优势明显. 展开更多

关键词 高光谱图像 图注意力网络 残差机制 超像素分割

下载PDF 职称材料

判别相关分析双注意力机制的目标检测算法 被引量：1

13

作者 赵珊 郑爱玲 《计算机工程与应用》 CSCD 北大核心 2022年第17期120-129,共10页

针对两阶段目标检测算法中模型存在目标识别率低、部分小目标物漏检等问题,提出了一种基于判别相关分析的双注意力机制的目标检测算法。该算法通过改进Faster R-CNN主干网络,引入判别相关分析技术最大化两个特征集中对应特征的相关关系... 针对两阶段目标检测算法中模型存在目标识别率低、部分小目标物漏检等问题,提出了一种基于判别相关分析的双注意力机制的目标检测算法。该算法通过改进Faster R-CNN主干网络,引入判别相关分析技术最大化两个特征集中对应特征的相关关系,同时最大化不同类之间的差异,来保证信息间的交互,有效缓解常规特征融合方式存在的特征提取能力不足问题。同时,结合残差结构构建残差双注意力机制,进行深层次的特征提取,来弥补深度CNN后高分辨率信息弱化问题,采用混合卷积层的设计在扩大感受野的同时又减少了信息损失,最大限度地保证了网络的特征提取性能。采用PASCAL VOC2007、KITTI以及Portrait三类数据集对网络进行训练,并将提出的算法模型与多个经典目标检测算法进行对比。实验结果表明,提出的算法具有较高的检测精度。 展开更多

关键词 判别相关分析 残差双注意力机制 混合卷积层 目标检测

下载PDF 职称材料

结合跳跃连接的多层图注意力网络会话推荐

14

作者 丁美荣 王雨航 曾碧卿 《计算机系统应用》 2024年第2期23-32,共10页

基于会话的推荐旨在根据匿名用户的短期交互数据来预测用户下一次交互项目.现有图神经网络会话推荐模型大多在信息传播过程中平等对待所有邻居节点,而没有区分他们对于中心节点的重要性,从而给模型训练引入噪声.此外,随着图神经网络层... 基于会话的推荐旨在根据匿名用户的短期交互数据来预测用户下一次交互项目.现有图神经网络会话推荐模型大多在信息传播过程中平等对待所有邻居节点,而没有区分他们对于中心节点的重要性,从而给模型训练引入噪声.此外,随着图神经网络层数的增加,过度平滑问题会随之产生.针对上述问题,本文提出结合跳跃连接的多层图注意力网络会话推荐模型(MGATSC).首先利用图注意力网络学习邻居节点对于中心节点的重要性,并堆叠多层网络以获取高阶邻居信息;然后为了缓解过度平滑问题,采用基于残差注意力机制的跳跃连接更新每层网络的节点嵌入,并通过平均池化得到最终节点嵌入.最后将反向位置嵌入融合到节点嵌入中,经过预测层生成推荐.在Tmall、Diginetica以及Retailrocket这3个公开数据集上的实验结果表明所提模型优于所有基线模型,验证了模型的有效性与合理性. 展开更多

关键词 会话推荐 图注意力网络 过度平滑 残差注意力机制 跳跃连接

下载PDF 职称材料

基于改进Swin-Unet的遥感图像分割方法

15

作者 张越 王逊 《无线电工程》 2024年第5期1217-1225,共9页

针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Poo... 针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块,用于捕获多尺度特征,增强网络获取不同尺度的能力,充分提取上下文信息;将解码器端的Swin Transformer Block替换为残差Swin Transformer Block,不仅保留了原始信息,又能够缓解模型出现梯度弥散现象;在跳跃连接中引入残差注意力机制,可以让模型更加关注特征图中的重要特征信息,抑制无效信息,从而提高模型分割的准确率。在自建数据集上进行实验,结果表明,改进后的网络平均交并比(mean Intersection over Union,mIoU)达到了80.55%,提高了4.13个百分点,证明改进后的网络可以有效提高遥感图像分割的精度。 展开更多

关键词 遥感图像 语义分割 Swin-Unet 空洞空间金字塔池化 残差注意力机制

下载PDF 职称材料

融合注意力机制的高效率网络车型识别 被引量：3

16

作者 柳长源 何先平 毕晓君 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2022年第4期775-782,共8页

为了解决现有的车型识别算法对车型特征描述不充分的情况,提出融合注意力机制的高效率网络车型识别算法.利用高效率网络中的复合缩放方式来平衡网络的深度、宽度和分辨率,将深度可分离卷积集成到基础特征提取模块中来提高模型准确率.增... 为了解决现有的车型识别算法对车型特征描述不充分的情况,提出融合注意力机制的高效率网络车型识别算法.利用高效率网络中的复合缩放方式来平衡网络的深度、宽度和分辨率,将深度可分离卷积集成到基础特征提取模块中来提高模型准确率.增加双通道的残差注意力机制来关注图片中的关键信息,获得含有更加丰富语义信息的特征图.在网络的末端添加单独的softmax分类器,使用标签平滑正则化对损失函数进行处理,减小模型过拟合的问题.在BIT-Vehicles数据集上进行实验,结果表明,提出方法的平均分类准确率为96.83%,较改进前的模型提高了1.11%,优于现有DCNN、Faster-CNN的改进算法,较Faster R-CNN提升了7.16%. 展开更多

关键词 车型识别 高效率网络 残差注意力机制 标签平滑正则化 深度可分离卷积

下载PDF 职称材料

基于多尺度融合预测模型的航空发动机剩余寿命预测 被引量：1

17

作者 刘纳川 郭建胜 +2 位作者 张晓丰 余稼洋 解涛 《兵器装备工程学报》 CAS CSCD 北大核心 2023年第7期289-296,共8页

针对大多数基于数据驱动的航空发动机剩余寿命预测方法未细分其退化过程与复杂输入数据之间的关系,无法准确识别和提取关键特征的问题。提出一种基于多尺度融合预测模型(MSF)的航空发动机剩余寿命预测方法。该方法利用静态协变量编码网... 针对大多数基于数据驱动的航空发动机剩余寿命预测方法未细分其退化过程与复杂输入数据之间的关系,无法准确识别和提取关键特征的问题。提出一种基于多尺度融合预测模型(MSF)的航空发动机剩余寿命预测方法。该方法利用静态协变量编码网络(SCCN)和变量选择网络(VSN)针对输入数据类型进行特征选择,将SCCN生成的静态协变量连接到模型的不同位置,以提升模型捕捉不同尺度时间特征的能力,并融入门控残差机制构建模型基本框架,既能提高模型的适应性也能保证信息在网络中传递的效率,采用分位数误差作为损失函数实现了多尺度的预测,有效的提高了预测的准确性。在CMAPSS涡扇发动机数据集上进行实验分析,FD002、FD004测试集的预测精度分别达到91.9%和92.4%,通过与其他深度学习方法进行对比,RMSE最优值分别提高15.54%和16.91%,Score最优值分别提高83.21%和78.78%。 展开更多

关键词 剩余寿命 门控残差机制 静态协变量编码器 LSTM神经网络 多头注意力机制 分位数

下载PDF 职称材料

融合ELECTRA和文本局部信息的中文语法错误检测方法

18

作者 陈柏霖 王天极 +1 位作者 任丽娜 黄瑞章 《计算机工程》 CAS CSCD 北大核心 2023年第3期304-311,共8页

语法错误检测是自然语言处理领域的一项基本任务,其目标是自动识别文本中存在的错别字、语法及语序错误等。与其他语言相比,中文语法灵活多变且缺乏时态、语态等标志性信息,因此,文本的局部信息对于中文语法错误检测具有重要作用。传统... 语法错误检测是自然语言处理领域的一项基本任务,其目标是自动识别文本中存在的错别字、语法及语序错误等。与其他语言相比,中文语法灵活多变且缺乏时态、语态等标志性信息,因此,文本的局部信息对于中文语法错误检测具有重要作用。传统的机器学习方法难以检测文本中存在的语法错误,而现有深度学习方法在纠错过程中不能充分利用文本的局部信息,导致语法错误检测效果不佳。建立一种融合ELECTRA和文本局部信息的中文语法错误检测模型ELECTRA-GCNN-CRF。将语法错误检测视为序列标注任务,使用ELECTRA预训练语言模型对文本进行表征。采用卷积神经网络提取文本的局部位置和语义信息,并引入残差门控机制,降低无效信息带来的影响。通过CRF模型学习标签间的内在关联关系,输出符合标注规则的语法错误标签序列。在NLPTEA中文语法错误检测数据集上的实验结果表明,ELECTRA-GCNN-CRF在检测层、识别层和定位层上的F1值较对比基线模型分别平均提高了0.94、3.74和5.03个百分点,该模型能够有效提升语法错误检测效果。 展开更多

关键词 ELECTRA预训练语言模型 局部信息 中文语法错误检测 卷积神经网络 残差门控机制

下载PDF 职称材料

基于CWT和CooAtten-Resnet的弧齿锥齿轮箱故障诊断方法研究

19

作者 张旭 许昕 +3 位作者 潘宏侠 徐轟钊 原涛涛 王同 《电子测量技术》 北大核心 2023年第3期182-189,共8页

提出一种基于连续小波变换(CWT)和坐标注意机制残差网络(CooAtten-Resnet)的弧齿锥齿轮箱智能故障诊断方法。首先将振动信号重叠采样获得大量信号样本,将这些样本通过连续小波变换将振动信号转化为时频图,并以此构建不同故障下的时频数... 提出一种基于连续小波变换(CWT)和坐标注意机制残差网络(CooAtten-Resnet)的弧齿锥齿轮箱智能故障诊断方法。首先将振动信号重叠采样获得大量信号样本,将这些样本通过连续小波变换将振动信号转化为时频图,并以此构建不同故障下的时频数据集,同时通过人为添加噪声样本以验证噪声对此类诊断方法的影响;然后将时频图数据集用于CooAtten-Resnet训练;最后对故障进行分类并输出诊断结果。结果表明,该方法可以准确的识别弧齿锥齿轮箱故障,无人为添加噪声的情况诊断准确率可达100%,添加噪声后在无降噪处理的情况下准确率仍在93%以上。相较于其他方法,该方法的准确率更高,抗噪能力更强,网络收敛速度更快,诊断结果更稳定。 展开更多

关键词 小波时频图 弧齿锥齿轮 智能故障诊断 残差网络 注意力机制 坐标注意力机制残差网络

原文传递

基于融合鲁棒特征与多维尺度变换的紧凑图像哈希算法 被引量：4

20

作者 余震 何留杰 吴婷 《包装工程》 CAS 北大核心 2019年第1期186-195,共10页

目的为了增强哈希序列对任意旋转角度的鲁棒性与识别能力,提出一种基于融合鲁棒特征与多维尺度变换的紧凑图像哈希算法。方法首先,利用双线性插值来固定图像的哈希序列长度,获取规则尺寸的图像;借助高斯低通滤波对规则图像完成过滤操作... 目的为了增强哈希序列对任意旋转角度的鲁棒性与识别能力,提出一种基于融合鲁棒特征与多维尺度变换的紧凑图像哈希算法。方法首先,利用双线性插值来固定图像的哈希序列长度,获取规则尺寸的图像;借助高斯低通滤波对规则图像完成过滤操作,消除噪声污染和插值误差对哈希生成的影响;将滤波图像转换到YCbCr颜色空间,提取亮度Y分量,增强哈希对亮度调整的鲁棒性;利用极坐标变换LPT方法处理亮度Y分量,输出二次图像;引入SVD机制来分解二次图像,获取其抗旋转的鲁棒特征;同时,根据Fourier变换与残差机制,获取Y分量的局部显著特征;随后,将这2种特征组合,形成融合鲁棒特征,将其视为中间哈希序列;引入多维尺度变换,对中间哈希序列完成压缩,获取紧凑哈希;基于Logistic映射,完成紧凑哈希序列的加密,形成目标哈希;通过计算真实图像与待认证图像之间哈希序列对应的Hamming距离,根据预设阈值,完成图像识别。结果测试数据表明,较已有的哈希方案而言,所提方案拥有更高的鲁棒性和更紧凑的哈希长度,呈现出更为理想的ROC曲线,在多种攻击下,其稳定的正确识别率保持在96%以上。结论所提哈希方案拥有良好的鲁棒性与敏感性,在包装图标检索、信息水印等行业具备较好的应用价值。 展开更多

关键词 图像哈希 融合鲁棒特征 多维尺度变换 双线性插值 YCBCR颜色空间 FOURIER变换 残差机制

下载PDF 职称材料