期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到1,150,139篇文章
< 1 2 … 250 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于Depth-wise卷积和视觉Transformer的图像分类模型
1
作者 张峰 黄仕鑫 +1 位作者 花强 董春茹 《计算机科学》 CSCD 北大核心 2024年第2期196-204,共9页
图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关... 图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。 展开更多
关键词 深度学习 图像分类 Depth-wise卷积 视觉transformer 注意力机制
下载PDF
基于双向稀疏Transformer的多变量时序分类模型
2
作者 王慧强 陈楚皓 +1 位作者 吕宏武 米海林 《小型微型计算机系统》 CSCD 北大核心 2024年第3期555-561,共7页
针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框... 针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%. 展开更多
关键词 多变量时序分类 transformER 双向稀疏机制 活跃度评价函数
下载PDF
规则压缩模型和灵活架构的Transformer加速器设计
3
作者 姜小波 邓晗珂 +1 位作者 莫志杰 黎红源 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第3期1079-1088,共10页
基于注意力机制的Transformer模型具有优越的性能,设计专用的Transformer加速器能大幅提高推理性能以及降低推理功耗。Transformer模型复杂性包括数量上和结构上的复杂性,其中结构上的复杂性导致不规则模型和规则硬件之间的失配,降低了... 基于注意力机制的Transformer模型具有优越的性能,设计专用的Transformer加速器能大幅提高推理性能以及降低推理功耗。Transformer模型复杂性包括数量上和结构上的复杂性,其中结构上的复杂性导致不规则模型和规则硬件之间的失配,降低了模型映射到硬件的效率。目前的加速器研究主要聚焦在解决模型数量上的复杂性,但对如何解决模型结构上的复杂性研究得不多。该文首先提出规则压缩模型,降低模型的结构复杂度,提高模型和硬件的匹配度,提高模型映射到硬件的效率。接着提出一种硬件友好的模型压缩方法,采用规则的偏移对角权重剪枝方案和简化硬件量化推理逻辑。此外,提出一个高效灵活的硬件架构,包括一种以块为单元的权重固定脉动运算阵列,同时包括一种准分布的存储架构。该架构可以高效实现算法到运算阵列的映射,同时实现高效的数据存储效率和降低数据移动。实验结果表明,该文工作在性能损失极小的情况下实现93.75%的压缩率,在FPGA上实现的加速器可以高效处理压缩后的Transformer模型,相比于中央处理器(CPU)和图形处理器(GPU)能效分别提高了12.45倍和4.17倍。 展开更多
关键词 自然语音处理 transformER 模型压缩 硬件加速器 机器翻译
下载PDF
基于Transformer模型的“暴力”虚开发票风险识别
4
作者 杨慧 程建华 《安徽工程大学学报》 CAS 2024年第1期76-85,共10页
自2016年“营改增”全面实施以来,与之相关的免税减税等税收优惠政策原旨在惠企助企、激发市场活力,但不法分子在巨额利润驱动下企图通过虚开增值税发票骗取出口退税、抵扣税款,严重扰乱了税收秩序。本文以“暴力”虚开发票的企业的犯... 自2016年“营改增”全面实施以来,与之相关的免税减税等税收优惠政策原旨在惠企助企、激发市场活力,但不法分子在巨额利润驱动下企图通过虚开增值税发票骗取出口退税、抵扣税款,严重扰乱了税收秩序。本文以“暴力”虚开发票的企业的犯罪特征为切入点,从基础征管数据和增值税发票数据中选取了24项虚开指标,构建了基于Transformer模型的虚开增值税发票识别模型,对虚开公司进行检测。实证分析表明Transformer模型对虚开增值税发票的识别召回率为0.934 7,准确率为0.986 9,AUC为0.963 9,显著优于SVM、Xgboost、MLP等传统机器学习模型,可辅助税务部门高效识别“暴力”虚开企业,节省人工筛查成本,对有效打击虚开增值税发票一类违法犯罪行为具有非常重要的实践意义。 展开更多
关键词 “暴力”虚开 transformER 逃税识别
下载PDF
多尺度融合卷积的轻量化Transformer无人机地物识别模型
5
作者 肖斌 罗浩 +2 位作者 张恒宾 刘宏伟 张兴鹏 《郑州大学学报（理学版）》 CAS 北大核心 2024年第1期32-39,共8页
Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度... Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度融合卷积方法,补充Transformer丢失的块内空间信息,从而有效提取多尺度上的粗、细粒度特征表示。其次,设计了多尺度缩减键值序列的方式,优化Transformer中的自注意力计算。最后,设计了轻量级的MLP解码器,进一步减少模型参数量。在Vaihingen和Potsdam数据集上与一些主流模型进行了对比实验,结果表明,所提模型的F 1值和交并比均有所提升。同时,在Potsdam数据集上准确度提升0.29%,参数量比双分支网络STransFuse减少18%。 展开更多
关键词 无人机遥感影像 transformER 语义分割 轻量级 多尺度 卷积神经网络
下载PDF
基于Transformer的交通标志检测模型研究
6
作者 严丽平 张文剥 +3 位作者 宋凯 蔡彧 王静 徐嘉悦 《华东交通大学学报》 2024年第1期61-69,共9页
【目的】为了解决在复杂环境下,对小目标特征困难以及对小目标检测效果不佳等问题,提出了一种基于Transformer的交通标志检测基干模型。【方法】通过充分利用卷积和Transformer的优势,构建了一种注意力融合的多尺度特征提取基干模型,能... 【目的】为了解决在复杂环境下,对小目标特征困难以及对小目标检测效果不佳等问题,提出了一种基于Transformer的交通标志检测基干模型。【方法】通过充分利用卷积和Transformer的优势,构建了一种注意力融合的多尺度特征提取基干模型,能够使基干网络以全局上下文信息为支撑,有选择地增强有用信息的特征,并抑制不重要的特征。此外,为了在增强特征融合的同时防止网络退化,还加入了类池连接。最后,在TT100K数据集上进行实验。【结果】实验结果表明,以该模型为骨干的元体系结构取得了最高84%的mAP,与基线模型相比m AP最大提升约7%。【结论】模型在提高特征提取效果的同时,也为交通标志检测提供了一种新的思路。 展开更多
关键词 交通标志检测 自动驾驶 transformER 注意力融合
下载PDF
宽卷积局部特征扩展的Transformer网络故障诊断模型
7
作者 张新良 李占 周益天 《国外电子测量技术》 2024年第2期139-149,共11页
视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网... 视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。 展开更多
关键词 轴承故障诊断 视觉transformer 宽卷积核 自注意力机制 局部-全局特征 高效通道注意力
原文传递
基于TF-IDF和多头注意力Transformer模型的文本情感分析 被引量：1
8
作者 高佳希 黄海燕 《华东理工大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第1期129-136,共8页
文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Documen... 文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。 展开更多
关键词 文本情感分析 自然语言处理 多头注意力机制 TF-IDF算法 transformer模型
下载PDF
改良Transformer模型应用于乳腺结节超声报告自主生成的可行性研究
9
作者 王怡 周鑫仪 +2 位作者 徐黎明 邓丹 冉海涛 《临床超声医学杂志》 CSCD 2024年第2期114-119,共6页
目的将改良Transformer模型应用于乳腺结节超声报告自主生成,并对其可行性进行初步探讨。方法收集832例乳腺结节患者(共1284个结节)的超声图像构建BND数据集,引入一种改良Transformer模型对BND数据集进行智能分析,生成相应文本报告,并与... 目的将改良Transformer模型应用于乳腺结节超声报告自主生成,并对其可行性进行初步探讨。方法收集832例乳腺结节患者(共1284个结节)的超声图像构建BND数据集,引入一种改良Transformer模型对BND数据集进行智能分析,生成相应文本报告,并与Ensemble Model、SSD、R-FCN模型进行比较;同时引入LGK数据集,将改良Transformer模型与TieNet、Kerp、VTI、RNCM模型进行比较。采用BLEU评分评估各模型的性能。结果在BND数据集中,改良模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.547、0.474、0.352、0.282,均高于Ensemble Model、SSD、R-FCN模型。在LGK数据集中,改良Transformer模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.579、0.391、0.288、0.152。结论改良Transformer模型能够快速识别乳腺结节并自主生成标准报告,与Ensemble Model、SSD、R-FCN模型相比,获得了良好的BLEU评分,同时该模型在LGK数据集中BLEU评分也较高,表明改良Transformer模型具有较高的文本泛化性能。 展开更多
关键词 深度学习 transformer模型 乳腺结节 报告生成
下载PDF
基于局部Transformer的泰语分词和词性标注联合模型
10
作者 朱叶芬 线岩团 +1 位作者 余正涛 相艳 《智能系统学报》 CSCD 北大核心 2024年第2期401-410,共10页
泰语分词和词性标注任务二者之间存在高关联性,已有研究表明将分词和词性标注任务进行联合学习可以有效提升模型性能,为此,提出了一种针对泰语拼写和构词特点的分词和词性标注联合模型。针对泰语中字符构成音节,音节组成词语的特点,采... 泰语分词和词性标注任务二者之间存在高关联性,已有研究表明将分词和词性标注任务进行联合学习可以有效提升模型性能,为此,提出了一种针对泰语拼写和构词特点的分词和词性标注联合模型。针对泰语中字符构成音节,音节组成词语的特点,采用局部Transformer网络从音节序列中学习分词特征;考虑到词根和词缀等音节与词性的关联,将用于分词的音节特征融入词语序列特征,缓解未知词的词性标注特征缺失问题。在此基础上,模型采用线性分类层预测分词标签,采用线性条件随机场建模词性序列的依赖关系。在泰语数据集LST20上的试验结果表明,模型分词F1、词性标注微平均F1和宏平均F1分别达到96.33%、97.06%和85.98%,相较基线模型分别提升了0.33%、0.44%和0.12%。 展开更多
关键词 泰语分词 词性标注 联合学习 局部transformer 构词特点 音节特征 线性条件随机场 联合模型
下载PDF
基于Transformer模型的连续无创血压预测方法
11
作者 田俊豪 刘立程 +1 位作者 王小林 刘梅 《电子测量技术》 北大核心 2024年第3期102-108,共7页
动脉血压(ABP)波形包含丰富的心血管信息,有助于心血管疾病的预防和诊断。目前大部分基于光电容积脉搏波描记法(PPG)的血压预测方法仅预测收缩压(SBP)和舒张压(DBP),本文提出了一种由PPG信号预测ABP波形的血压测量方法。首先使用PPG信... 动脉血压(ABP)波形包含丰富的心血管信息,有助于心血管疾病的预防和诊断。目前大部分基于光电容积脉搏波描记法(PPG)的血压预测方法仅预测收缩压(SBP)和舒张压(DBP),本文提出了一种由PPG信号预测ABP波形的血压测量方法。首先使用PPG信号作为输入,通过线性映射到高维空间,然后利用Transformer编码器结构进行特征提取,最后由线性层输出预测的ABP波形,由预测的ABP波形可计算出SBP和DBP等血压参数。实验结果显示,Transformer网络在MIMIC数据集中预测的ABP波形与实际波形的拟合效果良好,计算得到的SBP和DBP预测误差分别为(3.76±5.66)mmHg、(2.20±3.77)mmHg,且该方法符合美国医疗仪器促进协会(AAMI)的标准,同时在英国高血压协会(BHS)标准中达到A级。 展开更多
关键词 动脉血压 光电容积脉搏波 无创 transformER 注意力机制
原文传递
融合卷积神经网络和Transformer的人脸欺骗检测模型
12
作者 黄灵 何希平 +2 位作者 贺丹 杨楚天 旷奇弦 《信息安全研究》 CSCD 北大核心 2024年第1期25-33,共9页
在人脸反欺骗领域,大多数现有检测模型都是基于卷积神经网络(convolutional neural network,CNN),该类方法虽能以较少的参数学习人脸识别,但其感受野是局部的;而基于Transformer的方法虽然能够全局感知,但参数量和计算量极大,无法在移... 在人脸反欺骗领域,大多数现有检测模型都是基于卷积神经网络(convolutional neural network,CNN),该类方法虽能以较少的参数学习人脸识别,但其感受野是局部的;而基于Transformer的方法虽然能够全局感知,但参数量和计算量极大,无法在移动或边缘设备广泛部署.针对以上问题,提出一种融合CNN和Transformer的人脸欺骗检测模型,旨在保持人脸全局和局部特征提取能力的前提下,实现参数量和准确度的平衡.首先,裁剪选取局部人脸图像作为输入,有效避免过拟合现象;其次,设计基于坐标注意力的特征提取模块;最后,设计融合CNN和Transformer模块,通过局部全局局部的信息交换实现图像局部特征和全局特征的提取.实验结果表明,该模型在CASIA-SURF(Depth模态)数据集上获得了99.31%的准确率以及0.54%的平均错误率;甚至在CASIA-FASD和Replay-Attack这2个数据集上实现了零错误率,且模型参数量仅0.59MB,远小于Transformer系列模型. 展开更多
关键词 人脸欺骗检测 CNN transformER 模型融合 注意力机制
下载PDF
融合多种时空自注意力机制的Transformer交通流预测模型
13
作者 曹威 王兴 +2 位作者 邹复民 金彪 王小军 《计算机系统应用》 2024年第4期82-92,共11页
交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路... 交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明,MSTTF模型与传统时空Transformer相比,MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型,MAE平均降低了1.24%,能取得更好的预测效果. 展开更多
关键词 交通流预测 智能交通 时空依赖性 transformER 自注意力机制
下载PDF
面向Transformer模型的轻量化方法研究
14
作者 徐慧超 徐海文 刘丽娜 《电脑知识与技术》 2024年第4期25-28,共4页
随着Transformer模型的改进与发展,模型的参数数量显著增加,使得Transformer模型及其衍生模型需要消耗大量的计算资源和存储资源。文章提出一种基于知识蒸馏的新的Transformer模型轻量化方法:使用预训练好的BERT模型(Bidirectional Enco... 随着Transformer模型的改进与发展,模型的参数数量显著增加,使得Transformer模型及其衍生模型需要消耗大量的计算资源和存储资源。文章提出一种基于知识蒸馏的新的Transformer模型轻量化方法:使用预训练好的BERT模型(Bidirectional Encoder Representation from Transformers)作为教师模型,设计学生模型卷积神经网络(Convolutional Neural Network,CNN),加入注意力机制的循环神经网络(Recurrent Neural Network,RNN)和全连接神经网络(Full Connect Neu-ral Network,DNN),并采用logits和matching logits两种蒸馏方法,实现模型的轻量化。实验结果表明,当将BERT模型蒸馏给CNN时,参数数量减少93.46%,运行速度提升30余倍,在小规模数据集上准确率仅下降0.70%;当将BERT蒸馏给加入注意力机制的RNN时,参数数量减少了93.38%,速度提升100余倍,模型准确率轻微下降;当将DNN作为学生模型时,参数数量减少了93.77%,速度提升了200余倍,在大规模数据集上,准确率仅下降0.02%。 展开更多
关键词 深度学习 transformer模型 注意力机制 轻量化方法 知识蒸馏
下载PDF
DRT Net:面向特征增强的双残差Res-Transformer肺炎识别模型
15
作者 周涛 彭彩月 +3 位作者 杜玉虎 党培 刘凤珍 陆惠玲 《光学精密工程》 EI CAS CSCD 北大核心 2024年第5期714-726,共13页
针对肺部X射线图像的病灶区域较小、形状复杂,与正常组织间的边界模糊,使得肺炎图像中的病灶特征提取不充分的问题,提出了一个面向特征增强的双残差Res-Transformer肺炎识别模型,设计3种不同的特征增强策略对模型特征提取能力进行增强... 针对肺部X射线图像的病灶区域较小、形状复杂,与正常组织间的边界模糊,使得肺炎图像中的病灶特征提取不充分的问题,提出了一个面向特征增强的双残差Res-Transformer肺炎识别模型,设计3种不同的特征增强策略对模型特征提取能力进行增强。设计了组注意力双残差模块(GADRM),采用双残差结构进行高效的特征融合,将双残差结构与通道混洗、通道注意力、空间注意力结合,增强模型对于病灶区域特征的提取能力;在网络的高层采用全局局部特征提取模块(GLFEM),结合CNN和Transformer的优势使网络充分提取图像的全局和局部特征,获得高层语义信息的全局特征,进一步增强网络的语义特征提取能力;设计了跨层双注意力特征融合模块(CDAFFM),融合浅层网络的空间信息以及深层网络的通道信息,对网络提取到的跨层特征进行增强。为了验证本文模型的有效性,分别在COVID-19 CHEST X-RAY数据集上进行消融实验和对比实验。实验结果表明,本文所提出网络的准确率、精确率、召回率,F1值和AUC值分别为98.41%,94.42%,94.20%,94.26%和99.65%。DRT Net能够帮助放射科医生使用胸部X光片对肺炎进行诊断,具有重要的临床作用。 展开更多
关键词 肺炎识别 X射线图像 特征增强 双残差结构 transformER
下载PDF
面向医学图像分割的CNN与Transformer混合模型
16
作者 王茜 蔡英 +1 位作者 范艳芳 王昀 《北京信息科技大学学报（自然科学版）》 2024年第2期15-20,34,共7页
由于医学图像具有对比度低、目标形态复杂和边缘模糊等特点,现有模型的分割准确度无法满足高精度建模和自动化手术的要求。针对这一情况,结合卷积神经网络(convolutional neural networks, CNN)出色的局部特征提取能力和Transformer长... 由于医学图像具有对比度低、目标形态复杂和边缘模糊等特点,现有模型的分割准确度无法满足高精度建模和自动化手术的要求。针对这一情况,结合卷积神经网络(convolutional neural networks, CNN)出色的局部特征提取能力和Transformer长距离建模的优势,提出了一种基于二者的混合架构分割模型ParaCNNFormer。ParaCNNFormer是一种U型结构分割模型,其编码器与解码器均采用CNN与Swin Transformer并联的混合架构,利用CNN提取局部细节特征,同时利用Swin Transformer建立长距离依赖,有效提高了分割准确度。在CHAOS和DSB18数据集上的对比实验结果表明,骰子系数相较于流行的TransUnet和SwinUnet均有明显提升。 展开更多
关键词 医学图像分割 transformER 卷积神经网络 混合架构
下载PDF
基于MsTCN-Transformer模型的轴承剩余使用寿命预测研究
17
作者 邓飞跃 陈哲 +1 位作者 郝如江 杨绍普 《振动与冲击》 EI CSCD 北大核心 2024年第4期279-287,共9页
剩余使用寿命(remaining useful life, RUL)预测是PHM的核心问题之一,复杂的运行工况往往导致设备部件经历不同的故障退化过程,给RUL准确预测带来了巨大挑战。为此,提出了一种多尺度时间卷积网络(multi-scale temporal convolutional ne... 剩余使用寿命(remaining useful life, RUL)预测是PHM的核心问题之一,复杂的运行工况往往导致设备部件经历不同的故障退化过程,给RUL准确预测带来了巨大挑战。为此,提出了一种多尺度时间卷积网络(multi-scale temporal convolutional network, MsTCN)与Transformer(MsTCN-Transformer)融合模型用于变工况下滚动轴承RUL预测。该方法设计了一种新的多尺度膨胀因果卷积单元(multi-scale dilated causal convolution unit, MsDCCU),能够自适应地挖掘滚动轴承全寿命信号中固有的时序特征信息;然后构建了基于自注意力机制的Transformer网络模型,在克服预测序列记忆力退化的基础上,准确学习时序特征与轴承RUL之间的映射关系。此外,通过对轴承不同故障退化阶段所提取的时序特征可视化分析,验证了所提方法在变工况下所提取的时序特征泛化性较好。多种工况条件下滚动轴承RUL预测试验表明,所提方法能够较为准确地实现变工况下轴承的RUL预测,相比当前多种方法RUL预测结果准确性更高。 展开更多
关键词 剩余使用寿命 时序特征 时间卷积网络 transformer网络 滚动轴承
下载PDF
M^(3)Res-Transformer:新冠肺炎胸部X-ray图像识别模型
18
作者 周涛 刘赟璨 +3 位作者 侯森宝 常晓玉 叶鑫宇 陆惠玲 《电子学报》 EI CAS CSCD 北大核心 2024年第2期589-601,共13页
新冠肺炎(COVID-19)自爆发以来严重影响人类生命健康,近年来残差神经网络广泛应用于COVID-19识别任务中,辅助医生快速地诊断COVID-19患者,但是COVID-19图像病变区域形状复杂、大小不一,与周围组织的边界模糊,导致网络难以提取有效特征.... 新冠肺炎(COVID-19)自爆发以来严重影响人类生命健康,近年来残差神经网络广泛应用于COVID-19识别任务中,辅助医生快速地诊断COVID-19患者,但是COVID-19图像病变区域形状复杂、大小不一,与周围组织的边界模糊,导致网络难以提取有效特征.本文针对上述问题,提出一种M^(3)Res-Transformer的新冠肺炎胸部X-ray图像识别模型,采用Res-Transformer作为模型的主干网络,结合ResNet和ViT,有效地整合局部病变特征和全局特征;设计混合残差注意力模块(mixed residual attention Module,mraM),同时考虑通道和空间位置的相互依赖性,增强网络的特征表达能力;为了增大感受野,提取多尺度特征,通过叠加具有不同扩张率的扩张卷积构造多尺度扩张残差模块(multiscale dilated residual Module,mdrM),根据不同层次特征尺度的差异,使用3个逐渐收缩尺度的mdrM进行多尺度特征提取;提出上下文交叉感知模块(contextual cross-awareness Module,ccaM),使用深层特征中的语义信息来引导浅层特征,然后将浅层特征中的空间信息嵌入深层特征中,采用交叉加权注意力机制高效聚合深层和浅层特征,获得更丰富的上下文信息.为了验证本文所提模型的有效性,在新冠肺炎胸部X-ray图像数据集上进行实验,与先进的CNN分类模型、融合不同注意力机制的ResNet50模型、基于Transformer的分类模型对比以及消融实验.结果表明,本文所提模型的Acc、Pre、Rec、F1-Score与Spe指标分别为96.33%、96.36%、96.33%、96.35%与96.26%,在COVID-19胸部X-ray图像识别任务中有效提升了识别精度,并通过可视化方法对其进行进一步验证,为COVID-19的辅助诊断提供重要的参考价值. 展开更多
关键词 COVID-19 胸部X-ray图像 残差神经网络 vision transformer 注意力机制
下载PDF
高光谱图像去噪的稀疏空谱Transformer模型
19
作者 杨智翔 孙玉宝 +1 位作者 白志远 栾鸿康 《电子测量技术》 北大核心 2024年第1期150-158,共9页
现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对... 现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对不同光谱波段间差异性的利用;为了应对这些问题,本文提出了一种新的稀疏空谱Transformer模型,提升了对空谱耦合关联性的利用。在空间维度,引入局部增强模块增强空间特征细节,应对过平滑问题;同时在光谱维度上提出了Top-k稀疏自注意力机制,自适应选择前K个最相关的光谱通道特征进行特征交互,从而能够有效捕获空谱特征。最终通过稀疏空谱Transformer的层级残差连接实现高光谱图像的去噪。在ICVL数据集上分别对高斯噪声和复杂噪声进行去噪处理,峰值信噪比分别达到40.56 dB和40.19 dB,证明了本文提出的稀疏空谱Transformer模型优越的性能。 展开更多
关键词 高光谱图像去噪 空间-光谱联合特征 稀疏transformer
原文传递
考虑多变量相关性改进的风电场Transformer中长期预测模型
20
作者 李士哲 王霄慧 刘帅 《智慧电力》 北大核心 2024年第4期62-68,107,共8页
挖掘风电场多变量相关性对提高中长期的预测精度具有积极影响。针对Transformer模型在捕获多变量间相关性方面的不足,提出考虑多变量相关性的多变量中长期预测模型。首先,采用多变量独立嵌入(MIE)对风电场多变量进行独立建模;然后,使用... 挖掘风电场多变量相关性对提高中长期的预测精度具有积极影响。针对Transformer模型在捕获多变量间相关性方面的不足,提出考虑多变量相关性的多变量中长期预测模型。首先,采用多变量独立嵌入(MIE)对风电场多变量进行独立建模;然后,使用二维概率稀疏注意力(TPSA)提取时间和变量间的特征信息;最后,通过多层式编码器-解码器(MED)将多尺度的特征信息聚合,一次性输出预测结果。算例分析表明,所提模型与LSTM模型、Transformer模型、Informer模型相比,均方误差在各预测时长分别降低了42.58%~66.83%,32.58%~53.49%,14.38%~30.92%,并通过消融实验验证和分析了所提改进的有效性。 展开更多
关键词 多变量相关性 transformer模型 多变量独立嵌入 二维概率稀疏注意力 多层式编码器-解码器
下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 250 下一页 到第 页
使用帮助 返回顶部