基于可重参的自适应激活函数算法

1

作者 吴限 陶青川 《软件导刊》 2025年第2期83-88,共6页

经典轻量化网络的特征提取能力存在一定不足,在推理阶段几乎不引入额外计算的基础上,对可重参自适应激活函数进行研究,提出RepAct激活函数。RepAct的自适应可重参多分支结构通过不同特征信息的分支权重进行自适应学习,显著提升了轻量化... 经典轻量化网络的特征提取能力存在一定不足,在推理阶段几乎不引入额外计算的基础上,对可重参自适应激活函数进行研究,提出RepAct激活函数。RepAct的自适应可重参多分支结构通过不同特征信息的分支权重进行自适应学习,显著提升了轻量化网络的学习能力。在各经典轻量化CNN和ViT网络中,RepAct可以有效提升分类任务的精度。在ImageNet100上,MobileNetV3-Small的Top-1准确率提升了6.9%;在Cifar100上,MobileNetV3-Small的Top-1准确率提升了5.71%,超越了其他主流的激活函数。此外,通过GradCAM可视化,揭示了RepAct提升网络特征提取能力的原因。 展开更多

关键词 自适应激活函数 可重参结构 轻量化网络

下载PDF 职称材料

二维稳态热传导方程的无监督自适应激活函数物理信息神经网络方法求解 被引量：1

2

作者 赵至忱 王彦凯 丁铭 《应用科技》 CAS 2024年第5期278-283,共6页

为了解决传统数值方法的不足,使用神经网络求解偏微分方程成为了数值计算领域的研究热点。以二维稳态热传导方程为例,尝试采用基于无监督学习的传统物理信息神经网络(physics-informed neural network,PINN)方法和自适应激活函数PINN方... 为了解决传统数值方法的不足,使用神经网络求解偏微分方程成为了数值计算领域的研究热点。以二维稳态热传导方程为例,尝试采用基于无监督学习的传统物理信息神经网络(physics-informed neural network,PINN)方法和自适应激活函数PINN方法求解偏微分方程,讨论采样点选取以及网络结构对PINN方法求解精度的影响。结果表明,PINN可以实现二维稳态热传导方程的无监督学习;在传统PINN方法中引入自适应激活函数加快了二维稳态热传导方程求解的速度;采样点选取相较于网络结构对PINN方法求解精度影响更大。因此,自适应激活函数PINN方法相较于传统PINN方法具有速度更快精度更高的优势。 展开更多

关键词 机器学习 神经网络 物理信息 无监督学习 自适应激活函数 二维 稳态 热传导

下载PDF 职称材料

局部自适应物理信息神经网络在求解Burgers-Fisher方程中的应用

3

作者 孙宇 朱海龙 《山东理工大学学报(自然科学版)》 2025年第4期47-53,共7页

针对物理信息神经网络(PINNs)在训练效率和求解精度方面的局限性,提出了一种改进的PINNs模型。该模型通过在每个神经元中引入可调节参数,使神经网络能更灵活地逼近非线性不连续函数,将神经网络的求解误差降低了2~3个数量级,同时将PINNs... 针对物理信息神经网络(PINNs)在训练效率和求解精度方面的局限性,提出了一种改进的PINNs模型。该模型通过在每个神经元中引入可调节参数,使神经网络能更灵活地逼近非线性不连续函数,将神经网络的求解误差降低了2~3个数量级,同时将PINNs的求解误差降低了约1个数量级,提升了求解Burgers-Fisher方程的精度;探讨了不同缩放因子对模型性能的影响,当选择适当的缩放因子时,局部自适应激活函数不仅能够提高PINNs模型的收敛速度,还能够在保持计算效率的同时,获得更高精度的数值解。 展开更多

关键词 BURGERS-FISHER方程 物理信息神经网络 自适应激活函数 偏微分方程求解

下载PDF 职称材料

基于物理信息神经网络的多介质非线性瞬态热传导问题研究

4

作者 陈豪龙 唐欣越 +2 位作者 王润华 周焕林 柳占立 《力学学报》 北大核心 2025年第1期89-102,共14页

文章基于物理信息神经网络(physics-informed neural network,PINN)求解多介质非线性瞬态热传导问题.根据多介质热物性参数的不同,将求解区域划分成多个子域,在每个子域中单独应用PINN,不同子域通过公共界面的通量连续性条件相联系.利... 文章基于物理信息神经网络(physics-informed neural network,PINN)求解多介质非线性瞬态热传导问题.根据多介质热物性参数的不同,将求解区域划分成多个子域,在每个子域中单独应用PINN,不同子域通过公共界面的通量连续性条件相联系.利用偏微分方程、初始条件、边界条件和子域间公共界面连续性条件的残差构建损失函数.通过自动微分算法计算偏微分方程中温度对各输入变量的偏导数.利用链式求导法计算损失函数对权重和偏差的梯度,再根据梯度下降法更新网络参数.为了加速网络收敛,在激活函数中引入训练参数,通过调节激活函数斜率,使网络具有自适应性.文章探讨了PINN在求解多介质非线性瞬态热传导问题中的适用性,并进一步讨论了不同激活函数、学习率、网络结构和损失函数中的各项权重等对PINN计算结果的影响.计算结果表明,PINN在求解多介质非线性瞬态热传导问题时仍具有较高的可靠性和较简洁的求解流程,且不需要对求解域进行人为的前处理,有一定工程应用可行性.文章通过系统的理论分析和数值验证,充分展示了PINN解决复杂热传导问题的可靠性. 展开更多

关键词 物理信息神经网络 非线性瞬态热传导问题 多介质 自适应激活函数

下载PDF 职称材料

基于改进YOLOv8s的肺结节检测算法

5

作者 郭相均 蒋朝根 《现代信息科技》 2025年第7期87-92,共6页

肺癌已成为世界范围内死亡率较高的常见癌症之一,肺结节是肺癌的早期表现。针对CT影像中肺结节检测困难的问题,提出一种基于改进YOLOv8s的肺结节检测算法。主干网络采用改进的YOLOv8s,使用空间深度转换卷积替换传统的步长卷积和池化层,... 肺癌已成为世界范围内死亡率较高的常见癌症之一,肺结节是肺癌的早期表现。针对CT影像中肺结节检测困难的问题,提出一种基于改进YOLOv8s的肺结节检测算法。主干网络采用改进的YOLOv8s,使用空间深度转换卷积替换传统的步长卷积和池化层,避免步长卷积和池化层在处理低分辨率图像或小物体时导致细粒度信息的丢失。加入坐标注意力模块,考虑了肺结节影像的通道间关系和位置信息,使模型能更准确地定位并识别目标区域。使用Focal Loss替换交叉熵损失函数,以解决数据集样本标签数量较少的问题。采用自适应激活函数,不仅能提升网络的稳定性,还能提高网络精度。使用LUNA16数据集验证算法性能,改进后的肺结节检测算法检测精度达到了77.8%,较Faster R-CNN和YOLOv8s检测算法分别提升了3.7%和8.6%。 展开更多

关键词 肺结节检测 YOLOv8s 无步长卷积 自适应激活函数 空间注意力机制

下载PDF 职称材料

基于改进边缘注意力生成对抗网络的电力设备热成像超分辨率重建 被引量：3

6

作者 王艳 连洪钵 +2 位作者 王寅初 康磊 赵洪山 《电力系统保护与控制》 EI CSCD 北大核心 2024年第3期119-127,共9页

针对低分辨率电力设备热成像图像,提出一种基于改进边缘注意力生成对抗网络的超分辨率重建方法。首先,在边缘注意力的基础上,引入通道注意力和位置注意力的双注意力模块(dual attention, DA),捕获特征图不同位置间和不同通道间的依赖关... 针对低分辨率电力设备热成像图像,提出一种基于改进边缘注意力生成对抗网络的超分辨率重建方法。首先,在边缘注意力的基础上,引入通道注意力和位置注意力的双注意力模块(dual attention, DA),捕获特征图不同位置间和不同通道间的依赖关系,并将两组依赖关系进行融合,以加大全局信息的提取程度。然后针对参数修正线性单元激活函数(parametric rectified linear unit, PReLU)对网络中神经元进行无差别激活,导致网络特征表达能力受限问题。采用改进β-ACONC自适应控制激活函数替代PRe LU函数,在辨识有效特征的基础上,对神经元进行选择性激活,以强化有效特征、弱化无效特征,提升网络的自适应激活能力和特征表达能力。最后对所提改进边缘注意力生成对抗网络模型(edge-attention generative adversarial network, EA-GAN)进行实验验证。结果表明,与Bi Cubic双三次插值模型和原EA-GAN模型边缘注意力生成对抗网络模型相比,所提改进模型网络性能最好,重建图像质量最高,客观评价指标峰值信噪比(peaksignal-to-noiseratio, PSNR)均值、结构相似性(structural similarity,SSIM)均值和均方误差损失(mean square error loss, MSE-loss)均值最优,在电力设备红外图像重建领域普适性较高,具有一定的工程应用价值。 展开更多

关键词 热成像 超分辨率重建 注意力机制 自适应激活函数

下载PDF 职称材料

基于连续小波卷积神经网络的轴承智能故障诊断方法 被引量：1

7

作者 耿志强 陈威 +1 位作者 马波 韩永明 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2024年第10期2069-2075,共7页

传统故障诊断方法存在特征提取有限和故障检测不准确的问题,为此提出新的轴承智能故障诊断方法.构建连续小波卷积层取代卷积神经网络(CNN)中的初始卷积层,用于提取轴承数据的初级特征;使用增强ACON激活函数处理提取的振动信号;设计新的... 传统故障诊断方法存在特征提取有限和故障检测不准确的问题,为此提出新的轴承智能故障诊断方法.构建连续小波卷积层取代卷积神经网络(CNN)中的初始卷积层,用于提取轴承数据的初级特征;使用增强ACON激活函数处理提取的振动信号;设计新的计算空间,提高CNN的整体自适应性.在凯斯西储大学轴承数据集上开展滚动轴承故障诊断方法对比实验.结果表明,与传统基于CNN、快速傅里叶变换-CNN、长短时记忆CNN故障诊断方法相比,所提方法的故障诊断精度分别提高了7.45、4.46和1.53个百分点,CNN的收敛速度更快.在不同工况的泛化任务中,所提方法的平均准确率为99.64%,准确性和泛化能力良好. 展开更多

关键词 卷积神经网络(CNN) 连续小波 自适应激活函数 轴承 故障诊断

下载PDF 职称材料

基于注意力机制的兴趣网络点击率预估模型 被引量：5

8

作者 许王昊 肖秦琨 《计算机工程》 CAS CSCD 北大核心 2021年第1期101-108,共8页

广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给... 广告点击率(CTR)是互联网公司进行流量分配的重要依据,针对目前点击率预估精度较低的问题,结合通用的神经网络解决方案,构建一种基于注意力机制的深度兴趣网络(ADIN)模型。设计一个局部激活单元和自适应激活函数,根据用户历史行为和给定广告自适应地学习用户兴趣。引入注意力机制,区分不同特征对预测结果的影响程度,从而增强模型的可解释性。在3个公开数据集上的实验结果表明,相对LR、PNN等CTR预估模型,ADIN模型具有更高的AUC值和更低的LogLoss值,其预测效果更优。 展开更多

关键词 点击率预估 神经网络 局部激活 自适应激活函数 注意力机制

下载PDF 职称材料

基于改进SRGAN模型的人脸图像超分辨率重建 被引量：4

9

作者 李培育 张雅丽 《计算机工程》 CAS CSCD 北大核心 2023年第4期199-205,共7页

传统生成对抗网络模型重建人脸图像时出现过多失真,难以在减少失真的情况下有效提高人脸图像真实感。针对该问题,在生成对抗网络SRGAN模型的基础上,提出一种改进的人脸图像超分辨率重建方法。为提高重建像素点与周围像素点的相关性,将... 传统生成对抗网络模型重建人脸图像时出现过多失真,难以在减少失真的情况下有效提高人脸图像真实感。针对该问题,在生成对抗网络SRGAN模型的基础上,提出一种改进的人脸图像超分辨率重建方法。为提高重建像素点与周围像素点的相关性,将双注意力机制模块嵌入到SRGAN模型的生成器和判别器中,在空间域和通道域中获取更精准的特征依赖关系。同时应用自适应激活函数ACON取代原SRGAN网络中的激活函数,通过动态学习ACON激活函数参数为每个神经元设计不同激活形式,从而提高网络特征表达能力。使用改进SRGAN的人脸图像超分辨率重建算法在CelebA测试集上进行重建实验,结果表明:该算法较原算法PSNR值提高0.675 dB,SSIM值提高0.016,LPIPS值优化0.036,有效减少了重建人脸图像中眼睛等重点部位的失真情况;与其他非生成对抗网络的主流算法相比,LPIPS值最低优化0.107,最高优化0.205,有效提高了重建人脸图像的真实感。 展开更多

关键词 超分辨率重建 生成对抗网络 注意力机制 自适应激活函数 特征提取

下载PDF 职称材料

基于频率通道注意力网络的花生图像识别 被引量：1

10

作者 王春龙 蒋仲铭 +3 位作者 鲍安红 龚凤 李丹 高涛 《花生学报》 北大核心 2022年第3期69-76,82,共9页

为了解决不同等级花生果的外形和颜色相似性大、难以分类识别的问题,本研究在ResNet50的基础上进行了改进。首先,在每个残差结构中引入频率通道注意力(Frequency Channel Attention,FCA)机制,减少图像特征信息的丢失,保留更多细节信息;... 为了解决不同等级花生果的外形和颜色相似性大、难以分类识别的问题,本研究在ResNet50的基础上进行了改进。首先,在每个残差结构中引入频率通道注意力(Frequency Channel Attention,FCA)机制,减少图像特征信息的丢失,保留更多细节信息;其次,通过可学习的自适应激活函数(Activate or Not,ACON)进行激活,动态地学习了激活函数的非线性程度,激活过程更加稳健而有效;最后,利用梯度集中(Gradient Centralization)的动量梯度下降算法优化损失函数。同等实验条件下对比VGG16、AlexNet和未改进的ResNet50模型,该模型性能最优,模型参数大小为127 MB,单张图耗时0.31 s,测试集上平均识别准确率为98%,高出模型改进前2.46个百分点。FAG-ResNet50模型可以很好地解决花生果分类问题,为智能花生果分级设备的开发奠定了技术基础。 展开更多

关键词 图像识别 频率通道注意力 自适应激活函数 梯度集中 花生分级

下载PDF 职称材料

基于中心差分卷积与频域辅助的人脸活体检测

11

作者 李俣彤 鲁文莉 +2 位作者 宋伟 南新元 杨书文 《传感器与微系统》 CSCD 北大核心 2023年第5期117-120,125,共5页

针对当前基于深度学习的人脸活体检测算法模型结构复杂、参数量和计算量大,同时基于可见光相机读取数据作为模型输入时,容易受到环境光变化的影响,导致模型性能下降等问题,提出一种基于中心差分卷积(CDC)和频域辅助的轻量级人脸活体检... 针对当前基于深度学习的人脸活体检测算法模型结构复杂、参数量和计算量大,同时基于可见光相机读取数据作为模型输入时,容易受到环境光变化的影响,导致模型性能下降等问题,提出一种基于中心差分卷积(CDC)和频域辅助的轻量级人脸活体检测算法。通过CDC、ACON自适应激活函数以及轻量化注意力机制重构MobileNetV3轻量级特征提取网络,并设计傅里叶变换支路对主干提取网络进行辅助矫正,实现降低模型大小、提高活体检测精度的目的。在Replay-Attack以及CASIA-FASD数据集上进行实验,结果表明:算法在模型大小、等错误率、召回率、曲线下面积(AUC)以及准确率等方面有较好的表现。 展开更多

关键词 人脸活体检测 中心差分卷积 Activate or Not自适应激活函数 轻量级神经网络 傅里叶变换

下载PDF 职称材料

基于嵌入式平台的眼底血管检测方法与系统设计

12

作者 姚忠林 蔡锦达 +1 位作者 何方正 龙颖奇 《软件导刊》 2021年第12期70-77,共8页

为解决目前国内医生手动分割眼底血管以及嵌入式平台上神经网络模型分割血管耗时较长的问题,提出一种基于嵌入式平台的眼底血管检测系统,用于实现患者眼底图像采集和眼底血管分割等功能。设计一种应用于嵌入式平台的轻量化U-Net模型以... 为解决目前国内医生手动分割眼底血管以及嵌入式平台上神经网络模型分割血管耗时较长的问题,提出一种基于嵌入式平台的眼底血管检测系统,用于实现患者眼底图像采集和眼底血管分割等功能。设计一种应用于嵌入式平台的轻量化U-Net模型以减少眼底血管分割时间,引入自适应激活函数(AAF)和注意力(AG)模块,补偿轻量化U-Net模型参数,避免精度下降问题。该分割模型(AAF+AGU-Net)在DRIVE和CHASE_DB1数据集上的AUC分别达到0.9671和0.9696,F1分数(Dice)分别达到0.8134和0.7982,在嵌入式平台上的分割时间分别为427ms和1.47s。该模型在两个公开数据集上的分割性能均达到了较高水平,在嵌入式平台上也极大地缩短了分割时间,可较好地辅助医生进行眼底血管分割。 展开更多

关键词 嵌入式平台 眼底血管 U-Net 自适应激活函数

下载PDF 职称材料

基于C3D-APReLU的工业过程视频故障诊断

13

作者 宋启哲 田颖 李嘉乐 《理论数学》 2023年第3期381-394,共14页

近些年来,人们对生产安全的要求越来越高。随着图像采集设备在工业过程监控中的普及,基于视频的深度学习故障诊断技术得到了快速的发展。然而使用传统激活函数的深度学习方法只能提供相同的非线性映射,这不利于模型对输入信号特征的学... 近些年来,人们对生产安全的要求越来越高。随着图像采集设备在工业过程监控中的普及,基于视频的深度学习故障诊断技术得到了快速的发展。然而使用传统激活函数的深度学习方法只能提供相同的非线性映射,这不利于模型对输入信号特征的学习和分类。针对这个问题,本文提出了一种用于视频分类模型的、可以自适应调整参数的激活函数APReLU-3D。该激活函数内嵌了一个可以对输入信号进行学习从而对坡度自动做出相应调整的子网络,使得每个输入信号都可以有自己的非线性映射。本文将APReLU-3D应用于视频分类模型C3D中,提出了C3D-APReLU模型。采用PRONTO工业数据集中的视频数据对该方法进行对比实验,结果表明,C3D-APReLU实现了比使用ReLU激活函数的C3D更好的故障诊断性能,其平均精度为0.978。 展开更多

关键词 视频故障诊断 三维卷积网络 自适应参数激活函数 非线性映射

下载PDF 职称材料