期刊文献+
共找到302篇文章
< 1 2 16 >
每页显示 20 50 100
卷积神经网络中基于差分隐私的动量梯度下降算法
1
作者 张宇 蔡英 +2 位作者 崔剑阳 张猛 范艳芳 《计算机应用》 CSCD 北大核心 2023年第12期3647-3653,共7页
针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值... 针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD(Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。 展开更多
关键词 卷积神经网络 差分隐私 动量梯度下降算法 深度学习 隐私保护
下载PDF
一种修正学习率的梯度下降算法
2
作者 姜文翰 姜志侠 孙雪莲 《长春理工大学学报(自然科学版)》 2023年第6期112-120,共9页
近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数... 近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数加权平均对Adam算法中学习率进行修正,提出了MonAdam算法。通过在线学习框架,说明MonAdam算法具有O(√T)的遗憾界。经过大量实验在多种非凸函数和深度神经网络模型中将MonAdam算法与其他算法进行对比,结果表明该算法收敛性较好。 展开更多
关键词 梯度下降算法 Adam算法 收敛性 遗憾界 学习率
下载PDF
特征值与梯度下降算法 被引量:1
3
作者 邱松强 《高等数学研究》 2023年第3期36-39,50,共5页
文中以特征值为工具,讨论了求解无约束优化问题的梯度下降法的步长和收敛速度的一些性质,并利用特征值解释了数据的标准化为何能提高最小二乘线性回归的收敛速度.
关键词 梯度下降算法 最速下降 特征值 线性回归
下载PDF
随机梯度下降算法研究进展 被引量:55
4
作者 史加荣 王丹 +1 位作者 尚凡华 张鹤于 《自动化学报》 EI CAS CSCD 北大核心 2021年第9期2103-2119,共17页
在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以... 在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向. 展开更多
关键词 随机梯度下降算法 机器学习 深度学习 梯度下降算法 大规模学习 逻辑回归 卷积神经网络
下载PDF
一种基于混合误差梯度下降算法的过程神经网络训练 被引量:10
5
作者 许少华 宋美玲 +1 位作者 许辰 朱新宁 《东北石油大学学报》 CAS 北大核心 2014年第4期92-96,11-12,共5页
针对过程神经网络(PNN)单一训练算法自适应调整能力差、缺乏对学习性质有效控制的问题,提出一种梯度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法.在训练初始阶段,基于网络训练目标函数,采用梯度下降法进行迭代寻优,只需计... 针对过程神经网络(PNN)单一训练算法自适应调整能力差、缺乏对学习性质有效控制的问题,提出一种梯度下降与牛顿迭代相结合的求解算法——混合误差梯度下降算法.在训练初始阶段,基于网络训练目标函数,采用梯度下降法进行迭代寻优,只需计算目标函数一阶导数数值公式,复杂度低且误差下降快;当梯度下降法学习效率降低时,引入牛顿迭代法,并将梯度下降法的训练结果作为初始参数代入目标函数,使问题转化为求解非线性方程组,不需要一维搜索而提高网络训练效率.通过学习效率分析自适应调节两种算法的切换,直至满足停机条件.将其应用于时变信号模式分类,实验结果表明,该算法较大地提高PNN训练效率. 展开更多
关键词 过程神经元网络 算法效率 牛顿迭代法 梯度下降 混合误差梯度下降算法
下载PDF
随机并行梯度下降算法在激光束整形中的应用 被引量:7
6
作者 刘磊 郭劲 +3 位作者 赵帅 姜振华 孙涛 王挺峰 《中国光学》 EI CAS 2014年第2期260-266,共7页
为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑... 为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑半径、形心为中心的环围能量比和质心为中心的环围能量比作为算法性能指标,开展了激光束整形实验研究。3种情况下,分别经过58次、197次、133次迭代趋于收敛,但光斑半径作为性能指标时振荡严重;环围能量比从整形前的0.200 5、0.127 7、0.200 5分别增加到整形后的0.669 9、0.733 9、0.864 0。实验结果表明:MMDM用于激光束整形具有良好的效果,光斑半径作为性能指标整形速度最快,其次为质心环围能量比,形心环围能量比最慢;质心环围能量比作为性能指标整形效果最好,其次为形心环围能量比,光斑半径最差。综合比较,质心环围能量比作为性能指标时综合效果最好。 展开更多
关键词 随机并行梯度下降算法 激光束整形 微机械薄膜变形镜 性能指标
下载PDF
基于BP神经网络梯度下降算法的7003铝合金热处理工艺优化 被引量:6
7
作者 任建平 宋仁国 +2 位作者 陈小明 张宇 李红霞 《宇航材料工艺》 CAS CSCD 北大核心 2009年第4期6-9,57,共5页
为有效缩短7003铝合金热处理工艺,采用误差回转(BP)神经网络控制的方案,利用梯度下降法导出网络算法,建立热处理工艺与硬度之间BP神经网络模型。结果表明:预测值和实测值吻合较好,克服了以往单因素实验法不能正确有效反映热处理工艺和... 为有效缩短7003铝合金热处理工艺,采用误差回转(BP)神经网络控制的方案,利用梯度下降法导出网络算法,建立热处理工艺与硬度之间BP神经网络模型。结果表明:预测值和实测值吻合较好,克服了以往单因素实验法不能正确有效反映热处理工艺和硬度之间高度非线性、时变性的弱点。该方法为有效、快捷、经济地开发有色金属和黑色金属的热处理工艺优化提供了新的思路。 展开更多
关键词 误差回转神经网络 梯度下降算法 7003铝合金 热处理
下载PDF
自适应光学系统随机并行梯度下降算法 被引量:5
8
作者 马慧敏 张鹏飞 +2 位作者 张京会 范承玉 王英俭 《强激光与粒子束》 EI CAS CSCD 北大核心 2010年第6期1206-1210,共5页
随机并行梯度下降(SPGD)算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取... 随机并行梯度下降(SPGD)算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取及校正情况。仿真结果表明:算法收敛速度很大程度上依赖于增益系数和扰动幅度值,对畸变较大的波前,随机扰动幅度在0.50~0.85范围内,性能指标采用焦斑平均半径比采用斯特列尔比取得的校正效果好。 展开更多
关键词 自适应光学 随机并行梯度下降算法 数值仿真 波前畸变
下载PDF
基于Zernike模式的随机并行梯度下降算法的收敛速率 被引量:5
9
作者 王卫兵 赵帅 +1 位作者 郭劲 王挺峰 《中国光学》 EI CAS 2012年第4期407-415,共9页
为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特... 为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特列尔比(SR)达到0.8时,需要算法迭代660次,简化了算法的运算过程,加快了算法运行时间。通过Matlab7.8.0对6种SPGD算法进行仿真对比,结果显示:当SR要求不高时,可使用间接固定双边SPGD算法来提高收敛速度;当SR要求较高时,则应当使用间接自动双边SPGD算法。提出的算法为实际的激光整形提供了理论指导。 展开更多
关键词 波前整形系统 随机并行梯度下降算法 仿真 ZERNIKE多项式 变形镜
下载PDF
基于随机并行梯度下降算法的湍流像差校正仿真 被引量:5
10
作者 马慧敏 张京会 +1 位作者 张鹏飞 范承玉 《红外与激光工程》 EI CSCD 北大核心 2011年第9期1738-1742,共5页
随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找... 随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找到补偿湍流像差所需的倾斜镜和变形镜的最优面形。采用SPGD算法控制,倾斜镜校正后,远场光斑质心更靠近轴心而且轴上斯特列尔比有所提高;倾斜镜和变形镜共同校正比变形镜单独校正的效果好,这也说明倾斜镜的校正是有效的。 展开更多
关键词 自适应光学 随机并行梯度下降算法 湍流
原文传递
自适应光学随机并行梯度下降算法波前整形规律仿真(英文) 被引量:6
11
作者 王卫兵 王挺峰 郭劲 《中国光学》 EI CAS 2014年第3期411-420,共10页
本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速... 本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速率、整形能力和整形效果随波前畸变量和变形镜模型的变化规律作了较为详细的仿真研究,整体定性结果表明:三者的变化规律有一定的相似性,同时利用最小二乘法得到了关于整形能力和整形效果变化规律的定量表达式,若从自适应光学波前整形系统的实时性和简单性考虑,在保证一定整形效果的情况下,选择37单元变形镜对畸变波前的3~27(25)阶Zernike像差进行整形即可。 展开更多
关键词 自适应光学波前整形 随机并行梯度下降算法 收敛速率 整形能力 整形效果
下载PDF
基于并行梯度下降算法模拟高功率固体激光装置的相干合成(英文) 被引量:2
12
作者 杨雨川 罗晖 +4 位作者 李富全 王逍 黄小军 冯斌 景峰 《强激光与粒子束》 EI CAS CSCD 北大核心 2011年第4期875-880,共6页
多路光的相干合成是高功率固体激光装置的关键技术之一。基于合成模型,对4组tilt/tip-piston镜采用并行梯度算法,通过模拟计算实现了光束间的位相锁定和相干合成。结果表明有限次算法迭代次数内,相干合成时远场焦斑10μm半径范围内的强... 多路光的相干合成是高功率固体激光装置的关键技术之一。基于合成模型,对4组tilt/tip-piston镜采用并行梯度算法,通过模拟计算实现了光束间的位相锁定和相干合成。结果表明有限次算法迭代次数内,相干合成时远场焦斑10μm半径范围内的强度比约为非相干合成时的4倍。基于高频响应驱动器和对应的高速控制算法将有可能实现高功率固体激光装置多路输出光束间的相干合成。 展开更多
关键词 相干合成 光学追迹 衍射计算 高功率固体激光 并行梯度下降算法 tilt/tip-piston镜
下载PDF
基于随机并行梯度下降算法的光束相干合成技术 被引量:2
13
作者 潘旭东 贺喜 +2 位作者 雍松林 张生帅 田俊林 《强激光与粒子束》 EI CAS CSCD 北大核心 2013年第10期2521-2526,共6页
介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开... 介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开展了光纤激光的相干合成实验,结果表明光束相干合成效果显著,有效地验证了仿真分析的结果。 展开更多
关键词 随机并行梯度下降算法 光纤激光 相干合成 高功率激光
下载PDF
基于Zernike模式的自适应光学系统随机并行梯度下降算法 被引量:8
14
作者 杨慧珍 李新阳 《强激光与粒子束》 EI CAS CSCD 北大核心 2009年第5期645-648,共4页
控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿... 控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿真模型。结果表明:达到同样的校正效果时,采用组合优化的算法收敛速度要明显优于基于区域法的收敛速度,从而验证了理论分析的合理性。 展开更多
关键词 自适应光学系统 随机并行梯度下降算法 Zernike模式
下载PDF
识别桥梁断面18个颤振导数的梯度下降算法 被引量:2
15
作者 许福友 陈艾荣 张哲 《工程力学》 EI CSCD 北大核心 2008年第6期81-87,共7页
桥梁断面颤振导数识别问题可转化为最小二乘优化问题,提出了梯度下降算法求解该优化问题,提取桥梁主梁断面18个颤振导数。梯度下降算法在随机搜索过程中引入反馈机制,能够快速搜索到最优解,可用于系统参数识别,并且能够保证精度。采用... 桥梁断面颤振导数识别问题可转化为最小二乘优化问题,提出了梯度下降算法求解该优化问题,提取桥梁主梁断面18个颤振导数。梯度下降算法在随机搜索过程中引入反馈机制,能够快速搜索到最优解,可用于系统参数识别,并且能够保证精度。采用该算法识别了苏拉马都大桥主梁断面18个颤振导数,并且与随机子空间方法识别结果进行对比分析。给出了现有弹簧悬挂系统自由振动方法识别桥梁断面颤振导数高风速时稳定性较差、侧向颤振导数识别精度相对较低的原因。试验方法是影响颤振导数识别精度的决定性因素,识别方法是相对次要因素。 展开更多
关键词 桥梁 梯度下降算法 苏拉马都大桥 颤振导数 识别精度
下载PDF
ICA的梯度下降算法框架(英文) 被引量:1
16
作者 罗一涵 付承毓 舒勤 《光电工程》 CAS CSCD 北大核心 2009年第9期104-109,共6页
为了设计更多有效的独立分量分析(ICA)算法,本文提出了ICA梯度下降算法(GDA)的一般框架,覆盖了许多目前流行的算法,如Infomax,MMI,MLE等等。该框架由一种新的基于II类超加(减)性函数的参比函数理论导出,并采用推广的EASI形式作为更新规... 为了设计更多有效的独立分量分析(ICA)算法,本文提出了ICA梯度下降算法(GDA)的一般框架,覆盖了许多目前流行的算法,如Infomax,MMI,MLE等等。该框架由一种新的基于II类超加(减)性函数的参比函数理论导出,并采用推广的EASI形式作为更新规则来获得更好的性能。同时本文也展示了一个基于二次熵函数的框架使用例子,并提出了其梯度的快速计算方法,最后仿真证明了它的有效性。实验结果表明,该框架非常实用,可作为开发更多有效ICA算法的有利工具。 展开更多
关键词 盲信号处理 独立分量分析 梯度下降算法 串行矩阵更新 等变自适应分离
下载PDF
梯度下降算法在时间同步中的优化 被引量:2
17
作者 刘云 肖雪 《西北大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第5期659-664,共6页
规模化无线传感网各节点时间同步的关键因素是提高节点间的同步精度和收敛速度。该文提出一种基于梯度下降法的多跳时间同步(GDTS)算法,采用梯度下降算法对误差函数的步长进行迭代更新,调整接收节点的逻辑时钟频率和偏移值,得到使误差... 规模化无线传感网各节点时间同步的关键因素是提高节点间的同步精度和收敛速度。该文提出一种基于梯度下降法的多跳时间同步(GDTS)算法,采用梯度下降算法对误差函数的步长进行迭代更新,调整接收节点的逻辑时钟频率和偏移值,得到使误差函数最小化的逻辑时钟频率和偏移比值的最优估计值。数值分析和仿真结果表明,与FBTS和PISync两种算法对比,GDTS算法具有良好的可扩展性,收敛速度及同步精度性能上均有优化。 展开更多
关键词 时间同步 逻辑时钟 迭代 梯度下降算法
下载PDF
对“基于Python和梯度下降算法的物理实验数据一元线性拟合方法”稿件的评审意见
18
作者 朱鹤年 《物理实验》 2019年第5期63-64,共2页
来稿作者在教学任务较繁重的情况下坚持开展教学研究,同时学习现代应用统计学和人工智能领域的新方法,并力图引入基础物理实验教学中,这种努力和做法值得鼓励.但是文章存在较多问题,有些问题是数据处理类文章的共性,现在指出如下.
关键词 物理实验数据 梯度下降算法 PYTHON 拟合方法 评审 稿件 线性 物理实验教学
下载PDF
超奈奎斯特信号载波频偏估计的梯度下降算法 被引量:4
19
作者 程鹏 刘爱军 +1 位作者 王柯 蔡彪 《信号处理》 CSCD 北大核心 2017年第9期1199-1207,共9页
超奈奎斯特(Faster-than-Nyquist,FTN)传输技术是一种基于时域压缩的信号调制技术,具有更高的传输速率及频带利用率,但是却引入了无限长的码间串扰(inter-symbol interferences,ISIs),这对载波频偏估计提出了新的挑战。对于FTN信号的频... 超奈奎斯特(Faster-than-Nyquist,FTN)传输技术是一种基于时域压缩的信号调制技术,具有更高的传输速率及频带利用率,但是却引入了无限长的码间串扰(inter-symbol interferences,ISIs),这对载波频偏估计提出了新的挑战。对于FTN信号的频偏估计,传统算法在门限和精度等方面都有所下降。本文将梯度下降算法应用到载波频偏估计中,通过迭代搜索的方式,获得对频偏的精确估计。估计过程中直接通过数据部分进行估计,不需要借助额外的导频序列。仿真结果表明,梯度下降法与传统算法在性能上相比有了较好的改善,虽然具有较多的迭代次数和运算量,但是却能够较好地适应FTN信号的特性。梯度下降法不仅在门限范围内更靠近克拉美罗界(Cramer-Rao bound,CRB),而且在整个频段上具有更稳定的性能。 展开更多
关键词 频偏估计 超奈奎斯特传输 码间串扰 梯度下降算法 克拉美罗界
下载PDF
基于梯度下降算法的煤矸石分割识别方法 被引量:8
20
作者 张世杰 陈泽华 《煤矿机械》 北大核心 2014年第8期128-130,共3页
通过图像处理技术在带式输送机运输过程中对煤矸石的分割识别,以完成后续自动分拣是一项非常重要的工作。针对煤和矸石的光泽、灰度等差异,先通过灰度直方图确定阈值,将图像前背景相分离;再将图像距离变换,抽象为三维地形图,通过梯度下... 通过图像处理技术在带式输送机运输过程中对煤矸石的分割识别,以完成后续自动分拣是一项非常重要的工作。针对煤和矸石的光泽、灰度等差异,先通过灰度直方图确定阈值,将图像前背景相分离;再将图像距离变换,抽象为三维地形图,通过梯度下降算法把与矸石相接触的煤颗粒图像分离开。实验结果表明,该算法能有效地区分出煤与矸石。 展开更多
关键词 煤矸石 灰度直方图 距离变换 三维地形图 梯度下降算法
原文传递
上一页 1 2 16 下一页 到第
使用帮助 返回顶部