期刊导航
期刊开放获取
重庆大学
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
4
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于稳定性分析的非凸损失函数在线点对学习的遗憾界
1
作者
郎璇聪
李春生
+1 位作者
刘勇
王梅
《计算机研究与发展》
EI
CSCD
北大核心
2023年第12期2806-2813,共8页
点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分...
点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分析的非凸损失函数在线点对学习的遗憾界.首先提出了一个广义的在线点对学习框架,并给出了具有非凸损失函数的在线点对学习的稳定性分析;然后,根据稳定性和遗憾界之间的关系,对非凸损失函数下的遗憾界进行研究;最后证明了当学习者能够获得离线神谕(oracle)时,具有非凸损失函数的广义在线点对学习框架实现了最佳的遗憾界O(T-^(1/2)).
展开更多
关键词
在线点对学习
非凸
稳定性
遗憾界
离线优化神谕
下载PDF
职称材料
领航者-跟随者集群系统的队形优化与控制
2
作者
陈明飞
王晓东
+2 位作者
宋勋
王东
王伟
《指挥与控制学报》
CSCD
2023年第6期709-716,共8页
针对集群系统中领航者-跟随者的队形优化问题,基于分布式优化理论,将最优队形问题建模为在线聚合优化问题.跟随者有一个与自身位置和集群中心位置相关的目标函数,并通过衡量一段时间内所有目标函数和收益制定最优决策.基于梯度下降法和...
针对集群系统中领航者-跟随者的队形优化问题,基于分布式优化理论,将最优队形问题建模为在线聚合优化问题.跟随者有一个与自身位置和集群中心位置相关的目标函数,并通过衡量一段时间内所有目标函数和收益制定最优决策.基于梯度下降法和动态平均一致性方法,提出一种固定步长分布式离散时间算法.采用矩阵放缩理论,证明动态遗憾界与常数项和在线时间相关.仿真实验证明算法的有效性.
展开更多
关键词
集群系统
队形优化
在线聚合优化
分布式算法
动态
遗憾界
下载PDF
职称材料
一种修正学习率的梯度下降算法
3
作者
姜文翰
姜志侠
孙雪莲
《长春理工大学学报（自然科学版）》
2023年第6期112-120,共9页
近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数...
近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数加权平均对Adam算法中学习率进行修正,提出了MonAdam算法。通过在线学习框架,说明MonAdam算法具有O(√T)的遗憾界。经过大量实验在多种非凸函数和深度神经网络模型中将MonAdam算法与其他算法进行对比,结果表明该算法收敛性较好。
展开更多
关键词
梯度下降算法
Adam算法
收敛性
遗憾界
学习率
下载PDF
职称材料
一种改进的自适应动量梯度下降算法
被引量：
1
4
作者
姜志侠
宋佳帅
刘宇宁
《华中科技大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2023年第5期137-143,共7页
为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法.该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力.采用在线学习框架,对算法从遗憾界的...
为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法.该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力.采用在线学习框架,对算法从遗憾界的角度进行收敛性分析,证明了AngleAdam具有次线性的遗憾.基于构造的三个非凸函数和深度神经网络模型,对AngleAdam算法的优化能力进行实验,实验结果表明该算法可得到较好的优化结果.
展开更多
关键词
机器学习
梯度下降类算法
Adam算法
全局收敛性
遗憾界
角度信息
原文传递
题名
基于稳定性分析的非凸损失函数在线点对学习的遗憾界
1
作者
郎璇聪
李春生
刘勇
王梅
机构
东北石油大学计算机与信息技术学院
黑龙江省石油大数据与智能分析重点实验室(东北石油大学)
中国人民大学高瓴人工智能学院
大数据管理与分析方法研究北京市重点实验室(中国人民大学)
出处
《计算机研究与发展》
EI
CSCD
北大核心
2023年第12期2806-2813,共8页
基金
国家自然科学基金项目(51774090,62076234)
黑龙江省博士后科研启动金项目(LBH-Q20080)
+1 种基金
黑龙江省自然科学基金项目(LH2020F003)
黑龙江省高校基本科研业务费项目(KYCXTD201903,YYYZX202105)。
文摘
点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分析的非凸损失函数在线点对学习的遗憾界.首先提出了一个广义的在线点对学习框架,并给出了具有非凸损失函数的在线点对学习的稳定性分析;然后,根据稳定性和遗憾界之间的关系,对非凸损失函数下的遗憾界进行研究;最后证明了当学习者能够获得离线神谕(oracle)时,具有非凸损失函数的广义在线点对学习框架实现了最佳的遗憾界O(T-^(1/2)).
关键词
在线点对学习
非凸
稳定性
遗憾界
离线优化神谕
Keywords
online pairwise learning
non-convex
stability
regret bounds
offline optimization oracle
分类号
TP301.5 [自动化与计算机技术—计算机系统结构]
下载PDF
职称材料
题名
领航者-跟随者集群系统的队形优化与控制
2
作者
陈明飞
王晓东
宋勋
王东
王伟
机构
大连理工大学控制科学与工程学院、工业装备智能控制与优化教育部重点实验室
北京电子工程总体研究所
出处
《指挥与控制学报》
CSCD
2023年第6期709-716,共8页
基金
国家自然科学基金(61973050,62173061)
辽宁省兴辽英才计划项目(XLYC2007010)资助。
文摘
针对集群系统中领航者-跟随者的队形优化问题,基于分布式优化理论,将最优队形问题建模为在线聚合优化问题.跟随者有一个与自身位置和集群中心位置相关的目标函数,并通过衡量一段时间内所有目标函数和收益制定最优决策.基于梯度下降法和动态平均一致性方法,提出一种固定步长分布式离散时间算法.采用矩阵放缩理论,证明动态遗憾界与常数项和在线时间相关.仿真实验证明算法的有效性.
关键词
集群系统
队形优化
在线聚合优化
分布式算法
动态
遗憾界
Keywords
swarm system
formation optimization
online aggregation optimization
distributed algorithm
dynamic regret boundary Citation
分类号
TP13 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
一种修正学习率的梯度下降算法
3
作者
姜文翰
姜志侠
孙雪莲
机构
长春理工大学数学与统计学院
出处
《长春理工大学学报（自然科学版）》
2023年第6期112-120,共9页
基金
国家自然科学基金(11426045)
吉林省自然科学基金(YDZJ202201ZYTS519,YDZJ202201ZYTS585)。
文摘
近年来,随着神经网络的广泛应用,梯度下降算法成为神经网络调整参数的核心优化算法。随着SGDM、AdaGrad、RMPprop、Adam等算法被提出,神经网络的性能有了极大的提升。为改善Adam算法由极端学习率引起的泛化能力较差问题,利用梯度的指数加权平均对Adam算法中学习率进行修正,提出了MonAdam算法。通过在线学习框架,说明MonAdam算法具有O(√T)的遗憾界。经过大量实验在多种非凸函数和深度神经网络模型中将MonAdam算法与其他算法进行对比,结果表明该算法收敛性较好。
关键词
梯度下降算法
Adam算法
收敛性
遗憾界
学习率
Keywords
gradient descent algorithm
Adam algorithm
convergence
regret bound
learning rate
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
一种改进的自适应动量梯度下降算法
被引量：
1
4
作者
姜志侠
宋佳帅
刘宇宁
机构
长春理工大学数学与统计学院
中电金信软件有限公司
出处
《华中科技大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2023年第5期137-143,共7页
基金
吉林省自然科学基金资助项目(YDZJ202201ZYTS519)
国家自然科学基金资助项目(11426045).
文摘
为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法.该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力.采用在线学习框架,对算法从遗憾界的角度进行收敛性分析,证明了AngleAdam具有次线性的遗憾.基于构造的三个非凸函数和深度神经网络模型,对AngleAdam算法的优化能力进行实验,实验结果表明该算法可得到较好的优化结果.
关键词
机器学习
梯度下降类算法
Adam算法
全局收敛性
遗憾界
角度信息
Keywords
machine learning
gradient descent algorithm
Adam algorithm
global convergence
regret bound
angle information
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
原文传递
题名
作者
出处
发文年
被引量
操作
1
基于稳定性分析的非凸损失函数在线点对学习的遗憾界
郎璇聪
李春生
刘勇
王梅
《计算机研究与发展》
EI
CSCD
北大核心
2023
0
下载PDF
职称材料
2
领航者-跟随者集群系统的队形优化与控制
陈明飞
王晓东
宋勋
王东
王伟
《指挥与控制学报》
CSCD
2023
0
下载PDF
职称材料
3
一种修正学习率的梯度下降算法
姜文翰
姜志侠
孙雪莲
《长春理工大学学报（自然科学版）》
2023
0
下载PDF
职称材料
4
一种改进的自适应动量梯度下降算法
姜志侠
宋佳帅
刘宇宁
《华中科技大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2023
1
原文传递
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
