-
题名基于随机谱梯度的在线学习
- 1
-
-
作者
薛伟
张文生
任俊宏
-
机构
南京理工大学计算机科学与工程学院
南京理工大学计算机科学与工程学
中国科学院自动化研究所
北京航空航天大学软件学院
-
出处
《计算机科学》
CSCD
北大核心
2016年第9期47-51,共5页
-
基金
国家自然科学基金面上项目(61472423)
国家自然科学基金重点项目(U1135005,61432008)
江苏省普通高校研究生科研创新计划项目(KYZZ15_0123)资助
-
文摘
考虑一类学习问题,问题的目标函数可表示为大量组函数的平均,并且假设每一个组件函数都是光滑的。在众多机器学习方法中,在线学习操作流程简洁、收敛速度快,而且可以实现模型的自动更新,为大数据的学习提供了有利的工具。针对这类问题,提出了一种基于随机谱梯度下降(Stochastic Spectral Gradient Descent,S2 GD)的在线学习方法。该方法利用Rayleigh商收集目标函数的二阶信息来构造Hessian阵逆的近似。S2 GD方法可以看作是谱梯度方法从确定性优化到随机优化的延伸。算法每次迭代所产生的搜索方向具有下降性,且现有结论表明算法收敛。在LIBSVM数据库上的初步实验表明S2 GD方法是可行的、有效的。
-
关键词
在线学习
随机优化
凸优化
随机梯度
谱梯度
-
Keywords
Online learning, Stochastic optimization, Convex optimization, Stochastic gradient, Spectral gradient
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
