一种稀疏流形低秩表示的子空间聚类方法

1

作者 罗申星 于腾腾 +1 位作者 刘新为 温博 《河北工业大学学报》 CAS 2023年第2期16-27,共12页

针对基于非负低秩稀疏表示的子空间聚类方法不能准确描述数据集结构的问题,提出了一种稀疏流形低秩表示的子空间聚类方法。该方法使用双曲正切函数代替核范数来估计秩函数,并利用加权稀疏正则项使表示系数矩阵稀疏,同时引入稀疏流形正... 针对基于非负低秩稀疏表示的子空间聚类方法不能准确描述数据集结构的问题,提出了一种稀疏流形低秩表示的子空间聚类方法。该方法使用双曲正切函数代替核范数来估计秩函数,并利用加权稀疏正则项使表示系数矩阵稀疏,同时引入稀疏流形正则项来刻画数据集的内在流形结构信息。首先通过带有自适应惩罚的线性交替方向法求解子空间表示模型。然后利用获得的表示系数矩阵构造相似度矩阵,结合使用谱聚类方法得到数据集的聚类结果,最后采用基于局部和全局一致性的半监督分类方法获得数据集的分类结果。在Extended Yale B数据库、CMU PIE数据库、ORL数据库、COIL 20数据库和MNIST数据库上的实验结果表明,本方法可以提高子空间聚类和半监督学习的准确率。 展开更多

关键词 子空间聚类 低秩表示 稀疏约束 稀疏流形

下载PDF 职称材料

线性与非线性规划算法与理论 被引量：32

2

作者 戴彧虹 刘新为 《运筹学学报》 CSCD 北大核心 2014年第1期69-92,共24页

线性规划与非线性规划是数学规划中经典而重要的研究方向.主要介绍该研究方向的背景知识,并介绍线性规划、无约束优化和约束优化的最新算法与理论以及一些前沿与热点问题.交替方向乘子法是一类求解带结构的约束优化问题的方法,近年来倍... 线性规划与非线性规划是数学规划中经典而重要的研究方向.主要介绍该研究方向的背景知识,并介绍线性规划、无约束优化和约束优化的最新算法与理论以及一些前沿与热点问题.交替方向乘子法是一类求解带结构的约束优化问题的方法,近年来倍受重视.全局优化是一个对于应用优化领域非常重要的研究方向.因此也试图介绍这两个方面的一些最新研究进展和问题. 展开更多

关键词 线性规划 非线性规划 无约束优化 约束优化 交替方向乘子法 全局优化

下载PDF 职称材料

有向网络分布式优化的Barzilai-Borwein梯度跟踪方法

3

作者 高娟 刘新为 《控制理论与应用》 EI CAS CSCD 北大核心 2023年第9期1637-1645,共9页

本文研究有向网络上的分布式优化问题,其全局目标函数是网络上所有光滑强凸局部目标函数的平均值.受Barzilai-Borwein步长改善梯度方法表现的启发,本文提出了一种分布式Barzilai-Borwein梯度跟踪方法.与文献中使用固定步长的分布式梯度... 本文研究有向网络上的分布式优化问题,其全局目标函数是网络上所有光滑强凸局部目标函数的平均值.受Barzilai-Borwein步长改善梯度方法表现的启发,本文提出了一种分布式Barzilai-Borwein梯度跟踪方法.与文献中使用固定步长的分布式梯度算法不同,所提出的方法中每个智能体利用其局部梯度信息自动地计算其步长.通过同时使用行随机和列随机权重矩阵,该方法避免了由特征向量估计引起的计算和通信.当目标函数是光滑和强凸函数时,本文证明了该算法产生的迭代序列可以线性地收敛到最优解.对分布式逻辑回归问题的仿真结果验证了所提出的算法比使用固定步长的分布式梯度算法表现更好. 展开更多

关键词 分布式优化 多智能体系统 有向图 Barzilai-Borwein方法 优化算法 收敛速度

下载PDF 职称材料

线性无关假设如何影响非线性约束最优化算法 被引量：1

4

作者 刘新为 《中国科学：数学》 CSCD 北大核心 2013年第2期105-120,共16页

首先综述非线性约束最优化最近的一些进展.首次定义了约束最优化算法的全局收敛性.注意到最优性条件的精确性和算法近似性之间的差异,并回顾等式约束最优化的原始的Newton型算法框架,即可理解为什么约束梯度的线性无关假设应该而且可以... 首先综述非线性约束最优化最近的一些进展.首次定义了约束最优化算法的全局收敛性.注意到最优性条件的精确性和算法近似性之间的差异,并回顾等式约束最优化的原始的Newton型算法框架,即可理解为什么约束梯度的线性无关假设应该而且可以被弱化.这些讨论被扩展到不等式约束最优化问题.然后在没有线性无关假设条件下,证明了一个使用精确罚函数和二阶校正技术的算法可具有超线性收敛性.这些认知有助于接下来开发求解包括非线性半定规划和锥规划等约束最优化问题的更加有效的新算法. 展开更多

关键词 逐步二次规划 内点方法 线性无关性 局部收敛性 二阶校正技术

原文传递

求解界约束优化的一种新的非单调谱投影梯度法 被引量：10

5

作者 毕亚倩 刘新为 《计算数学》 CSCD 北大核心 2013年第4期419-430,共12页

本文给出求解界约束优化问题的一种新的非单调谱投影梯度算法.该算法是将谱投影梯度算法与Zhang and Hager[SIAM Journal on Optimization,2004,4(4):1043-1056]提出的非单调线搜索结合得到的方法.在合理的假设条件下,证明了算法的全局... 本文给出求解界约束优化问题的一种新的非单调谱投影梯度算法.该算法是将谱投影梯度算法与Zhang and Hager[SIAM Journal on Optimization,2004,4(4):1043-1056]提出的非单调线搜索结合得到的方法.在合理的假设条件下,证明了算法的全局收敛性.数值实验结果表明,与已有的界约束优化问题的谱投影梯度法比较,利用本文给出的算法求解界约束优化问题是有竞争力的. 展开更多

关键词 界约束优化问题 非单调线搜索 谱投影梯度法 全局收敛

原文传递

外推系数带参数的加速邻近梯度算法 被引量：2

6

作者 刘紫娟 李慧云 刘新为 《数值计算与计算机应用》 CSCD 2016年第3期211-222,共12页

加速邻近梯度算法(APG)是求解极小化光滑与非光滑凸函数和问题的一种非常有效的一阶方法.注意到外推系数选取的好坏与算法的数值表现息息相关.本文考虑了算法中外推系数的更一般形式,提出了一类外推系数带参数的加速邻近梯度算法,证明... 加速邻近梯度算法(APG)是求解极小化光滑与非光滑凸函数和问题的一种非常有效的一阶方法.注意到外推系数选取的好坏与算法的数值表现息息相关.本文考虑了算法中外推系数的更一般形式,提出了一类外推系数带参数的加速邻近梯度算法,证明了该算法在一定的条件下具有和快速迭代收缩阈值算法(FISTA)相同的全局收敛速率.数值试验表明,适当地选取外推系数的参数会使新算法产生的误差值小于FISTA产生的误差值,从而得到更清晰的图像.数值试验同时给出了外推系数中参数的变化对图像去模糊的影响. 展开更多

关键词 加速邻近梯度算法 快速迭代收缩阈值算法 l1-正则化 全局收敛速率 外推方法

原文传递

一种惯性邻近的Peaceman-Rachford分裂方法 被引量：3

7

作者 窦明圆 李慧云 刘新为 《中国科学：数学》 CSCD 北大核心 2017年第2期333-348,共16页

严格压缩的Peaceman-Rachford(PR)分裂方法是一种收敛速度快于交替方向乘子法的求解线性约束可分离凸优化问题的有效方法.最近提出的半邻近PR分裂方法是严格压缩的PR分裂方法的一种改进方法.基于惯性邻近交替方向乘子法的思想,本文进一... 严格压缩的Peaceman-Rachford(PR)分裂方法是一种收敛速度快于交替方向乘子法的求解线性约束可分离凸优化问题的有效方法.最近提出的半邻近PR分裂方法是严格压缩的PR分裂方法的一种改进方法.基于惯性邻近交替方向乘子法的思想,本文进一步改进了半邻近PR分裂方法,提出了一种惯性邻近PR分裂方法.该方法利用前两次产生的迭代点来产生新的迭代点,可以加速半邻近PR分裂方法的收敛.本文提出的方法具有一般性,它包含严格压缩的PR分裂方法和半邻近PR分裂方法作为特殊情形.在一定的假设下,本文证明了该算法产生的迭代序列的渐进可行性及函数值的收敛性,进而得到了迭代序列的全局收敛性.最后,本文通过数值试验说明了算法的有效性. 展开更多

关键词 凸优化 半邻近分裂方法 Peaceman-Rachford分裂方法 惯性邻近点方法

原文传递

无约束最优化的信赖域BB法 被引量：3

8

作者 刘亚君 刘新为 《计算数学》 CSCD 北大核心 2016年第1期96-112,共17页

梯度法是求解无约束最优化的一类重要方法．步长选取的好坏与梯度法的数值表现息息相关．注意到BB步长隐含了目标函数的二阶信息，本文将BB法与信赖域方法相结合，利用BB步长的倒数去近似目标函数的Hesse矩阵，同时利用信赖域子问题更... 梯度法是求解无约束最优化的一类重要方法．步长选取的好坏与梯度法的数值表现息息相关．注意到BB步长隐含了目标函数的二阶信息，本文将BB法与信赖域方法相结合，利用BB步长的倒数去近似目标函数的Hesse矩阵，同时利用信赖域子问题更加灵活地选取梯度法的步长，给出求解无约束最优化问题的单调和非单调信赖域BB法．在适当的假设条件下，证明了算法的全局收敛性．数值试验表明，与已有的求解无约束优化问题的BB类型的方法相比，非单调信赖域BB法中ek=｜｜xk-x＊｜｜的下降呈现更明显的阶梯状和单调性，因此收敛速度更快． 展开更多

关键词 无约束最优化 BB法 信赖域方法 全局收敛性

原文传递

退化线性规划的一个新的改进的单纯形方法 被引量：2

9

作者 赵海峰 刘新为 《数值计算与计算机应用》 CSCD 2012年第2期109-120,共12页

本文讨论退化线性规划单纯形方法最优解的判定准则和有限主元规则.首先改进简约价值系数向量,提出线性规划单纯形方法最优解的判定准则.并且利用本文的判定准则给出[3]中定理2.3.5(P.84)的一个新的证明.然后提出一种新的混合有限主元规... 本文讨论退化线性规划单纯形方法最优解的判定准则和有限主元规则.首先改进简约价值系数向量,提出线性规划单纯形方法最优解的判定准则.并且利用本文的判定准则给出[3]中定理2.3.5(P.84)的一个新的证明.然后提出一种新的混合有限主元规则,在退化情形下通过对单纯形表使用新的混合有限主元规则进行迭代,可以判断当前退化基本可行解或为最优解或给出下次迭代的主元并且跳出循环.最后给出在一组经典的退化线性规划例子下,改进的单纯形方法好的计算表现. 展开更多

关键词 线性规划 单纯形方法 退化问题 简约价值系数向量 最优解 有限主元规则

原文传递

带自适应学习率的加速随机方差缩减梯度法 被引量：1

10

作者 陈国茗 于腾腾 刘新为 《数值计算与计算机应用》 2021年第3期215-225,共11页

由于随机方差缩减梯度(SVRG)法在求解经验风险最小化(ERM)问题时表现优异,近年来受到了广泛关注.与SVRG方法中使用固定的学习率不同,结合初始化偏差矫正技术,提出使用自适应方法来动态计算SVRG方法及其加速版本FSVRG方法的学习率,分别称... 由于随机方差缩减梯度(SVRG)法在求解经验风险最小化(ERM)问题时表现优异,近年来受到了广泛关注.与SVRG方法中使用固定的学习率不同,结合初始化偏差矫正技术,提出使用自适应方法来动态计算SVRG方法及其加速版本FSVRG方法的学习率,分别称为AdaSVRG方法和AdaFSVRG方法.收敛性分析表明,AdaSVRG方法和AdaFSVRG方法在强凸假设下均具有线性收敛速率.在标准数据集上的数值实验表明,在求解ERM问题时,AdaSVRG和AdaFSVRG需要更少的迭代次数就可以达到相同水平的优化间隙. 展开更多

关键词 随机梯度法 方差缩减 自适应学习率 初始化偏差矫正 动量加速.

原文传递

前言

11

作者 刘新为 彭拯 徐凤敏 《数值计算与计算机应用》 CSCD 2016年第3期165-166,共2页

优化技术己广泛应用于求解大数据、图像处理和无线通讯等一些实际应用问题。这些问题由于具有稀疏性和非光滑性、凸性等一些特殊性质，对现有的算法和理论提出了新的挑战，其优化算法及应用研究是当前优化和科学计算中的研究热点。

关键词 优化技术 优化算法 无线通讯 图像处理 特殊性质 应用 光滑性 稀疏性

原文传递

前言

12

作者 刘新为 《数值计算与计算机应用》 2019年第2期81-82,共2页

为响应中央关于京津冀协同发展的号召,京津冀三地计算数学界在原北京计算数学学会每年举办的“北京计算数学学术交流会”的基础上,于2016年开始联合举办京津冀计算数学学术交流会,以促进和推动京津冀三地计算数学学科的交流、融合和协... 为响应中央关于京津冀协同发展的号召,京津冀三地计算数学界在原北京计算数学学会每年举办的“北京计算数学学术交流会”的基础上,于2016年开始联合举办京津冀计算数学学术交流会,以促进和推动京津冀三地计算数学学科的交流、融合和协同发展。 展开更多

关键词 学术交流会 计算数学 协同发展 数学学科 北京

原文传递

分类稀疏低秩表示的子空间聚类方法 被引量：4

13

作者 李占芳 李慧云 刘新为 《系统科学与数学》 CSCD 北大核心 2018年第8期852-865,共14页

近年来低秩表示和稀疏表示用于子空间聚类的研究得到了广泛关注，文献中已有许多相关的子空间聚类方法．文章结合弹性网正则化低秩表示和分类稀疏表示，提出一种分类稀疏低秩表示的子空间聚类方法．方法旨在更充分地捕获数据集的局部线... 近年来低秩表示和稀疏表示用于子空间聚类的研究得到了广泛关注，文献中已有许多相关的子空间聚类方法．文章结合弹性网正则化低秩表示和分类稀疏表示，提出一种分类稀疏低秩表示的子空间聚类方法．方法旨在更充分地捕获数据集的局部线性结构和全局结构信息，提高聚类性能．首先采用并行分裂的自适应惩罚的线性交替方向法求解模型，然后利用求得的系数矩阵构造相似度矩阵，最后应用谱聚类方法进行聚类．另外，取代现有方法手动调节正则化参数，文章采用自适应调节正则化参数确定目标函数中各项的权重．在人工数据集、Extended Yale B数据库和CMU PIE数据库上的实验结果表明，文章方法有更明显的聚类效果和更高的准确率． 展开更多

关键词 子空间聚类 低秩表示 联合稀疏表示 交替方向法

原文传递