针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使...针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使超参数的搜索空间更灵活;然后,引入分层比例选择算子增加解集多样性;最后,分别设计了改进的单点交叉和变异算子,以更全面地探索超参数空间,提高优化算法的效率和质量。基于两个仿真数据集,验证IRCGA-DNN的毁伤效果预测性能和收敛效率。实验结果表明,在两个数据集上,与GA-DNN(Genetic Algorithm for Deep Neural Network)相比,所提算法的收敛迭代次数分别减少了8.7%和13.6%,均方误差(MSE)相差不大;与IGA-DNN(Improved GA-DNN)相比,IRCGA-DNN的收敛迭代次数分别减少了22.2%和13.6%。实验结果表明,所提算法收敛速度和预测性能均更优,能有效处理神经网络超参数优化问题。展开更多
实数编码遗传算法易在局部极值处收敛,搜索精度难以提高。针对变异操作,提出了一种自适应的基于种群多样性的非均匀变异算子(diversity based non-uniform mutation operator,DNM)。引入种群方差因子和种群熵因子为决策变量,设计了一种...实数编码遗传算法易在局部极值处收敛,搜索精度难以提高。针对变异操作,提出了一种自适应的基于种群多样性的非均匀变异算子(diversity based non-uniform mutation operator,DNM)。引入种群方差因子和种群熵因子为决策变量,设计了一种基于种群多样性的变异强度控制函数,以保持种群的多样性。测试结果表明,应用改进变异算子的算法能够维持一定的种群多样性,提高遗传算法的求解精度及收敛速度。展开更多
文摘针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使超参数的搜索空间更灵活;然后,引入分层比例选择算子增加解集多样性;最后,分别设计了改进的单点交叉和变异算子,以更全面地探索超参数空间,提高优化算法的效率和质量。基于两个仿真数据集,验证IRCGA-DNN的毁伤效果预测性能和收敛效率。实验结果表明,在两个数据集上,与GA-DNN(Genetic Algorithm for Deep Neural Network)相比,所提算法的收敛迭代次数分别减少了8.7%和13.6%,均方误差(MSE)相差不大;与IGA-DNN(Improved GA-DNN)相比,IRCGA-DNN的收敛迭代次数分别减少了22.2%和13.6%。实验结果表明,所提算法收敛速度和预测性能均更优,能有效处理神经网络超参数优化问题。
文摘实数编码遗传算法易在局部极值处收敛,搜索精度难以提高。针对变异操作,提出了一种自适应的基于种群多样性的非均匀变异算子(diversity based non-uniform mutation operator,DNM)。引入种群方差因子和种群熵因子为决策变量,设计了一种基于种群多样性的变异强度控制函数,以保持种群的多样性。测试结果表明,应用改进变异算子的算法能够维持一定的种群多样性,提高遗传算法的求解精度及收敛速度。
