期刊文献+
共找到121篇文章
< 1 2 7 >
每页显示 20 50 100
Evolutionary Neural Architecture Search and Its Applications in Healthcare 被引量:1
1
作者 Xin Liu Jie Li +3 位作者 Jianwei Zhao Bin Cao Rongge Yan Zhihan Lyu 《Computer Modeling in Engineering & Sciences》 SCIE EI 2024年第4期143-185,共43页
Most of the neural network architectures are based on human experience,which requires a long and tedious trial-and-error process.Neural architecture search(NAS)attempts to detect effective architectures without human ... Most of the neural network architectures are based on human experience,which requires a long and tedious trial-and-error process.Neural architecture search(NAS)attempts to detect effective architectures without human intervention.Evolutionary algorithms(EAs)for NAS can find better solutions than human-designed architectures by exploring a large search space for possible architectures.Using multiobjective EAs for NAS,optimal neural architectures that meet various performance criteria can be explored and discovered efficiently.Furthermore,hardware-accelerated NAS methods can improve the efficiency of the NAS.While existing reviews have mainly focused on different strategies to complete NAS,a few studies have explored the use of EAs for NAS.In this paper,we summarize and explore the use of EAs for NAS,as well as large-scale multiobjective optimization strategies and hardware-accelerated NAS methods.NAS performs well in healthcare applications,such as medical image analysis,classification of disease diagnosis,and health monitoring.EAs for NAS can automate the search process and optimize multiple objectives simultaneously in a given healthcare task.Deep neural network has been successfully used in healthcare,but it lacks interpretability.Medical data is highly sensitive,and privacy leaks are frequently reported in the healthcare industry.To solve these problems,in healthcare,we propose an interpretable neuroevolution framework based on federated learning to address search efficiency and privacy protection.Moreover,we also point out future research directions for evolutionary NAS.Overall,for researchers who want to use EAs to optimize NNs in healthcare,we analyze the advantages and disadvantages of doing so to provide detailed guidance,and propose an interpretable privacy-preserving framework for healthcare applications. 展开更多
关键词 neural architecture search evolutionary computation large-scale multiobjective optimization distributed parallelism healthcare
下载PDF
Deep Neural Network Architecture Search via Decomposition-Based Multi-Objective Stochastic Fractal Search
2
作者 Hongshang Xu Bei Dong +1 位作者 Xiaochang Liu Xiaojun Wu 《Intelligent Automation & Soft Computing》 2023年第11期185-202,共18页
Deep neural networks often outperform classical machine learning algorithms in solving real-world problems.However,designing better networks usually requires domain expertise and consumes significant time and com-puti... Deep neural networks often outperform classical machine learning algorithms in solving real-world problems.However,designing better networks usually requires domain expertise and consumes significant time and com-puting resources.Moreover,when the task changes,the original network architecture becomes outdated and requires redesigning.Thus,Neural Architecture Search(NAS)has gained attention as an effective approach to automatically generate optimal network architectures.Most NAS methods mainly focus on achieving high performance while ignoring architectural complexity.A myriad of research has revealed that network performance and structural complexity are often positively correlated.Nevertheless,complex network structures will bring enormous computing resources.To cope with this,we formulate the neural architecture search task as a multi-objective optimization problem,where an optimal architecture is learned by minimizing the classification error rate and the number of network parameters simultaneously.And then a decomposition-based multi-objective stochastic fractal search method is proposed to solve it.In view of the discrete property of the NAS problem,we discretize the stochastic fractal search step size so that the network architecture can be optimized more effectively.Additionally,two distinct update methods are employed in step size update stage to enhance the global and local search abilities adaptively.Furthermore,an information exchange mechanism between architectures is raised to accelerate the convergence process and improve the efficiency of the algorithm.Experimental studies show that the proposed algorithm has competitive performance comparable to many existing manual and automatic deep neural network generation approaches,which achieved a parameter-less and high-precision architecture with low-cost on each of the six benchmark datasets. 展开更多
关键词 Deep neural network neural architecture search multi-objective optimization stochastic fractal search DECOMPOSITION
下载PDF
Ultra-lightweight CNN design based on neural architecture search and knowledge distillation: A novel method to build the automatic recognition model of space target ISAR images 被引量:4
3
作者 Hong Yang Ya-sheng Zhang +1 位作者 Can-bin Yin Wen-zhe Ding 《Defence Technology(防务技术)》 SCIE EI CAS CSCD 2022年第6期1073-1095,共23页
In this paper,a novel method of ultra-lightweight convolution neural network(CNN)design based on neural architecture search(NAS)and knowledge distillation(KD)is proposed.It can realize the automatic construction of th... In this paper,a novel method of ultra-lightweight convolution neural network(CNN)design based on neural architecture search(NAS)and knowledge distillation(KD)is proposed.It can realize the automatic construction of the space target inverse synthetic aperture radar(ISAR)image recognition model with ultra-lightweight and high accuracy.This method introduces the NAS method into the radar image recognition for the first time,which solves the time-consuming and labor-consuming problems in the artificial design of the space target ISAR image automatic recognition model(STIIARM).On this basis,the NAS model’s knowledge is transferred to the student model with lower computational complexity by the flow of the solution procedure(FSP)distillation method.Thus,the decline of recognition accuracy caused by the direct compression of model structural parameters can be effectively avoided,and the ultralightweight STIIARM can be obtained.In the method,the Inverted Linear Bottleneck(ILB)and Inverted Residual Block(IRB)are firstly taken as each block’s basic structure in CNN.And the expansion ratio,output filter size,number of IRBs,and convolution kernel size are set as the search parameters to construct a hierarchical decomposition search space.Then,the recognition accuracy and computational complexity are taken as the objective function and constraint conditions,respectively,and the global optimization model of the CNN architecture search is established.Next,the simulated annealing(SA)algorithm is used as the search strategy to search out the lightweight and high accuracy STIIARM directly.After that,based on the three principles of similar block structure,the same corresponding channel number,and the minimum computational complexity,the more lightweight student model is designed,and the FSP matrix pairing between the NAS model and student model is completed.Finally,by minimizing the loss between the FSP matrix pairs of the NAS model and student model,the student model’s weight adjustment is completed.Thus the ultra-lightweight and high accuracy STIIARM is obtained.The proposed method’s effectiveness is verified by the simulation experiments on the ISAR image dataset of five types of space targets. 展开更多
关键词 Space target ISAR image neural architecture search Knowledge distillation Lightweight model
下载PDF
A survey on computationally efficient neural architecture search 被引量:1
4
作者 Shiqing Liu Haoyu Zhang Yaochu Jin 《Journal of Automation and Intelligence》 2022年第1期8-22,共15页
Neural architecture search(NAS)has become increasingly popular in the deep learning community recently,mainly because it can provide an opportunity to allow interested users without rich expertise to benefit from the ... Neural architecture search(NAS)has become increasingly popular in the deep learning community recently,mainly because it can provide an opportunity to allow interested users without rich expertise to benefit from the success of deep neural networks(DNNs).However,NAS is still laborious and time-consuming because a large number of performance estimations are required during the search process of NAS,and training DNNs is computationally intensive.To solve this major limitation of NAS,improving the computational efficiency is essential in the design of NAS.However,a systematic overview of computationally efficient NAS(CE-NAS)methods still lacks.To fill this gap,we provide a comprehensive survey of the state-of-the-art on CE-NAS by categorizing the existing work into proxy-based and surrogate-assisted NAS methods,together with a thorough discussion of their design principles and a quantitative comparison of their performances and computational complexities.The remaining challenges and open research questions are also discussed,and promising research topics in this emerging field are suggested. 展开更多
关键词 neural architecture search(nas) One-shot nas Surrogate model Bayesian optimization Performance predictor
下载PDF
MC-NAS:一种可视化模块贡献神经架构搜索方法
5
作者 张睿 李吉 柴艳峰 《计算机工程与应用》 CSCD 北大核心 2024年第12期118-128,共11页
现有的神经架构搜索方法无法直观地将网络模型与候选模块以及模型识别准确率之间的关系展示出来;同时很多NAS方法可扩展性差,无法将其搜索策略扩展至任意搜索空间。针对上述挑战,提出了一种可视化模块贡献神经架构搜索方法。提出了模块... 现有的神经架构搜索方法无法直观地将网络模型与候选模块以及模型识别准确率之间的关系展示出来;同时很多NAS方法可扩展性差,无法将其搜索策略扩展至任意搜索空间。针对上述挑战,提出了一种可视化模块贡献神经架构搜索方法。提出了模块贡献这个概念,并通过分析贡献计算过程的窘境给出了任意搜索空间下的统一采样原则,利用统一的贡献度指导原则给出了不同搜索空间的贡献度计算策略。针对特定的约束条件通过动态网络规划算法生成神经网络体系结构。大量的实验结果表明该算法在任意搜索空间中的有效性。使用CIFAR-10、CIFAR-100和ImageNet16-120数据集在NAS-Bench-201基准测试上平均准确率达到了93.33%、71.07%、42.69%。 展开更多
关键词 神经架构搜索 动态网络规划 可视化模块贡献 链式搜索空间 cell-based搜索空间
下载PDF
AutoML: A systematic review on automated machine learning with neural architecture search 被引量:4
6
作者 Imrus Salehin Md.Shamiul Islam +4 位作者 Pritom Saha S.M.Noman Azra Tuni Md.Mehedi Hasan Md.Abu Baten 《Journal of Information and Intelligence》 2024年第1期52-81,共30页
AutoML(Automated Machine Learning)is an emerging field that aims to automate the process of building machine learning models.AutoML emerged to increase productivity and efficiency by automating as much as possible the... AutoML(Automated Machine Learning)is an emerging field that aims to automate the process of building machine learning models.AutoML emerged to increase productivity and efficiency by automating as much as possible the inefficient work that occurs while repeating this process whenever machine learning is applied.In particular,research has been conducted for a long time on technologies that can effectively develop high-quality models by minimizing the intervention of model developers in the process from data preprocessing to algorithm selection and tuning.In this semantic review research,we summarize the data processing requirements for AutoML approaches and provide a detailed explanation.We place greater emphasis on neural architecture search(NAS)as it currently represents a highly popular sub-topic within the field of AutoML.NAS methods use machine learning algorithms to search through a large space of possible architectures and find the one that performs best on a given task.We provide a summary of the performance achieved by representative NAS algorithms on the CIFAR-10,CIFAR-100,ImageNet and wellknown benchmark datasets.Additionally,we delve into several noteworthy research directions in NAS methods including one/two-stage NAS,one-shot NAS and joint hyperparameter with architecture optimization.We discussed how the search space size and complexity in NAS can vary depending on the specific problem being addressed.To conclude,we examine several open problems(SOTA problems)within current AutoML methods that assure further investigation in future research. 展开更多
关键词 AutoML neural architecture search Advance machine learning search space Hyperparameter optimization
原文传递
基于NAS-Res的局部遮挡荷斯坦奶牛个体识别 被引量:1
7
作者 姚冲 李前 +3 位作者 刘刚 吕树盛 侯冲 张淼 《农业机械学报》 EI CAS CSCD 北大核心 2023年第S01期252-259,共8页
针对荷斯坦奶牛个体识别神经网络的人工调参成本高、泛化性差、效率低,难以实现局部遮挡条件下精准识别等问题,提出了一种基于ResNet框架和神经网络架构搜索(NAS)的自适应网络参数优化算法(NAS-Res)。首先,通过设计包含CBR_K1、CBR_K3、... 针对荷斯坦奶牛个体识别神经网络的人工调参成本高、泛化性差、效率低,难以实现局部遮挡条件下精准识别等问题,提出了一种基于ResNet框架和神经网络架构搜索(NAS)的自适应网络参数优化算法(NAS-Res)。首先,通过设计包含CBR_K1、CBR_K3、CBR_K5和SkipConnect的操作集,配合密集连接路径,构成超参数网络。然后基于梯度下降的搜索策略,在多目标优化复合损失函数的约束下,强化了对低成本模型的设计。结果表明,NAS-Res在GPU上仅耗时6.18 h获得最佳架构,在包含168头奶牛局部遮挡侧面图像的PO-Cows数据集上,闭集验证准确率为90.18%,与ResNet-18、ResNet-34和ResNet-50相比提高5.04、3.02、14.92个百分点,而参数量分别降低5.9×10^(5)、1.069×10^(7)和1.317×10^(7)。在包含174头奶牛背部图像的Cows2021数据集上闭集验证准确率为99.25%。此外,NAS-Res可忽略PO-Cows数据集规模变化的影响,牛只数量在50~168头之间变化时,Top-1准确率和Top-5准确率变化幅度仅为1.51、1.01个百分点,适用性较强。总体而言,NAS-Res算法实现了对局部遮挡奶牛的精准个体识别,本研究可为复杂背景下畜禽个体识别提供技术参考。 展开更多
关键词 荷斯坦奶牛 局部遮挡 神经网络架构搜索 卷积神经网络 个体识别
下载PDF
神经架构搜索综述 被引量:1
8
作者 孙仁科 皇甫志宇 +2 位作者 陈虎 李仲年 许新征 《计算机应用》 CSCD 北大核心 2024年第10期2983-2994,共12页
近几年,深度学习因具有强大的表征能力,已经在许多领域中取得了突破性的进展,而神经网络的架构对它的性能至关重要。然而,高性能的神经网络架构设计严重依赖研究人员的先验知识和经验,神经网络参数量庞大,难以设计最优的神经网络架构,... 近几年,深度学习因具有强大的表征能力,已经在许多领域中取得了突破性的进展,而神经网络的架构对它的性能至关重要。然而,高性能的神经网络架构设计严重依赖研究人员的先验知识和经验,神经网络参数量庞大,难以设计最优的神经网络架构,因此自动神经架构搜索(NAS)获得了极大的关注。NAS是一种使用机器学习的方法,可以在不需要大量人力的情况下,自动搜索最优网络架构的技术,是未来神经网络设计的重要手段之一。NAS本质上是一个搜索优化问题,通过对搜索空间、搜索策略和性能评估策略的设计,自动搜索最优的网络结构。从搜索空间、搜索策略和性能评估策略这3个方面详细且全面地分析、比较和总结目前NAS的研究进展,方便读者快速了解神经架构搜索的发展过程和各项技术的优缺点,并提出NAS未来可能的研究发展方向。 展开更多
关键词 神经架构搜索 深度学习 机器学习 神经网络 搜索空间 搜索策略 性能评估策略
下载PDF
基于有偏采样的连续进化神经架构搜索
9
作者 薛羽 卢畅畅 《计算机工程》 CAS CSCD 北大核心 2024年第2期91-97,共7页
由于需要对每一个搜索到的架构进行独立的性能评估,神经架构搜索(NAS)往往需要耗费大量的时间和计算资源。提出一种基于有偏采样的连续进化NAS方法(OEvNAS)。OEvNAS在架构搜索过程中维护一个超网络,搜索空间中所有的神经网络架构都是该... 由于需要对每一个搜索到的架构进行独立的性能评估,神经架构搜索(NAS)往往需要耗费大量的时间和计算资源。提出一种基于有偏采样的连续进化NAS方法(OEvNAS)。OEvNAS在架构搜索过程中维护一个超网络,搜索空间中所有的神经网络架构都是该超网络的子网络。在演化计算的每一代对超网络进行少量的训练,子网络直接继承超网络的权重进行性能评估而无需重新训练。为提高超网络的预测性能,提出一种基于有偏采样的超网络训练策略,以更大的概率训练表现优异的网络,在减少权重耦合的同时提高训练效率。此外,设计一种新颖的交叉变异策略来提高算法的全局探索能力。在NATS-Bench和可微分架构搜索(DARTS)两个搜索空间上验证OEvNAS的性能。实验结果表明,OEvNAS的性能超越了对比的主流算法。在NATS-Bench搜索空间上,提出的超网络训练策略在CIFAR-10、CIFAR-100和ImageNet16-200上均取得了优异的预测性能;在DARTS搜索空间上,搜索到的最优神经网络架构在CIFAR-10和CIFAR-100上分别取得了97.67%和83.79%的分类精度。 展开更多
关键词 神经架构搜索 网络性能评估 超网络 有偏采样 权重耦合
下载PDF
基于神经网络架构搜索的X射线图像违禁品检测算法 被引量:2
10
作者 成浪 敬超 陈文鹏 《科学技术与工程》 北大核心 2024年第2期665-675,共11页
为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个laye... 为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个layer结构搜索最佳侧分支;然后,逐层搜索构建新的骨干网络组件;最后,组成由数据驱动的新目标检测模型。该算法在数据集HiXray、OPIXray、PIDray上分别取得了83.4%、87.2%、70.4%的检测精度。实验结果表明,本文算法能够自适应数据集并自动搜索出性能更好的Backbone组件,与FCOS、YOLOv4等主流算法相比,有效提高了复杂背景下违禁品检测的准确率和速度。 展开更多
关键词 神经网络架构搜索 搜索策略 目标检测 违禁品检测 X射线图像
下载PDF
基于渐进式认知发现的新型配电网故障定位方法 被引量:2
11
作者 刘畅宇 王小君 +1 位作者 尚博阳 刘曌 《高电压技术》 EI CAS CSCD 北大核心 2024年第3期1156-1164,I0022,共10页
在“双碳”目标下,持续接入分布式电源的新型配电网对运行可靠性提出了更高的要求,如何在渗透率变化的场景下提高现有故障定位方法的适应能力成为亟需解决的问题。为此,采用元学习特有的学会学习机制,提出了一种基于渐进式认知发现的新... 在“双碳”目标下,持续接入分布式电源的新型配电网对运行可靠性提出了更高的要求,如何在渗透率变化的场景下提高现有故障定位方法的适应能力成为亟需解决的问题。为此,采用元学习特有的学会学习机制,提出了一种基于渐进式认知发现的新型配电网故障定位方法。首先,基于现有场景数据采用网络结构搜索算法构建当前场景个性化定位模型;然后,利用元学习算法提取模型构建过程中的知识因子,组成故障定位认知发现库;进而,在数据流和知识流的共同作用下,故障定位模型渐进地实现场景持续变化下的自主进化;最后,在PSCAD仿真平台对所提方法进行了验证。结果表明:所提方法具有定位精度高、鲁棒性强的优点,且在不同渗透率的故障场景下有着良好的泛化能力。研究结果可为基于人工智能的定位方法在实际系统中的应用提供技术支持。 展开更多
关键词 新型配电网 故障定位 网络结构搜索 元学习 渐进式认知发现 自主进化
原文传递
自适应策略优化的粒子群优化算法在神经网络架构搜索中的应用
12
作者 程金芮 金瑾 +3 位作者 张朝龙 孔超 何嘉 张鑫 《计算机应用》 CSCD 北大核心 2024年第S01期60-64,共5页
针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与... 针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与局部信息的协同作用和智能切换学习策略。具体地,ARCLPSO利用全局和局部信息的协同作用令粒子向更优的方向移动,通过智能的切换粒子学习策略平衡粒子的搜索性能和收敛速度,提高搜索速度和搜索质量。在NAS-Bench-101数据集上的实验结果表明,ARCLPSO的收敛时间相较于传统进化算法(REA)和随机搜索(RS),分别减少了40.9%和55.2%。 展开更多
关键词 神经网络架构搜索 粒子群优化 进化算法 nas-Bench-101 自适应的协作学习算法
下载PDF
基于多域融合及神经架构搜索的语音增强方法 被引量:1
13
作者 张睿 张鹏云 孙超利 《通信学报》 EI CSCD 北大核心 2024年第2期225-239,共15页
为进一步提高语音增强模型的自学习及降噪能力,提出基于多域融合及神经架构搜索的语音增强方法。该方法设计了语音信号多空间域映射及融合机制,实现信号实复数关联关系的挖掘;围绕模型卷积池化运算特点,提出了复数神经架构搜索机制,通... 为进一步提高语音增强模型的自学习及降噪能力,提出基于多域融合及神经架构搜索的语音增强方法。该方法设计了语音信号多空间域映射及融合机制,实现信号实复数关联关系的挖掘;围绕模型卷积池化运算特点,提出了复数神经架构搜索机制,通过设计的搜索空间、搜索策略及评估策略,高效自动地构建出语音增强模型。实验搜索到的最优语音增强模型与基线模型的对比泛化实验中,语音质量客观评价(PESQ)、短时客观可懂度(STOI)两大指标较最优基线模型均最大提升5.6%,且模型参数量最低。 展开更多
关键词 语音增强模型 复数空间域映射 多域融合 复数神经架构搜索 低成本评估
下载PDF
基于神经网络架构搜索与特征融合的小样本脉搏波分类方法
14
作者 邢豫阳 陈丰 +4 位作者 毛晓波 孙智霞 逯鹏 乔云峰 窦亚美 《郑州大学学报(理学版)》 CAS 北大核心 2024年第6期54-61,共8页
基于深度学习的脉搏波分类依赖大量有标注数据,现有脉搏波带有疾病标注的数据少、标注方法不统一,导致模型准确率低、泛化能力弱。针对此问题,提出一种基于神经网络架构搜索与特征融合的小样本脉搏波分类方法。首先,在并行的双维度拆分... 基于深度学习的脉搏波分类依赖大量有标注数据,现有脉搏波带有疾病标注的数据少、标注方法不统一,导致模型准确率低、泛化能力弱。针对此问题,提出一种基于神经网络架构搜索与特征融合的小样本脉搏波分类方法。首先,在并行的双维度拆分卷积分支与因果空洞卷积分支中进行态射搜索,每次搜索结束,获取超网络分支的子网络作为候选网络进行训练评估。双维度拆分卷积分支提取脉搏波横、纵向维度时空特征,因果空洞卷积分支提取脉搏波节律特征。然后,利用特征融合方法整合分支多尺度特征。最后,依据评估指标得到最佳网络模型完成分类。实验结果表明,所提方法在两个小样本脉搏波数据集上准确率为97.04%和95.96%,F1值为97.04%和95.95%,具有较好分类效果。 展开更多
关键词 脉搏波 小样本 神经网络架构搜索 特征融合 卷积神经网络
下载PDF
神经网络结构搜索在脑数据分析领域的研究进展
15
作者 李晴 汪启昕 +5 位作者 李子遇 祝志远 张诗皓 牟浩南 杨文婷 邬霞 《软件学报》 EI CSCD 北大核心 2024年第4期1682-1702,共21页
神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在... 神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望. 展开更多
关键词 神经网络结构搜索 脑数据分析 神经网络 深度学习
下载PDF
基于神经网络架构搜索的细粒度花卉图像分类方法研究
16
作者 郑兴凯 杨铁军 黄琳 《河南农业科学》 北大核心 2024年第5期164-171,共8页
为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,... 为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,增强网络对可判别特征的关注度。其次,通过构建具有更多浅层特征输入节点的密集连接缩减单元(DCR cell),保留更多的浅层特征信息,减少可判别特征信息的损失并促进多尺度特征融合。最后,在堆叠最佳cell时调整DCR cell的位置,构建参数量大小不一的网络模型,以便在更多的终端设备上部署。结果表明,该方法耗时4.5 h搜索到了最佳神经网络模型,在Oxford 102和Flower 17上的分类准确率分别为96.14%和94.12%。与AGNAS等方法相比,在Oxford 102上提高了1.40百分点,在Flower 17上提高了3.09百分点。 展开更多
关键词 神经网络架构搜索 卷积神经网络 注意力机制 细粒度花卉分类
下载PDF
改进的语义分割模型及其应用
17
作者 王耀文 程军圣 杨宇 《计算机工程与应用》 CSCD 北大核心 2024年第2期337-343,共7页
训练语义分割网络模型需要较为繁琐的人工标注作为训练标签,同时语义分割模型在构建和运行过程中也存在超参数较难确定以及模型过于庞大等问题。为解决这类问题,提出了一种基于标注框生成热点图的标签生成方法,简化了语义分割训练标签... 训练语义分割网络模型需要较为繁琐的人工标注作为训练标签,同时语义分割模型在构建和运行过程中也存在超参数较难确定以及模型过于庞大等问题。为解决这类问题,提出了一种基于标注框生成热点图的标签生成方法,简化了语义分割训练标签的人工标注过程。以及在可微分神经网络结构搜索方法的基础上提出了一种对硬件要求更低的神经网络结构搜索方法,并基于此种方法改进了特征金字塔结构,构建了一个改进的语义分割模型,并在安全帽与口罩检测数据集上进行了试验。与U-Net、FPN等模型比较,新的模型在参数量、计算速度以及精确度上都更有优势。 展开更多
关键词 语义分割模型 神经网络结构搜索 特征金字塔结构 安全帽与口罩检测
下载PDF
基于自适应平滑度策略的三维模型分类神经架构搜索
18
作者 周鹏 杨军 《智能科学与技术学报》 CSCD 2024年第2期272-280,共9页
针对人工设计三维模型分类网络架构过度依赖专家经验且泛化能力较差的问题,提出了一种自适应平滑度策略的神经架构搜索方法。首先,使用改进候选操作选择策略和连续松弛化方法将离散的搜索空间连续化,并利用权重共享机制提高搜索效率。其... 针对人工设计三维模型分类网络架构过度依赖专家经验且泛化能力较差的问题,提出了一种自适应平滑度策略的神经架构搜索方法。首先,使用改进候选操作选择策略和连续松弛化方法将离散的搜索空间连续化,并利用权重共享机制提高搜索效率。其次,在损失函数中添加自适应平滑度策略的正则化,由温度参数控制损失函数的平滑程度。最后,使用指数归一化方法计算损失函数,以避免损失值溢出。在三维点云数据集和蛋白质间相互作用数据集上的实验结果表明,在相同的训练样本和迭代次数下,自适应平滑度策略的神经架构搜索方法的分类准确率更高,性能更稳定。 展开更多
关键词 正则化 神经架构搜索 搜索空间 点云 分类
原文传递
基于排序得分预测的演化神经架构搜索方法
19
作者 蒋鹏程 薛羽 《计算机学报》 EI CAS CSCD 北大核心 2024年第11期2522-2535,共14页
大量的实际应用场景已经很好地证明了神经网络的优异性能,而神经网络性能的主要决定因素在于其架构.目前,最先进的优秀架构需要人工设计,并且依赖大量的专家经验和反复的试错来验证性能.近年来不断发展的演化神经架构搜索(Evolutionary ... 大量的实际应用场景已经很好地证明了神经网络的优异性能,而神经网络性能的主要决定因素在于其架构.目前,最先进的优秀架构需要人工设计,并且依赖大量的专家经验和反复的试错来验证性能.近年来不断发展的演化神经架构搜索(Evolutionary Neural Architecture Search,ENAS)能够在一定程度上减轻人工设计的负担.然而,即使ENAS方法能够自动地搜索到优秀架构,却因为其巨大的时间和计算资源消耗导致难以被广泛使用.代理模型能够较好地解决这一消耗过大的问题,但是现有的代理模型辅助的演化神经架构搜索并不能充分融合搜索和代理的过程,并且目前代理方法难以准确预测精度相近的网络架构的准确排序关系.同时,现有的代理模型普遍需要大量的架构信息作为训练数据才能获得较好的代理精度,这些特点都导致代理模型难以较好地辅助ENAS,从而制约了ENAS的发展.本文中,我们提出了排序得分预测器辅助的演化神经架构搜索方法(Rank Score Predictorassisted ENAS,RSP-ENAS).在使用本文提出的面向排序得分预测的新型损失函数的情况下,作为得分预测器的多层感知器(Multi-Layer Perceptron,MLP)给出的种群中个体性能得分的排序与他们实际性能的顺序会尽可能保持一致.在使用本方法搜索的过程中,预测获得的得分可以直接被用于精英选择.在搜索阶段中,本文提出了一种两阶段的搜索方法,在搜索的前期使用小种群关注于代理数据集历史信息的积累,在后期着重使用代理模型预测大种群的适应度值.本文中的实验在EvoXBench平台上进行,并且能够在所有的基准数据集上都取得较好的结果,另外我们还在ImageNet数据集上进行了验证.和其他方法相比,本文的方法在NASBench-101空间上能够搜索到最优的架构.在NASBench-201空间的三个数据集上的正确率相较于其他最优方法分别取得了0.35%、1.12%、0.55%的进步.在ImageNet上使用真实数据集进行的实验中,我们的方法获得了2.2%的分类精度的提升.另外,在使用相同数据量的情况下,本文中提出的排序得分预测模型得出的排序结果相较于其他最优方法在K endall’s Tau系数上获得了1.55%的提升.此外,我们还对代理模型中使用的One-hot编码和提出的排序损失进行了验证,从而证明这两项模块对于整体算法的有效性. 展开更多
关键词 演化计算 神经架构搜索 遗传算法 代理模型 排序预测 得分预测
下载PDF
遥感影像目标检测多尺度熵神经网络架构搜索
20
作者 杨军 解恒静 +1 位作者 范红超 闫浩文 《测绘学报》 EI CSCD 北大核心 2024年第7期1384-1400,共17页
针对传统神经网络架构搜索需要耗费大量时间用于超网训练,搜索效率较低,搜索得到的模型无法高效解决遥感影像中多尺度目标检测困难、背景复杂度高的问题,本文提出采用多尺度熵神经网络架构搜索的方法进行遥感影像目标检测。首先,在搜索... 针对传统神经网络架构搜索需要耗费大量时间用于超网训练,搜索效率较低,搜索得到的模型无法高效解决遥感影像中多尺度目标检测困难、背景复杂度高的问题,本文提出采用多尺度熵神经网络架构搜索的方法进行遥感影像目标检测。首先,在搜索空间的基础模块中加入特征分离卷积以代替残差模块中的常规卷积,减少遥感影像中由于背景复杂度高而造成的信息间干扰,提高网络模型在复杂背景下的检测性能;然后,引入最大熵原理,计算搜索空间中每个候选网络的多尺度熵,将多尺度熵与特征金字塔网络相结合,以兼顾遥感影像大、中、小目标的检测;最后,在不进行参数训练的情况下利用渐进式进化算法搜索得到多尺度熵最大的网络模型用于目标检测任务,在保证模型检测精度的同时,提升网络搜索效率。本文方法在RSOD、DIOR和DOTA数据集上的平均检测精度均值分别达到93.1%、75.5%和73.6%,网络搜索时间为8.1 h。试验结果表明,与当前基准方法相比,本文方法能够显著提升网络的搜索效率,在目标检测任务中更好地结合了不同尺度下的特征并解决了影像背景复杂度高的问题。 展开更多
关键词 遥感影像 神经网络架构搜索 目标检测 特征分离卷积 最大熵 多尺度熵 渐进式进化
下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部