近年来,随着深度学习的发展,深度神经网络(Deep Neural Network,DNN)模型变得越来越复杂,所需的内存和数据传输量也随之增大,这不仅降低了DNN的训练和推理速度,也限制了DNN在一些内存较小、计算能力较差的物联网(Internet of Things,IoT...近年来,随着深度学习的发展,深度神经网络(Deep Neural Network,DNN)模型变得越来越复杂,所需的内存和数据传输量也随之增大,这不仅降低了DNN的训练和推理速度,也限制了DNN在一些内存较小、计算能力较差的物联网(Internet of Things,IoT)设备上的部署。现有研究将基于云–边–端协同的分布式计算框架与深度神经网络相结合,组成了分布式深度神经网络(Distributed Deep Neural Network,DDNN)框架,该框架在IoT应用场景下有着显著的优势。然而,DDNN框架存在设备的计算能力有限、以及设备之间的传输成本较高等问题。针对上述问题,本文提出了自适应的分布式深度神经网络(Adaptive Distributed Deep Neural Network,ADA-DDNN)推理框架。ADA-DDNN框架采用了多个边缘出口,这些边缘出口允许ADA-DDNN框架中的模型在不同的深度层次上进行自适应地推理,以适应不同的任务需求和数据特性。此外,该框架增加了额外的边缘处理模块,边缘处理模块可以在边缘端进行特征融合之前,判断每个终端模块的输出结果是否可信,若可信,则直接输出分类结果,无需进行特征融合和后续计算。这大大增加了样本的边缘出口概率,减少了后续的计算成本。本文在开放的CIFAR-10数据集上进行验证,实验结果表明,ADD-DDNN框架在保证云端测试精度的前提下,显著提升了边缘测试精度。展开更多
在面向复杂任务协作的环境中,通信带宽和计算资源的限制以及对隐私保护的需求共同构成了该研究领域的主要挑战。为了解决这些问题,研究者提出了联邦学习(Federated Learning,FL)框架作为一种解决方案。FL允许多个设备在不直接交换原始...在面向复杂任务协作的环境中,通信带宽和计算资源的限制以及对隐私保护的需求共同构成了该研究领域的主要挑战。为了解决这些问题,研究者提出了联邦学习(Federated Learning,FL)框架作为一种解决方案。FL允许多个设备在不直接交换原始数据的情况下进行协同模型训练,从而降低了通信需求并保护了数据隐私。然而,一些FL方法采用了全客户端参与的策略,即所有客户端在每一轮中更新其本地模型。这种方法不仅增加了通信次数,而且随着客户端规模的增大,也会导致系统性能下降、响应延迟等问题。因此,本文介绍了一种基于原始–对偶优化的新FL协议(Federated Deep Learning Alternating Direction Method of Multipliers,FDLADMM)。FDLADMM算法利用双变量来引导客户端进行本地训练,减少了设备间的通信次数,优化了模型训练速度,并且随着系统规模增大,无需进行超参数调整即可有效适应。通过实验,本文展示了所提出的方法在通信效率和训练速度方面的优势,并且当系统规模不断调整时,无需进行超参数调整即可有效适应。这一创新的方法为应对复杂任务协作中的挑战提供了一种可行且高效的解决方案,并有望在未来的研究和实践中得到广泛应用。展开更多
文摘近年来,随着深度学习的发展,深度神经网络(Deep Neural Network,DNN)模型变得越来越复杂,所需的内存和数据传输量也随之增大,这不仅降低了DNN的训练和推理速度,也限制了DNN在一些内存较小、计算能力较差的物联网(Internet of Things,IoT)设备上的部署。现有研究将基于云–边–端协同的分布式计算框架与深度神经网络相结合,组成了分布式深度神经网络(Distributed Deep Neural Network,DDNN)框架,该框架在IoT应用场景下有着显著的优势。然而,DDNN框架存在设备的计算能力有限、以及设备之间的传输成本较高等问题。针对上述问题,本文提出了自适应的分布式深度神经网络(Adaptive Distributed Deep Neural Network,ADA-DDNN)推理框架。ADA-DDNN框架采用了多个边缘出口,这些边缘出口允许ADA-DDNN框架中的模型在不同的深度层次上进行自适应地推理,以适应不同的任务需求和数据特性。此外,该框架增加了额外的边缘处理模块,边缘处理模块可以在边缘端进行特征融合之前,判断每个终端模块的输出结果是否可信,若可信,则直接输出分类结果,无需进行特征融合和后续计算。这大大增加了样本的边缘出口概率,减少了后续的计算成本。本文在开放的CIFAR-10数据集上进行验证,实验结果表明,ADD-DDNN框架在保证云端测试精度的前提下,显著提升了边缘测试精度。
文摘在面向复杂任务协作的环境中,通信带宽和计算资源的限制以及对隐私保护的需求共同构成了该研究领域的主要挑战。为了解决这些问题,研究者提出了联邦学习(Federated Learning,FL)框架作为一种解决方案。FL允许多个设备在不直接交换原始数据的情况下进行协同模型训练,从而降低了通信需求并保护了数据隐私。然而,一些FL方法采用了全客户端参与的策略,即所有客户端在每一轮中更新其本地模型。这种方法不仅增加了通信次数,而且随着客户端规模的增大,也会导致系统性能下降、响应延迟等问题。因此,本文介绍了一种基于原始–对偶优化的新FL协议(Federated Deep Learning Alternating Direction Method of Multipliers,FDLADMM)。FDLADMM算法利用双变量来引导客户端进行本地训练,减少了设备间的通信次数,优化了模型训练速度,并且随着系统规模增大,无需进行超参数调整即可有效适应。通过实验,本文展示了所提出的方法在通信效率和训练速度方面的优势,并且当系统规模不断调整时,无需进行超参数调整即可有效适应。这一创新的方法为应对复杂任务协作中的挑战提供了一种可行且高效的解决方案,并有望在未来的研究和实践中得到广泛应用。
