期刊文献+
共找到53篇文章
< 1 2 3 >
每页显示 20 50 100
CheatKD:基于毒性神经元同化的知识蒸馏后门攻击方法
1
作者 陈晋音 李潇 +3 位作者 金海波 陈若曦 郑海斌 李虎 《计算机科学》 CSCD 北大核心 2024年第3期351-359,共9页
深度学习模型性能不断提升,但参数规模也越来越大,阻碍了其在边缘端设备的部署应用。为了解决这一问题,研究者提出了知识蒸馏(Knowledge Distillation,KD)技术,通过转移大型教师模型的“暗知识”快速生成高性能的小型学生模型,从而实现... 深度学习模型性能不断提升,但参数规模也越来越大,阻碍了其在边缘端设备的部署应用。为了解决这一问题,研究者提出了知识蒸馏(Knowledge Distillation,KD)技术,通过转移大型教师模型的“暗知识”快速生成高性能的小型学生模型,从而实现边缘端设备的轻量部署。然而,在实际场景中,许多教师模型是从公共平台下载的,缺乏必要的安全性审查,对知识蒸馏任务造成威胁。为此,我们首次提出针对特征KD的后门攻击方法CheatKD,其嵌入在教师模型中的后门,可以在KD过程中保留并转移至学生模型中,进而间接地使学生模型中毒。具体地,在训练教师模型的过程中,CheatKD初始化一个随机的触发器,并对其进行迭代优化,以控制教师模型中特定蒸馏层的部分神经元(即毒性神经元)的激活值,使其激活值趋于定值,以此实现毒性神经元同化操作,最终使教师模型中毒并携带后门。同时,该后门可以抵御知识蒸馏的过滤被传递到学生模型中。在4个数据集和6个模型组合的实验上,CheatKD取得了85%以上的平均攻击成功率,且对于多种蒸馏方法都具有较好的攻击泛用性。 展开更多
关键词 后门攻击 深度学习 知识蒸馏 鲁棒性
下载PDF
文本后门攻击与防御综述
2
作者 郑明钰 林政 +2 位作者 刘正宵 付鹏 王伟平 《计算机研究与发展》 EI CSCD 北大核心 2024年第1期221-242,共22页
深度神经网络的安全性和鲁棒性是深度学习领域的研究热点.以往工作主要从对抗攻击角度揭示神经网络的脆弱性,即通过构建对抗样本来破坏模型性能并探究如何进行防御.但随着预训练模型的广泛应用,出现了一种针对神经网络尤其是预训练模型... 深度神经网络的安全性和鲁棒性是深度学习领域的研究热点.以往工作主要从对抗攻击角度揭示神经网络的脆弱性,即通过构建对抗样本来破坏模型性能并探究如何进行防御.但随着预训练模型的广泛应用,出现了一种针对神经网络尤其是预训练模型的新型攻击方式——后门攻击.后门攻击向神经网络注入隐藏的后门,使其在处理包含触发器(攻击者预先定义的图案或文本等)的带毒样本时会产生攻击者指定的输出.目前文本领域已有大量对抗攻击与防御的研究,但对后门攻击与防御的研究尚不充分,缺乏系统性的综述.全面介绍文本领域后门攻击和防御技术.首先,介绍文本领域后门攻击基本流程,并从不同角度对文本领域后门攻击和防御方法进行分类,介绍代表性工作并分析其优缺点;之后,列举常用数据集以及评价指标,将后门攻击与对抗攻击、数据投毒2种相关安全威胁进行比较;最后,讨论文本领域后门攻击和防御面临的挑战,展望该新兴领域的未来研究方向. 展开更多
关键词 后门攻击 后门防御 自然语言处理 预训练模型 AI安全
下载PDF
基于后门攻击的恶意流量逃逸方法
3
作者 马博文 郭渊博 +2 位作者 马骏 张琦 方晨 《通信学报》 EI CSCD 北大核心 2024年第4期73-83,共11页
针对基于深度学习模型的流量分类器,提出了一种利用后门攻击实现恶意流量逃逸的方法。通过在训练过程添加毒化数据将后门植入模型,后门模型将带有后门触发器的恶意流量判定为良性,从而实现恶意流量逃逸;同时对不含触发器的干净流量正常... 针对基于深度学习模型的流量分类器,提出了一种利用后门攻击实现恶意流量逃逸的方法。通过在训练过程添加毒化数据将后门植入模型,后门模型将带有后门触发器的恶意流量判定为良性,从而实现恶意流量逃逸;同时对不含触发器的干净流量正常判定,保证了模型后门的隐蔽性。采用多种触发器分别生成不同后门模型,比较了多种恶意流量对不同后门模型的逃逸效果,同时分析了不同后门对模型性能的影响。实验验证了所提方法的有效性,为恶意流量逃逸提供了新的思路。 展开更多
关键词 后门攻击 恶意流量逃逸 深度学习 网络流量分类
下载PDF
基于模型水印的联邦学习后门攻击防御方法
4
作者 郭晶晶 刘玖樽 +5 位作者 马勇 刘志全 熊宇鹏 苗可 李佳星 马建峰 《计算机学报》 EI CAS CSCD 北大核心 2024年第3期662-676,共15页
联邦学习作为一种隐私保护的分布式机器学习方法,容易遭受参与方的投毒攻击,其中后门投毒攻击的高隐蔽性使得对其进行防御的难度更大.现有的多数针对后门投毒攻击的防御方案对服务器或者恶意参与方数量有着严格约束(服务器需拥有干净的... 联邦学习作为一种隐私保护的分布式机器学习方法,容易遭受参与方的投毒攻击,其中后门投毒攻击的高隐蔽性使得对其进行防御的难度更大.现有的多数针对后门投毒攻击的防御方案对服务器或者恶意参与方数量有着严格约束(服务器需拥有干净的根数据集,恶意参与方比例小于50%,投毒攻击不能在学习初期发起等).在约束条件无法满足时,这些方案的效果往往会大打折扣.针对这一问题,本文提出了一种基于模型水印的联邦学习后门攻击防御方法.在该方法中,服务器预先在初始全局模型中嵌入水印,在后续学习过程中,通过验证该水印是否在参与方生成的本地模型中被破坏来实现恶意参与方的检测.在模型聚合阶段,恶意参与方的本地模型将被丢弃,从而提高全局模型的鲁棒性.为了验证该方案的有效性,本文进行了一系列的仿真实验.实验结果表明该方案可以在恶意参与方比例不受限制、参与方数据分布不受限制、参与方发动攻击时间不受限制的联邦学习场景中有效检测恶意参与方发起的后门投毒攻击.同时,该方案的恶意参与方检测效率相比于现有的投毒攻击防御方法提高了45%以上. 展开更多
关键词 联邦学习 投毒攻击 后门攻击 异常检测 模型水印
下载PDF
结合扩散模型图像编辑的图文检索后门攻击
5
作者 杨舜 陆恒杨 《计算机科学与探索》 CSCD 北大核心 2024年第4期1068-1082,共15页
深度神经网络在模型训练阶段易受到后门攻击,在训练图文检索模型时,如有攻击者恶意地将带有后门触发器的图文对注入训练数据集,训练后的模型将被嵌入后门。在模型推断阶段,输入良性样本将得到较为准确的检索结果,而输入带触发器的恶意... 深度神经网络在模型训练阶段易受到后门攻击,在训练图文检索模型时,如有攻击者恶意地将带有后门触发器的图文对注入训练数据集,训练后的模型将被嵌入后门。在模型推断阶段,输入良性样本将得到较为准确的检索结果,而输入带触发器的恶意样本会激活模型隐藏后门,将模型推断结果恶意更改为攻击者设定的结果。现有图文检索后门攻击研究都是基于在图像上直接叠加触发器的方法,存在攻击成功率不高和带毒样本图片带有明显的异常特征、视觉隐匿性低的缺点。提出了结合扩散模型的图文检索模型后门攻击方法(Diffusion-MUBA),根据样本图文对中文本关键词与感兴趣区域(ROI)的对应关系,设计触发器文本提示扩散模型,编辑样本图片中的ROI区域,生成视觉隐匿性高且图片平滑自然的带毒训练样本,并通过训练模型微调,在图文检索模型中建立错误的细粒度单词到区域对齐,把隐藏后门嵌入到检索模型中。设计了扩散模型图像编辑的攻击策略,建立了双向图文检索后门攻击模型,在图-文检索和文-图检索的后门攻击实验中均取得很好的效果,相比其他后门攻击方法提高了攻击成功率,而且避免了在带毒样本中引入特定特征的触发器图案、水印、扰动、局部扭曲形变等。在此基础上,提出了一种基于目标检测和文本匹配的后门攻击防御方法,希望对图文检索后门攻击的可行性、隐蔽性和实现的研究能够抛砖引玉,推动多模态后门攻防领域的发展。 展开更多
关键词 后门攻击 图文检索 扩散模型 感兴趣区域
下载PDF
基于对比学习的图神经网络后门攻击防御方法
6
作者 陈晋音 熊海洋 +1 位作者 马浩男 郑雅羽 《通信学报》 EI CSCD 北大核心 2023年第4期154-166,共13页
针对现有的后门攻击防御方法难以处理非规则的非结构化的离散的图数据的问题,为了缓解图神经网络后门攻击的威胁,提出了一种基于对比学习的图神经网络后门攻击防御方法(CLB-Defense)。具体来说,基于对比学习无监督训练的对比模型查找可... 针对现有的后门攻击防御方法难以处理非规则的非结构化的离散的图数据的问题,为了缓解图神经网络后门攻击的威胁,提出了一种基于对比学习的图神经网络后门攻击防御方法(CLB-Defense)。具体来说,基于对比学习无监督训练的对比模型查找可疑后门样本,采取图重要性指标以及标签平滑策略去除训练数据集中的扰动,实现对图后门攻击的防御。最终,在4个真实数据集和5主流后门攻击方法上展开防御验证,结果显示CLB-Defense能够平均降低75.66%的攻击成功率(与对比算法相比,改善了54.01%)。 展开更多
关键词 图神经网络 后门攻击 鲁棒性 防御 对比学习
下载PDF
面向深度神经网络的后门攻击研究综述
7
作者 易月娥 程玉柱 《湖南邮电职业技术学院学报》 2023年第3期37-41,共5页
随着深度神经网络(deep neural networks,DNN)的广泛应用,深度神经网络模型的安全性问题日益突出。后门攻击是一种常见的攻击方式,其目的在于恶意改变DNN模型训练后的表现而不被人类视觉发现。文章介绍了深度神经网络及其后门攻击的概念... 随着深度神经网络(deep neural networks,DNN)的广泛应用,深度神经网络模型的安全性问题日益突出。后门攻击是一种常见的攻击方式,其目的在于恶意改变DNN模型训练后的表现而不被人类视觉发现。文章介绍了深度神经网络及其后门攻击的概念,详细描述了深度学习模型中的后门攻击范式、后门评估指标、后门设置及计算机视觉领域的后门攻击等内容,并对其优缺点进行了总结和评析,此外还介绍了后门攻击技术在相关领域的一些积极应用。最后,对未来DNN后门防御技术研究进行了展望。 展开更多
关键词 深度神经网络 后门攻击 防御技术
下载PDF
面向频谱接入深度强化学习模型的后门攻击方法 被引量:1
8
作者 魏楠 魏祥麟 +2 位作者 范建华 薛羽 胡永扬 《计算机科学》 CSCD 北大核心 2023年第1期351-361,共11页
深度强化学习(Deep Reinforcement Learning,DRL)方法以其在智能体感知和决策方面的优势,在多用户智能动态频谱接入问题上得到广泛关注。然而,深度神经网络的弱可解释性使得DRL模型容易受到后门攻击威胁。针对认知无线网络下基于深度强... 深度强化学习(Deep Reinforcement Learning,DRL)方法以其在智能体感知和决策方面的优势,在多用户智能动态频谱接入问题上得到广泛关注。然而,深度神经网络的弱可解释性使得DRL模型容易受到后门攻击威胁。针对认知无线网络下基于深度强化学习模型的动态频谱接入(Dynamic Spectrum Access,DSA)场景,提出了一种非侵入、开销低的后门攻击方法。攻击者通过监听信道使用情况来选择非侵入的后门触发器,随后将后门样本添加到次用户的DRL模型训练池,并在训练阶段将后门植入DRL模型中;在推理阶段,攻击者主动发送信号激活模型中的触发器,使次用户做出目标动作,降低次用户的信道接入成功率。仿真结果表明,所提后门攻击方法能够在不同规模的DSA场景下达到90%以上的攻击成功率,相比持续攻击可以减少20%~30%的攻击开销,并适用于3种不同类型的DRL模型。 展开更多
关键词 动态频谱接入 深度强化学习 后门攻击 触发器
下载PDF
深度神经网络的后门攻击研究进展
9
作者 黄舒心 张全新 +2 位作者 王亚杰 张耀元 李元章 《计算机科学》 CSCD 北大核心 2023年第9期52-61,共10页
近年来,深度神经网络(Deep Neural Networks, DNNs)迅速发展,其应用领域十分广泛,包括汽车自动驾驶、自然语言处理、面部识别等,给人们的生活带来了许多便利。然而,DNNs的发展也埋下了一定的安全隐患。近年来,DNNs已经被证实易受到后门... 近年来,深度神经网络(Deep Neural Networks, DNNs)迅速发展,其应用领域十分广泛,包括汽车自动驾驶、自然语言处理、面部识别等,给人们的生活带来了许多便利。然而,DNNs的发展也埋下了一定的安全隐患。近年来,DNNs已经被证实易受到后门攻击,这主要是由于DNNs本身透明性较低以及可解释性较差,使攻击者可以趁虚而入。通过回顾神经网络后门攻击相关的研究工作,揭示了神经网络应用中潜在的安全与隐私风险,强调了后门领域研究的重要性。首先简要介绍了神经网络后门攻击的威胁模型,然后将神经网络后门攻击分为基于投毒的后门攻击和无投毒的后门攻击两大类,其中基于投毒的后门攻击又可以细分为多个类别;然后对神经网络后门攻击的发展进行了梳理和总结,对现有资源进行了汇总;最后对后门攻击未来的发展趋势进行了展望。 展开更多
关键词 后门攻击 神经网络 机器学习 投毒攻击 非投毒攻击
下载PDF
基于隐私推断Non-IID联邦学习模型的后门攻击研究 被引量:1
10
作者 梅皓琛 李高磊 杨潇 《现代信息科技》 2023年第19期167-171,共5页
联邦学习安全与隐私在现实场景中受数据异构性的影响很大,为了研究隐私推断攻击、后门攻击与数据异构性的相互作用机理,提出一种基于隐私推断的高隐蔽后门攻击方案。首先基于生成对抗网络进行客户端的多样化数据重建,生成用于改善攻击... 联邦学习安全与隐私在现实场景中受数据异构性的影响很大,为了研究隐私推断攻击、后门攻击与数据异构性的相互作用机理,提出一种基于隐私推断的高隐蔽后门攻击方案。首先基于生成对抗网络进行客户端的多样化数据重建,生成用于改善攻击者本地数据分布的补充数据集;在此基础上,实现一种源类别定向的后门攻击策略,不仅允许使用隐蔽触发器控制后门是否生效,还允许攻击者任意指定后门针对的源类别数据。基于MNIST、CIFAR 10和YouTube Aligned Face三个公开数据集的仿真实验表明,所提方案在数据非独立同分布的联邦学习场景下有着较高的攻击成功率和隐蔽性。 展开更多
关键词 联邦学习 非独立同分布数据 后门攻击 隐私推断攻击
下载PDF
DAGUARD:联邦学习下的分布式后门攻击防御方案 被引量:1
11
作者 余晟兴 陈泽凯 +1 位作者 陈钟 刘西蒙 《通信学报》 EI CSCD 北大核心 2023年第5期110-122,共13页
为了解决联邦学习下的分布式后门攻击等问题,基于服务器挑选最多不超过半数恶意客户端进行全局聚合的假设,提出了一种联邦学习下的分布式后门防御方案(DAGUARD)。设计了三元组梯度优化算法局部更新策略(TernGrad)以解决梯度局部调整的... 为了解决联邦学习下的分布式后门攻击等问题,基于服务器挑选最多不超过半数恶意客户端进行全局聚合的假设,提出了一种联邦学习下的分布式后门防御方案(DAGUARD)。设计了三元组梯度优化算法局部更新策略(TernGrad)以解决梯度局部调整的后门攻击和推理攻击、自适应密度聚类防御方案(Adapt DBSCAN)以解决角度偏较大的后门攻击、自适应裁剪方案以限制放大梯度的后门增强攻击和自适应加噪方案以削弱分布式后门攻击。实验结果表明,在联邦学习场景下,所提方案相比现有的防御策略具有更好的防御性能和防御稳定性。 展开更多
关键词 联邦学习 分布式后门攻击 聚类 差分隐私
下载PDF
基于BERT的文本分类后门攻击方法
12
作者 郭健 霍颖姿 黄卫红 《电脑与信息技术》 2023年第4期79-82,92,共5页
随着深度学习的广泛应用,针对深度学习的恶意攻击暴露了神经网络的脆弱性,主流攻击方法包括后门攻击,但目前针对文本分类任务的后门攻击的研究较少。文章介绍了一种针对基于BERT的文本分类系统的后门攻击方法,该方法通过在文本中随机插... 随着深度学习的广泛应用,针对深度学习的恶意攻击暴露了神经网络的脆弱性,主流攻击方法包括后门攻击,但目前针对文本分类任务的后门攻击的研究较少。文章介绍了一种针对基于BERT的文本分类系统的后门攻击方法,该方法通过在文本中随机插入一个句子作为后门触发器,维护了文本的自然语义,并且避免了语法错误,实现了触发器的隐身。本文的后门攻击方法是一种易于实现的黑箱攻击,在攻击者仅拥有少量训练数据的情况下,通过中毒数据样本训练模型来达到攻击者指定的文本类别的结果。通过在IMDB电影评论数据集上的情感分析实验来评估该后门攻击方法,实验结果表明,该方法在中毒率仅有1%时,达到了85%的攻击成功率,可以以少量的中毒样本和较小的模型性能损失为代价,可以获得较高的攻击成功率。 展开更多
关键词 文本分类 后门攻击 预训练 微调 中毒率
下载PDF
深度学习模型的后门攻击研究综述
13
作者 应宗浩 吴槟 《计算机科学》 CSCD 北大核心 2023年第3期333-350,共18页
近年来,以深度学习为代表的人工智能在理论与技术上取得了重大进展,在数据、算法、算力的强力支撑下,深度学习受到空前的重视,并被广泛应用于各领域。与此同时,深度学习自身的安全问题也引起了广泛的关注。研究者发现深度学习存在诸多... 近年来,以深度学习为代表的人工智能在理论与技术上取得了重大进展,在数据、算法、算力的强力支撑下,深度学习受到空前的重视,并被广泛应用于各领域。与此同时,深度学习自身的安全问题也引起了广泛的关注。研究者发现深度学习存在诸多安全隐患,其中在深度学习模型安全方面,研究者对后门攻击这种新的攻击范式进行广泛探索,深度学习模型在全生命周期中都可能面临后门攻击威胁。首先分析了深度学习面临的安全威胁,在此基础上给出后门攻击技术的相关背景及原理,并对与之相近的对抗攻击、数据投毒攻击等攻击范式进行区分。然后对近年来有关后门攻击的研究工作进行总结与分析,根据攻击媒介将攻击方案分为基于数据毒化、基于模型毒化等类型,随后详细介绍了后门攻击针对各类典型任务及学习范式的研究现状,进一步揭示后门攻击对深度学习模型的威胁。随后梳理了将后门攻击特性应用于积极方面的研究工作。最后总结了当前后门攻击领域面临的挑战,并给出未来有待深入研究的方向,旨在为后续研究者进一步推动后门攻击和深度学习安全的发展提供有益参考。 展开更多
关键词 深度学习 模型安全 后门攻击 攻击范式 数据毒化
下载PDF
深度神经网络中的后门攻击与防御技术综述
14
作者 钱汉伟 孙伟松 《计算机科学与探索》 CSCD 北大核心 2023年第5期1038-1048,共11页
神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以... 神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以攻击对象作为主要分类依据,将攻击方法分为数据中毒攻击、物理世界攻击、中毒模型攻击和其他攻击等类别。从攻防对抗的角度对现有后门攻击和防御的技术进行归纳总结,将防御方法分为识别有毒数据、识别中毒模型、过滤攻击数据等类别。从深度学习几何原理、可视化等角度探讨深度神经网络后门缺陷产生的原因,从软件工程、程序分析等角度探讨深度神经网络后门攻击和防御的困难以及未来发展方向。希望为研究者了解深度神经网络后门攻击与防御的研究进展提供帮助,为设计更健壮的深度神经网络提供更多启发。 展开更多
关键词 深度神经网络 后门攻击 后门防御 触发器
下载PDF
基于高斯分布的对抗扰动后门攻击方法研究
15
作者 袁国桃 黄洪 +2 位作者 李心 杜瑞 王兆莲 《四川轻化工大学学报(自然科学版)》 CAS 2023年第4期52-60,共9页
在图像分类模型的攻防研究中,大部分后门攻击都是基于白盒模式的场景下发生的,攻击者需要控制训练数据和训练过程才可以实现后门攻击。这一条件导致了后门攻击难以在现实场景下发生。为了提高后门攻击的可行性,本文采用一种基于“灰盒... 在图像分类模型的攻防研究中,大部分后门攻击都是基于白盒模式的场景下发生的,攻击者需要控制训练数据和训练过程才可以实现后门攻击。这一条件导致了后门攻击难以在现实场景下发生。为了提高后门攻击的可行性,本文采用一种基于“灰盒”模式下的攻击场景,攻击者只需要控制训练数据,不必参与训练过程也可以实现后门攻击。现有的后门攻击方式通常是在干净样本中添加补丁作为后门触发器,这样的攻击方式很容易被人工发现或者被防御模型检测出来,而使用对抗攻击可以减少扰动量的异常分布,从而提高有毒样本的隐蔽性。基于这一思想,提出一种满足高斯分布的对抗扰动算法来生成后门触发器,与现有的对抗扰动不同,通过往每轮的对抗迭代中添加一次满足高斯分布的噪声,最后迭代完成后生成的后门触发器更加稳定和隐蔽,在逃避防御检测方面也有更好的效果。实验结果表明,只有平均不到10%的有毒样本会被防御检测到异常,相比于传统的方法被检测率降低了13%左右。 展开更多
关键词 图像分类模型 后门攻击 高斯分布 对抗扰动
下载PDF
抗随机数后门攻击的密码算法 被引量:2
16
作者 康步荣 张磊 +2 位作者 张蕊 孟欣宇 陈桐 《软件学报》 EI CSCD 北大核心 2021年第9期2887-2900,共14页
迄今为止,大多数密码原语的安全性都依赖于高质量的不可预测的随机数.密码学中,通常用伪随机数生成器(pseudorandom number generator,简称PRNG)生成随机数.因此,密码算法中所用的PRNG的安全性将直接影响着密码算法的安全性.然而,近年来... 迄今为止,大多数密码原语的安全性都依赖于高质量的不可预测的随机数.密码学中,通常用伪随机数生成器(pseudorandom number generator,简称PRNG)生成随机数.因此,密码算法中所用的PRNG的安全性将直接影响着密码算法的安全性.然而,近年来,越来越多的研究结果表明:在实际应用中,很多人为因素会导致PRNG生成的随机数是不随机或可预测的,称这种不安全的PRNG为有后门的PRNG(backdoored pseudorandom number generator,简称BPRNG).BPRNG最典型的例子是双椭圆曲线伪随机数生成器(dual elliptic curves pseudorandom number generator,简称Dual EC PRNG),其算法于2014年被曝出存在后门.BPRNG的出现,使密码算法的研究面临着新的挑战.因此,研究抗随机数后门攻击的密码算法显得尤为重要.首先概述了抗随机数后门攻击密码算法的研究背景,然后着重对已有抗随机数后门攻击密码算法进行了总结和梳理. 展开更多
关键词 伪随机数生成器 随机数后门 抗随机数后门攻击 密码算法
下载PDF
深度学习中的后门攻击综述 被引量:6
17
作者 杜巍 刘功申 《信息安全学报》 CSCD 2022年第3期1-16,共16页
随着深度学习研究与应用的迅速发展,人工智能安全问题日益突出。近年来,深度学习模型的脆弱性和不鲁棒性被不断的揭示,针对深度学习模型的攻击方法层出不穷,而后门攻击就是其中一类新的攻击范式。与对抗样本和数据投毒不同,后门攻击者... 随着深度学习研究与应用的迅速发展,人工智能安全问题日益突出。近年来,深度学习模型的脆弱性和不鲁棒性被不断的揭示,针对深度学习模型的攻击方法层出不穷,而后门攻击就是其中一类新的攻击范式。与对抗样本和数据投毒不同,后门攻击者在模型的训练数据中添加触发器并改变对应的标签为目标类别。深度学习模型在中毒数据集上训练后就被植入了可由触发器激活的后门,使得模型对于正常输入仍可保持高精度的工作,而当输入具有触发器时,模型将按照攻击者所指定的目标类别输出。在这种新的攻击场景和设置下,深度学习模型表现出了极大的脆弱性,这对人工智能领域产生了极大的安全威胁,后门攻击也成为了一个热门研究方向。因此,为了更好的提高深度学习模型对于后门攻击的安全性,本文针对深度学习中的后门攻击方法进行了全面的分析。首先分析了后门攻击和其他攻击范式的区别,定义了基本的攻击方法和流程,然后对后门攻击的敌手模型、评估指标、攻击设置等方面进行了总结。接着,将现有的攻击方法从可见性、触发器类型、标签类型以及攻击场景等多个维度进行分类,包含了计算机视觉和自然语言处理在内的多个领域。此外,还总结了后门攻击研究中常用的任务、数据集与深度学习模型,并介绍了后门攻击在数据隐私、模型保护以及模型水印等方面的有益应用,最后对未来的关键研究方向进行了展望。 展开更多
关键词 后门攻击 人工智能安全 深度学习
下载PDF
基于生成式对抗网络的联邦学习后门攻击方案 被引量:9
18
作者 陈大卫 付安民 +1 位作者 周纯毅 陈珍珠 《计算机研究与发展》 EI CSCD 北大核心 2021年第11期2364-2373,共10页
联邦学习使用户在数据不出本地的情形下参与协作式的模型训练,降低了用户数据隐私泄露风险,广泛地应用于智慧金融、智慧医疗等领域.但联邦学习对后门攻击表现出固有的脆弱性,攻击者通过上传模型参数植入后门,一旦全局模型识别带有触发... 联邦学习使用户在数据不出本地的情形下参与协作式的模型训练,降低了用户数据隐私泄露风险,广泛地应用于智慧金融、智慧医疗等领域.但联邦学习对后门攻击表现出固有的脆弱性,攻击者通过上传模型参数植入后门,一旦全局模型识别带有触发器的输入时,会按照攻击者指定的标签进行误分类.因此针对联邦学习提出了一种新型后门攻击方案Bac_GAN,通过结合生成式对抗网络技术将触发器以水印的形式植入干净样本,降低了触发器特征与干净样本特征之间的差异,提升了触发器的隐蔽性,并通过缩放后门模型,避免了参数聚合过程中后门贡献被抵消的问题,使得后门模型在短时间内达到收敛,从而显著提升了后门攻击成功率.此外,论文对触发器生成、水印系数、缩放系数等后门攻击核心要素进行了实验测试,给出了影响后门攻击性能的最佳参数,并在MNIST,CIFAR-10等数据集上验证了Bac_GAN方案的攻击有效性. 展开更多
关键词 联邦学习 生成式对抗网络 后门攻击 触发器 水印
下载PDF
一种改进的深度神经网络后门攻击方法 被引量:1
19
作者 任时萱 王茂宇 赵辉 《信息网络安全》 CSCD 北大核心 2021年第5期82-89,共8页
触发器生成网络是深度神经网络后门攻击方法的关键算法。现有的触发器生成网络有以下两个主要问题:第一,触发器候选数据集使用静态的人工选择,未考虑候选数据集对目的神经元的敏感性,存在冗余数据。第二,触发器生成网络仅考虑如何更好... 触发器生成网络是深度神经网络后门攻击方法的关键算法。现有的触发器生成网络有以下两个主要问题:第一,触发器候选数据集使用静态的人工选择,未考虑候选数据集对目的神经元的敏感性,存在冗余数据。第二,触发器生成网络仅考虑如何更好地激活目的神经元,并未考虑触发器的抗检测问题。针对候选数据集冗余的问题,文章使用敏感度分析方法,选择相对目标神经元更敏感的数据集从而降低冗余数据。面对现有的触发器检测方法,改进的触发器生成网络可以在保证攻击准确度的情况下,通过设计聚类结果与随机化混淆作为综合惩罚的方法,使生成的触发器绕过检测。实验结果表明,使用这种方法生成的触发器可以在保持较高攻击精确率的同时,在聚类检测方法上表现出较低的攻击检测率,在STRIP扰动检测方法上表现出较高的攻击拒识率。 展开更多
关键词 深度神经网络后门攻击 触发器生成网络 目的神经元 触发器
下载PDF
针对联邦学习的组合语义后门攻击 被引量:1
20
作者 林智健 《智能计算机与应用》 2022年第7期74-79,共6页
联邦学习中参与者不需要共享数据就可以进行协作训练,无可信赖的权威第三方检验参与者训练样本的真实性与正确性,所以联邦学习容易受到恶意用户的后门攻击。目前针对联邦学习的集中式后门攻击在拜占庭鲁棒性聚合算法下攻击效果不佳,且... 联邦学习中参与者不需要共享数据就可以进行协作训练,无可信赖的权威第三方检验参与者训练样本的真实性与正确性,所以联邦学习容易受到恶意用户的后门攻击。目前针对联邦学习的集中式后门攻击在拜占庭鲁棒性聚合算法下攻击效果不佳,且分布式后门攻击的局部触发器有较高的攻击成功率,但容易发生误触。为了解决上述问题,本文提出一种针对联邦学习的组合语义后门攻击,多个攻击者生成局部后门模型,利用联邦学习聚合,生成全局后门模型。经在图像分类任务上与现有联邦学习中的后门攻击进行对比实验证明:本文的攻击模型在拜占庭聚合机制下攻击效果更好,并且误触率低于10%。 展开更多
关键词 联邦学习 后门攻击 拜占庭聚合机制
下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部