针对目前网络异常流量识别准确率不高、基础深度学习模型特征提取能力不足以及循环神经网络训练效率低等问题,提出了基于卷积神经网络(Convolutional Neural Network,CNN)-双向内置注意力简单循环单元(Bidirectional Built in Attention...针对目前网络异常流量识别准确率不高、基础深度学习模型特征提取能力不足以及循环神经网络训练效率低等问题,提出了基于卷积神经网络(Convolutional Neural Network,CNN)-双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)-AT的网络异常流量检测模型。采用深层一维卷积模块提取流量局部特征表示,对高维度流量特征进行降维且学习到显著分类特征,增强模型的特征表示能力;同时构建内置自注意力简单循环单元(Built in self Attention Simple Recurrent Unit,BASRU)以同时捕捉流量中长距离的时序特征信息和内部特征之间的相互依赖关系,进一步挖掘流量特征内的高维结构信息。软注意力机制识别出对分类结果影响较大的重点特征,赋予关键特征更高权重,避免无关信息对分类结果造成干扰,最后由线性层输出分类概率分布,经Softmax函数归一化后取最大值对应标签作为流量识别结果。在多分类网络异常流量公开标准数据集UNSW-NB15上的实验结果表明,该模型取得了92.81%的F1值,高于实验对比的其他先进深度学习模型的结果,内置自注意力简单循环单元特征捕捉能力和训练效率优于其他传统循环神经网络的结果,证明了模型的可行性和有效性。展开更多
针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(b...针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务。展开更多
股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(L...股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.展开更多
为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取...为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取评论文本特征向量,解决静态词向量无法表示多义词的问题;多层次特征协同网络结合双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)和多层次卷积神经网络(Multilevel Convolutional Neural Network,MCNN)模块,全面捕捉局部和上下文语义特征;软注意力用来衡量分类特征贡献的大小,赋予关键特征更高权重。基于网易云评论文本数据集进行实验,结果表明,MacBERTMFCN模型F1值高达95.56%,能有效地提升文本情感分类准确率。展开更多
针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单...针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单循环单元(Bidirectional Build-in Fast Attention Simple Recurrent Unit,BiFASRU)对上下文进行建模,同时内置快速注意力机制可以捕获词与词之间的依赖关系,得到更为全面的高维情感特征;最后通过注意力机制对情感分析贡献大的词分配更高权重,经分类器得到结果.实验采用中文酒店评论和豆瓣评论数据集,结果表明,ALBERT-BiFASRU-AT模型能够获得更高的F1值,且BiFASRU模型比其他循环模型训练速度更快,证明了该模型的有效性.展开更多
针对目前团购推荐方法较少结合单个用户与群组用户,并且对时间间隔、社交关系等上下文相关信息的利用不充分的问题,提出了一种基于社交关系和时序信息的团购推荐方法。对单个用户进行推荐时,针对循环神经网络(RNN)的门控循环单元(GRU)...针对目前团购推荐方法较少结合单个用户与群组用户,并且对时间间隔、社交关系等上下文相关信息的利用不充分的问题,提出了一种基于社交关系和时序信息的团购推荐方法。对单个用户进行推荐时,针对循环神经网络(RNN)的门控循环单元(GRU)在团购推荐时没有考虑时序信息的影响,以及用户-商品交互序列中不相关的商品数据会产生噪声等问题,提出了融合时序感知GRU和自注意力的团购推荐模型(RTSA)。首先,通过计算用户购买的任意两个商品之间的个性化时间间隔,构建了时序感知GRU(TGRU)模型;然后,采用自注意力网络研究商品位置及个性化时间间隔的影响;最后,实验结果表明在Amazon Beauty数据集中,RTSA相较于对单个用户推荐的最优的基线模型——基于时间间隔感知自注意力的序列化推荐模型(TiSASRec),前10个商品命中率提升了11.73%。对群组用户进行推荐时,针对团购群组推荐中预定义的融合策略不能动态获取群组用户权重,以及群组-项目交互数据的稀疏性等问题,提出了融合社交网络和分层自注意力的团购推荐模型(SSAGR)。首先,采用RNN捕捉团购中用户随时间变化的复杂潜在兴趣;其次,利用分层自注意力网络将社交网络信息整合到用户表示中,在不同权重下实现群组偏好聚合策略;然后,通过神经协同过滤(NCF)挖掘群组-项目交互,并实现了团购推荐;最后,实验结果表明,在MaFengWo数据集中,SSAGR相较于对群组用户推荐的最优的基线模型AGREE(Attentive Group REcommEndation),前5个商品命中率提升了3.53%。展开更多
文摘针对目前网络异常流量识别准确率不高、基础深度学习模型特征提取能力不足以及循环神经网络训练效率低等问题,提出了基于卷积神经网络(Convolutional Neural Network,CNN)-双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)-AT的网络异常流量检测模型。采用深层一维卷积模块提取流量局部特征表示,对高维度流量特征进行降维且学习到显著分类特征,增强模型的特征表示能力;同时构建内置自注意力简单循环单元(Built in self Attention Simple Recurrent Unit,BASRU)以同时捕捉流量中长距离的时序特征信息和内部特征之间的相互依赖关系,进一步挖掘流量特征内的高维结构信息。软注意力机制识别出对分类结果影响较大的重点特征,赋予关键特征更高权重,避免无关信息对分类结果造成干扰,最后由线性层输出分类概率分布,经Softmax函数归一化后取最大值对应标签作为流量识别结果。在多分类网络异常流量公开标准数据集UNSW-NB15上的实验结果表明,该模型取得了92.81%的F1值,高于实验对比的其他先进深度学习模型的结果,内置自注意力简单循环单元特征捕捉能力和训练效率优于其他传统循环神经网络的结果,证明了模型的可行性和有效性。
文摘针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务。
文摘股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.
文摘为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取评论文本特征向量,解决静态词向量无法表示多义词的问题;多层次特征协同网络结合双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)和多层次卷积神经网络(Multilevel Convolutional Neural Network,MCNN)模块,全面捕捉局部和上下文语义特征;软注意力用来衡量分类特征贡献的大小,赋予关键特征更高权重。基于网易云评论文本数据集进行实验,结果表明,MacBERTMFCN模型F1值高达95.56%,能有效地提升文本情感分类准确率。
文摘针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单循环单元(Bidirectional Build-in Fast Attention Simple Recurrent Unit,BiFASRU)对上下文进行建模,同时内置快速注意力机制可以捕获词与词之间的依赖关系,得到更为全面的高维情感特征;最后通过注意力机制对情感分析贡献大的词分配更高权重,经分类器得到结果.实验采用中文酒店评论和豆瓣评论数据集,结果表明,ALBERT-BiFASRU-AT模型能够获得更高的F1值,且BiFASRU模型比其他循环模型训练速度更快,证明了该模型的有效性.
文摘针对目前团购推荐方法较少结合单个用户与群组用户,并且对时间间隔、社交关系等上下文相关信息的利用不充分的问题,提出了一种基于社交关系和时序信息的团购推荐方法。对单个用户进行推荐时,针对循环神经网络(RNN)的门控循环单元(GRU)在团购推荐时没有考虑时序信息的影响,以及用户-商品交互序列中不相关的商品数据会产生噪声等问题,提出了融合时序感知GRU和自注意力的团购推荐模型(RTSA)。首先,通过计算用户购买的任意两个商品之间的个性化时间间隔,构建了时序感知GRU(TGRU)模型;然后,采用自注意力网络研究商品位置及个性化时间间隔的影响;最后,实验结果表明在Amazon Beauty数据集中,RTSA相较于对单个用户推荐的最优的基线模型——基于时间间隔感知自注意力的序列化推荐模型(TiSASRec),前10个商品命中率提升了11.73%。对群组用户进行推荐时,针对团购群组推荐中预定义的融合策略不能动态获取群组用户权重,以及群组-项目交互数据的稀疏性等问题,提出了融合社交网络和分层自注意力的团购推荐模型(SSAGR)。首先,采用RNN捕捉团购中用户随时间变化的复杂潜在兴趣;其次,利用分层自注意力网络将社交网络信息整合到用户表示中,在不同权重下实现群组偏好聚合策略;然后,通过神经协同过滤(NCF)挖掘群组-项目交互,并实现了团购推荐;最后,实验结果表明,在MaFengWo数据集中,SSAGR相较于对群组用户推荐的最优的基线模型AGREE(Attentive Group REcommEndation),前5个商品命中率提升了3.53%。
