-
题名基于注意力机制的多层次编码和解码的图像描述模型
被引量：3
- 1
-
-
作者
李康康
张静
-
机构
华东理工大学信息科学与工程学院
-
出处
《计算机应用》
CSCD
北大核心
2021年第9期2504-2509,共6页
-
基金
国家自然科学基金资助项目(61402174)。
-
文摘
图像描述任务是图像理解的一个重要分支,它不仅要求能够正确识别图像的内容,还要求能够生成在语法和语义上正确的句子。传统的基于编码器−解码器的模型不能充分利用图像特征并且解码方式单一。针对这些问题,提出一种基于注意力机制的多层次编码和解码的图像描述模型。首先使用Faster R-CNN(Faster Region-based Convolutional Neural Network)提取图像特征,然后采用Transformer提取图像的3种高层次特征,并利用金字塔型的融合方式对特征进行有效融合,最后构建3个长短期记忆(LSTM)网络对不同层次特征进行层次化解码。在解码部分,利用软注意力机制使得模型能够关注当前步骤所需要的重要信息。在MSCOCO大型数据集上进行实验,利用多种指标(BLEU、METEOR、ROUGE-L、CIDEr)对模型进行评价,该模型在指标BLEU-4、METEOR和CIDEr上相较于Recall(Recall what you see)模型分别提升了2.5个百分点、2.6个百分点和8.8个百分点;相较于HAF(Hierarchical Attention-based Fusion)模型分别提升了1.2个百分点、0.5个百分点和3.5个百分点。此外,通过可视化生成的描述语句可以看出,所提出模型所生成的描述语句能够准确反映图像内容。
-
关键词
图像描述
卷积神经网络
长短期记忆网络
多层次编码
多层次解码
注意力机制
-
Keywords
image captioning
Convolutional Neural Network(CNN)
Long Short-Term Memory(LSTM)network
multilayer encoding
multi-layer decoding
attention mechanism
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名多模态多层次事件网络的谣言检测
被引量：3
- 2
-
-
作者
李莎
张怀文
钱胜胜
方全
徐常胜
-
机构
郑州大学
中国科学院自动化研究所模式识别国家重点实验室
-
出处
《中国图象图形学报》
CSCD
北大核心
2021年第7期1648-1657,共10页
-
基金
国家自然科学基金项目(61802405,61832002)。
-
文摘
目的自动检测谣言至关重要,目前已有多种谣言检测方法,但存在以下两点局限:1)只考虑文本内容,忽略了可用于判断谣言的辅助多模态信息;2)只关注时间序列模型捕捉谣言事件的时间特征,没有很好地研究事件的局部信息和全局信息。为了克服这些局限性,有效利用多模态帖子信息并联合多种编码策略构建每个新闻事件的表示,本文提出一种新颖的基于多模态多层次事件网络的社交媒体谣言检测方法。方法通过一个多模态的帖子嵌入层,同时利用文本内容和视觉内容;将多模态的帖子嵌入向量送入多层次事件编码网络,联合使用多种编码策略,以由粗到细的方式描述事件特征。结果在Twitter和Pheme数据集上的大量实验表明,本文提出的多模态多层次事件网络模型比现有的SVM-TS(support vector machine—time structure)、CNN(convolutional neural network)、GRU(gated recurrent unit)、CallAtRumors和MKEMN(multimodal knowledge-aware event memory network)等方法在准确率上提升了4%以上。结论本文提出的谣言检测模型,对每个事件的全局、时间和局部信息进行建模,提升了谣言检测的性能。
-
关键词
多模态
谣言检测
社交媒体
多层次编码策略
事件网络
-
Keywords
multi-modal
rumor detection
social media
multi-level encoding strategy
event network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
