自然灾害发生后,社交媒体成为人们传递信息的一种有效途径,准确识别灾害相关的推文信息可以帮助救援组织作出正确的救援决定。以往对于社交媒体信息的挖掘主要集中于单模态数据,但是现在社交媒体的数据呈现多模态化,因此,本文提出了一...自然灾害发生后,社交媒体成为人们传递信息的一种有效途径,准确识别灾害相关的推文信息可以帮助救援组织作出正确的救援决定。以往对于社交媒体信息的挖掘主要集中于单模态数据,但是现在社交媒体的数据呈现多模态化,因此,本文提出了一种多模态数据处理模型,该模型以Bidirectional Encoder Representation from Transformers(Bert)、Memory and Residual Neural 50(Resnet-50)网络为基础,分别对文本数据和图像数据进行处理,同时结合了Transformer-ESIM注意力机制,实现了文本和图像模态的对齐,解决了多模态特征直接融合而忽视模态间的交互问题,根据自然灾害事件不断动态变化的特性,对社交媒体数据进行分阶段分类,我们用2012年和2016年北京暴雨期间微博数据作为研究对象,通过与以往数据模型的对比,证明了论文提出模型进行社交媒体数据分类具有更高的准确性。展开更多
文摘自然灾害发生后,社交媒体成为人们传递信息的一种有效途径,准确识别灾害相关的推文信息可以帮助救援组织作出正确的救援决定。以往对于社交媒体信息的挖掘主要集中于单模态数据,但是现在社交媒体的数据呈现多模态化,因此,本文提出了一种多模态数据处理模型,该模型以Bidirectional Encoder Representation from Transformers(Bert)、Memory and Residual Neural 50(Resnet-50)网络为基础,分别对文本数据和图像数据进行处理,同时结合了Transformer-ESIM注意力机制,实现了文本和图像模态的对齐,解决了多模态特征直接融合而忽视模态间的交互问题,根据自然灾害事件不断动态变化的特性,对社交媒体数据进行分阶段分类,我们用2012年和2016年北京暴雨期间微博数据作为研究对象,通过与以往数据模型的对比,证明了论文提出模型进行社交媒体数据分类具有更高的准确性。
