为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refineme...为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refinement for multi-modal sentiment analysis),可以有效地解决多模态语义不对齐、语义噪声等问题,实现多模态数据更好地交互融合。使用多模态特征嵌入模块(multi-modal feature embedding,MFE)增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块(inter-modal semantic alignment,ISA)进行双模态时间维度的对齐。通过一个模态内的信息细化模块(intra-modal information refinement,IIR)进行情感解析和情感细化。通过多模态门控融合模块(multi-modal gated fusion,MGF)实现模态的有效融合。在流行的多模态情感分析数据集上进行实验,证明了CM-SAIR框架与最先进的基线相比的优势。展开更多
文摘为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refinement for multi-modal sentiment analysis),可以有效地解决多模态语义不对齐、语义噪声等问题,实现多模态数据更好地交互融合。使用多模态特征嵌入模块(multi-modal feature embedding,MFE)增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块(inter-modal semantic alignment,ISA)进行双模态时间维度的对齐。通过一个模态内的信息细化模块(intra-modal information refinement,IIR)进行情感解析和情感细化。通过多模态门控融合模块(multi-modal gated fusion,MGF)实现模态的有效融合。在流行的多模态情感分析数据集上进行实验,证明了CM-SAIR框架与最先进的基线相比的优势。
