期刊文献+
共找到528篇文章
< 1 2 27 >
每页显示 20 50 100
大数据环境下多模态融合的大学生异常行为预警
1
作者 王玉标 陶八梅 +1 位作者 李珩 陶志红 《计算机系统应用》 2024年第1期167-176,共10页
针对“校园大数据”累积的海量数据呈现出离散性、稀疏性等问题,如何从基数大、活动广、个性强的校园学生群体中检测出潜在的、有异常行为的学生,已成为学生异常行为分析亟需解决的问题.本文提出了一种大数据环境下基于多模态融合的大... 针对“校园大数据”累积的海量数据呈现出离散性、稀疏性等问题,如何从基数大、活动广、个性强的校园学生群体中检测出潜在的、有异常行为的学生,已成为学生异常行为分析亟需解决的问题.本文提出了一种大数据环境下基于多模态融合的大学生异常行为预警方法(early warning method for abnormal behavior of college students based on multi-modal fusion in big data environment,EWMAB).首先,针对学生行为画像的表征不够丰富,行为标签存在时效性、动态性等问题,建立一种基于多模态特征深度学习的跨模态学生行为画像模型;其次,针对学生异常行为预测、预警的时效性和后置性问题,在学生行为画像和学生行为分类预测基础上,提出了一种基于多模态融合的学生异常行为预警方法,通过长短期记忆神经网络(long and short term memory networks,LSTM),结合学生行为多指标数据和文本信息来解决学生异常行为预警问题;最后,本文通过应用实例验证模型以学生学习成绩异常预警为例,与其他预警算法相比,EWMAB方法可以提高预警的准确性,实现学生异常行为预警的时效性和前置性,从而使学生教育工作更具有针对性、个性化和预测性. 展开更多
关键词 教育大数据 学生行为画像 多模态融合 异常行为预警 分类预测
下载PDF
基于多模态融合的图神经网络推荐算法
2
作者 吴志强 解庆 +1 位作者 李琳 刘永坚 《计算机工程》 CSCD 北大核心 2024年第1期91-100,共10页
已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加... 已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好。针对上述问题,提出多模态融合的GNN推荐模型。首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。 展开更多
关键词 多模态推荐 多模态融合 注意力机制 图神经网络 推荐系统 门控图神经网络
下载PDF
基于预训练和多模态融合的假新闻检测
3
作者 周昊玮 刘勇 玄萍 《计算机工程》 CSCD 北大核心 2024年第1期289-295,共7页
现有的多模态检测模型通常对每个模态的特征进行简单拼接,不能对模态之间的相关性进行有效建模,而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量... 现有的多模态检测模型通常对每个模态的特征进行简单拼接,不能对模态之间的相关性进行有效建模,而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量,合并图像原始向量作为图像引导向量,设计早期融合、中期融合、后期融合3种不同的多模态融合方式。在早期融合阶段,通过图像引导向量初始化文本特征提取器,获取文本原始向量,合并文本原始向量作为文本引导向量。在中期融合阶段,使用模态的原始向量集合与其他模态的引导向量构造模态的特征表示。在后期融合阶段,融合不同模态的特征表示,构造新闻的特征表示。为提高模型的泛化能力,在标签丰富的数据上对PMFD进行预训练,然后再在标签稀少的数据上对PMFD进行微调。在公开数据集上的实验结果表明,PMFD能有效检测假新闻结果,相对传统模型CNN、LSTM、BERT等有10%以上的提升,相对EANN、M_model多模态假新闻检测模型有2%~3%的提升。 展开更多
关键词 假新闻检测 预训练 多模态融合 引导向量 模态共享特征 阶段融合
下载PDF
基于多模态融合和卷积神经网络的逆变器故障诊断
4
作者 张靖超 毕贵红 +3 位作者 赵四洪 孔凡文 陈冬静 陈仕龙 《电力科学与工程》 2024年第3期34-43,共10页
电压源控制型静止同步补偿系统(Voltage source controlled static synchronous compensator,VSC-STATCOM)故障具有随机性和不可预测性,其原始信号难以完全反映功率开关管的波形特征,导致故障特征提取及诊断困难。针对此问题,提出一种... 电压源控制型静止同步补偿系统(Voltage source controlled static synchronous compensator,VSC-STATCOM)故障具有随机性和不可预测性,其原始信号难以完全反映功率开关管的波形特征,导致故障特征提取及诊断困难。针对此问题,提出一种结合多模态融合技术(Multi-modal fusion technology,MFT)、双分支卷积神经网络(Double branch convolution neural network,DBCNN)与自注意力机制(Self-attention mechanism,SA)的逆变器故障诊断的方法。首先,利用快速傅里叶变换实现逆变器故障数据的时域模态信号到频域模态信号的转换;然后,利用DBCNN分别提取时域和频域2个模态的特征并进行特征融合,再将利用SA权重自适应分配能力筛选出的关键特征作为故障分类的依据,解决功率开关管开路故障难以辨别的问题。在逆变器故障诊断过程中,采用MFT和卷积神经网络相结合的方法,建立了一种准确而快速的实现故障分类的体系。以VSC-STATCOM逆变器为对象开展实验,实验结果表明,与单模态时域(Convolutional neural network-self-attention mechanism)CNN-SA和频域CNN-SA方法相比,MFT-DBCNN-SA对故障诊断的准确率均有提高;不同相数的实验结果表明,利用该方法仅靠两相就能很好地诊断出故障类别。相较于同领域的研究,所提故障诊断方法的水平持平或有所提升。 展开更多
关键词 逆变器 多模态融合技术 双分支卷积神经网络 自注意力机制 故障诊断
下载PDF
基于多模态融合的开放域三维模型检索算法
5
作者 毛福新 杨旭 +1 位作者 程嘉强 彭涛 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2024年第1期61-70,共10页
为了满足开放域下海量新增模型数据的管理和检索需求,提出开放域三维模型检索算法,可以有效地利用多模态信息的语义一致性.借助无监督算法探寻未知样本间的类别信息,利用该类别信息实现网络模型的参数优化,使得网络模型在开放域条件下... 为了满足开放域下海量新增模型数据的管理和检索需求,提出开放域三维模型检索算法,可以有效地利用多模态信息的语义一致性.借助无监督算法探寻未知样本间的类别信息,利用该类别信息实现网络模型的参数优化,使得网络模型在开放域条件下具有更好的模型表征性能及检索结果.提出基于Transformer结构的层级化多模态信息融合模型,有效地剔除了多模态间的冗余信息,得到鲁棒性更强的模型表征向量.在数据集ModelNet40上进行实验,通过与其他典型算法的对比实验可知,所提方法在mAP指标上优于所有的对比方法,验证了该方法在检索性能提升上的有效性. 展开更多
关键词 机器视觉 多模态融合 开放域检索 三维模型
下载PDF
基于多模态融合的深度神经网络图像复原方法
6
作者 李伟伟 王丽妍 +2 位作者 傅博 王娟 黄虹 《吉林大学学报(理学版)》 CAS 北大核心 2024年第2期391-398,共8页
针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次... 针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法. 展开更多
关键词 多模态融合 深度神经网络 三重注意力 图像复原
下载PDF
基于多模态融合技术的高校突发安全事件处理VR智慧学习系统设计
7
作者 赵秋锦 杨鹏飞 赵玉芹 《移动信息》 2024年第2期57-59,共3页
文中依托学校“虚拟现实工程技术中心”“国家级职业教育示范性虚拟仿真实训基地培育项目”的技术优势和人才团队,基于多模态融合技术,设计了面向高校师生的突发安全事件处理VR智慧学习系统,构建了VR智慧学习体系。该系统采用先进的系... 文中依托学校“虚拟现实工程技术中心”“国家级职业教育示范性虚拟仿真实训基地培育项目”的技术优势和人才团队,基于多模态融合技术,设计了面向高校师生的突发安全事件处理VR智慧学习系统,构建了VR智慧学习体系。该系统采用先进的系统设计、创新的方法和创新的评估体系,运用多模态识别技术和多模态融合交互技术,可以全面模拟还原疫情防控、火灾逃生、地震灾害、防汛应急、心肺复苏、骨折脱臼、出血处理等7种突发安全事件场景,通过智慧学习、智慧教学、智慧评价等过程以及系统所具有的跨平台、可视化、高仿真等特点,全面提升高校师生应急素养。 展开更多
关键词 VR学习系统 智慧教育 多模态融合技术 安全事件处理
下载PDF
基于多模态融合提升的文本分类方法
8
作者 刘德志 何柳 +1 位作者 刘幼峰 韩德纯 《大数据》 2024年第2期80-93,共14页
尽管基于多模态的文本分类技术在应用到具体场景中具有潜力,但仍存在局限性。现有多模态融合模型要求输入数据模态对齐,因此大量不完整的多模态数据被直接浪费,从而限制了推理时可用数据的规模和灵活性。为了解决这个问题,提出了一种基... 尽管基于多模态的文本分类技术在应用到具体场景中具有潜力,但仍存在局限性。现有多模态融合模型要求输入数据模态对齐,因此大量不完整的多模态数据被直接浪费,从而限制了推理时可用数据的规模和灵活性。为了解决这个问题,提出了一种基于多模态融合提升的文本分类模型和不充分多模态资源训练方法。与传统方法相比,提出的模型在标准数据集上的性能平均提高了约4.25%。此外,在除文本输入模态外的其他模态缺失率为50%的情况下,不充分多模态资源训练方法的性能比传统多路由策略提高了约4%。这表明所提出的模型和训练方法具有明显的优势和有效性。 展开更多
关键词 文本分类 交叉注意力 多模态融合 不充分多模态资源训练方法
下载PDF
多模态融合下的数据挖掘课程教学改革
9
作者 余波 彭琛 刘翠 《计算机教育》 2024年第4期38-43,共6页
针对应用型本科院校数据挖掘课程教学中存在的重算法讲授、轻场景应用的突出问题,提出多模态融合课程教学方法的解决方案,从教学方法和教学内容两方面阐述该方案的具体实施办法,并提出持续改进建议。
关键词 多模态融合 教学方法 数据挖掘 持续改进
下载PDF
基于图文多模态融合的文档片段语义相似度判定算法
10
作者 潘媛 梁国迪 +1 位作者 邵馨叶 李芹 《电子设计工程》 2024年第3期106-109,114,共5页
为使网络主机的差异性赋值能力得到保障,实现对相似性文档片段语义信息的准确判别,提出基于图文多模态融合的文档片段语义相似度判定算法。在多模态融合条件的基础上,联合图像区域检测结果、文本区域检测结果,建立完整的词袋模型,实现... 为使网络主机的差异性赋值能力得到保障,实现对相似性文档片段语义信息的准确判别,提出基于图文多模态融合的文档片段语义相似度判定算法。在多模态融合条件的基础上,联合图像区域检测结果、文本区域检测结果,建立完整的词袋模型,实现基于图文多模态融合的文档片段标注。根据文本数据预处理条件,确定关键词权值指标,联合已知文档片段语义信息,求取相似性度量值的准确计算结果,完成文档片段语义相似度判定算法的设计。对比实验结果可知,在图文多模态融合技术的支持下,差异性赋值指标的平均值达到了1.0,对于网络主机而言,其在准确判别相似性文档片段语义信息方面的应用能力得到了保障。 展开更多
关键词 图文多模态融合 文档片段 语义相似度 词袋模型 关键词权值 差异性赋值
下载PDF
基于多模态融合的电力智能客服系统情绪识别方法
11
作者 覃浩 刘振华 苏立伟 《自动化技术与应用》 2024年第4期169-172,共4页
针对目前方法研究时未能对智能客服系统进行数据去噪,导致该方法在情绪识别时,存在识别效果差、识别时间长以及识别性能低的问题,提出基于多模态融合的电力智能客服系统情绪识别方法。首先使用新型的小波阈值函数对系统数据进行去噪处理... 针对目前方法研究时未能对智能客服系统进行数据去噪,导致该方法在情绪识别时,存在识别效果差、识别时间长以及识别性能低的问题,提出基于多模态融合的电力智能客服系统情绪识别方法。首先使用新型的小波阈值函数对系统数据进行去噪处理;依据GSP方法、颜色直方图提取系统脑电信号特征和颜色特征;最后将多模态融合法与SVM分类器进行结合,通过对特征的融合,实现对情绪的识别。实验结果表明,该方法在识别情绪时,识别效果好、识别耗时低以及识别性能高。 展开更多
关键词 多模态融合 智能客服系统 情绪识别 小波去噪 识别方法 特征融合
下载PDF
基于驾驶场景的高效多模态融合检测方法
12
作者 李东宇 王绪娜 高宏伟 《沈阳理工大学学报》 CAS 2024年第3期18-25,共8页
目标检测是自动驾驶中重要的组成部分。为解决在弱光条件下单一的可见光图像不能满足实际驾驶场景检测的需求并进一步提高检测精度,提出一种用于红外和可见光融合图像的交通场景检测网络,简称AM-YOLOv5。AM-YOLOv5中改进的Repvgg结构可... 目标检测是自动驾驶中重要的组成部分。为解决在弱光条件下单一的可见光图像不能满足实际驾驶场景检测的需求并进一步提高检测精度,提出一种用于红外和可见光融合图像的交通场景检测网络,简称AM-YOLOv5。AM-YOLOv5中改进的Repvgg结构可以提升对融合图像特征的学习能力。此外,在主干网络末端引入自注意力机制并提出一种新的空间金字塔模块(SimSPPFCSPC)充分获取信息;为提升网络推理速度,在颈部网络的前端使用一种全新的卷积(GS卷积)。实验结果表明,AM-YOLOv5在FLIR数据集融合图像上的mAP_(0.5)达到了69.35%,与原YOLOv5s相比,在没有牺牲推理速度的前提下,检测精度提升了1.66%。 展开更多
关键词 目标检测 多模态融合 驾驶场景 融合图像
下载PDF
基于多模态融合的复杂场景人员重识别
13
作者 乌家玫 《电气自动化》 2024年第2期113-115,118,共4页
人员重识别(re-identification,ReID)是计算机视觉中的关键任务,具有众多实际应用,如视频监控和人员跟踪。通过对各类应用场景的研究,提出了一种新方法,以解决复杂场景下ReID的挑战,包括遮挡、视角变化和光照条件变化等问题。利用多模... 人员重识别(re-identification,ReID)是计算机视觉中的关键任务,具有众多实际应用,如视频监控和人员跟踪。通过对各类应用场景的研究,提出了一种新方法,以解决复杂场景下ReID的挑战,包括遮挡、视角变化和光照条件变化等问题。利用多模态融合技术增强了ReID模型的判别能力,使其在具有挑战性的现实场景中更加稳健,并在基准数据集上进行了广泛的试验。结果表明了所提方法的有效性,实现了更为先进的性能。 展开更多
关键词 视频监控 人员跟踪 人员重识别 多模态融合 重识别(ReID)模型
下载PDF
无人机多模态融合的城市目标检测算法
14
作者 王建园 陈小彤 +3 位作者 张越 孙俊格 石东浩 陈金宝 《空天防御》 2024年第1期32-39,共8页
城市低空运用小型无人机检测车辆等城市目标正逐渐成为主流手段。针对目前存在的实际场景中可见光探测易受光照影响、无法夜间工作和红外探测目标边缘模糊,导致单模检测网络检测精度低的问题,提出了一种基于图像融合和深度学习网络的无... 城市低空运用小型无人机检测车辆等城市目标正逐渐成为主流手段。针对目前存在的实际场景中可见光探测易受光照影响、无法夜间工作和红外探测目标边缘模糊,导致单模检测网络检测精度低的问题,提出了一种基于图像融合和深度学习网络的无人机多模态融合的城市目标检测算法:首先,基于DUT-VTUAV可见光-红外配准数据集和TIF图像融合算法,构建多模态融合数据集;其次,对比了现有YOLO(You Only Look Once)检测系列网络的检测精度、速度及参数量等性能参数,选择出最适合无人机端移动部署的轻量化网络YOLO v5n;最后,综合运用图像融合算法和目标检测模型,形成多模态融合检测算法。在车辆数据集上进行的对比实验表明:相对单模检测,所提出的算法的检测精度得到有效提升,mAP高达99.6%,且该算法可在0.3 s内完成一组可见光-红外图像的融合检测,具有较高的实时性。 展开更多
关键词 目标检测 YOLO检测 多模态融合 数据融合 TIF算法
下载PDF
基于内容与知识理解多模态融合的高泛化性伪造信息检测
15
作者 郑威 凌霞 《长江信息通信》 2024年第3期171-173,共3页
该研究旨在开发一种高泛化性伪造信息检测方法,该方法基于内容与知识理解多模态融合以及响应知识迁移。首先,通过跨模态融合实现内容不一致性表征,通过对视频和音频模态进行编码并融合,捕捉和表征不一致的内容特征,其次,为了提升模型在... 该研究旨在开发一种高泛化性伪造信息检测方法,该方法基于内容与知识理解多模态融合以及响应知识迁移。首先,通过跨模态融合实现内容不一致性表征,通过对视频和音频模态进行编码并融合,捕捉和表征不一致的内容特征,其次,为了提升模型在不同数据集上的泛化性能,该研究引入知识迁移技术,使用现有数据集训练教师模型,然后将教师模型的知识转移到学生模型上,使学生模型能够从更广泛的角度理解伪造信息,并在未见过的数据上展现出更好的泛化性能。 展开更多
关键词 伪造信息检测 高泛化性 内容理解 知识迁移 多模态融合
下载PDF
加权多模态融合的服装搭配预测
16
作者 李艳 蒋亲亲 《福建电脑》 2024年第5期53-57,共5页
现有的服装搭配方法仅用图像模态或文本模态来进行服装搭配的预测。为解决多种模态间信息交互的问题,本文提出了基于带权重的多模态融合的服装搭配预测方法。该方法首先提取服装图像特征作为视觉特征,同时提取服装描述中的文本信息作为... 现有的服装搭配方法仅用图像模态或文本模态来进行服装搭配的预测。为解决多种模态间信息交互的问题,本文提出了基于带权重的多模态融合的服装搭配预测方法。该方法首先提取服装图像特征作为视觉特征,同时提取服装描述中的文本信息作为文本特征,然后将提取的特征加权融合,最终将融合的特征输入图神经网络模型中进行服装搭配预测。结果显示,融合后的特征将最重要的服装特征捕捉到服装表示中,能够有效提升服装搭配预测准确率。 展开更多
关键词 多模态融合 服装搭配 图神经网络 视觉特征 文本特征
下载PDF
基于软打分机制—多模态融合的真实开关柜局部放电模式识别方法 被引量:1
17
作者 刘树慰 邸振国 +3 位作者 李斯盟 卜泽伟 徐建东 汲胜昌 《高压电器》 CAS CSCD 北大核心 2023年第8期203-211,共9页
局部放电类型与开关柜早期绝缘劣化程度密切相关,准确识别开关柜局部放电类型是改善开关柜运行状态,保障电网安全的重要手段。文中设计了真实开关柜中易产生的尖端放电、悬浮电位放电、强垂直分量沿面和弱垂直分量沿面放电4种局部放电... 局部放电类型与开关柜早期绝缘劣化程度密切相关,准确识别开关柜局部放电类型是改善开关柜运行状态,保障电网安全的重要手段。文中设计了真实开关柜中易产生的尖端放电、悬浮电位放电、强垂直分量沿面和弱垂直分量沿面放电4种局部放电类型。利用特高频传感器、暂态地电波传感器、超声传感器和高频电流线圈对开关柜的局部放电进行多模态融合检测,分析了同一缺陷下不同传感器的检测灵敏度以及不同缺陷类型的谱图特性。提取谱图的放电密度分布特征参量为正负峰值差Dpn、边沿积分差值Dei、前端均值差Dav、前端放电数占比Pfd和相位横向跨度Tr。提取谱图的轮廓特征参量为与缺陷标准轮廓的相关系数r。将所提取的特征参量融合得到表征开关柜局部放电模式的新特征体系,并提出了一种基于软打分机制的开关柜局部放电模式识别方法。该方法解决了传统识别方法谱图特征单一、识别准确率低、识别类型不精准的问题,为开关柜设备的在线监测和故障诊断提供了理论依据。 展开更多
关键词 真实开关柜 局部放电 多模态融合 软打分机制 模式识别
下载PDF
多模态融合趋势下提升数字出版传播效能的模式、方法与进路 被引量:1
18
作者 卢毅刚 方贤洁 《出版广角》 北大核心 2023年第4期66-70,共5页
数字时代,一种全新的表意系统正通过时间、空间、工作、文化和个体层面的变化对数字出版的内部、外部资源进行重新整合,这种整合促使数字出版进一步挖掘多模态资源,构建自身能适应快速演进的传播环境,再通过传播效能的提升加速数字出版... 数字时代,一种全新的表意系统正通过时间、空间、工作、文化和个体层面的变化对数字出版的内部、外部资源进行重新整合,这种整合促使数字出版进一步挖掘多模态资源,构建自身能适应快速演进的传播环境,再通过传播效能的提升加速数字出版的跨界运作和深度融合。数字出版的多模态传播构建不仅迎合了用户心理和习惯在信息时代数字化技术飞跃中所呈现的诸多新特征,亦遵循并改变了传播生态及其运行法则在“适配原则”下的行动逻辑。 展开更多
关键词 多模态融合 数字出版 传播效能 提升进路
下载PDF
基于感知重采样和多模态融合的连续情感识别
19
作者 李健 张倩 +3 位作者 陈海丰 李晶 王丽燕 裴二成 《计算机应用研究》 CSCD 北大核心 2023年第12期3816-3820,共5页
情感识别在人机交互中发挥着重要的作用,连续情感识别因其能检测到更广泛更细微的情感而备受关注。在多模态连续情感识别中,针对现有方法获取的时序信息包含较多冗余以及多模态交互信息捕捉不全面的问题,提出基于感知重采样和多模态融... 情感识别在人机交互中发挥着重要的作用,连续情感识别因其能检测到更广泛更细微的情感而备受关注。在多模态连续情感识别中,针对现有方法获取的时序信息包含较多冗余以及多模态交互信息捕捉不全面的问题,提出基于感知重采样和多模态融合的连续情感识别方法。首先感知重采样模块通过非对称交叉注意力机制去除模态冗余信息,将包含时序关系的关键特征压缩到隐藏向量中,降低后期融合的计算复杂度。其次多模态融合模块通过交叉注意力机制捕捉模态间的互补信息,并利用自注意力机制获取模态内的隐藏信息,使特征信息更丰富全面。在Ulm-TSST和Aff-Wild2数据集上唤醒度和愉悦度的CCC均值分别为63.62%和50.09%,证明了该模型的有效性。 展开更多
关键词 情感识别 感知重采样 多模态融合 注意力机制
下载PDF
中国特色社会主义文化的多模态融合传播策略研究
20
作者 鲁静 《河南社会科学》 北大核心 2023年第8期117-124,共8页
随着数字技术和人工智能的飞速发展,全媒体和融媒体时代已经悄然来临,如何搭上多模态融合发展的快车,深入挖掘中国特色社会主义文化的多维特征,借势宣传中国特色社会主义文化、传播中国声音,成为摆在广大研究者面前一个急需解决的问题... 随着数字技术和人工智能的飞速发展,全媒体和融媒体时代已经悄然来临,如何搭上多模态融合发展的快车,深入挖掘中国特色社会主义文化的多维特征,借势宣传中国特色社会主义文化、传播中国声音,成为摆在广大研究者面前一个急需解决的问题。对多模态融合的认知基础进行分析,讨论多模态信息融合的概念空间模型,详细论述中国特色社会主义文化多模态融合传播策略:多模态语料库构建、基于神经网络的数据表征和基于算法的数据统计具有重要理论价值和现实意义,为讲好中国故事、实现中国式现代化提供有益借鉴。 展开更多
关键词 中国特色社会主义文化 多模态融合 心智空间 数据表征 算法设计
下载PDF
上一页 1 2 27 下一页 到第
使用帮助 返回顶部