期刊文献+
共找到654篇文章
< 1 2 33 >
每页显示 20 50 100
基于深度学习多模态融合的2型糖尿病中医证素辨证模型的构建 被引量:1
1
作者 赵智慧 周毅 +3 位作者 李炜弘 汤朝晖 郭强 陈日高 《世界科学技术-中医药现代化》 CSCD 北大核心 2024年第4期908-918,共11页
目的为适应互联网+智能医疗的时代需求,纳入舌诊仪图像数据及问诊结构化数据,采用深度学习、多模态融合等方法构建2型糖尿病中医证素辨证模型,为中医智能化辨证提供实验支撑和科学依据。方法共纳入2585例2型糖尿病患者,邀请3位专家分别... 目的为适应互联网+智能医疗的时代需求,纳入舌诊仪图像数据及问诊结构化数据,采用深度学习、多模态融合等方法构建2型糖尿病中医证素辨证模型,为中医智能化辨证提供实验支撑和科学依据。方法共纳入2585例2型糖尿病患者,邀请3位专家分别进行证素辨证标记。基于深度全连接神经网络、U2-Net与ResNet34等网络构建基于舌图数据、症候数据的症候辨证模型(S-Model)、舌图辨证模型(T-Model),并采用多模态融合技术构建以二者为共同输入的多模态融合辨证模型(TS-Model)。通过F1值、精确率、召回率等对比不同模型预测性能。结果T-Model对十四类证素的预测F1值波动于0.000%-86.726%,S-Model的预测F1值波动于0.000%-97.826%,TS-Mode的预测F1值波动于55.556%-99.065%。与T-Model、S-Model对比,TS-Model整体F1值较高且稳定。结论基于深度学习多模态融合技术构建中医证素智能辨证模型性能较好。多模态融合技术适用于中医证素辨证模型优化,为下一步建立四诊信息全客观化的高度智能证素辨证模型提供方法学支持。 展开更多
关键词 证素辨证 2型糖尿病 深度学习 多模态融合
下载PDF
大数据环境下多模态融合的大学生异常行为预警 被引量:1
2
作者 王玉标 陶八梅 +1 位作者 李珩 陶志红 《计算机系统应用》 2024年第1期167-176,共10页
针对“校园大数据”累积的海量数据呈现出离散性、稀疏性等问题,如何从基数大、活动广、个性强的校园学生群体中检测出潜在的、有异常行为的学生,已成为学生异常行为分析亟需解决的问题.本文提出了一种大数据环境下基于多模态融合的大... 针对“校园大数据”累积的海量数据呈现出离散性、稀疏性等问题,如何从基数大、活动广、个性强的校园学生群体中检测出潜在的、有异常行为的学生,已成为学生异常行为分析亟需解决的问题.本文提出了一种大数据环境下基于多模态融合的大学生异常行为预警方法(early warning method for abnormal behavior of college students based on multi-modal fusion in big data environment,EWMAB).首先,针对学生行为画像的表征不够丰富,行为标签存在时效性、动态性等问题,建立一种基于多模态特征深度学习的跨模态学生行为画像模型;其次,针对学生异常行为预测、预警的时效性和后置性问题,在学生行为画像和学生行为分类预测基础上,提出了一种基于多模态融合的学生异常行为预警方法,通过长短期记忆神经网络(long and short term memory networks,LSTM),结合学生行为多指标数据和文本信息来解决学生异常行为预警问题;最后,本文通过应用实例验证模型以学生学习成绩异常预警为例,与其他预警算法相比,EWMAB方法可以提高预警的准确性,实现学生异常行为预警的时效性和前置性,从而使学生教育工作更具有针对性、个性化和预测性. 展开更多
关键词 教育大数据 学生行为画像 多模态融合 异常行为预警 分类预测
下载PDF
基于Transformer网络多模态融合的密集视频描述方法
3
作者 李想 桑海峰 《系统仿真学报》 CAS CSCD 北大核心 2024年第5期1061-1071,共11页
针对目前的密集视频描述模型大多使用两阶段的方法存在效率较低、忽略音频及语义信息,描述结果不全面的问题。提出了一种基于Transformer网络多模态和语义信息融合的密集视频描述方法。提取自适应R(2+1)D网络提取视觉特征,设计了语义探... 针对目前的密集视频描述模型大多使用两阶段的方法存在效率较低、忽略音频及语义信息,描述结果不全面的问题。提出了一种基于Transformer网络多模态和语义信息融合的密集视频描述方法。提取自适应R(2+1)D网络提取视觉特征,设计了语义探测器生成语义信息,加入音频特征进行补充,建立了多尺度可变形注意力模块,应用并行的预测头,加快模型收敛速度,提高模型精度。实验结果表明:模型在2个基准数据集上性能均有很好的表现,评价指标BLEU4上达到了2.17。 展开更多
关键词 密集事件描述 Transformer网络 语义信息 多模态融合 可变形注意力
原文传递
基于多模态融合的新生儿安全护理监控云平台系统研究
4
作者 王艳芳 王莉 +1 位作者 吕世文 李旭东 《微型计算机》 2024年第8期124-126,共3页
采用多模态数据融合技术,利用STM32单片机实现温湿度、含氧量等环境参数检测与控制,提高参数测控的速度和精度,通过Wi-Fi模块上传到云平台,实现对新生儿安全护理环境参数的远程监控和调节。给出了硬件电路设计与软件设计思路,实验验证... 采用多模态数据融合技术,利用STM32单片机实现温湿度、含氧量等环境参数检测与控制,提高参数测控的速度和精度,通过Wi-Fi模块上传到云平台,实现对新生儿安全护理环境参数的远程监控和调节。给出了硬件电路设计与软件设计思路,实验验证了方法的可行性和正确性。 展开更多
关键词 多模态融合 安全护理 数据监测 云平台
下载PDF
基于多模态融合的图神经网络推荐算法
5
作者 吴志强 解庆 +1 位作者 李琳 刘永坚 《计算机工程》 CSCD 北大核心 2024年第1期91-100,共10页
已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加... 已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好。针对上述问题,提出多模态融合的GNN推荐模型。首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。 展开更多
关键词 多模态推荐 多模态融合 注意力机制 图神经网络 推荐系统 门控图神经网络
下载PDF
基于预训练和多模态融合的假新闻检测
6
作者 周昊玮 刘勇 玄萍 《计算机工程》 CSCD 北大核心 2024年第1期289-295,共7页
现有的多模态检测模型通常对每个模态的特征进行简单拼接,不能对模态之间的相关性进行有效建模,而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量... 现有的多模态检测模型通常对每个模态的特征进行简单拼接,不能对模态之间的相关性进行有效建模,而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量,合并图像原始向量作为图像引导向量,设计早期融合、中期融合、后期融合3种不同的多模态融合方式。在早期融合阶段,通过图像引导向量初始化文本特征提取器,获取文本原始向量,合并文本原始向量作为文本引导向量。在中期融合阶段,使用模态的原始向量集合与其他模态的引导向量构造模态的特征表示。在后期融合阶段,融合不同模态的特征表示,构造新闻的特征表示。为提高模型的泛化能力,在标签丰富的数据上对PMFD进行预训练,然后再在标签稀少的数据上对PMFD进行微调。在公开数据集上的实验结果表明,PMFD能有效检测假新闻结果,相对传统模型CNN、LSTM、BERT等有10%以上的提升,相对EANN、M_model多模态假新闻检测模型有2%~3%的提升。 展开更多
关键词 假新闻检测 预训练 多模态融合 引导向量 模态共享特征 阶段融合
下载PDF
基于多模态融合和卷积神经网络的逆变器故障诊断
7
作者 张靖超 毕贵红 +3 位作者 赵四洪 孔凡文 陈冬静 陈仕龙 《电力科学与工程》 2024年第3期34-43,共10页
电压源控制型静止同步补偿系统(Voltage source controlled static synchronous compensator,VSC-STATCOM)故障具有随机性和不可预测性,其原始信号难以完全反映功率开关管的波形特征,导致故障特征提取及诊断困难。针对此问题,提出一种... 电压源控制型静止同步补偿系统(Voltage source controlled static synchronous compensator,VSC-STATCOM)故障具有随机性和不可预测性,其原始信号难以完全反映功率开关管的波形特征,导致故障特征提取及诊断困难。针对此问题,提出一种结合多模态融合技术(Multi-modal fusion technology,MFT)、双分支卷积神经网络(Double branch convolution neural network,DBCNN)与自注意力机制(Self-attention mechanism,SA)的逆变器故障诊断的方法。首先,利用快速傅里叶变换实现逆变器故障数据的时域模态信号到频域模态信号的转换;然后,利用DBCNN分别提取时域和频域2个模态的特征并进行特征融合,再将利用SA权重自适应分配能力筛选出的关键特征作为故障分类的依据,解决功率开关管开路故障难以辨别的问题。在逆变器故障诊断过程中,采用MFT和卷积神经网络相结合的方法,建立了一种准确而快速的实现故障分类的体系。以VSC-STATCOM逆变器为对象开展实验,实验结果表明,与单模态时域(Convolutional neural network-self-attention mechanism)CNN-SA和频域CNN-SA方法相比,MFT-DBCNN-SA对故障诊断的准确率均有提高;不同相数的实验结果表明,利用该方法仅靠两相就能很好地诊断出故障类别。相较于同领域的研究,所提故障诊断方法的水平持平或有所提升。 展开更多
关键词 逆变器 多模态融合技术 双分支卷积神经网络 自注意力机制 故障诊断
下载PDF
基于多模态融合的开放域三维模型检索算法
8
作者 毛福新 杨旭 +1 位作者 程嘉强 彭涛 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2024年第1期61-70,共10页
为了满足开放域下海量新增模型数据的管理和检索需求,提出开放域三维模型检索算法,可以有效地利用多模态信息的语义一致性.借助无监督算法探寻未知样本间的类别信息,利用该类别信息实现网络模型的参数优化,使得网络模型在开放域条件下... 为了满足开放域下海量新增模型数据的管理和检索需求,提出开放域三维模型检索算法,可以有效地利用多模态信息的语义一致性.借助无监督算法探寻未知样本间的类别信息,利用该类别信息实现网络模型的参数优化,使得网络模型在开放域条件下具有更好的模型表征性能及检索结果.提出基于Transformer结构的层级化多模态信息融合模型,有效地剔除了多模态间的冗余信息,得到鲁棒性更强的模型表征向量.在数据集ModelNet40上进行实验,通过与其他典型算法的对比实验可知,所提方法在mAP指标上优于所有的对比方法,验证了该方法在检索性能提升上的有效性. 展开更多
关键词 机器视觉 多模态融合 开放域检索 三维模型
下载PDF
基于多模态融合的深度神经网络图像复原方法
9
作者 李伟伟 王丽妍 +2 位作者 傅博 王娟 黄虹 《吉林大学学报(理学版)》 CAS 北大核心 2024年第2期391-398,共8页
针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次... 针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法. 展开更多
关键词 多模态融合 深度神经网络 三重注意力 图像复原
下载PDF
基于双编码器的多模态融合方法
10
作者 黄晓飞 郭卫斌 《计算机科学》 CSCD 北大核心 2024年第9期207-213,共7页
双编码器模型比融合编码器模型具有更快的推理速度,且能在推理过程中对图像和文本进行预计算。然而,双编码器模型中使用的浅交互模块不足以处理复杂的视觉语言理解任务。针对上述问题,提出了一种新的多模态融合方法。首先,提出一种前交... 双编码器模型比融合编码器模型具有更快的推理速度,且能在推理过程中对图像和文本进行预计算。然而,双编码器模型中使用的浅交互模块不足以处理复杂的视觉语言理解任务。针对上述问题,提出了一种新的多模态融合方法。首先,提出一种前交互式桥塔结构(PBTS),在单模态编码器的顶层和跨模态编码器的每层之间建立连接,使得不同语义层次的视觉和文本表示之间能够进行全面、自下而上的交互,从而实现更有效的跨模态对齐和融合。同时,为了更好地学习图像和文本的深度交互,提出了一种两阶段跨模态注意力双蒸馏方法(TCMDD),使用融合编码器模型作为教师模型,在预训练阶段和调优阶段同时对单模态编码器及融合模块的跨模态注意力矩阵进行知识蒸馏。使用400万张图片进行预训练并在3个公开数据集上进行调优来验证该方法的有效性。实验结果表明,所提多模态融合方法在多个视觉语言理解任务中获得了更优的性能。 展开更多
关键词 多模态融合 双编码器 模态注意力蒸馏 桥塔结构
下载PDF
基于多模态融合提升的文本分类方法 被引量:1
11
作者 刘德志 何柳 +1 位作者 刘幼峰 韩德纯 《大数据》 2024年第2期80-93,共14页
尽管基于多模态的文本分类技术在应用到具体场景中具有潜力,但仍存在局限性。现有多模态融合模型要求输入数据模态对齐,因此大量不完整的多模态数据被直接浪费,从而限制了推理时可用数据的规模和灵活性。为了解决这个问题,提出了一种基... 尽管基于多模态的文本分类技术在应用到具体场景中具有潜力,但仍存在局限性。现有多模态融合模型要求输入数据模态对齐,因此大量不完整的多模态数据被直接浪费,从而限制了推理时可用数据的规模和灵活性。为了解决这个问题,提出了一种基于多模态融合提升的文本分类模型和不充分多模态资源训练方法。与传统方法相比,提出的模型在标准数据集上的性能平均提高了约4.25%。此外,在除文本输入模态外的其他模态缺失率为50%的情况下,不充分多模态资源训练方法的性能比传统多路由策略提高了约4%。这表明所提出的模型和训练方法具有明显的优势和有效性。 展开更多
关键词 文本分类 交叉注意力 多模态融合 不充分多模态资源训练方法
下载PDF
多模态融合下的数据挖掘课程教学改革 被引量:1
12
作者 余波 彭琛 刘翠 《计算机教育》 2024年第4期38-43,共6页
针对应用型本科院校数据挖掘课程教学中存在的重算法讲授、轻场景应用的突出问题,提出多模态融合课程教学方法的解决方案,从教学方法和教学内容两方面阐述该方案的具体实施办法,并提出持续改进建议。
关键词 多模态融合 教学方法 数据挖掘 持续改进
下载PDF
基于多模态融合的情绪识别
13
作者 廖强 王宇 《科技传播》 2024年第7期12-15,共4页
多模态情绪识别利用语音、文本、图像等多种数据形式,通过综合分析这些数据中的情绪信息来识别人类的情绪状态。相较于单一模态的情绪识别,这种方法能更全面地捕捉情绪的复杂性和微妙差异。为提高从特征提取到情绪分类的高效性,提出了... 多模态情绪识别利用语音、文本、图像等多种数据形式,通过综合分析这些数据中的情绪信息来识别人类的情绪状态。相较于单一模态的情绪识别,这种方法能更全面地捕捉情绪的复杂性和微妙差异。为提高从特征提取到情绪分类的高效性,提出了一种端对端的网络结构,直接利用音频与视频数据进行特征提取和情绪识别,并通过实验比较了三种不同的特征融合方法。实验结果表明,改进中间注意力融合方法在RAVDESS测试集上取得了71.67%的最高平均准确率,显示出优于其他融合策略的性能。 展开更多
关键词 情绪识别 TRANSFORMER ATTENTION 多模态融合
下载PDF
基于多模态融合的电力智能客服系统情绪识别方法 被引量:1
14
作者 覃浩 刘振华 苏立伟 《自动化技术与应用》 2024年第4期169-172,共4页
针对目前方法研究时未能对智能客服系统进行数据去噪,导致该方法在情绪识别时,存在识别效果差、识别时间长以及识别性能低的问题,提出基于多模态融合的电力智能客服系统情绪识别方法。首先使用新型的小波阈值函数对系统数据进行去噪处理... 针对目前方法研究时未能对智能客服系统进行数据去噪,导致该方法在情绪识别时,存在识别效果差、识别时间长以及识别性能低的问题,提出基于多模态融合的电力智能客服系统情绪识别方法。首先使用新型的小波阈值函数对系统数据进行去噪处理;依据GSP方法、颜色直方图提取系统脑电信号特征和颜色特征;最后将多模态融合法与SVM分类器进行结合,通过对特征的融合,实现对情绪的识别。实验结果表明,该方法在识别情绪时,识别效果好、识别耗时低以及识别性能高。 展开更多
关键词 多模态融合 智能客服系统 情绪识别 小波去噪 识别方法 特征融合
下载PDF
无人机多模态融合的城市目标检测算法 被引量:1
15
作者 王建园 陈小彤 +3 位作者 张越 孙俊格 石东浩 陈金宝 《空天防御》 2024年第1期32-39,共8页
城市低空运用小型无人机检测车辆等城市目标正逐渐成为主流手段。针对目前存在的实际场景中可见光探测易受光照影响、无法夜间工作和红外探测目标边缘模糊,导致单模检测网络检测精度低的问题,提出了一种基于图像融合和深度学习网络的无... 城市低空运用小型无人机检测车辆等城市目标正逐渐成为主流手段。针对目前存在的实际场景中可见光探测易受光照影响、无法夜间工作和红外探测目标边缘模糊,导致单模检测网络检测精度低的问题,提出了一种基于图像融合和深度学习网络的无人机多模态融合的城市目标检测算法:首先,基于DUT-VTUAV可见光-红外配准数据集和TIF图像融合算法,构建多模态融合数据集;其次,对比了现有YOLO(You Only Look Once)检测系列网络的检测精度、速度及参数量等性能参数,选择出最适合无人机端移动部署的轻量化网络YOLO v5n;最后,综合运用图像融合算法和目标检测模型,形成多模态融合检测算法。在车辆数据集上进行的对比实验表明:相对单模检测,所提出的算法的检测精度得到有效提升,mAP高达99.6%,且该算法可在0.3 s内完成一组可见光-红外图像的融合检测,具有较高的实时性。 展开更多
关键词 目标检测 YOLO检测 多模态融合 数据融合 TIF算法
下载PDF
基于多模态融合技术的高校突发安全事件处理VR智慧学习系统设计
16
作者 赵秋锦 杨鹏飞 赵玉芹 《移动信息》 2024年第2期57-59,共3页
文中依托学校“虚拟现实工程技术中心”“国家级职业教育示范性虚拟仿真实训基地培育项目”的技术优势和人才团队,基于多模态融合技术,设计了面向高校师生的突发安全事件处理VR智慧学习系统,构建了VR智慧学习体系。该系统采用先进的系... 文中依托学校“虚拟现实工程技术中心”“国家级职业教育示范性虚拟仿真实训基地培育项目”的技术优势和人才团队,基于多模态融合技术,设计了面向高校师生的突发安全事件处理VR智慧学习系统,构建了VR智慧学习体系。该系统采用先进的系统设计、创新的方法和创新的评估体系,运用多模态识别技术和多模态融合交互技术,可以全面模拟还原疫情防控、火灾逃生、地震灾害、防汛应急、心肺复苏、骨折脱臼、出血处理等7种突发安全事件场景,通过智慧学习、智慧教学、智慧评价等过程以及系统所具有的跨平台、可视化、高仿真等特点,全面提升高校师生应急素养。 展开更多
关键词 VR学习系统 智慧教育 多模态融合技术 安全事件处理
下载PDF
基于SA-BPNN多模态融合的教学质量评价方法
17
作者 王文静 范涛 +1 位作者 王国中 赵海武 《计算机工程》 CAS CSCD 北大核心 2024年第11期390-398,共9页
针对传统评估教学未充分利用教学过程信息,导致泛化能力差和预测精度低等问题,提出一种基于SA-BPNN多模态融合的教学质量评价模型。该模型包括模态特征提取模块和多模态融合预测模块。首先构建全过程多维度的教学质量评价体系,包括人工... 针对传统评估教学未充分利用教学过程信息,导致泛化能力差和预测精度低等问题,提出一种基于SA-BPNN多模态融合的教学质量评价模型。该模型包括模态特征提取模块和多模态融合预测模块。首先构建全过程多维度的教学质量评价体系,包括人工评分、在线教育平台和教学视频3种模态数据,通过自注意力机制改进反向传播神经网络模块(SA-BPNN)提取各模态特征信息。其次鉴于评教过程存在模态数据缺失的可能,在预测模块的早期融合阶段引入多模态混合融合策略以改进反向传播神经网络(MF-BPNN),该策略按照特定规则将不同模态的特征信息混合再融合,以减轻模型对某一模态数据的依赖。随后将融合后的特征信息输入到MF-BPNN模块中,生成最终的评教结果。该模型融合多模态信息进行评价,避免了传统评教的主观性,且混合融合策略提升了模态缺失时的预测精度。在某高校真实数据集上的实验结果表明,相较于BPNN和GA-BPNN方法,该模型的均方误差分别提高了2.4~3.9个百分点,能够高效准确地评估教学质量,为检验教师教学效果和优化教学管理,最终全面提升教学质量提供理论支持。 展开更多
关键词 质量评价 自注意力机制 多模态融合 特征提取 神经网络
下载PDF
基于多模态融合技术的红外人脸识别方法
18
作者 张杰 汤嘉立 《激光杂志》 CAS 北大核心 2024年第5期246-251,共6页
针对当前红外人识别准确率低问题,提出基于多模态融合技术的红外人脸识别方法。对人脸图像进行去噪与增强处理,得到高灰度级图像,采用二维小波变换提取串联特征向量,利用多模态融合算法计算特征通道的上下文注意力系数,使类间特征差异... 针对当前红外人识别准确率低问题,提出基于多模态融合技术的红外人脸识别方法。对人脸图像进行去噪与增强处理,得到高灰度级图像,采用二维小波变换提取串联特征向量,利用多模态融合算法计算特征通道的上下文注意力系数,使类间特征差异得以量化,结合模态融合决策函数,对人脸图像特征进行融合,根据分类器的最优分类准则计算图像间的匹配度,实现红外人脸识别。在实验论证中,对所提方法的识别性能进行了验证,结果显示,在大样本与小样本的识别中,所提方法得到的识别准确率为95%左右,对于红外人脸图像具有较高的识别准确率。 展开更多
关键词 多模态融合技术 红外人脸 人脸识别 识别准确率
原文传递
基于图文多模态融合的文档片段语义相似度判定算法
19
作者 潘媛 梁国迪 +1 位作者 邵馨叶 李芹 《电子设计工程》 2024年第3期106-109,114,共5页
为使网络主机的差异性赋值能力得到保障,实现对相似性文档片段语义信息的准确判别,提出基于图文多模态融合的文档片段语义相似度判定算法。在多模态融合条件的基础上,联合图像区域检测结果、文本区域检测结果,建立完整的词袋模型,实现... 为使网络主机的差异性赋值能力得到保障,实现对相似性文档片段语义信息的准确判别,提出基于图文多模态融合的文档片段语义相似度判定算法。在多模态融合条件的基础上,联合图像区域检测结果、文本区域检测结果,建立完整的词袋模型,实现基于图文多模态融合的文档片段标注。根据文本数据预处理条件,确定关键词权值指标,联合已知文档片段语义信息,求取相似性度量值的准确计算结果,完成文档片段语义相似度判定算法的设计。对比实验结果可知,在图文多模态融合技术的支持下,差异性赋值指标的平均值达到了1.0,对于网络主机而言,其在准确判别相似性文档片段语义信息方面的应用能力得到了保障。 展开更多
关键词 图文多模态融合 文档片段 语义相似度 词袋模型 关键词权值 差异性赋值
下载PDF
基于多模态融合的步进式加热炉电气故障辨识研究
20
作者 张翼飞 梅二召 范景峰 《工业加热》 CAS 2024年第6期56-61,共6页
为降低加热炉运行过程中的事故发生率,提出了基于多模态融合的步进式加热炉电气故障辨识研究,首先,利用基于非线性扩散的导数谱增强模型展开信号增强处理。然后,对增强后的电气信号展开EMD分解,获取信号中的所有IMF分量。利用小波包变... 为降低加热炉运行过程中的事故发生率,提出了基于多模态融合的步进式加热炉电气故障辨识研究,首先,利用基于非线性扩散的导数谱增强模型展开信号增强处理。然后,对增强后的电气信号展开EMD分解,获取信号中的所有IMF分量。利用小波包变换提取电气故障的细节特征信息,并电气故障的细节特征信息进行多模态融合。最后,利用随机森林算法对多模态融合的特征展开故障辨识。实验结果表明,所提方法的损失函数值下降较快并且可以降到0.05以下,特征提取能力强、故障辨识效果好,能够为步进式加热炉电气故障辨识提供帮助。 展开更多
关键词 多模态融合 故障辨识 信号增强 经验模态分解 随机森林算法
下载PDF
上一页 1 2 33 下一页 到第
使用帮助 返回顶部