基于多模态组合互补性学习的时尚兼容度预测模型研究

1

作者 陆星宇 李云 +1 位作者 孙山林 吕梓民 《桂林航天工业学院学报》 2023年第2期216-225,共10页

在时尚单品兼容度预测研究中,多模态特征间的互补性以及融合特征对于视觉特征的相关性问题未得到充分挖掘。针对这个问题,提出多模态组合互补性学习的时尚兼容度预测模型。该模型由四部分构成:特征提取网络使用ResNet18提取视觉特征和L... 在时尚单品兼容度预测研究中,多模态特征间的互补性以及融合特征对于视觉特征的相关性问题未得到充分挖掘。针对这个问题,提出多模态组合互补性学习的时尚兼容度预测模型。该模型由四部分构成:特征提取网络使用ResNet18提取视觉特征和LSTM提取文本特征;然后使用联合表征网络将视觉特征与文本特征映射到相同的多模态嵌入空间中,减小模态间的差异性增强互补性;考虑到互补融合特征对于视觉特征的相关性问题,特征融合网络使用了组合模块分别组合了视觉特征和多模态特征;最后使用类别感知的映射方法将多模态特征映射进基于类别感知的嵌入空间中分析时尚服装的兼容度。实验仿真结果表明,该模型在消融实验以及在时尚兼容度预测的相关评价指标上均有提升和优化。 展开更多

关键词 多模态组合 互补性学习 类别感知 时尚兼容性

下载PDF 职称材料

基于多模态组合模型的语音情感识别 被引量：2

2

作者 陈军 王力 徐计 《软件》 2019年第12期56-60,214,共6页

语音情感识别在人机交互、人工智能(AI)、自然语言处理(NLP)、5G技术等方面扮演着重要的角色。为了克服单模态模型语音情感识别率低和手工调参的缺点,本文首先在Gaurav Sahu的基础模型上增加KNN、CNB和Adaboost单模态模型,提出多模态组... 语音情感识别在人机交互、人工智能(AI)、自然语言处理(NLP)、5G技术等方面扮演着重要的角色。为了克服单模态模型语音情感识别率低和手工调参的缺点,本文首先在Gaurav Sahu的基础模型上增加KNN、CNB和Adaboost单模态模型,提出多模态组合模型C3;然后应用排列组合方法通过计算机实现自动组合,克服Gaurav Sahu手工组合存在的不足;最后用超参数优化方法和交叉验证方法对网络模型进行训练和测试,解决手工调参存在的不足。在IEMOCAP数据集上对本文提出的C3进行实验,实验结果表明,C3比Gaurav Sahu提出的多模态组合模型E2的语音情感识别性能提升1.56%。 展开更多

关键词 单模态模型 多模态组合模型 超参数优化 语音情感识别 交叉验证 自动组合

下载PDF 职称材料

语言、逻辑与计算互动视角下汉语“把”字句的多模态组合范畴语法处理

3

作者 姚从军 朱乐亚 《湖北大学学报（哲学社会科学版）》 CSSCI 北大核心 2022年第3期81-91,共11页

现代汉语“把”已语法化为功能投射的中心语,“致使性”是“把”字句句式义,它附着在“把”字上。使用句法替换标准或语义指向标准易于把两类汉语“把”字句即致使义“把”字句和处置义“把”字句区分开来。“把”字句的各成分之间的语... 现代汉语“把”已语法化为功能投射的中心语,“致使性”是“把”字句句式义,它附着在“把”字上。使用句法替换标准或语义指向标准易于把两类汉语“把”字句即致使义“把”字句和处置义“把”字句区分开来。“把”字句的各成分之间的语义关系错综复杂,也因此产生了歧义性“把”字句。设计“分解型”词条指派方法,借助广义斯科伦项理论,在多模态组合范畴语法MMCCG中不仅可以将各种“把”后VR区分开来,还可以精确地刻画“把”字句的各成分之间的语义关系,特别是能成功地处理两种歧义性“把”字句,弥补了句法分析的不足。 展开更多

关键词 “把”字句 多模态组合范畴语法 “分解型”词条指派 广义斯科伦项

下载PDF 职称材料

汉语量化并列结构的多模态组合范畴语法处理

4

作者 罗丹 《贵州工程应用技术学院学报》 2020年第6期28-37,共10页

量化结构历来是语言学家、逻辑学家以及人工智能学家共同关注的焦点问题,而量化并列结构更是长期争论不休、亟待解决的疑难之一。在多模态组合范畴语法的理论框架中融入广义斯科伦项技术,拟对汉语量化并列结构进行处理,以冀为量化并列... 量化结构历来是语言学家、逻辑学家以及人工智能学家共同关注的焦点问题,而量化并列结构更是长期争论不休、亟待解决的疑难之一。在多模态组合范畴语法的理论框架中融入广义斯科伦项技术,拟对汉语量化并列结构进行处理,以冀为量化并列结构提供一般的解析框架。多模态的组合范畴语法,将敏感的模态算子特征及广义斯科伦项技术融入到原生态CCG的框架系统,能够对自然语言现象进行更为精确的刻画。这种逻辑工具在处理更多的汉语语言现象中也有更值得期待的前景。 展开更多

关键词 量化并列结构 多模态组合范畴语法 广义斯科仑项 广义量词

下载PDF 职称材料

趋简与求同:中国手机海外视频广告的多模态组合模式及其传播探析

5

作者 邓莹洁 《东南传播》 2018年第9期136-140,共5页

在"一带一路"大背景下,近几年来中国手机的海外销售成绩斐然,其广告宣传功不可没,关于中国手机海外广告的研究极具借鉴意义。基于2013-2017年间32则、共计3014秒的中国手机海外视频广告进行的逐秒研究表明,该类广告的多模态... 在"一带一路"大背景下,近几年来中国手机的海外销售成绩斐然,其广告宣传功不可没,关于中国手机海外广告的研究极具借鉴意义。基于2013-2017年间32则、共计3014秒的中国手机海外视频广告进行的逐秒研究表明,该类广告的多模态组合模式具有简洁性,且具有异质属性的模态较为少见、具有同质属性的模态较为常见,此外,其组合模式并未受到广告叙事类型的明显影响。上述特征的内在机制主要表现在:简化编码以减少信源、信宿噪音,采用共鸣策略并寻找文化共性,较多地使用非语言符号以跨越语言传递信息。这样的多模态组合模式对跨文化传播背景具有更强的适应性、更加注重品牌附加值、更有利于广告标准化策略的推行。 展开更多

关键词 中国手机广告 多模态组合 传播研究

下载PDF 职称材料

汉语间接被动句的多模态组合范畴语法处理

6

作者 姚从军 贺春雅 《湖南科技大学学报（社会科学版）》 CSSCI 北大核心 2024年第5期42-49,共8页

汉语被动句有长短之别,也有直接和间接之分,如何处理汉语被动句历来是计算语言学家需要攻克的难题。根据主语与“被”后某成分的不同关系,间接被动句分为“包括式间接被动句”和“排除式间接被动句”。传统分析方法借助移位、控制和述... 汉语被动句有长短之别,也有直接和间接之分,如何处理汉语被动句历来是计算语言学家需要攻克的难题。根据主语与“被”后某成分的不同关系,间接被动句分为“包括式间接被动句”和“排除式间接被动句”。传统分析方法借助移位、控制和述谓等操作分析汉语间接被动句,不仅否定了汉语间接被动句的原生成性,而且违反了语法规则,并出现了诸多难以解释的现象。多模态组合范畴语法MMCCG是单层结构语法,它从汉语间接被动句的表层结构出发,以毗连组合的方式生成其MMCCG树,从而证明了汉语间接被动句的原生成性,并避免了传统分析方法处理汉语间接被动句时出现的问题。 展开更多

关键词 间接被动句 多模态组合范畴语法 广义斯科伦项

原文传递

多模态资源组合在拼读阅读中的应用

7

作者 李英 《江苏教育》 2024年第1期73-76,82,共5页

自然拼读法能发展学生的音形义转换能力,增强他们对意群的识别和理解能力,以此实现流畅阅读。要让学生掌握、运用自然拼读法,多模态资源组合的运用不可或缺。教学中,教师应筛选、创编各类多模态资源,并将其运用于学生字符解码及意义理... 自然拼读法能发展学生的音形义转换能力,增强他们对意群的识别和理解能力,以此实现流畅阅读。要让学生掌握、运用自然拼读法,多模态资源组合的运用不可或缺。教学中,教师应筛选、创编各类多模态资源,并将其运用于学生字符解码及意义理解的过程中。 展开更多

关键词 小学英语 阅读教学 自然拼读法 多模态资源组合

下载PDF 职称材料

面向AI新时代的多模态组合范畴语法

8

作者 罗丹 《湖南科技大学学报（社会科学版）》 CSSCI 北大核心 2023年第2期50-56,共7页

在大数据与大知识双轮驱动的AI新时代,自然语言处理遭遇到前所未有的冲击和挑战。多模态组合范畴语法是标准组合范畴语法的升级与优化。它继承了标准组合范畴语法的内部构造和运行方式,保留了原有的计算特性,同时增加了利用新策略的可... 在大数据与大知识双轮驱动的AI新时代,自然语言处理遭遇到前所未有的冲击和挑战。多模态组合范畴语法是标准组合范畴语法的升级与优化。它继承了标准组合范畴语法的内部构造和运行方式,保留了原有的计算特性,同时增加了利用新策略的可能性。它最重要的创新在于,添加了模态算子并且融入了广义斯科仑项技术,使之更加符合普遍语法特征,具有跨语言通用性,具有更强的描写能力和解题功能,能够更好地实现自然语言处理,契合新一代AI的发展趋势。 展开更多

关键词 AI新时代 自然语言处理 多模态组合范畴语法 广义斯科仑项 量化辖域消歧

原文传递

多模态初级日语视听说教学模式设计与实践

9

作者 王晓星 方兰 《西部学刊》 2024年第8期118-122,共5页

日语视听说课程是日语专业的核心课程之一,是一门复合技能课。传统的视听说课程教学模式单一,学生口语输出机会不足,随着近几年高考日语生比例的逐年上升,日语专业的学情亦发生了较大变化。鉴于这一现状,为提高不同水平和层次的学生积... 日语视听说课程是日语专业的核心课程之一,是一门复合技能课。传统的视听说课程教学模式单一,学生口语输出机会不足,随着近几年高考日语生比例的逐年上升,日语专业的学情亦发生了较大变化。鉴于这一现状,为提高不同水平和层次的学生积极参与课堂教学,探索将多模态教学理论应用于初级日语视听说的教学改革中。提出建议:(一)导入环节运用教师口语主模态辅之以PPT呈现文字图片、活用视频等方式激活课堂;(二)音频精听环节协调搭配音频模态和图片模态,助力学生推测听力内容;(三)口语互动环节以“视”“听”促“说”,利用多模态的协同为学生提供口头表达的模板支撑和内容支撑,引导学生完成迁移和输出。 展开更多

关键词 多模态教学 日语视听说 多模态组合

下载PDF 职称材料

组合范畴语法产生和发展的动因之分析——从句法演算的角度看 被引量：2

10

作者 姚从军 邹崇理 《晋中学院学报》 2013年第2期19-27,共9页

AB-演算刻画句法推演能力太弱,许多合语法的语句在AB-演算中没有合适的推演形式。斯蒂德曼(Steedman)在AB-演算基础上增加组合规则,产生了标准的组合范畴语法CCG;CCG刻画推演能力太强,不仅能推演出所有合语法的语句,而且可以推演出不合... AB-演算刻画句法推演能力太弱,许多合语法的语句在AB-演算中没有合适的推演形式。斯蒂德曼(Steedman)在AB-演算基础上增加组合规则,产生了标准的组合范畴语法CCG;CCG刻画推演能力太强,不仅能推演出所有合语法的语句,而且可以推演出不合语法的语句;为制止非法句子的可推演性,就需要对推理规则做出限制,因为各种自然语言的特殊性,这种限制又会因语言而异,导致CCG失去一定的普遍性。鲍德里奇(Jason Baldridge)和克鲁伊夫(Geert-Jan M.Kruijff)把模态词引入CCG,由此产生了多模态组合范畴语法MMCCG;MMCCG摒弃了CCG的限制规则的策略,在词法上控制组合规则的适用性,不同语言语法的区别仅仅体现在词汇上,使语法逻辑走上了完全的词汇主义道路。 展开更多

关键词 AB-演算 组合逻辑 组合范畴语法 多模态组合范畴语法

下载PDF 职称材料

汉语把字句及相关句式的CCG形式计算 被引量：4

11

作者 满海霞 《湖北大学学报（哲学社会科学版）》 CSSCI 北大核心 2013年第6期42-49,共8页

自然语言可以由有限的词汇构造出无限的句子,即使言说的语句很复杂,该语言的母语使用者也可以判断出这个句子是否合语法,如果合语法,说话人想表达的意思是什么。如果我们能够找到或者模拟出相应的句法规则和语义运算方法,很好地代表自... 自然语言可以由有限的词汇构造出无限的句子,即使言说的语句很复杂,该语言的母语使用者也可以判断出这个句子是否合语法,如果合语法,说话人想表达的意思是什么。如果我们能够找到或者模拟出相应的句法规则和语义运算方法,很好地代表自然语言的句法和语义运算规律,我们就可以训练计算机使用该方法学习更多可能未被语料库涵盖的语句,甚至"理解"自然语言语句。把字句是现代汉语中的一种重要句式,基于沈阳对把字句的分析和研究,我们利用组合范畴语法(CCG)为把字句及相关转换句型构造一个句法分析模型,从句法生成的角度厘清把字句各式的句法核心和句法变化,从而从一个方面证明了多模态组合范畴语法在句法生成上的优越性。 展开更多

关键词 把字句 多模态组合范畴语法 短语结构语法 生成语法 范畴演算

下载PDF 职称材料

固体动力智能化发展技术展望 被引量：3

12

作者 田维平 雷晓龙 +2 位作者 唐敏 杨玉新 王伟 《固体火箭技术》 EI CAS CSCD 北大核心 2021年第2期146-150,共5页

固体火箭发动机的智能化发展可使其具备自感知、自适应的特点,从而满足推力可调、可多次启停、跨域长时间工作的未来飞行器动力需求。综述了三种具有智能化特点的固体动力研究进展,通过对多模态跨介质组合动力、固体火箭超燃冲压发动机... 固体火箭发动机的智能化发展可使其具备自感知、自适应的特点,从而满足推力可调、可多次启停、跨域长时间工作的未来飞行器动力需求。综述了三种具有智能化特点的固体动力研究进展,通过对多模态跨介质组合动力、固体火箭超燃冲压发动机、智能可控固体发动机的工作原理及性能优势进行分析,明确了其未来发展的关键技术,并对其未来发展趋势和应用方向提出了建议。 展开更多

关键词 固体动力 智能化 多模态跨介质组合动力 固体火箭超燃冲压发动机 智能可控固体发动机

下载PDF 职称材料

语言、逻辑与计算互动视角下汉语直接被动句的MMCCG处理 被引量：2

13

作者 姚从军 俎孟晨 《湖南科技大学学报（社会科学版）》 CSSCI 北大核心 2022年第1期42-50,共9页

汉语被动句有直接和间接之分,也有长短之别,如何处理汉语被动句历来是计算语言学家需要攻克的难题。汉语直接被动句的显著特征是主谓语的受事指向主句主语,传统分析方法使用移位、删除等句法操作分析汉语被动句,否定了被动句的原生成性... 汉语被动句有直接和间接之分,也有长短之别,如何处理汉语被动句历来是计算语言学家需要攻克的难题。汉语直接被动句的显著特征是主谓语的受事指向主句主语,传统分析方法使用移位、删除等句法操作分析汉语被动句,否定了被动句的原生成性,也出现了许多难以解释的现象。多模态组合范畴语法MMCCG抛弃了移位和删除等句法操作,以表层组合的方式生成各种被动句的句法-语义推演树,避免了传统方法分析被动句时出现的所有问题,并从计算语言学视角证明了被动句的原生成性。 展开更多

关键词 被动句 多模态组合范畴语法 广义斯科伦项

原文传递