近日,中国科学院自动化研究所类脑智能研究中心神经计算与脑机交互团队的研究人员提出一种结构化神经解码模型,实现根据脑活动模式,进行自然图像、人脸等复杂视觉刺激的高质量重建。相关研究成果发表在IEEE Transactions on Neural Netw...近日,中国科学院自动化研究所类脑智能研究中心神经计算与脑机交互团队的研究人员提出一种结构化神经解码模型,实现根据脑活动模式,进行自然图像、人脸等复杂视觉刺激的高质量重建。相关研究成果发表在IEEE Transactions on Neural Networks and Learning Systems上。长期以来,哲学家和科学家试图揣测、观察、理解和破译大脑的运作方式,以使人们能够感知和探索自然世界。展开更多
在英语语音听辨的基础上,人们开始理解话语,但是“理解”(Comprehension)这个概念究竟指的是什么?从广义上看,它指语言接收的整个过程,是与“发生”(production)相对的一个概念;从狭义上看,它仅指言语信息输入后,人们开始对输入的信息...在英语语音听辨的基础上,人们开始理解话语,但是“理解”(Comprehension)这个概念究竟指的是什么?从广义上看,它指语言接收的整个过程,是与“发生”(production)相对的一个概念;从狭义上看,它仅指言语信息输入后,人们开始对输入的信息进行解码。Chomsky的转换语法模式将理解的过程解释为一种“倒转换”;(reverse transformation)的过程。例如人们听到The flower was picked by the girl.这样的表层结构,就可以“倒被动转换”而成The girl picked the flower.这样的表层结构。表层结构中某些成分可以对倒转换”起触发的作用,如was+v-edz+by在上述句子中就有这样的作用。但是后来有许多试验却证明这种模式把理解过程简单化了,因为它考虑句子的语法结构,而忽视了语义和语境的作用。例如The flower was picked by the pool.(花是在水池边被摘的。)从结构上是符合was+v-ed2+by的要求,但在理解过程中却不可能“倒转换”成为The展开更多
为了改善基于卷积编解码架构的单通道语音增强网络对语音声学特征提取不充分、解码特征丢失严重的问题,提出一种基于多路信息聚合协同解码的单通道语音增强网络MIACD,通过双路编码器充分提取融入了语音自监督学习(SSL)表征的幅度谱和复...为了改善基于卷积编解码架构的单通道语音增强网络对语音声学特征提取不充分、解码特征丢失严重的问题,提出一种基于多路信息聚合协同解码的单通道语音增强网络MIACD,通过双路编码器充分提取融入了语音自监督学习(SSL)表征的幅度谱和复数谱特征,由4层Conformer分别从时间和频率维度对提取特征建模,采用残差连接将双路编码器提取的语音幅度、复数特征引入三路信息聚合解码器,并利用所提通道-时频注意力(CTF-Attention)机制根据语音能量分布情况调节解码器中聚合信息,有效缓解解码时可用声学信息缺失严重的问题。在公开数据集Voice Bank DEMAND上的实验结果表明,与用于单通道语音增强的协作学习框架(GaGNet)相比,MIACD在客观评价指标宽带感知评估语音质量(WB-PESQ)上提升了5.1%,短时客观可懂度(STOI)达到96.7%,验证所提方法可充分利用语音信息重构信号,有效抑制噪声并提升语音可理解性。展开更多
文摘近日,中国科学院自动化研究所类脑智能研究中心神经计算与脑机交互团队的研究人员提出一种结构化神经解码模型,实现根据脑活动模式,进行自然图像、人脸等复杂视觉刺激的高质量重建。相关研究成果发表在IEEE Transactions on Neural Networks and Learning Systems上。长期以来,哲学家和科学家试图揣测、观察、理解和破译大脑的运作方式,以使人们能够感知和探索自然世界。
文摘在英语语音听辨的基础上,人们开始理解话语,但是“理解”(Comprehension)这个概念究竟指的是什么?从广义上看,它指语言接收的整个过程,是与“发生”(production)相对的一个概念;从狭义上看,它仅指言语信息输入后,人们开始对输入的信息进行解码。Chomsky的转换语法模式将理解的过程解释为一种“倒转换”;(reverse transformation)的过程。例如人们听到The flower was picked by the girl.这样的表层结构,就可以“倒被动转换”而成The girl picked the flower.这样的表层结构。表层结构中某些成分可以对倒转换”起触发的作用,如was+v-edz+by在上述句子中就有这样的作用。但是后来有许多试验却证明这种模式把理解过程简单化了,因为它考虑句子的语法结构,而忽视了语义和语境的作用。例如The flower was picked by the pool.(花是在水池边被摘的。)从结构上是符合was+v-ed2+by的要求,但在理解过程中却不可能“倒转换”成为The
文摘为了改善基于卷积编解码架构的单通道语音增强网络对语音声学特征提取不充分、解码特征丢失严重的问题,提出一种基于多路信息聚合协同解码的单通道语音增强网络MIACD,通过双路编码器充分提取融入了语音自监督学习(SSL)表征的幅度谱和复数谱特征,由4层Conformer分别从时间和频率维度对提取特征建模,采用残差连接将双路编码器提取的语音幅度、复数特征引入三路信息聚合解码器,并利用所提通道-时频注意力(CTF-Attention)机制根据语音能量分布情况调节解码器中聚合信息,有效缓解解码时可用声学信息缺失严重的问题。在公开数据集Voice Bank DEMAND上的实验结果表明,与用于单通道语音增强的协作学习框架(GaGNet)相比,MIACD在客观评价指标宽带感知评估语音质量(WB-PESQ)上提升了5.1%,短时客观可懂度(STOI)达到96.7%,验证所提方法可充分利用语音信息重构信号,有效抑制噪声并提升语音可理解性。
