融合场景深度估计和视觉传达的复杂光照图像虚拟重建

1

作者 柴萍 柴金娣 《激光杂志》 CAS 北大核心 2024年第2期129-134,共6页

复杂光照图像虚拟中受到光照强度不均衡性影响导致重建效果不好,为了提高复杂光照图像虚拟重建效果,提出基于融合场景深度估计和视觉传达的复杂光照图像虚拟重建方法。针对不同场景深度混频光照的相互干扰采用相关匹配降噪方法实现图像... 复杂光照图像虚拟中受到光照强度不均衡性影响导致重建效果不好,为了提高复杂光照图像虚拟重建效果,提出基于融合场景深度估计和视觉传达的复杂光照图像虚拟重建方法。针对不同场景深度混频光照的相互干扰采用相关匹配降噪方法实现图像降噪处理,以光照图像低亮度区域内亮度值中位数作为场景深度的参考值,采用全局特性和局部细节特征拟合的方法实现对复杂光照图像的场景深度检测和视觉跟踪拟合,采用HSV空间特征分解方法实现对不同场景中光照图片亮度通道融合处理,提取场景物体边缘、纹理等细节信息,根据场景深度检测和全局对比度融合下的视觉传达效果实现复杂光照图像虚拟重建。测试结果得知,采用该方法进行复杂光照图像虚拟重建的视觉表达能力较好,重建后的图像细节展示能力较强,能准确重建暗区域内隐藏的图像信息,两个数据集图像的峰值信噪比较高,均方根误差较低,分别为45.63 dB、53.21 dB和0.366、0.265,且重建时长短,仅为1.5 s,具有较强的重建性能。 展开更多

关键词 融合场景深度 视觉传达 复杂光照图像 虚拟重建 细节特征

原文传递

复杂场景下自适应注意力机制融合实时语义分割

2

作者 陈丹 刘乐 +2 位作者 王晨昊 白熙茹 王子晨 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第8期3334-3342,共9页

实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息... 实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息,再经过特征融合网络(FFN)获得准确语义图像。AAFNet采用扩展的深度可分离卷积(DDW)可增大语义特征提取感受野,提出自适应平均池化(Avp)和自适应最大池化(Amp)构成自适应注意力机制融合模块(AAFM),可细化目标边缘分割效果并降低小目标的漏分率。最后在复杂城市街道场景Cityscapes和CamVid数据集上分别进行了语义分割实验,所设计的AAFNet以32帧/s(Cityscapes)和52帧/s(CamVid)的推理速度获得73.0%和69.8%的平均分割精度(mIoU),且与扩展的空间注意力网络(DSANet)、多尺度上下文融合网络(MSCFNet)以及轻量级双边非对称残差网络(LBARNet)相比,AAFNet平均分割精度最高。 展开更多

关键词 卷积神经网络 复杂城市街道场景 扩展的深度可分离卷积 自适应注意力机制融合 分割精度

下载PDF 职称材料

基于真实场景的情绪识别研究

3

作者 熊昆洪 贾贞超 +3 位作者 高峰 文虹茜 卿粼波 高励 《现代计算机》 2024年第1期18-25,共8页

情绪识别研究从实验室环境推进到无约束的真实场景中时面临很多问题。真实场景中不受限制的个体活动和复杂环境使面部图像、语音等单一模态的数据无法可靠获取,并且在真实场景中人们自发的情绪更加微妙,表达强度不大,导致识别难度增加... 情绪识别研究从实验室环境推进到无约束的真实场景中时面临很多问题。真实场景中不受限制的个体活动和复杂环境使面部图像、语音等单一模态的数据无法可靠获取,并且在真实场景中人们自发的情绪更加微妙,表达强度不大,导致识别难度增加。因此,为了更加稳健地识别真实场景中的个体情绪,针对个体活动的特点,设计了特征提取网络充分挖掘面部、骨架、姿态及场景等多模态数据中的情绪信息进行相互补充;同时,关注不同数据间的联系,设计了特征融合模块融合多种特征。网络在具有挑战性的公共空间真实场景的PLPS-E数据集上取得了最佳识别性能,VAD维度情绪识别准确率达到了74.62%、79.15%、87.94%;网络在相对简单的真实场景FABE数据集上也达到了相当的性能,维度V的识别准确率达到了98.39%。实验表明了算法的有效性。 展开更多

关键词 情绪识别 真实场景 多模态 特征深度融合

下载PDF 职称材料

自适应融合RGB图像特征的稀疏深度修复

4

作者 周恒 李滔 +1 位作者 孙明明 武丹丹 《海军航空大学学报》 2024年第2期241-248,共8页

深度修复的目的是从稀疏深度图像中恢复出稠密的深度图像。现有方法通常是以稀疏深度图像及其对应的RGB图像为输入,通过1个卷积神经网络恢复出密集深度图像。然而,普通的卷积层在处理稀疏且不规则的深度信息时有较大的局限性,同时,RGB... 深度修复的目的是从稀疏深度图像中恢复出稠密的深度图像。现有方法通常是以稀疏深度图像及其对应的RGB图像为输入,通过1个卷积神经网络恢复出密集深度图像。然而,普通的卷积层在处理稀疏且不规则的深度信息时有较大的局限性,同时,RGB图像特征和深度图像特征属于不同的模态。针对这些问题,文章提出了自适应稀疏不变模块,根据输入像素的有效性来处理稀疏深度,并提出了结合注意力机制的多尺度特征融合模块,在关注有效特征的同时,抑制不必要的特征,进一步提高深度修复性能。文章在NYUv2数据集上进行了一系列实验,实验结果表明了所提出算法和模块的有效性。 展开更多

关键词 深度图像修复 特征融合 室内场景 注意力机制

下载PDF 职称材料

基于场景对象注意与深度图融合的深度估计 被引量：1

5

作者 温静 杨洁 《计算机工程》 CAS CSCD 北大核心 2023年第2期222-230,共9页

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特... 现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。 展开更多

关键词 场景对象注意 加权深度图融合 上下文信息 深度估计 三维重建

下载PDF 职称材料

光学与深度特征融合在机器人场景定位中的应用

6

作者 刘冰 罗熊 +1 位作者 刘华平 孙富春 《东南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第A01期188-191,共4页

针对移动机器人室内环境的场景定位问题,研究和提出了一种基于视觉光学与深度特征融合的机器人场景匹配定位算法.首先针对摄像机采集到的光学图像和相应的深度图像信息进行预处理,均匀采样后分别对其进行尺度不变特征变换SIFT的特征提取... 针对移动机器人室内环境的场景定位问题,研究和提出了一种基于视觉光学与深度特征融合的机器人场景匹配定位算法.首先针对摄像机采集到的光学图像和相应的深度图像信息进行预处理,均匀采样后分别对其进行尺度不变特征变换SIFT的特征提取.然后将2组特征进行特征融合,并利用局部线性编码LLC算法进行特征编码.最后应用线性分类器对场景图像进行分类和匹配,得到场景定位信息.在基于PowerBot移动机器人和微软公司Kinect传感器搭建的机器人实时场景定位系统中,针对设计的算法,进行了实验验证.实验结果显示,提出的算法获得了较高的分类准确率,有效提高了机器人场景定位的工作效率,验证了场景定位算法的高效性和可靠性. 展开更多

关键词 深度 特征融合 场景匹配

下载PDF 职称材料

基于深度感知特征提取的室内场景理解 被引量：1

7

作者 陈苏婷 张良臣 《计算机工程》 CAS CSCD 北大核心 2021年第6期217-224,共8页

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习... 从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。 展开更多

关键词 语义特征 深度特征 特征融合 室内场景理解 几何信息 深度感知特征

下载PDF 职称材料

融合运动信息的三维视觉显著性算法研究 被引量：7

8

作者 卢晶 张晓林 +1 位作者 陈利利 李嘉茂 《计算机工程》 CAS CSCD 北大核心 2018年第1期238-246,共9页

计算机视觉领域中的视觉显著性研究大多局限于二维图像层面,而忽略人的视觉注意力决策是在三维动态场景下发生的。为此,在融合多种特征的显著性计算框架基础上,提出一种三维视觉显著性算法。通过场景的颜色信息、运动信息和深度信息分... 计算机视觉领域中的视觉显著性研究大多局限于二维图像层面,而忽略人的视觉注意力决策是在三维动态场景下发生的。为此,在融合多种特征的显著性计算框架基础上,提出一种三维视觉显著性算法。通过场景的颜色信息、运动信息和深度信息分别计算各个特征通道下的显著性结果,再经过动态的融合得到最终的显著性结果。同时针对三维场景下显著性数据集的稀缺问题,给出一个用于评价三维动态场景下显著性算法的数据集。与HC算法、RC算法、GMR算法的对比结果验证了该算法具有明显的优势,并且更符合人眼的视觉注意力机制。 展开更多

关键词 视觉显著性 三维场景 运动信息 深度信息 对比度 融合

下载PDF 职称材料

基于多引导结构感知网络的深度补全

9

作者 孙虎 金宇强 +1 位作者 张文安 付明磊 《控制与决策》 EI CSCD 北大核心 2024年第2期401-410,共10页

针对三维场景深度信息观测稀疏问题,提出一种融合彩色图像的多引导结构感知网络模型以补全稀疏深度.首先,利用三维平面法向量与场景梯度信息之间的映射关系,设计一种两分支主干网络框架,结合图像特征和几何特征进行深度预测,以充分提取... 针对三维场景深度信息观测稀疏问题,提出一种融合彩色图像的多引导结构感知网络模型以补全稀疏深度.首先,利用三维平面法向量与场景梯度信息之间的映射关系,设计一种两分支主干网络框架,结合图像特征和几何特征进行深度预测,以充分提取空间位置信息的特征表示;然后,考虑到大范围场景下不同物体的结构差异性,基于网络通道注意力机制设计一种自适应感受野的结构感知模块,以对不同尺度的信息进行表征;最后,在网络采样的过程中,以不同尺寸图像为指导对预测子深度图进行滤波并修复物体的边缘细节.公开数据集上的实验结果表明,所设计的深度补全算法可以获得准确的稠密深度,同时通过两个下游感知任务进行深入评估,表明利用所提出方法能够有效提升其他感知任务的效果. 展开更多

关键词 稀疏场景 深度补全 结构感知 多传感器融合 图像引导滤波 自适应感受野

原文传递

虚实融合场景中的深度感知研究综述 被引量：7

10

作者 平佳敏 刘越 翁冬冬 《中国图象图形学报》 CSCD 北大核心 2021年第6期1503-1520,共18页

混合现实系统可以提供虚拟信息和真实环境实时叠加的虚实融合场景,在教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域具有十分广阔的应用前景。混合现实系统首先利用标定数据构建虚拟摄像机模型,然后根据头部跟踪结... 混合现实系统可以提供虚拟信息和真实环境实时叠加的虚实融合场景,在教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域具有十分广阔的应用前景。混合现实系统首先利用标定数据构建虚拟摄像机模型,然后根据头部跟踪结果和虚拟摄像机位置实时绘制虚拟内容并将其叠加在真实环境中,用户通过虚实融合场景中渲染的图形化线索和虚拟物体特征感知其深度信息,但存在用于指导虚实融合场景绘制的视觉规律和感知理论匮乏、图形化线索可提供的绝对深度信息缺失和虚拟物体的渲染维度和特征指标不足等问题。本文分析了面向虚实融合场景绘制渲染的视觉规律,从用户感知的角度出发,围绕虚实融合场景中图形化线索绘制和虚拟物体渲染等展开综述,并对虚实融合场景中深度感知的研究趋势和重点进行展望和预测。 展开更多

关键词 虚实融合场景 绘制渲染 深度感知 混合现实 视觉规律 深度线索 感知匹配

原文传递

基于光衰减先验和背景光融合的水下图像复原 被引量：8

11

作者 林继强 郁梅 +1 位作者 徐海勇 蒋刚毅 《激光与光电子学进展》 CSCD 北大核心 2021年第8期152-161,共10页

针对水下图像存在颜色失真和视觉模糊等问题,提出基于光衰减先验和背景光融合的水下图像复原算法。首先通过最大强度先验计算背景光一,基于图像四叉树的方法估计背景光二,根据水下图像光照的亮暗情况对两个局部背景光进行融合,确定全局... 针对水下图像存在颜色失真和视觉模糊等问题,提出基于光衰减先验和背景光融合的水下图像复原算法。首先通过最大强度先验计算背景光一,基于图像四叉树的方法估计背景光二,根据水下图像光照的亮暗情况对两个局部背景光进行融合,确定全局背景光;其次根据光衰减先验估计场景的相对深度,进而计算三个通道的透射率;然后逆求解水下光学成像模型以消除后向散射;最后结合限制对比度自适应直方图均衡算法以更好地校正水下图像的颜色畸变,最终得到复原后的水下图像。与4种具有代表性的水下图像复原方法进行主客观评价对比实验。实验结果表明,所提算法可以有效去除水下图像的视觉模糊,视觉效果更接近自然场景中的图像。 展开更多

关键词 图像处理 水下图像复原 场景深度估计 透射率估计 背景光融合

原文传递

基于自适应小波融合的单幅图像去雾算法 被引量：9

12

作者 刘策 杨燕 《光电子．激光》 EI CAS CSCD 北大核心 2020年第3期318-325,共8页

为了更加有效地去除场景中的雾气,提出了一种基于小波变换的自适应透射率融合算法,对图像中的远景部分和近景部分分别进行处理,并将两者有效结合。首先基于雾天成像原理,构建二次衰减模型近似估计出远景和近景的透射率,进而将两者进行... 为了更加有效地去除场景中的雾气,提出了一种基于小波变换的自适应透射率融合算法,对图像中的远景部分和近景部分分别进行处理,并将两者有效结合。首先基于雾天成像原理,构建二次衰减模型近似估计出远景和近景的透射率,进而将两者进行小波变换,将得到的低频信息采用自适应高斯函数进行加权融合,而高频信息则采用取较小值的方案减小纹理效应;再根据小波逆变换获得透射率的最优解;最后结合大气散射模型和改进的大气光值复原出清晰的无雾图像。实验结果表明,该方法可以有效提高雾天场景清晰度,与已有算法相比,对天空区域的色彩还原准确,并且具有相对较低的时间复杂度。 展开更多

关键词 场景深度 二次衰减模型 透射率融合 小波变换 高斯函数

原文传递