平面相机阵列四参考视点的深度图像绘制(Depth Image Based Rendering,DIBR)方案允许用户全方位身临其境地体验场景,可有效避免虚拟视点图像边界空洞,然而该方案引入了较为显著的伪影、背景渗透等失真.为此,提出一种深度和结构相似性(St...平面相机阵列四参考视点的深度图像绘制(Depth Image Based Rendering,DIBR)方案允许用户全方位身临其境地体验场景,可有效避免虚拟视点图像边界空洞,然而该方案引入了较为显著的伪影、背景渗透等失真.为此,提出一种深度和结构相似性(Structural Similarity, SSIM)引导的四参考视点融合算法.首先,深入分析了针对平面相机阵列的四参考视点DIBR方案中失真产生的原因;然后,利用参考视点与虚拟视点间的相对位置关系进行视野错误排除,并根据恰可察觉失真模型提取融合图像的失真掩膜;最后,利用失真区域各视点的深度信息和SSIM进行自适应视点融合,进而绘制出高质量的虚拟视点图像.实验结果表明,本文算法绘制的虚拟视点图像比标准方案在SSIM和沉浸式视频峰值信噪比方面分别提升了0.001 8和1.46 d B,比文献方法在主观视觉感知方面更接近于真实图像.展开更多
六自由度(Six Degree of Freedom,6DoF)视频系统允许用户从全方位、以任意视角身临其境地体验场景,是沉浸式视频技术的发展方向。根据6DoF视频系统中用户观看位置的变化,对多视点彩色与深度视频的码率分配是高质量场景生成的关键。本文...六自由度(Six Degree of Freedom,6DoF)视频系统允许用户从全方位、以任意视角身临其境地体验场景,是沉浸式视频技术的发展方向。根据6DoF视频系统中用户观看位置的变化,对多视点彩色与深度视频的码率分配是高质量场景生成的关键。本文从虚拟视点的失真出发,提出一种基于虚拟视点质量预测(Quality prediction model of virtual view,QPMVV)模型的视点级码率分配方法。首先理论分析了彩色和深度视频编码失真和虚拟视点失真的关系,然后通过实验统计分析了虚拟视点质量与彩色和深度视频编码量化参数的关系,建立了多视点彩色和深度视频的QPMVV模型,最后推导出多视点彩色和深度视频的相关视点的码率分配比例。实验表明,与平均分配的方法相比,本文码率分配方法能显著提升虚拟视点的主观和客观质量。虚拟视点越偏离中心位置,质量改善越明显。展开更多
文摘平面相机阵列四参考视点的深度图像绘制(Depth Image Based Rendering,DIBR)方案允许用户全方位身临其境地体验场景,可有效避免虚拟视点图像边界空洞,然而该方案引入了较为显著的伪影、背景渗透等失真.为此,提出一种深度和结构相似性(Structural Similarity, SSIM)引导的四参考视点融合算法.首先,深入分析了针对平面相机阵列的四参考视点DIBR方案中失真产生的原因;然后,利用参考视点与虚拟视点间的相对位置关系进行视野错误排除,并根据恰可察觉失真模型提取融合图像的失真掩膜;最后,利用失真区域各视点的深度信息和SSIM进行自适应视点融合,进而绘制出高质量的虚拟视点图像.实验结果表明,本文算法绘制的虚拟视点图像比标准方案在SSIM和沉浸式视频峰值信噪比方面分别提升了0.001 8和1.46 d B,比文献方法在主观视觉感知方面更接近于真实图像.
文摘六自由度(Six Degree of Freedom,6DoF)视频系统允许用户从全方位、以任意视角身临其境地体验场景,是沉浸式视频技术的发展方向。根据6DoF视频系统中用户观看位置的变化,对多视点彩色与深度视频的码率分配是高质量场景生成的关键。本文从虚拟视点的失真出发,提出一种基于虚拟视点质量预测(Quality prediction model of virtual view,QPMVV)模型的视点级码率分配方法。首先理论分析了彩色和深度视频编码失真和虚拟视点失真的关系,然后通过实验统计分析了虚拟视点质量与彩色和深度视频编码量化参数的关系,建立了多视点彩色和深度视频的QPMVV模型,最后推导出多视点彩色和深度视频的相关视点的码率分配比例。实验表明,与平均分配的方法相比,本文码率分配方法能显著提升虚拟视点的主观和客观质量。虚拟视点越偏离中心位置,质量改善越明显。
