时空视频超分辨率(space-time video super-resolution,STVSR)通过时间和空间2个尺度提升视频的质量,从而实现在视频采集设备、传输或者存储有限的情况下依然能实时地呈现高分辨率和高帧率的视频,满足人们对超高清画质的追求。相比两阶...时空视频超分辨率(space-time video super-resolution,STVSR)通过时间和空间2个尺度提升视频的质量,从而实现在视频采集设备、传输或者存储有限的情况下依然能实时地呈现高分辨率和高帧率的视频,满足人们对超高清画质的追求。相比两阶段方法,一阶段方法实现的是特征层面而非像素层面的帧插值,其在推理速度和计算复杂度上都明显更胜一筹。一些现有的一阶段STVSR方法采用基于像素幻觉的特征插值,这幻化了像素,因此很难应对帧间快速运动物体的预测。为此,提出一种基于光流法的金字塔编码器-解码器网络来进行时间特征插值,实现快速的双向光流估计和更真实自然的纹理合成,在使得网络结构更高效的同时弥补了大运动对光流估计带来的不稳定性。另外,空间模块采用基于滑动窗口的局部传播和基于循环网络的双向传播来强化帧对齐,整个网络称为时间特征细化网络(temporal feature refinement netowrk,TFRnet)。为了进一步挖掘TFRnet的潜力,将空间超分辨率先于时间超分辨率(space-first),在几种广泛使用的数据基准和评估指标上的实验证明了所提出方法TFRnet-sf的出色性能,在总体峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)提升的同时,插入中间帧的PSNR和SSIM也得到提升,在一定程度上缓和了插入的中间帧与原有帧之间PSNR和SSIM差距过大的问题。展开更多
超高清电视(UHDTV,Ultra High Definition TV)凭借其超高的屏幕分辨率可以更细腻地展现视频的内容,受到越来越多用户的青睐,然而目前超高清节目源发展有限,通常只能将低于超高清电视屏幕分辨率的视频经过插值后播放,这样处理可能会对用...超高清电视(UHDTV,Ultra High Definition TV)凭借其超高的屏幕分辨率可以更细腻地展现视频的内容,受到越来越多用户的青睐,然而目前超高清节目源发展有限,通常只能将低于超高清电视屏幕分辨率的视频经过插值后播放,这样处理可能会对用户主观体验带来一定的影响。如何准确评估UHDTV多分辨率视频源对视频显示质量的影响,对UHDTV业务的部署和优化起到指导性的作用。本文通过主观实验,利用SSIM算法预测视频源编码质量,并进一步分析视频源分辨率对UHDTV视频显示质量的影响,提出一种面向UHDTV的视频显示质量评估模型。实验结果表明,相比SSIM、VIFp和MOVIE三种经典的视频质量评估算法,本文模型所得视频显示质量和主观质量之间的皮尔森系数分别提高1.13%、1.89%和2.31%,斯皮尔曼等级相关系数分别提高1.35%、1.53%和2.24%,RMSE降低35.05%、36.94%和39.71%。所提模型可以更加准确地评价UHDTV视频显示质量。展开更多
文摘时空视频超分辨率(space-time video super-resolution,STVSR)通过时间和空间2个尺度提升视频的质量,从而实现在视频采集设备、传输或者存储有限的情况下依然能实时地呈现高分辨率和高帧率的视频,满足人们对超高清画质的追求。相比两阶段方法,一阶段方法实现的是特征层面而非像素层面的帧插值,其在推理速度和计算复杂度上都明显更胜一筹。一些现有的一阶段STVSR方法采用基于像素幻觉的特征插值,这幻化了像素,因此很难应对帧间快速运动物体的预测。为此,提出一种基于光流法的金字塔编码器-解码器网络来进行时间特征插值,实现快速的双向光流估计和更真实自然的纹理合成,在使得网络结构更高效的同时弥补了大运动对光流估计带来的不稳定性。另外,空间模块采用基于滑动窗口的局部传播和基于循环网络的双向传播来强化帧对齐,整个网络称为时间特征细化网络(temporal feature refinement netowrk,TFRnet)。为了进一步挖掘TFRnet的潜力,将空间超分辨率先于时间超分辨率(space-first),在几种广泛使用的数据基准和评估指标上的实验证明了所提出方法TFRnet-sf的出色性能,在总体峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)提升的同时,插入中间帧的PSNR和SSIM也得到提升,在一定程度上缓和了插入的中间帧与原有帧之间PSNR和SSIM差距过大的问题。
文摘超高清电视(UHDTV,Ultra High Definition TV)凭借其超高的屏幕分辨率可以更细腻地展现视频的内容,受到越来越多用户的青睐,然而目前超高清节目源发展有限,通常只能将低于超高清电视屏幕分辨率的视频经过插值后播放,这样处理可能会对用户主观体验带来一定的影响。如何准确评估UHDTV多分辨率视频源对视频显示质量的影响,对UHDTV业务的部署和优化起到指导性的作用。本文通过主观实验,利用SSIM算法预测视频源编码质量,并进一步分析视频源分辨率对UHDTV视频显示质量的影响,提出一种面向UHDTV的视频显示质量评估模型。实验结果表明,相比SSIM、VIFp和MOVIE三种经典的视频质量评估算法,本文模型所得视频显示质量和主观质量之间的皮尔森系数分别提高1.13%、1.89%和2.31%,斯皮尔曼等级相关系数分别提高1.35%、1.53%和2.24%,RMSE降低35.05%、36.94%和39.71%。所提模型可以更加准确地评价UHDTV视频显示质量。
