采用精简卷积神经网络的快速视频超分辨率重建
DOI:
CSTR:
作者:
作者单位:

(1.宁波大学 信息科学与工程学院,浙江 宁波 315211; 2.南京大学 计算机软件新技术国 家重点实验室,江苏 南京 210093)

作者简介:

郁梅(1968-),女,江苏人,博士生导师,教授,主要从 事三维视频编码与通信、图像处理等方面的研究.

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(61671258,7);浙江省自然科学基金(LY15F010005)资助项目 (1.宁波大学 信息科学与工程学院,浙江 宁波 315211; 2.南京大学 计算机软件新技术国家重点实验室,江苏 南京 210093)


Fast video super-resolution reconstruction using a succinct convolutional neural network
Author:
Affiliation:

(1.Faculty of Information Science and Engineering,Ningbo University,Ningbo 315211,China; 2.National Key Lab of Software New Technology,Nanjing University,Nan jing 210093,China)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    超分辨率重建在视频的传输和显示中起着重要的 作用。为了既保证重建视频的清晰度,又面向用户 实时显示,提出了一种采用精简卷积神经网络的快速视频超分辨率重建方法。所提的精简卷 积神经网络体 现在以下三点:首先,考虑到输入的尺寸大小会直接影响网络的运算速度,所提网络省去传 统方法的预插 值过程,直接对多个低分辨率输入视频帧提取特征,并进行多维特征通道融合。接着,为了 避免网络中产 生零梯度而丢失视频的重要信息,采用参数线性纠正单元(Parametric Rectified Linear Unit,PReLU)作为激 活函数,并采用尺寸更小的滤波器调整网络结构以进行多层映射。最后,在网络末端添加反 卷积层上采样 得到重建视频。实验结果显示,所提方法相比有代表性的方法在PSNR和SSIM指 标上分别平均 提升了0.32dB和0.016,同时在 GPU下达到平均41帧/秒的重建速度。结果表明所提方法可快速重建质 量更优的视频。

    Abstract:

    Super-resolution (SR) plays an important role in the transmission and display of video. To ensure the clarity of reconstructed video and real-time display,a fast vide o SR method based on succinct convolutional neural networks (CNN) is proposed.The proposed succin ct CNN consists of the following three points:First,Considering that the size of the input directly affects the network′s operating speed,the proposed network eliminates pre-interpolatio n process of the traditional method,directly extracts features from multiple low-resolution inp uts of the video frame and fuses multi-dimensional feature channels.Then,in order to avoid the loss of important information with zero gradient in the network,parametric rectified linear unit (PReLU) is used as the activation function,and the network structure is adjusted with a smaller fi lter size for multi-layer mapping.Finally,a deconvolution layer is added at the end of the network to obtain the reconstructed video.The experimental results show that compared with the re presentative methods,the proposed method has an average increase of 0.32dB and 0.016on the PSNR and SSIM.At the same time,an average reconstruction speed of 41frames per second is achieved under the GPU.The results show that the proposed method can quickly reconstruct better quality video.

    参考文献
    相似文献
    引证文献
引用本文

潘志勇,郁梅,谢登梅,宋洋,蒋刚毅.采用精简卷积神经网络的快速视频超分辨率重建[J].光电子激光,2018,29(12):1332~1341

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2018-05-11
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2019-01-06
  • 出版日期:
文章二维码