利用OpenCV实现基于深度学习的超分辨率处理

OpenCV是一个非常强大的计算机视觉处理的工具库。很多小伙伴在入门图像处理时都需要学习OpenCV的使用。但是随着计算机视觉技术的发展，越来越多的算法涌现出来，人们逐渐觉得OpenCV比较落后而放弃了使用OpenCV。

但是，实际上OpenCV时一个与时俱进的开源代码库。正在逐渐的吸收和接纳最新的算法。本文我们来介绍如何使用OpenCV实现基于深度学习的图像超分辨率（SR）。使用OpenCV的好处就是，我们不需要知道任何图像超分辨率的相关知识，就可以使用这个代码，并实现图像超分辨率。

具体操作步骤：

1. 安装OpenCV contrib模块

OpenCV中的超分辨率功能被集成在了contrib模块中，因此我们首先需要安装OpenCV的扩展模块。安装过程可以参考【从零学习OpenCV 4】opencv_contrib扩展模块的安装。超分辨率被集成在dnn_superres模块中，如果小伙伴们电脑空间有限，可以只编译这一个模块。

近期有小伙伴反馈自己安装扩展模块失败，为了解决这个问题，小白近期在筹划搭建一个各个版本opencv-contrib编译完成的数据库。各位小伙伴随时关注我们公众号的动态。

2. 下载训练的模型

由于某些模型比较大，因此OpenCV代码库中没有包含他们，因此我们在使用的时候需要单独的下载经过训练的模型。目前，仅支持4种不同的超分辨率模型，他们可以实现2倍、3倍、4倍甚至8倍的图像方法。这些模型具体如下：

EDSR：这个是表现最好的模型。但是这个模型也是最大的，所以运行速度会比较慢。

ESPCN：这个模型具有速度快，效果好的特点，并且模型较小。它可以进行对视频进行实时处理（取决于图像大小）。

FSRCNN：这也是具有快速准确推断功能的小型模型。也可以进行实时视频升频。

LapSRN：这是一个中等大小的模型，它的特点是最大可以将图像放大8倍。

公众号后台回复“SR模型”获取下载这四个模型的方式。

3. 通过程序实现超分辨率

我们首先给出C++完整程序，之后对程序中每一行代码进行介绍。完整程序如下：

#include #include #include 
using namespace std;using namespace cv;using namespace dnn;using namespace dnn_superres;
int main(int argc, char *argv[]){    //Create the module's object    DnnSuperResImpl sr;
    //Set the image you would like to upscale    string img_path = "image.png";    Mat img = cv::imread(img_path);
    //Read the desired model    string path = "FSRCNN_x2.pb";    sr.readModel(path);
    //Set the desired model and scale to get correct pre- and post-processing    sr.setModel("fsrcnn", 2);
    //Upscale    Mat img_new;    sr.upsample(img, img_new);    cv::imwrite( "upscaled.png", img_new);
    return 0;}

首先加载我们选择的模型，并将其输入到神经网络的变量中。需要注意的是模型文件所存在的地址，本文放置在了程序的根目录中。

//Read the desired modelstring path = "FSRCNN_x2.pb";sr.readModel(path);

之后设置模型的种类和放大系数。本文选择的模型是fsrcnn，放大系数选择的2。

//Set the desired model and scale to get correct pre- and post-processingsr.setModel("fsrcnn", 2);

可以选择的模型有“ edsr”，“ fsrcnn”，“ lapsrn”，“ espcn”，这几个参数就是我们刚才介绍的4中模型。需要注意的是，每个模型能够放大的倍数是不一致的。前三种模型能够放大2、3、4倍，最后一个模型能够放大2、3、4、8倍。

之后通过upsample()函数进行超分辨率放大。

//UpscaleMat img_new;


    
sr.upsample(img, img_new);cv::imwrite( "upscaled.png", img_new);

上述是C++代码，接下来给出Python实现超分辨率的代码

import cv2from cv2 import dnn_superres
# Create an SR objectsr = dnn_superres.DnnSuperResImpl_create()
# Read imageimage = cv2.imread('./input.png')
# Read the desired modelpath = "EDSR_x3.pb"sr.readModel(path)
# Set the desired model and scale to get correct pre- and post-processingsr.setModel("edsr", 3)
# Upscale the imageresult = sr.upsample(image)
# Save the imagecv2.imwrite("./upscaled.png", result)

不同于C++代码，在使用python代码时，需要先通过如下代码进行声明。

# Create an SR objectsr = dnn_superres.DnnSuperResImpl_create()

4. 处理结果

输入图像

双线性插值放大3倍

FSRCNN放大3倍

ESDR放大3倍