在图像处理中，图像的高频区域（边缘、纹理等）直接影响着结果的视觉感官质量。本文工作重新思考了图像梯度在深度学习网络中的构建，从像素级对噪声图像进行分层，为网络输入提供更多的结构信息，并通过反向传播梯度引导网络学习高频特征。最后提出了即插即用的锐化损失解决去噪图像过于平滑的问题，突出图像中的高频信息而不影响低频信息。在模拟噪声和真实噪声数据benchmark数据集上实现了SOTA。
- 提出一种基于双U-Net的分层输入梯度网络(LIGN)。在基准数据集上的实验表明，该网络在PSNR和SSIM指标上表现出优异的性能。
- 提出了一种新的分层输入法，充分利用了输入图像的内部结构和频率信息。
将图像梯度深度融合到网络中，从而使网络收敛速度更快，并获得更多高频特征关注。
本文工作『Layered Input GradiNet for Image Denoising』发表于Knowledge-Based Systems (KBS)，2022，254:109587。中科院1区、Top期刊。
研究背景
数字图像广泛应用于日常生活中。受多因素影响，如硬件条件、环境变量等，成像系统所成的图像都不可避免存在一定程度的质量退化，其中常见退化现象之一为噪声。噪声的存在对人眼感官，图像结构分析、医学诊断、科学研究等影响较大。因此，图像去噪作为计算机视觉领域的研究热点之一，一直受到科研人员的广泛关注。
本文研究方向围绕具体应用而展开。提出分层输入梯度网络(LIGN)，从网络输入端到网络深层结构，以及网络的损失层均提出创新性结构。深度挖掘图像的结构信息，探讨图像不同频率特征的作用，以及通过锐化损失大幅度提高图像的视觉质量。分别在模拟噪声数据集和真实噪声数据集上，在PSNR和SSIM指标实现了SOTA。
方法
图1 整体网络框架
分层输入梯度网络的整体框架如图1所示。该网络由以下几个重要部件组成：分层输入，多尺度特征提取块，信息分流块，梯度网络和主网络。对于任意噪声图像
（灰度图像或彩色图像，尺寸为
，网络的输入端将输入图像进行分层，得到一组并行且尺寸为
的输入l。该输入被传入到多尺度特征提取块。多尺度特征提取块从分层输入中提取初始特征
（尺寸为
）的特征图：
(2-1)其中，
为多尺度特征提取函数。该特征图由信息分流块分流给梯度网络和主网络（尺寸均为
），表示为
(2-2)其中,
和
分别用于提取梯度网络和主网络的分流特征
和
。梯度网络尽可能地从噪声输入图像中复原其清晰图像的梯度，并提供给主网络。为了让主网络更好地融合梯度信息，提取的梯度经过正则化处理，表示为
(2-3)其中，
表示扩大因子，
表示偏置项。
为梯度网络提取的梯度信息（尺寸为
）。最后将
和
传入主网络获得残差图像。这里使用一个长跳跃连接将噪声图像与网络的输出
连接，表示为
其中，
表示主网络。
为灰度图像的分层输入的第一层，彩色图像的前三层。图像中具有相同或相似纹理/边缘特征的像素通常在一定的像素值范围内，这将引导我们对输入图像进行分层，以获得分层的结构特征。网络的输入是噪声图像，噪声会毁坏图像的纹理或结构。那么在噪声图像上的分层是否有用？如图2，可以看到，分层输入中的清晰图像子图与噪声子图在某一层具有相似的结构纹理，但连续的像素值变为离散。此外噪声的随机性将其他层结构映射到噪声子图的某一层，同时无特征层的噪点对于去噪网络是非常容易去除的。分层输入为网络提供了额外的结构信息，有助于网络对图像特征的复原。
图2 分层输入分析。最左和最右两幅图像分别为清晰图像和噪声图像，中间两幅图像分别为对应的清晰子图像和噪声子图像。从上到下分别是第三层、第七层和第八层。
2.2. 多尺度特征提取块和信息分流块
相对于单一的特征提取模块，多尺度特征提取块可以挖掘不同感受野大小的特征。网络浅层包含更加细腻的特征成分，宽的网络结构被证明可以提高网络性能。多尺度特征提取块的设计具有网络层浅和网络结构宽的优势。信息分流块的作用是将特征提取块提取的并行特征分离给两个网络。
2.3. GradiNet&MainNet
梯度网络(GradiNet)从噪声图中学习清晰图像的梯度，归一化后传给去噪网络(MainNet)。两个网络的结构如图3所示，均为类似U-Net结构。GradiNet完全学习图像的高频成分，即图像的纹理边缘特征等。同时，我们设置了机制阻止MainNet的反向传播梯度流向GradiNet（如图2中绿色箭头所示）。GradiNet在学习图像高频成分的同时，其反向传播梯度引导特征提取块关注高频成分。梯度网络的损失函数如下：
其中，
为拉普拉斯算子，
为GradiNet提取的梯度。MainNet采用2范数损失函数。
图3 主网络的结构
实验
本文选择了性能最先进的模拟噪声和真实噪声去除算法进行对比测试。实验结果如图4和表1数据所示，在模拟噪声数据集（BSD68，Kodak24等）上，尤其在高噪声强度下，实现了SOTA。同时在真实噪声数据集DND上略强于SOTA方法NBNet。最后，对加入了锐化损失结构的网络结构进行性能测试，结果见图5。左边为LIGN的去噪结果，右边为加了锐化损失结构的去噪结果。可以看出加入锐化损失结构后图像的细节被增强。此外，锐化损失采用即插即用形式，可以按照实际应用选择使用。
图4 真实图像的去噪可视化
表1真实图像的去噪性能对比
图5 锐化损失的结果
总结
本文提出了基于梯度分层的图像去噪网络，可视化结果表明，锐化损失的结果具有更清晰的纹理，突出的边缘和舒适的视觉效果。我们相信，基于梯度的去噪网络将在未来得到进一步的应用和探索。
