一种自适应耦合TV和高阶PDE的图像放大模型

摘要：针对TV模型存在分块效应，而四阶PDE模型具有保持平坦区域光滑性的特点，提出自适应耦合TV和四阶PDE的正则化图像放大模型。根据图像内容合理调整耦合系数，在图像渐变和平坦区域运用四阶PDE扩散，消除分块效应；而在图像的突变区域运用TV模型滤波，保持突变边缘。实验结果表明，该算法是一种有效的图像放大方法。
关键词：图像放大；偏微分方程；总变分；高阶PDE

0 引言
    图像放大指增大图像尺寸或提高其分辨率，同时保持较高的质量，以得到一个较好的视觉效果，或突出某些细节。图像放大通常可分两步进行：首先对图像进行空间变换；其次对图像进行灰度级插值、处理。
    传统的线性插值算法有最近邻法、双线性插值法以及三次样条插值法等。这些方法用一些已知的简单函数根据一定的光滑性要求逼近原图像。它们有其固有的缺点，如放大后的图像边缘模糊化和边缘锯齿化，而且放大倍数越大，这些现象越明显。自适应插值方法在空间上使插值系数较好地匹配边缘附近的局部图像结构，但在选择和估计感兴趣的边缘时会导致误差。边缘指导的插值方法利用有限的对于边缘的方向和幅度的量化来拟合图像的亚像素边缘，阻止跨边缘的插值，因而能够产生尖锐的边缘，但对于边缘的拟合过于简单和粗糙，且会丢失一些图像特征。其他还有基于凸集投影的迭代方法，基于小波变换和数学形态学的方法等，这些方法在性能上仍然有待提高，特别是在图像含有噪声的情况下。
    基于偏微分方程(Partial Differential Equations，PDE)的图像放大方法是在插值图像的基础上，通过迭代演化求解扩散方程，从而得到高分辨率图像，并去除噪声和人工痕迹等的影响。由于可以很方便地引入先验知识，其获得了良好的处理性能，已引起了广泛关注，其中主流是基于正则化的PDE方法。各向同性扩散的PDE模型放大图像时容易出现边缘模糊、细节特征丢失等现象。而各向异性扩散的PDE虽然能在某种程度上保持放大图像的细节特征，但随着迭代求解次数的增加，图像部分重要信息会偏离原图像，导致图像模糊。采用总变分(Total V-ariation，TV)模型进行图像放大，能够有效保持突变边缘，且收敛速度快，但在平坦区域和渐变区域会产生分块效应。而四阶PDE模型具有保持平坦区域光滑度的优点，将其用于图像放大会避免分块效应，但却降低了边缘等重要几何结构的清晰度。
    为充分运用四阶PDE模型保持渐变区域光滑度的优点，弥补总变分TV模型存在分块效应的不足，同时也保留了TV模型保持图像中不连续边缘的优点，本文提出了自适应耦合总变分TV和四阶PDE的正则化图像放大模型。根据图像内容合理调整耦合系数，在图像渐变区域和平坦区域主要运用四阶模型进行平滑，消除阶梯效应和分块效应；在图像的突变区域着重运用TV模型进行平滑，保持突变边缘。仿真实验证明，本文算法能够有效提高放大图像的主观视觉质量和客观保真度。

1 自适应耦合TV和四阶PDE的正则化图像放大模型
    TV模型最初用于图像恢复中。设g，u分别表示低分辨率图像和高分辨率图像，根据极大似然原理，图像放大可以归结为如下不带约束的正则化能量方程的极小化问题：
   
    式中：D为图像分辨率退化模型矩阵，刻画了图像获取中的低通滤波和下采样过程；式中第一项为逼近项，表示图像和退化图像的差异；第二项为图像的正则化函数，它依赖于图像，函数R(·)对图像u加以约束，一般取为梯度的Lp(p>0)范数；λ>O为Lagrange乘子，在逼近项和正则化函数之间起平衡作用。
    如果选择图像梯度的L2范数作为正则化函数，则因为拉普拉斯算子具有很强的各向同性扩散特性，造成边缘保持特性较差。总变分TV模型用图像梯度的L1范数代替L2范数，具有很好的边缘保持特性。图像的TV定义为：
   
    式中：Ω是图像区域。于是图像放大问题就转化成为如下无约束极小化问题：
   
    式中：等式右端第一项为图像的总变分范数(TV范数)，它依赖于图像的变分幅度。
    TV模型的优势在于它并不要求图像是连续的，它在放大图像的同时，可以保持图像中的不连续边缘。TV模型的不足在于其稳态解中往往存在分块效应。采用TV模型处理后图像的平坦区域和渐变区域内灰度非常接近或相同，整个图像似乎是由不同亮度的区域组成，且其轮廓显得过分尖锐，有时会产生额外的边缘。
    在式(1)中，若取正则化函数R(u)=f(|▽2u|)时，可得如下最小化能量函数：
   
    此即四阶PDE模型，其中，▽2。表示拉普拉斯算子；f是非负且严格单调递增函数。最小化式(4)相当于找一个最小的|▽2u|，即平滑图像u，同时又保持u与初始u0接近。

    对于灰度渐变的区域，四阶PDE模型式(4)并不会像TV模型那样把图像变为几个灰度值不同的块，而是将它平滑成一个灰度渐变的区域，虽然这和真实图像不一定相同，但它一般不会产生额外的边缘，与TV模型的结果相比，四阶PDE模型克服了TV模型存在的图像分块这一不足，具有保持平坦区域光滑度的优点，但却降低了边缘等重要几何结构的清晰度。
    为充分发挥这两种PDE模型的优点，本文提出自适应耦合TV和四阶PDE的图像放大模型。其基本思想就是根据图像的局部特征，自适应调整这两种正则化模型的权重。在图像渐变区域和平坦区域主要运用四阶PDE进行平滑，消除分块效应；而在图像的突变区域重点用TV模型进行平滑，保持突变边缘。其最小化能量函数为：
   
    式中：λ>0为Lagrange乘子；p∈[0，1]，决定了TV和四阶模型的权值，可根据图像内容自适应调节。在突变区域，要求p等于或接近于0，这样就主要采用二阶TV模型对图像进行平滑；在图像的渐变区域和平坦区域，要求0<<p<1，这样该模型中就包含了四阶模型的特性，克服了TV模型存在的不足。
    式(5)对应的Euler-Lagrange方程为：
   

2 实验结果与分析
    本文实验主要与传统的双线性插值方法、TV模型和四阶PDE模型放大方法进行比较。算法性能由放大图像的峰值信噪比(Peak Signal to Noise Rate，PSNR)及主观视觉效果评价。
    本组实验中，对512×512的不同内容的标准图像，进行4倍率平滑下采样，得到分辨率为128×128的低分辨率图像，然后采用不同的方法放大。实验参数为：λ=0．01，△t=0．001，T=100，k=20，，σ=5。采用不同方法对5幅标准图像放大的PSNR比较见表1。从PS-NR的角度看，本文耦合模型达到了最高的PSNR值。

    图1，图2分别为对Cameraman，Lena图像及其部分细节用TV模型及本文耦合模型放大结果比较图。

    从细节放大图的对比可见，TV模型复原的图像存在严重的分块效应，而本文耦合模型将图像平滑成了一个灰度渐变的区域，消除了分块效应，得到了视觉效果较好的图像。

3 结论
    通过将TV模型和四阶PDE自适应结合，充分运用四阶PDE模型保持渐变区域光滑度的优点弥补总变分TV模型存在分块效应的不足，同时也保留了TV模型保持图像中不连续边缘的优点。实验结果表明了本文模型的良好性能，同时也证明了PDE方法用于图像处理的优越性。进一步的研究包括彩色图像的PDE处理等。