结合纹理合成的多分辨率影像修复方法

引言

$\hspace{1cm}$原则上，使用纹理合成的方法能够对数字影像进行修复，特别是在一些纹理结构比较强的区域，通过纹理合成的方法进行修复可疑获取比较好的影像修复效果，然而如果待修复的区域包含额外的颜色或者是强度梯度信息，则采用纹理合成的方法就不能达到理想的效果了。影像修复的方法可以作为纹理合成方法的补充，影像修复方法一般是通过待修复区域周围像素信息传递对待修复区域进行修复的，与基于纹理合成的方法不同，影像修复的方法能够正确处理影像强度信息，但是对于纹理细节并不能够进行很好的恢复。

修复方法

整个修复方法的处理流程为：

fig 1

$\hspace{1cm}$从Fig2的处理流程我们可以看出整个处理过程为：首先对影像进行分解得到高频和低频的分量，对高频和低频的分量分别进行处理。低频分量主要包含影像的强度信息，包含较少的细节信息，因此对低频的修复着重修复影像强度，而基于PDE1的影像修复方法对于纹理细节比较少的区域能够较好的保留其强度信息，而对于高频分量，将其通过高斯金字塔分解为n+1层，假设每一层为$H_i\,(i=0,...,n)\,.$从第$H_n$层开始采用多分辨率纹理合成方法2对每一层的待修复区域进行修复。将修复后的低频成分和高频成分结合得到修正后的影像。

频率分解

$\hspace{1cm}$处理过程中第一步就是要获取影像$I$分解后得到高频和低频分量。首先通过离散DCT3变换将原始影像变换为一系列的子带，然后我们选取前$k$个子带（前$k$个子带包含了主要信息），然后通过前$k$个子带进行DCT逆变换，通过逆变换后就可以得到低频影像$L_k$。而相应的高频影像则通过原始影像减去低频影像得到：$H_k:=I-L_k\,.$在这个过程中低频组份选取的$k$值确定了低频组份的模糊程度，$k$值越大则低频组份中的细节信息越丰富，$k$值越小则说明低频组份越模糊，实际上$k$值的选取对影像修复效果有比较大的影响。在校正过程中我们希望能够尽量大的去除低频成分中的细节信息只保留强度信息。而我们面临的问题在于如何确定$k$值的问题，对于这个问题文章给出了一个解决方案4。首先获取高频成分后计算高频成分$H_k$的自相关矩阵5$A_k$：$A_k:=DCT^{-1}(DCT(H_k)\cdot DCT(H_k))\,.$如果输入影像不是一个矩形，则非矩形部分通过0值补全，求得$A_k$之后剩下的工作为求取$A_k$的标准差，取$k$值使得$A_k$的标准差小于0.001，则最小的$k$值为选取的值，文章认为此时能够取得比较好的校正效果。

高斯影像金字塔

$\hspace{1cm}$通过上述过程分别得到高频和低频分量之后剩下的步骤为对高频分量进行高斯金字塔分解，实际上高斯金字塔分解是一个很简单的过程：
$$\begin{eqnarray*} && \omega(u,v)=\widehat{\omega}(u)\,\widehat{\omega}(v)\\ && \widehat{\omega}(0)=0.4,\widehat{\omega}(\pm1)=0.25,\widehat{\omega}(\pm1)=0.05 \end{eqnarray*}$$
高斯金字塔6必须要求影像大小满足$(p2^N+1)\times(q2^N+1)$像素个数且（$p\,,q\,,N\in\mathbb N$）在这样大小的影像下可以保证影像高斯金字塔具有$N+1$层。在此情况下我们将影像分解为$n$层且$n\ll N+1\,.$整个过程可以杯描述为：在纹理合成的第$i$层像素信息可以从更高层$(i+1,...,n)$的核中获取。在实际处理过程中进行三层金字塔分解就能获取比较好的效果。

纹理合成

纹理合成的难点有三点7：1）如何定义纹理单元和纹理内容；2）如何重构纹理概率分布；3）如何在二维合成过程中进行线性化。单像素合成：假设$I$是一个通过纹理样本影像合成的影像$I_{smp}\subset I_{real}$,其中$I_{real}$是真实的无限的纹理。假设$p\in I$是一个像素，$w(p)\subset I$是一个以$p$为中心的一个模版，定义$d(w_1,w_2)$为两个块之间的距离测度，假设除$p$以外$w(p)$中其他像素值都是已知的，在基于MRF的纹理合成模型为：
$$\Omega(p)= { w^`\in I_real : d(w^`,w(p))=0}$$
通过模板$w(p)$在整个影像上做匹配，找到最佳匹配点，采用距离测度则为找到一个匹配区域使得距离最小，而距离测度描述为：$d=d_{SSD}*G$，其中$G$为二维高斯核。找到最佳匹配点之后可以通过纹理合成算法对点$p$进行纹理修复。

处理结果

$\hspace{1cm}$从上图结果可以看出文章算法具有比较好的校正效果，整个校正过程有两个参数起重要作用：1.DCT变换后子带个数的选取，子带个数的选取决定了低频组份$L_k$；2.对高频成分进行高斯金字塔分解。实际上通过标准差小于0.001的范围选取的$k$值能够获取比较好的处理结果。这样对于子带数目$k$的选取就可以自动化进行。对高频组份的金字塔分解选取合适的分解层数是一个比较困难的问题，通常在处理中使用两层或三层金字塔。