劉亞男，彭仁勇，王 琳

(中國核動力研究設(shè)計院，四川 成都 610213)

0 引 言

超分辨率圖像重建是利用數(shù)字信號處理技術(shù)，將一幅或者多幅低分辨率(Low Resolution, LR)圖像重建得到高分辨率(High Resolution, HR)圖像的技術(shù)[1]。該技術(shù)在不改變當(dāng)前成像硬件設(shè)施的前提下，通過對圖像信號進行后期處理來提高圖像質(zhì)量，大大降低了成本，具有廣闊的應(yīng)用前景。在醫(yī)學(xué)、視頻監(jiān)控、衛(wèi)星圖像、軍事偵查、在線故障檢測等領(lǐng)域具有重要的應(yīng)用價值。但是在大多數(shù)情況下，人們只能獲取一幅低分辨率圖像，本文所研究的就是利用單幅圖像進行重建。

目前超分辨率圖像重建的方法主要分為3類[2-3]：基于插值的方法、基于學(xué)習(xí)的方法和基于重建的方法?；诓逯档姆椒ú僮骱唵吻疫\算速度較快，但是重建效果較差，常用作圖像的預(yù)處理?；趯W(xué)習(xí)的方法也是近年來研究的熱點，但該方法需要離線方式下對圖像訓(xùn)練樣本進行學(xué)習(xí)，該過程比較耗時，除此之外，重建結(jié)果的好壞很大程度上也依賴于輸入圖像的信息是否在訓(xùn)練樣本中。基于重建的方法是在建立圖像退化模型的基礎(chǔ)上進行建模計算，可以在短時間內(nèi)重建得到較好的高分辨率圖像。本文主要研究基于重建方法中最有效的基于正則化的重建方法。

在重建之前，先分析相關(guān)原理和模型，了解HR圖像退化成LR圖像的過程，才能對其進行逆操作，即圖像重建。Elad[4]建立了HR和LR圖像之間的退化模型，簡化后為Y=DHX+n。其中D是下采樣(down sampling)因子，H是模糊(blur)因子,n是噪聲(noise)，X是高分辨率圖像，Y是低分辨率圖像。超分辨率圖像重建就是對上式進行反運算，將含有模糊和噪聲的LR圖像放大一定的倍數(shù)，同時在放大過程中對不確定或者不精確的像素點進行填充，使圖像具有較豐富的細節(jié)[2]。但也因為不確定因素的影響，使得該逆求解是一病態(tài)逆問題，對于該問題，Tikhonov[5]首先使用正則化進行求解，即添加已有的附加信息作為正則化項，進行約束求解。全變分(Total Variation, TV)正則化項可以在抑制重建圖像噪聲的同時，銳化邊緣，但由于TV是基于圖像局部信息重建的算子，因此應(yīng)用其重建出的圖像容易出現(xiàn)階梯效應(yīng)。和整數(shù)階正則化項TV不同的是，分數(shù)階全變分(Fractional Order Total Variation, FOTV)在某個點附近的導(dǎo)數(shù)是不確定的，因此FOTV的本質(zhì)是非局部的，它的階次是1到2之間的分數(shù)，選擇合適的階次可以在保護圖像高頻信息的同時，非線性地保留圖像的低頻信息[6-7]。

基于正則化方法的超分辨率圖像重建有2個關(guān)鍵問題[6,8]，其一是正則化項的設(shè)計，其二是對優(yōu)化函數(shù)的求解。為了重建得到邊緣清晰、紋理細節(jié)豐富的高分辨率圖像，本文采用TV和FOTV雙正則化項約束解空間，并且根據(jù)圖像的特征自適應(yīng)地選擇FOTV的階次，結(jié)合TV和自適應(yīng)FOTV的優(yōu)點，提高圖像的重建質(zhì)量。采用交替方向乘子算法(ADMM)將優(yōu)化函數(shù)劃分為多個子問題求解，利用TV和FOTV算子作為循環(huán)矩陣，通過傅里葉變換將其對角化，降低求解的復(fù)雜度，重建得到高分辨率圖像。

1 優(yōu)化函數(shù)構(gòu)造

1.1 TV正則化項

全變分是超分辨率圖像重建中常用的正則化算子，因為它可以保持圖像的邊緣信息。假設(shè)X為單幅圖像，可表示為[9]：

ΥTV(X)=‖X‖1

(1)

對于二維圖像的像素點，用矩陣差分表示為：

(2)

其中，i、j表示像素點的位置。

全變分還可以表示為：

(3)

其中，DxX、DyX為圖像X在2個方向的梯度分量。

根據(jù)前述分析的退化模型，將全變分應(yīng)用到超分辨率圖像重建問題中，可以表示為：

(4)

全變分算子作為先驗知識進行約束，使重建圖像有較高的精度，具有各項異性的平滑作用，梯度計算可以較好地保護圖像的邊緣信息。并且與不含噪圖像的TV相比，含噪圖像的TV要大很多。因此，通過限制TV的值就可以限制圖像中的噪聲[6]。但是，全變分算子對灰度值是分段常數(shù)的圖像的處理效果較好，其在平滑區(qū)域的處理效果相對較差，容易出現(xiàn)階梯效應(yīng)，并且它在去除噪聲的過程中，一些細節(jié)信息容易被過濾掉，降低重建圖像的質(zhì)量。

1.2 FOTV正則化項

為了彌補全變分的缺陷，許多高階全變分算子被提出，但高階項的使用容易產(chǎn)生斑點狀噪聲[10]。因此，作為全變分和高階全變分算子性能折中的分數(shù)階全變分自提出就備受青睞。分數(shù)階全變分用于圖像處理時，可以提高圖像的高頻信息，也就是邊緣和紋理細節(jié)部分，同時保留低頻信息，也就是圖像灰度值變化較小的區(qū)域。

通過分數(shù)階微分構(gòu)造FOTV算子，分數(shù)階全變分同樣由2個方向的分數(shù)階微分構(gòu)成。本文根據(jù)Grümwald-Letnikov(G-L)中的定義[11]構(gòu)造分數(shù)階微分。分數(shù)階微分定義為[12]：

(5)

(6)

其中Γ為伽馬函數(shù)，定義為：

(7)

(8)

(9)

(10)

因此分數(shù)階全變分可以表示為[7]：

(11)

其中，v取值1

分數(shù)階微分可以看作是整數(shù)階微分的推廣，本文從頻域的角度繪出分數(shù)階微分的幅度隨頻率變化的曲線如圖1所示。從圖1可以看出，不同階次的分數(shù)階微分算子都可以加強信號，并且隨著頻率增大，呈非線性地增長。對于高頻信號來說，分數(shù)階的階次選擇得越大，信號的增強作用越大，但是對于低頻信號來說，較小的分數(shù)階階次，可以更好地保護信號。根據(jù)上述思想構(gòu)造FOTV，選擇合適的分數(shù)階階次，可以在加強高頻信號的同時，非線性地保留低頻信號，更好地重建出圖像的紋理細節(jié)信息[6]。

圖1 分數(shù)階微分的幅頻特性曲線

1.3 FOTV階次自適應(yīng)選擇

在選擇分數(shù)階全變分階次之前，要首先分析結(jié)構(gòu)張量，構(gòu)造紋理檢測函數(shù)，再分析圖像不同區(qū)域的紋理和平滑程度，從而根據(jù)圖像的紋理和平滑程度，自適應(yīng)地選擇FOTV的階次，對高頻紋理和邊緣信息選擇較高的階次，對低頻的平滑信息選擇較低的階次。

假設(shè)f是輸入的圖像，即需要進行紋理提取的圖像。原始的結(jié)構(gòu)張量的定義是[13]：

(12)

其中Gρ是標(biāo)準(zhǔn)差為ρ的高斯核，可以降低噪聲對求導(dǎo)運算的影響。f的下標(biāo)表示的是對f進行水平或垂直方向的偏導(dǎo)。

在傳統(tǒng)結(jié)構(gòu)張量思想的基礎(chǔ)上，構(gòu)造基于圖像一階和二階微分的向量u=(u1,u2,u3,u4,u5,u6)，向量u包含了不同方向的紋理信息，具體定義為[14]：

(13)

因此，定義紋理檢測函數(shù)為[14]：

(14)

其中k是對比因子，且為常數(shù)，用來調(diào)整圖像紋理和平滑的對比程度。Λ(x,y)是公式(15)幾何矩陣Λ的最大特征值。

(15)

對于公式(14)所示的紋理檢測函數(shù)，在圖像的平滑區(qū)域，圖像的一階二階微分接近于0，即u的元素接近于0，從而Λ(x,y)接近于0，紋理檢測函數(shù)g(x,y)接近于1。在圖像的紋理區(qū)域，u至少有1個元素的值比較大，從而導(dǎo)致Λ(x,y)無窮大，紋理檢測函數(shù)g(x,y)接近于0。圖2是利用紋理檢測函數(shù)對圖像的檢測結(jié)果，可以看出，利用紋理檢測函數(shù)可以準(zhǔn)確清楚地衡量圖像特征。

圖2 采用紋理檢測函數(shù)的紋理效果圖

因此根據(jù)紋理檢測函數(shù)g(x,y)選擇圖像不同區(qū)域的分數(shù)階全變分的階次1

v(x,y)=1+δ(1-g(x,y))

(16)

其中δ是常數(shù)。但是對一幅M×N大小的圖像進行FOTV階次的自適應(yīng)選擇，就會有M×N個不同的階次，導(dǎo)致重建的運算量很大。因此為了減少重建的運算量，對M×N個FOTV的階次進行分段，降低運算量。

1.4 優(yōu)化函數(shù)

前文所述優(yōu)化函數(shù)為：

Y=DHX

(17)

本文采用正則化方法求解，并選擇全變分和自適應(yīng)全變分作為正則化項約束解空間，使重建的圖像邊緣清晰并具有豐富的紋理細節(jié)信息，則優(yōu)化函數(shù)為：

(18)

其中，第1項是保真項，衡量重建結(jié)果的誤差，表示重建結(jié)果圖像和原始圖像的擬合程度。第2項和第3項是正則化項，μ和θ是正則化參數(shù)，用來調(diào)節(jié)各項所占比重。v是自適應(yīng)選擇的分數(shù)階階次，可根據(jù)式(16)得到。根據(jù)式(18)可重建得到高分辨率圖像。

2 優(yōu)化算法

對圖像重建的優(yōu)化函數(shù)求解時，由于超分辨率圖像重建的優(yōu)化函數(shù)中包括下采樣因子，導(dǎo)致在使用交替方向乘子算法(ADMM)求解的過程中，子問題求解時快速傅里葉變換無法使用，而采用其他算法(如共軛梯度法)又會使運算時間加長，實時性降低。針對這一問題，本文首先利用近端映射的理論，將優(yōu)化函數(shù)分解為2步進行求解。從而第2步中不含有下采樣因子，就轉(zhuǎn)化為了去噪的問題[6]，即：

(19)

在實際進行迭代運算時，應(yīng)對Y更新，更新方式為：

Y(n+1)=Y(n)+(Y-DHX(n+1))

(20)

從而在對公式(19)中的第2步采用ADMM方法時，其子問題可以通過快速傅里葉變換進行求解，降低了計算的復(fù)雜程度[6]。

LA1(X,Z,Q,λ1,λ2)=μ‖Z‖1+λ1(X-Z)+

(21)

其中λ1、λ2是增廣拉格朗日系數(shù)矩陣。

公式(21)中包含3個變量，求解其中一個時，將其他2個變量固定，化為如下3個子問題進行求解。

(22)

增廣拉格朗日系數(shù)矩陣更新如下：

(23)

(24)

子問題1根據(jù)公式(22)得求解Z(n+1)的能量函數(shù)并轉(zhuǎn)化為：

(25)

采用迭代收縮閾值(IST)[15]進行求解,即：

Z(n+1)=shrink(

(26)

子問題2與子問題1處理方式相同，即：

(27)

子問題3根據(jù)公式(22)得求解X(n+1)的能量函數(shù)并轉(zhuǎn)化為：

(28)

在X處對公式(28)進行求導(dǎo)，并令導(dǎo)數(shù)為0，推導(dǎo)得：

(29)

圖3 算法總流程圖

算法總流程如圖3所示。輸入一幅低分辨率圖像，首先對圖3算法中的參數(shù)進行初始化，利用1.3節(jié)的紋理檢測函數(shù)自適應(yīng)地確定各像素點的階次。其次利用近端映射將優(yōu)化函數(shù)轉(zhuǎn)化為2步求解的方式，即式(19)，采用ADMM算法將式(19)的第2步劃分為3個子問題(Z,Q,X)，并按照上述分析分別進行優(yōu)化求解，最終求得X。更新參數(shù)并進行迭代，直到滿足迭代終止條件，輸出重建的高分辨率圖像X。

3 實驗結(jié)果和分析

3.1 不同圖像的2倍放大重建效果

在選擇測試圖時，考慮到圖像的紋理和平滑程度，本文選擇4幅256×256像素的圖像，分別為Fingerprint、Pentagon、Lena、Girl。Pentagon和Fingerprint圖像整體來看，紋理細節(jié)信息較多。Lena作為經(jīng)典的圖像測試圖，其包含了豐富的紋理信息和平滑信息，Girl圖像雖紋理平滑兼具，但是相比之下平滑信息較多一些。將選擇的測試圖按照前文所述的退化模型進行降質(zhì)，模擬生成作為輸入的LR圖像。對這4幅圖分別進行2:1下采樣，加高斯模糊核，得到低分辨率圖像，然后作為輸入再進行對應(yīng)的2倍放大重建。其中相關(guān)參數(shù)選擇：迭代閾值tol=10-4。分別用雙線性插值方法、Tikhonov方法[5]、基于學(xué)習(xí)方法中具有代表性的Yang稀疏表示方法(ScSR)[17]、基于全變分的2步迭代方法(TwIST+TV)[18]和本文方法對圖像進行重建，并根據(jù)重建圖像的峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)評價重建質(zhì)量。PSNR值越大，表示重建效果越好，SSIM值越大，表示重建圖像和原始圖像越相似，其最大值是1。

從表1、表2可以看出，在2倍放大時，本文方法相比于其他幾種方法，在PSNR值和SSIM值上有一定的提升，改善了圖像的重建質(zhì)量。尤其是Fingerprint圖像，重建結(jié)果較其他方法改善較大。主要是因為Fingerprint圖像的平滑和紋理特征較明顯且容易檢測，本文方法自適應(yīng)地選擇了合適的分數(shù)階階次，保護低頻信號的同時非線性地放大了高頻信號，改善了圖像重建質(zhì)量。

表1 2倍放大重建時PSNR值對比 單位：dB

表2 2倍放大重建時SSIM值對比

圖像雙線性插值TikhonovScSRTwIST+TV本文方法Fingerprint0.5230.7010.7820.9660.993Pentagon0.4440.6070.6330.7640.859Lena0.6620.7720.7860.8770.916Girl0.7330.8310.8450.9100.937

3.2 不同放大倍數(shù)的圖像重建效果

選擇256×256像素Fingerprint圖像，并進行2:1、3:1、4:1、5:1下采樣，加高斯模糊核，得到低分辨率圖像，然后作為輸入再進行對應(yīng)的2倍、3倍、4倍、5倍放大重建，對結(jié)果進行比較。

從表3、表4可以看出，隨著放大倍數(shù)增加，各種方法的重建質(zhì)量都在變差，原因是正則化方法是利用自身現(xiàn)有較少的信息重建估計未知的像素點，而輸入的低分辨率圖的本身信息又是有限的。因此隨著放大倍數(shù)增加，重建質(zhì)量變差。但是從PSNR和SSIM值來看，本文方法重建效果依然優(yōu)于其他幾種方法。

表3 Fingerprint圖像不同放大倍數(shù)重建時PSNR值對比 單位：dB

表4 Fingerprint圖像不同放大倍數(shù)重建時SSIM值對比

倍數(shù)雙線性插值TikhonovScSRTwIST+TV本文方法20.5230.7010.7820.9660.99330.4350.4840.7090.9020.94440.3420.3420.6290.7370.78550.2890.3320.5060.5650.606

3.3 重建效果主觀對比

對3.1節(jié)中Pentagon圖像2倍放大重建的結(jié)果進行觀察對比。

從圖4～圖6的重建結(jié)果可以看出，雙線性插值、Tikhonov和ScSR重建圖像的效果較差，和原圖誤差較大，TwIST+TV和本文方法都重建出了大樓圖像的細節(jié)信息，但是從圖5的誤差圖和圖6細節(jié)圖可以看出，在大樓樓體部分，本文方法重建圖像更真實，和原圖的誤差明顯最小，重建質(zhì)量最好。

圖4 Pentagon圖像2倍放大時不同方法重建效果對比

圖6 Pentagon圖像2倍放大時不同方法重建細節(jié)對比

4 結(jié)束語

本文采用正則化的方法對單幅圖像進行重建，添加TV和自適應(yīng)FOTV正則化項約束解空間，重建得到高分辨率圖像。與普通FOTV不同的是，自適應(yīng)FOTV利用紋理檢測函數(shù)檢測圖像的平滑和紋理程度，根據(jù)圖像不同區(qū)域的不同特征，自適應(yīng)地選擇分數(shù)階的階次，在保護低頻信號的同時，非線性地放大高頻信號，改善了圖像重建質(zhì)量。利用近端映射將優(yōu)化函數(shù)分解為2步，并用ADMM方法將其轉(zhuǎn)化為子問題進行求解，降低了運算的復(fù)雜程度。實驗結(jié)果表明，相比于其他幾種方法，本文方法重建圖像的紋理細節(jié)信息豐富，特別是對灰度值變化不大的區(qū)域的重建效果較好，具有一定的實用性。