艾 娜,彭進業(yè),王 珺,王 琳

(1.西北工業(yè)大學 電子信息學院, 陜西 西安 710072；2.西北大學 信息科學與技術學院,陜西 西安 710127)

單幅圖像超分辨率重構(gòu)(Single image super-resolution, SISR)是指利用一幅低分辨率(Low resolution, LR)圖像來重構(gòu)出具有高像素密度并且具有更豐富的細節(jié)信息的高分辨率(High resolution, HR)圖像。傳統(tǒng)的圖像采集系統(tǒng)受硬件設備的限制或者拍攝場景、環(huán)境和天氣等因素的影響,所獲得的圖像分辨率往往比較低，且清晰度較差,參考價值不高,極大地限制了所獲得圖像的應用范圍。圖像超分辨率(Super resolution, SR)作為一種能夠突破成像系統(tǒng)固有分辨率，并且能顯著提高圖像質(zhì)量的方法,在視頻監(jiān)控、醫(yī)學成像和遙感圖像等領域中有著廣泛的應用。

一幅低分辨率圖像zl∈RNl×Ml可以看作是由高分辨率圖像yh∈RNh×Mh經(jīng)過模糊化及下采樣而得到的,即

zl=S↓(h*yh)。

則實現(xiàn)了對zl的超分辨率重構(gòu)。從數(shù)學上來看,圖像超分辨重構(gòu)問題是一個明顯的病態(tài)逆問題,必須利用合理的先驗假設進行正則化?；趫D像具有局部平滑性的先驗假設,圖像超分辨率重構(gòu)的早期研究圍繞插值技術展開,1978年Hou等人[2]提出的樣條插值技術，包括最近鄰插值、雙線性插值和雙三次插值等,由于其簡單易行,至今仍被廣泛使用。但是,插值只是增加了圖像像素數(shù)目,并不能在真正意義上增強圖像的分辨率。隨著插值后圖像中高頻成分的進一步減少,將帶來圖像邊緣模糊化和鋸齒化等效應。為了改善插值的效果,Dai等人[3]提出的沿著圖像邊緣進行插值的方法，以及Zhang等人[4]提出的自適應方向濾波器方法,能夠在插值的同時，在一定程度上保持圖像邊緣的光順和銳利。

基于樣本學習的圖像超分辨率重構(gòu)通過低分辨率/高分辨率(LR/HR)圖像對構(gòu)成的訓練樣本集合建立兩者之間的對應關系[5-8]。文獻[8]通過在事先構(gòu)造的LR圖像塊數(shù)據(jù)集中尋找誤差最小的圖像塊來對LR圖像進行表達,然后在HR圖像塊數(shù)據(jù)集中選取與之相對應的圖像塊來完成HR圖像的重構(gòu)。Yang等人最先將信號的稀疏表示理論應用到基于樣本學習的圖像超分辨率中[9-11],其核心思想是訓練一對LR/HR字典,通過求解LR圖像塊在LR字典中的稀疏表示,對HR字典中的原子(圖像塊)進行線性組合,重構(gòu)出對應的HR圖像塊。Zeyde等[12]對Yang等人的方法做了改進,采用K奇異值分解算法(K-singular value decomposition, K-SVD)和正交匹配追蹤算法(Orthogonal matching pursuit,OMP)完成字典的訓練和稀疏編碼,大大簡化了算法的結(jié)構(gòu)和計算復雜度。文獻[13]提出了一種基于雙重稀疏性字典的SISR方法,其特點是訓練字典的樣本數(shù)據(jù)集取自樣本圖像的小波變換域,因而具有雙重稀疏性的優(yōu)點,即可以在只有少量樣本圖像的情況下,獲得較好的重構(gòu)效果。

然而,通過對有限樣本圖像的學習所得到的字典適用范圍有限。為了提高字典的普適性,必須利用大量的樣本圖像進行訓練,這使得字典的學習效率降低。此外,當用于字典訓練的樣本圖像與待處理LR圖像結(jié)構(gòu)相似度較低時,這種方法并不能完全保證所獲得HR圖像中高分辨率細節(jié)的準確性和可靠性?；趫D像結(jié)構(gòu)自相似性的SR方法則能夠在一定程度上克服上述基于樣本學習方法的問題,這類方法能夠在沒有任何高分辨率訓練樣本的情況下,完成LR圖像的超分辨率重構(gòu)。文獻[14]利用待重構(gòu)LR圖像自身所包含的低頻成分和高頻成分產(chǎn)生兩個對應的碼本,通過在低頻碼本中尋找與插值后的LR圖像最相似的碼元,將其對應的高頻碼元作為附加信息加入插值后的圖像來獲得HR圖像。文獻[15]利用圖像的多尺度結(jié)構(gòu)自相似性,通過對相同尺度和不同尺度下LR圖像中相似圖像塊的學習來完成低分辨率圖像的超分辨率重構(gòu)。Zeyde等人將圖像的多尺度結(jié)構(gòu)自相似性與基于稀疏表示的SR方法相結(jié)合,提出了低分辨率圖像的自舉算法(Bootstrapping method),該算法在沒有任何訓練樣本圖像的情況下,將待處理的LR圖像視作高分辨率樣本,將LR圖像的進一步模糊化下采樣圖像視作低分辨率樣本,構(gòu)建LR/HR樣本數(shù)據(jù)集，訓練一對字典。文獻[16]通過計算樣本圖像塊的均方誤差,對訓練樣本數(shù)據(jù)集進行篩選,大幅減少了訓練字典的原子數(shù),該算法能夠在保持重構(gòu)效果的同時顯著提高算法的效率?；趫D像結(jié)構(gòu)自相似性的SR算法的優(yōu)點是不需要任何樣本圖像,僅通過對輸入LR圖像自身進行學習來完成超分辨率重構(gòu),具有一定的高效性和自適應性,然而，由于LR圖像在形成過程中已經(jīng)丟失了大量高分辨率細節(jié),通過對自身信息的學習所提取出的高頻成分有限,因而重構(gòu)效果有待提高。文獻[17]提出了一種SISR算法,該方法在訓練字典的過程中,首先，對LR訓練樣本圖像采用Zeyde等人提出的自舉算法進行超分辨率重構(gòu),然后，將自舉重構(gòu)輸出圖像與LR和HR訓練樣本圖像求差,并將兩幅差值圖像作為樣本數(shù)據(jù)源訓練一對字典。本文將在文獻[17]的基礎上,進一步對兩幅差值圖像作一級不做下采樣的小波變換,并將4個方向的小波分解系數(shù)作為樣本數(shù)據(jù)源，訓練具有雙重稀疏性的字典對,完成單幅圖像的超分辨率重構(gòu)。

1 基于稀疏表示的SISR算法

1.1 基于稀疏表示的SISR算法框架

(1)

(2)

從式(2)可以看出,假如字典Dl和Dh滿足

Dl=LDh，

(3)

為了解決這一問題,Yang等在文獻[11]中進一步提出通過樣本對集合{Xh,Xl}來訓練緊湊的字典對,即通過求解下列最優(yōu)化問題

s.t. ‖αi‖0≤K0,i=1,…,C。

(4)

Dh=XhA+=XhAT(AAT)-1。

(5)

1.2 雙重稀疏性字典的訓練算法

雙重稀疏性字典[1]定義為

D=ΦB。

(6)

其中，Φ為已知的具有快速實現(xiàn)算法的隱式字典,B為稀疏表示矩陣,可見對字典D的訓練便轉(zhuǎn)化為求解稀疏表示矩陣B的問題。文獻[19]中將Φ具體化為正交小波變換，因此有

(7)

其中，W=ΦTX為樣本數(shù)據(jù)X的小波變換系數(shù)?？梢?訓練B的任務可通過求解下列最優(yōu)化問題來實現(xiàn)，

s.t. |αt|0≤K0,t=1,…,T。

(8)

與式(4)比較可知,只要用小波分解系數(shù)W取代原來的樣本數(shù)據(jù)集X,采用相同的K-SVD算法即可學習得到具有雙重稀疏性的字典B。文獻[13]采用的LR訓練樣本數(shù)據(jù)集,來源于LR圖像經(jīng)過一級平穩(wěn)小波變換后的4個分量圖像:La,Lh,Lv,Ld。為了充分利用近似分量La中所包含的高頻信息,對La施以拉普拉斯變換

(9)

有了LR/HR訓練樣本數(shù)據(jù)集以后,采用K-SVD算法訓練得到一對LR/HR字典{Dl,Dh},利用OMP算法求解LR圖像在Dl下的稀疏表示矩陣A,重構(gòu)出的HR圖像數(shù)據(jù)集合為

(10)

正如文獻[19]中所指出的,與普通的訓練字典相比較,雙重稀疏性字典具有更顯著的高效性和緊湊性,這是由于它的訓練樣本數(shù)據(jù)本身已是稀疏化后的小波變換系數(shù),從而在訓練樣本較少的條件下,便可獲得具有較強普適性的字典。

2 結(jié)合低分辨率圖像自舉和雙重稀疏性字典訓練的SISR算法

2.1 低分辨率圖像自舉算法

由于自然圖像的局部結(jié)構(gòu)在不同區(qū)域常常重復出現(xiàn),其所具有的這種結(jié)構(gòu)自相似性(Structural self-similarities)在相同尺度以及不同尺度下仍然保持不變,即圖像中的圖像塊會在其相同尺度以及不同尺度的圖像中反復多次出現(xiàn),當圖像塊較小時(譬如5×5)這種性質(zhì)尤為突出[15]。這樣一來,以圖像的自相似性作為正則化約束,在沒有任何其他訓練樣本的情況下,仍可以完成低分辨率圖像的超分辨率重構(gòu)。Zeyde等人結(jié)合圖像的結(jié)構(gòu)自相似性,在基于稀疏表示的SISR方法框架下,提出了一種單幅圖像超分辨率重構(gòu)的自舉算法[12],其具體原理如圖1所示。

圖1 Zeyde等人提出的“自舉”算法原理圖Fig.1 The scheme diagram of the bootstrapping algorithm proposed by Zeyde

該自舉算法在沒有任何HR訓練樣本圖像的情況下,將待重構(gòu)的LR圖像z作為HR訓練樣本圖像,將z的進一步模糊化下采樣圖像zl作為LR訓練樣本圖像,針對構(gòu)建的“LR/HR”訓練樣本對,利用K-SVD算法訓練得到一對字典,從而完成對LR圖像z的超分辨率重構(gòu)。實驗證明,自舉算法的重構(gòu)效果優(yōu)于傳統(tǒng)的雙三次插值等方法,并且在許多應用場合下堪比甚至優(yōu)于基于樣本學習的SISR方法[12]。

為了進一步提高SISR算法的重構(gòu)效果,本文提出結(jié)合低分辨率圖像自舉和雙重稀疏性字典訓練的算法模型,下面將對本文的SISR方法的整體流程進行描述。

2.2 結(jié)合低分辨率圖像自舉和雙重稀疏性字典的訓練方法

首先,本文利用如圖1所示的自舉算法對LR訓練樣本圖像yl進行s倍的超分辨率重構(gòu),重構(gòu)輸出圖像記作ym。然后采用式(11)來計算自舉圖像與LR，HR訓練樣本圖像的差，

(11)

結(jié)合文獻[13]提出的雙重稀疏性字典的訓練方法,進一步對el和eh作一級不做下采樣的平穩(wěn)小波變換(Stationary wavelet transform,SWT)，來實現(xiàn)對差值圖像的特征提取,分別得到el和eh的近似、水平、垂直和對角線方向的小波分解系數(shù)Lal，Lhl，Lvl，Ldl和Lah，Lhh，Lvh，Ldh,由此可構(gòu)成4對LR，HR訓練樣本圖像:{Lal，Lah}，{Lhl，Lhh}，{Lvl，Lvh}和{Ldl，Ldh}。

對于水平、垂直和對角線方向的LR，HR訓練樣本圖像對,采用相同的方法生成相應的樣本數(shù)據(jù)集合{Xhl,Xhh}，{Xvl,Xvh}和{Xdl,Xdh},采用同樣的字典訓練方法就可得到水平、垂直和對角線分量的字典對{Dhl,Dhh}，{Dvl,Dvh}和{Ddl,Ddh}。

2.3 圖像重構(gòu)階段

對集合Xal′采用OMP算法求出其在近似分量LR字典Dal下的稀疏表示矩陣Aa′,再利用對應的HR字典Dah重構(gòu)出近似分量圖像，

可以看出,本文提出的SISR方法是對文獻[17]提出方法的改進。通過進一步求取差值圖像eh和el的4個方向的小波分解系數(shù),來構(gòu)建4組LR/HR樣本數(shù)據(jù)集，并分別訓練4對字典。由于訓練字典的數(shù)據(jù)源取自差值圖像的小波變換域,因而具有雙重稀疏性字典的優(yōu)點,同時能夠通過恢復出各個小波分解系數(shù)圖像中更多的細節(jié)信息提高重構(gòu)的質(zhì)量。

3 實驗結(jié)果

在實驗過程中,將本文算法的超分辨率結(jié)果與雙三次插值算法，Zeyde等人提出的SISR方法和文獻[17]提出的SISR算法進行對比。本文采用的HR訓練圖像集如圖2所示,對其進行模糊化下采樣即可生成相應的而LR訓練圖像集,在該過程中所采用的模糊化函數(shù)由一維數(shù)字濾波器

h1=[4 4.5 5 4.5 4]/22

的直積構(gòu)成。本文采用的測試圖像集如圖3所示,對每幅圖像進行模糊化下采樣,然后采用雙三次插值算法放大至原始大小,即可得到LR測試圖像。

圖2 訓練圖像集Fig.2 Training images

在構(gòu)建訓練樣本數(shù)據(jù)集時,首先采用圖1所示的自舉算法對LR訓練樣本圖像進行一次超分辨率重構(gòu),得到與HR訓練樣本圖像大小相同,但分辨率較低的自舉輸出圖像。按照式(11)計算兩個差值圖像,采用Haar小波對兩個差值圖像作一級不做下采樣的SWT變換,然后即可按2.2節(jié)所述方法構(gòu)建訓練樣本數(shù)據(jù)集。實驗中選用的窗口大小為7×7,同時為了避免邊界效應,在對圖像塊數(shù)據(jù)進行采集時,去掉了靠近上下邊界的各5行和靠近左右邊界的各5列。在訓練字典的過程中,設定字典中原子的數(shù)目K=512,稀疏表示向量中非零元素的個數(shù)K0=3,K-SVD算法迭代次數(shù)t=50。

當s=2時,訓練得到的4個方向小波分解系數(shù)的LR和HR字典如圖4所示,圖5是采用幾種不同SR方法進行重構(gòu)所得結(jié)果的對比。

圖3 測試圖像集Fig.3 Testing images

(a) LR字典:從左到右依次為Dhl，Dvl，Ddl和Dal

(b) HR字典:從左到右依次為Dhh，Dvh，Ddh和Dah圖4 訓練得到的4個方向小波分解系數(shù)的LR和HR字典(s=2)Fig.4 Four pairs of LR and HR dictionaries trained using the four pairs of wavelet coefficients(s=2)

其中，M×N為重構(gòu)圖像中像素的個數(shù)。圖3所示的測試圖像集根據(jù)上式計算所得的PSNR值如表1所示。

(a) 測試圖像4實驗結(jié)果

(b) 測試圖像6的實驗結(jié)果

(c) 測試圖像8的實驗結(jié)果圖5 幾種方法的重構(gòu)實驗結(jié)果對比(s=2),從左到右依次為:bicubic插值， Zeyde等人提出的SISR方法，文獻[17]提出的SISR方法，本文提出方法和原始圖像Fig.5 Results comparison of different methods (when s=2), from left to right: bicubic interpolation, the SISR method proposed by Zeyde, SISR method in [17], the method proposed in this paper and the original HR image

測試圖像Bicubic插值Zeyde等人的SISR方法自舉算法文獻[17]的SISR方法本文方法12436852647262636142689782694182209412225122224257227633228065325397127051326806027281827343042087222261062253042303602308255244935264552263131267101267480624715326731026806027268327323072490712750972731042801692805928253411273493272156278026278471930749932143832039132315432340410265527277051276352278228278333

續(xù)表1

測試圖像Bicubic插值Zeyde等人的SISR方法自舉算法文獻[17]的SISR方法本文方法112643562866102857292913162918091226535429188228987729568129630913278969288792287048289639289764142279572497132479482529912535181517588519410919480619851219899516233340245560243757246788247017PSNR平均值245578263880262725267130267541

(b) s=3

從實驗結(jié)果可以看出,當s=2或3時,采用本文提出的SISR方法得到的重構(gòu)圖像的PSNR值均優(yōu)于Zeyde等人提出的SISR算法、自舉算法[1]以及文獻[17]提出的方法,證明了本文方法的正確性和有效性。

4 結(jié) 語

本文提出的SISR方法結(jié)合了Zeyde等人提出的LR圖像自舉算法以及雙重稀疏性字典的訓練方法,是針對文獻[17]提出方法的改進。在訓練階段，采用的訓練樣本數(shù)據(jù)源取自差值圖像的小波變換域,因而具有雙重稀疏性字典的優(yōu)點。實驗證明，本文提出的SISR方法,能夠通過恢復出各個小波系數(shù)圖像中的細節(jié)信息,來獲得更好的重構(gòu)效果。同時,由于本文的SISR方法結(jié)合了LR圖像的自舉算法,在對訓練樣本圖像進行學習的同時,對輸入待處理LR圖像自身所包含的信息也進行了學習,這使得該方法對于不同類型的測試圖像將具有更好的適應性。如何將圖像的卡通、紋理分解嵌入到本文提出的SISR方法中,以及如何對字典訓練迭代算法進行優(yōu)化,是之后值得研究的課題。

[1] ELAD M. Sparse and Redundant Representations: From Theory to Applications in Signal and Image Processing[M].Heidelberg: Springer, 2010:341-343.

[2] HOU H S, ANDREWS H C. Cubic spline for image interpolation and digital filtering[J].IEEE Transaction on Acoustics, Speech and Signal Processing, 1978, 26(6): 508-517.

[3] DAI S, HAN M, XU W, et al. Soft edge smoothness prior for alpha channel super resolution[C]∥IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2007:1-8.

[4] ZHANG L, WU X L. An edge-guided image interpolation algorithm via directional filtering and data fusion[J].IEEE Transaction on Image Processing, 2006, 15(8):2226-2238.

[5] FREEMAN W T, PASZTOR E C, CARMICHAEL O T. Learning low-level vision[J].International Journal of Computer Vision, 2000, 40(1):25-47.

[6] FREEMAN W T, JONES T R, PASZTOR E C. Example-based super-resolution[J].IEEE Computer Graphics and Applications, 2002, 22(2):56-65.

[7] WANG Q, TANG X, SHUM H. Patch based blind image super resolution[C]∥Tenth IEEE International Conference on Computer Vision. IEEE, 2005:709-716.

[8] CHANG H, YEUNG D, XIONG Y M. Super-resolution through neighbor embedding[C]∥IEEE Conference on Computer Vision and Pattern Recognition .IEEE,2004:275-282.

[9] YANG J C, WANG Z W, LIN Z, et al. Coupled dictionary learning for image super-resolution[J].IEEE Transactions on Image Processing, 2012, 21(8):3467-3478.

[10] YANG J C, WRIGHT J, HUANG T, et al. Image super-resolution as sparse representation of raw image patches[C]∥IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2008, 1-8.

[11] YANG J C, WRIGHT J, HUANG T, et al. Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing, 2010, 19(11):2861-2873.

[12] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse representations[C]∥International Conference on Curves and Surfaces.Springer-Verlag, 2010:711-730.

[13] AI N, PENG J Y, ZHU X, et al. SISR via trained double sparsity dictionaries[J].Multimedia Tools and Applications, 2015, 74(6): 1997-2007.

[14] SUETAKE N, SAKANO M, UCHINO E. Image super-resolution based on local self-similarity[J].Optical Review, 2008, 15(1): 26-30.

[15] GLASNER D, BAGON S, IRANI M. Super-resolution from a single image[C]∥International Conference on Computer Vision. IEEE,2009:349-356.

[16] ZHU Z L, GUO F D, YU H, et al. Fast single image super-resolution via self-example learning and sparse representation[J].IEEE Transaction on Multimedia, 2014, 16(8):2178-2190.

[17] AI N, PENG J Y, ZHU X, et al. Single image super-resolution by combining self-learning and example-based learning methods[J].Multimedia Tools and Applications, 2016, 75(11): 6647-6662.

[18] AHARON M, ELAD M, BRUCKSTEIN A M. The K-SVD: An algorithm for designing of over-complete dictionaries for sparse representation[J].IEEE Transaction on Signal Processing, 2006, 54(11): 4311-4322.

[19] OPHIR B, LUSTIG M, ELAD M. Multi-scale dictionary learning using wavelets[J].IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5):1014-1024.