李 欣，崔子冠，陳 杰，朱秀昌

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

基于局部回歸和自相似性的圖像超分辨率重建

李 欣，崔子冠，陳 杰，朱秀昌

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

近年來，基于樣本的圖像超分辨率重建逐漸成為研究熱點(diǎn)，該算法一般利用外部訓(xùn)練樣本，測(cè)試圖像與訓(xùn)練樣本的相似度在一定程度上影響著重建結(jié)果。針對(duì)此類問題，提出一種基于局部回歸和自相似性的圖像超分辨率重建算法。應(yīng)用不同尺度圖像間的自相似特性，對(duì)圖像塊建立一階回歸模型完成重建的算法，充分利用圖像自身信息，并用稀疏表示的方法替代遍歷搜索自相似塊的方法，可以在自相似塊不足的情況下保證重建質(zhì)量。實(shí)驗(yàn)結(jié)果表明，該算法的重建質(zhì)量較高，可以一定程度減少外部訓(xùn)練樣本帶來的虛假高頻問題，且在重建質(zhì)量與重建時(shí)間上有著較好的折中。

超分辨率；自相似性；局部回歸；字典學(xué)習(xí)；稀疏表示

0 引 言

圖像超分辨率(Super Resolution，SR)重建技術(shù)旨在從一個(gè)或多個(gè)低分辨率(Low Resolution，LR)輸入圖像中建立高分辨率(High Resolution，HR)圖像，文中側(cè)重于單幅圖像超分辨率重建，即輸入僅有一幅低分辨率圖像。由于在從高分辨率到低分辨率的降質(zhì)過程中有大量信息丟失，這是一個(gè)典型的病態(tài)問題，為了得到準(zhǔn)確的唯一解，超分辨率重建需要輔助一些統(tǒng)計(jì)或結(jié)構(gòu)先驗(yàn)[1-3]。

傳統(tǒng)的多幀圖像超分辨率重建如果得到的低分辨率圖像具有亞像素平移(Subpixel Shifts)，重建時(shí)，一個(gè)高分辨率圖像塊就可以由多個(gè)相似又不完全相同的圖像塊組合而成。單圖像超分辨率重建時(shí)，由于不具有這樣的條件，常常利用機(jī)器學(xué)習(xí)的方法，借助外部圖像訓(xùn)練集，找到高、低圖像塊間的聯(lián)系，估計(jì)出圖像塊的高頻信息[4-6]。一些研究[2,7-8]指出，當(dāng)輸入的LR圖像與訓(xùn)練圖像不匹配時(shí)，可能產(chǎn)生錯(cuò)誤的高頻信息。同時(shí)，一些研究[9-12]發(fā)現(xiàn)，自然圖像中包含重復(fù)的視覺內(nèi)容，即局部圖像塊會(huì)多次重復(fù)出現(xiàn)在跨尺度圖像的不同位置，這種局部圖像尺度不變性稱為自然圖像的自相似性(self-similarity)，這些自相似的圖像塊，可以看成是多幀圖像超分辨率重建時(shí)那些具有亞像素平移的圖像塊，對(duì)這些圖像塊進(jìn)行組合可以完成超分辨率重建。

在之前的研究中，筆者利用圖像對(duì)應(yīng)位(in-place)相似性[13]建立了一種局部回歸模型，文中在此基礎(chǔ)上提出一種基于局部回歸和自相似性的單圖像超分辨率重建方法，采用小尺度放大保證準(zhǔn)確提取相似塊的準(zhǔn)確性，并采用PCA完成字典訓(xùn)練，保證算法的實(shí)用性。

1 基于局部回歸和自相似性的圖像超分辨率重建

1.1 基于尺度不變性的對(duì)應(yīng)位樣本匹配

1.2 基于非局部自相似的加權(quán)一階回歸模型

(1)

xl≈u+

(2)

由式(2)可見，在局部一階回歸模型中無需直接得到映射函數(shù)，而只需要其梯度函數(shù)f。文中用主成分分析(PrincipalComponentAnalysis，PCA)對(duì)高分辨率及其低頻帶圖像塊對(duì)進(jìn)行學(xué)習(xí)得到過完備字典，用稀疏表示的方法快速準(zhǔn)確地估計(jì)出映射梯度函數(shù)f。

xl≈xl-1+

(3)

根據(jù)上述討論，每次放大的尺度因子不能太大，通常s<2，且不為整數(shù)，這樣下采樣和上采樣過程中存在亞像素采樣或插值。正因?yàn)榇?，本中算法可以將多幀圖像超分辨率重建時(shí)利用亞像素平移特性的優(yōu)點(diǎn)結(jié)合到單圖像超分辨率重建中，但這也造成對(duì)應(yīng)位樣本很難準(zhǔn)確定位。考慮到自然圖像具有豐富的非局部冗余特性，即空間位置并不直接相鄰的一些圖像塊也可能具有非常相似的顯著結(jié)構(gòu)，文中算法為yl找到多個(gè)非局部自相似塊的對(duì)應(yīng)位樣本對(duì)，對(duì)多個(gè)對(duì)應(yīng)位樣本塊對(duì)分別重建的結(jié)果再加權(quán)平均。

(4)

其中，權(quán)值wj滿足：

(5)

用最小二乘估計(jì)有：

(6)

由此，可以得到基于非局部自相似的加權(quán)一階回歸模型重建出的高分辨率圖像塊xl。

第l次放大的重建方案如圖1所示。

圖1 第l次放大的重建方案示意圖

1.3 字典學(xué)習(xí)

1.3.1 稀疏表示

Yang等[5-6]提出的基于稀疏表示的單圖像超分辨率方法，由高分辨率自然圖像建立一個(gè)過完備字典Φh∈RM×K，其中K列表示K個(gè)大小為M的“原子”，待重建的HR圖像X中的任意塊x∈RM可以由Φh的原子的稀疏線性組合表示。

x≈Φhα,‖α‖0?K,α∈RK

(7)

觀察到的LR圖像中的塊y可以用相同的稀疏表示系數(shù)向量α在相應(yīng)的LR字典Φl上的線性組合表示，這可以由聯(lián)合訓(xùn)練HR塊和相應(yīng)的LR塊得到字典Φh和Φl來保證。

對(duì)于給定的輸入LR圖像塊y，可以由下式求出稀疏解向量。

(8)

其中，F(xiàn)是一個(gè)特征提取算子。

將稀疏表示思想套入到文中算法，則低頻帶圖像塊yl-1對(duì)應(yīng)式(8)中的LR圖像塊，式(8)改寫為：

(9)

結(jié)合上文分析，選擇一階梯度為圖像特征，故F是由一階梯度濾波器組組成，包括：

(10)

F是將上述濾波器組應(yīng)用到圖像上得到的響應(yīng)組合。結(jié)合文中算法及稀疏表示思想，式(7)改寫為：

(11)

根據(jù)文中算法的思想，用于訓(xùn)練字典的樣本是直接從輸入圖像或其上采樣圖像及其對(duì)應(yīng)的低頻帶圖像中采集的對(duì)應(yīng)位樣本圖像塊對(duì)，因而式(11)的稀疏表示實(shí)際上也就是用圖像不同尺度上的自相似塊來表征待重建圖像塊(特征)。

1.3.2 字典訓(xùn)練

(12)

其中，Λk表示Pk在Φk上的稀疏表示系數(shù)矩陣；參數(shù)λ表示平衡系數(shù)的稀疏性及其對(duì)原始信號(hào)的逼近能力。

2 實(shí) 驗(yàn)

通過下列實(shí)驗(yàn)來驗(yàn)證文中算法的有效性。實(shí)驗(yàn)中參數(shù)設(shè)置：圖像塊大小5×5，放大倍數(shù)為3，尺度因子s=1.25；輸入圖像的低頻帶圖像通過一個(gè)標(biāo)準(zhǔn)差為0.4的低通濾波器獲得；非局部自相似塊的個(gè)數(shù)J=10；字典學(xué)習(xí)階段，每次隨機(jī)選取的對(duì)應(yīng)位樣本圖像塊對(duì)個(gè)數(shù)固定為Q=10 000，分類數(shù)設(shè)為K=50。

將文中算法與Yang[5]提出的基于稀疏表示的超分辨重建算法、Freedman[8]提出的基于局部自相似樣本的圖像超分辨重建算法、Glasner[7]提出的基于圖像塊尺度不變的圖像超分辨率重建算法進(jìn)行比較，如表1所示。

表1 各超分辨率重建方法PSNR對(duì)比(×3)

表1給出了文中算法與相關(guān)算法超分辨率圖像重建的PSNR值。實(shí)驗(yàn)結(jié)果顯示，文中算法取得了最好的重建質(zhì)量。Yang的基于稀疏表示的超分辨率重建算法前面章節(jié)已有討論，重建圖像的質(zhì)量較好，對(duì)于一些自相似性不是非常明顯的圖像(如Koala、Girl、Zebra)，其重建結(jié)果甚至高于Freedman的算法；Freedman的算法屬于快速算法，對(duì)于重建模型中的部分先驗(yàn)是根據(jù)經(jīng)驗(yàn)設(shè)計(jì)的，故該算法的圖像重建質(zhì)量一般要低于Glasner和文中算法；與文中算法重建質(zhì)量最為接近的是Glasner算法，該算法通過對(duì)輸入的低尺度圖像再次下采樣，從低尺度圖像及多層下采樣圖像中找到足夠多的自相似塊來完成重建，對(duì)于少數(shù)圖像的重建效果與文中算法相當(dāng)或略高。

圖2、圖3分別是測(cè)試圖像放大3倍的結(jié)果，其主觀效果與表1的客觀參數(shù)結(jié)果相當(dāng)，而且文中算法的主觀重建質(zhì)量也是最優(yōu)的。Koala屬于毛發(fā)細(xì)節(jié)豐富的圖像，除了雙立方插值，其余四種算法都是基于圖像塊處理的，對(duì)重疊圖像塊分別重建平均，所以最終重建出來的圖像中毛發(fā)都無法如原始圖像那樣細(xì)，會(huì)顯得比較模糊，相比較而言，文中算法對(duì)于耳朵部分毛發(fā)的重建效果與原始高分辨率圖像最相近。Parthenon屬于內(nèi)部圖像塊自相似性較強(qiáng)的圖像，因而基于圖像塊自相似的算法重建質(zhì)量要優(yōu)于基于稀疏表示的算法，F(xiàn)reedman算法出現(xiàn)了一些錯(cuò)誤的重建細(xì)節(jié)，Glasner和文中算法重建結(jié)果比Freedman的錯(cuò)誤細(xì)節(jié)要少得多，文中算法與原始高分辨率圖像相比細(xì)節(jié)重建的準(zhǔn)確度更高。

圖2 各種算法對(duì)Koala圖像的超分辨率重建結(jié)果

圖3 各種算法對(duì)Parthenon圖像的超分辨率重建結(jié)果

對(duì)于運(yùn)行時(shí)間，F(xiàn)reedman的算法為了減少運(yùn)算量，未對(duì)整幅圖像的所有自相似塊進(jìn)行搜索，而是根據(jù)經(jīng)驗(yàn)設(shè)計(jì)出重建模型中的濾波器或映射函數(shù)，估計(jì)重建速度較快，一般一幅256×256圖像三倍放大的重建時(shí)間約在幾秒內(nèi)就可完成；Glasner算法重建除了多層迭代放大，還要多輸入圖像向下采樣得到更低尺度圖像來搜索足夠多的自相似塊，運(yùn)算時(shí)間約在5～6min；文中算法利用分類字典稀疏表示，不需要逐個(gè)搜索自相似塊，但每次迭代放大時(shí)都需要進(jìn)行字典訓(xùn)練，故實(shí)驗(yàn)中選擇了圖像塊分類+PCA訓(xùn)練的處理縮短了運(yùn)算時(shí)間，一般每次需要20s左右，對(duì)于三倍放大需要約2～3min。

3 結(jié)束語

局部圖像塊會(huì)多次重復(fù)出現(xiàn)在相同的尺度圖像和不同的尺度圖像中這種圖像塊的尺度不變性，為超分辨率重建提供了很好的方向。利用圖像自身圖像塊的自相似性進(jìn)行圖像重建，可以不借助外部訓(xùn)練圖像樣本，完成圖像超分辨率重建。文中提出一種利用圖像的自相似性對(duì)圖像塊建立一階回歸模型完成重建的算法。實(shí)驗(yàn)結(jié)果表明，該算法的重建質(zhì)量較高，可以一定程度減少外部訓(xùn)練樣本帶來的虛假高頻問題，而且在重建質(zhì)量與重建時(shí)間上都有較好的折中。

[1]DaiS,HanM,XuW,etal.Softcuts:asoftedgesmoothnesspriorforcolorimagesuper-resolution[J].IEEETransactionsonImageProcessing,2009,18(5):969-981.

[2]FattalR.Imageupsamplingviaimposededgestatistics[J].ACMTransactionsonGraphics,2007,26(3):95-102.

[3]SunJ,XuZ,ShumHY.Gradientprofileprioranditsapplicationsinimagesuper-resolutionandenhancement[J].IEEETransactionsonImageProcessing,2011,20(6):1529-1542.

[4]WangQ,TangX,ShumH.Patchbasedblindimagesuperresolution[C]//ProcoftenthIEEEinternationalconferenceoncomputervision.[s.l.]:IEEE,2005:709-716.

[5]YangJ,WrightJ,HuangTS,etal.Imagesuper-resolutionviasparserepresentation[J].IEEETransactionsonImageProcessing,2010,19(11):2861-2873.

[6]YangJ,WangZ,LinZ,etal.Coupleddictionarytrainingforimagesuper-resolution[J].IEEETransactionsonImageProcessing,2012,21(8):3467-3478.

[7]GlasnerD,BagonS,IraniM.Super-resolutionfromasingleimage[C]//Procof12thinternationalconferenceoncomputervision.[s.l.]:[s.n.],2009:349-356.

[8]FreedmanG,FattalR.Imageandvideoupscalingfromlocalself-examples[J].ACMTransactionsonGraphics,2011,30(2):474-484.

[9]YangCY,HuangJB,YangMH.Exploitingself-similaritiesforsingleframesuper-resolution[C]//ProcofACCV.Berlin:Springer,2010:497-510.

[10]YangJ,LinZ,CohenS.Fastimagesuper-resolutionbasedonin-placeexampleregression[C]//ProcofIEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2013:1059-1066.

[11]HuJ.Single-imagesuperresolutionbasedonlocalregressionandnonlocalself-similarity[J].JournalofElectronicImaging,2014,23(3):6-8.

[12]PanL,YanW,ZhengH.Super-resolutionfromasingleimagebasedonlocalself-similarity[J].MultimediaToolsandApplications,2015,25(8):1-21.

[13] 李 欣，崔子冠，孫林慧，等.基于局部回歸模型的圖像超分辨率重建[J].計(jì)算機(jī)應(yīng)用，2016，36(6)：1654-1658.

[14]GuoC,ZhuSC,WuYN.Primalsketch:integratingstructureandtexture[J].ComputerVisionandImageUnderstanding,2007,106(1):5-19.

Image Super-resolution Reconstruction Based on Local Regression and Self-similarity

LI Xin,CUI Zi-guan,CHEN Jie,ZHU Xiu-chang

(College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

In recent years,image super-resolution reconstruction based on samples has gradually become a hot research topic,which usually uses the external training samples.The similarity between the test image and the training samples affects the reconstruction results to a certain extent.To solve this problem,a super-resolution image reconstruction algorithm based on local regression and self-similarity is proposed.This algorithm,which makes use of the self-similarity between images at different scales and reconstructs the image by establishing the first-order autoregressive model of the patches,could make full use of the information of the image itself,and replace the traversal search of self-similar patches with the sparse representation method.So it can guarantee the reconstruction quality even the number of the self-similar patches is not enough.The experimental results show that the reconstruction quality of this algorithm is high.It can alleviate the false high-frequency problem brought by the external training samples to a certain extent and have a good tradeoff between the reconstruction quality and reconstruction time.

super-resolution;self-similarity;local regression;dictionary learning;sparse representation

2015-12-28

2016-04-21

時(shí)間：2016-09-19

國家自然科學(xué)基金青年基金項(xiàng)目(61501260)；江蘇省自然科學(xué)基金項(xiàng)目(BK20130867,BK20140891)；江蘇省高校自然科學(xué)基金項(xiàng)目(13KJB510020)；江蘇省普通高校研究生科研創(chuàng)新計(jì)劃(CXLX12_0474)

李 欣(1981-)，女，講師，博士研究生，研究方向?yàn)閳D像超分辨率重建、多媒體通信；朱秀昌，教授，博士生導(dǎo)師，研究方向?yàn)槎嗝襟w信息，圖像和視頻的采集、處理、傳輸和顯示。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.024.html

TP301.6

A

1673-629X(2016)10-0017-05

10.3969/j.issn.1673-629X.2016.10.004