張健， 黃德天， 林炎明

(華僑大學(xué) 工學(xué)院， 福建 泉州 362021)

超分辨率重建是根據(jù)給定的低分辨率(LR)圖像及其先驗(yàn)知識(shí)恢復(fù)出高頻細(xì)節(jié).基于稀疏表示的超分辨率(SR)算法涉及兩個(gè)階段，即字典學(xué)習(xí)和稀疏編碼.Yang等[1]開創(chuàng)性地將壓縮感知運(yùn)用到超分辨率算法中，首先，從LR和高分辨率(HR)圖像塊中學(xué)習(xí)聯(lián)合字典；然后，計(jì)算LR圖像塊的稀疏系數(shù)；最后，將HR字典和稀疏系數(shù)線性組合來(lái)表示重建的HR圖像塊.Zeyde等[2]在文獻(xiàn)[1]的基礎(chǔ)上進(jìn)行改進(jìn)，利用主成分分析法(PCA)對(duì)提取的特征進(jìn)行降維，采用不同的方法訓(xùn)練字典，并用正交匹配追蹤(OMP)算法[3]求解稀疏編碼模型,從而獲得更好的重建效果，并在一定程度上提高了重建速度.

由于小波變換具有多方向性、多尺度性等特性，能分離出圖像的高頻和低頻信息，Nazzal等[4]把小波變換運(yùn)用到字典訓(xùn)練和圖像重建中.Chang等[5]把流形學(xué)習(xí)中的局部線性嵌入(LLE)方法引入SR算法中，得到的重建圖像較好地保留了原始圖像的流形結(jié)構(gòu).Dong等[6]利用圖像的局部與非局部信息，在稀疏編碼階段分別引入自回歸(AR)與非局部(NL)自相似正則化項(xiàng)，提升了重建圖像的邊緣細(xì)節(jié).圖像的非局部相似性最早由Efros等[7]提出，隨后被廣泛應(yīng)用于圖像去噪和復(fù)原.Chen等[8]將非局部自相似和局部光滑先驗(yàn)同時(shí)加入超分辨率算法中，并用分裂Bregman迭代優(yōu)化算法求解目標(biāo)函數(shù)，取得較好的重建效果.Dong等[9]綜合考慮圖像的非局部相似性和多尺度相似性，并將其融入壓縮感知模型，取得了良好的重建效果.Huang等[10]改進(jìn)了稀疏自動(dòng)編碼器，將其應(yīng)用于超分辨率算法，該算法能有效地重建真實(shí)的醫(yī)療圖像，恢復(fù)出更精細(xì)的邊緣和紋理等細(xì)節(jié).Wu等[11]利用PCA訓(xùn)練4組子字典，分別描述低頻子圖和3幅高頻子圖之間的關(guān)系.Ayas等[12]提出一種新型超分辨率重建算法，通過(guò)構(gòu)建包含小波域中重要信息的字典恢復(fù)重建圖像中的高頻信息.考慮到在圖像經(jīng)小波分解后，邊緣和紋理信息主要集中在3個(gè)HF子圖上，王相海等[13]通過(guò)所提出的多角度模板對(duì)每個(gè)細(xì)節(jié)子圖進(jìn)行插值.上述3種算法重建的邊緣和紋理信息更準(zhǔn)確.對(duì)于磁共振成像，圖像的分辨率、信噪比和掃描時(shí)間是3個(gè)相互制約的因素，它們不可能同時(shí)達(dá)到最優(yōu)的狀態(tài).因此，磁共振設(shè)備捕獲到的磁共振圖像(MRI)通常是低分辨率的.Plenge 等[14]比較了6種SR方法與直接采集高分辨率MRI方法的性能，結(jié)果表明，SR方法能有效地平衡上述3個(gè)制約因素，比以增加掃描時(shí)間或降低圖像分辨率為代價(jià)采集MRI更具優(yōu)越性.因此，SR重建能經(jīng)濟(jì)有效地提高M(jìn)RI的分辨率.

近年來(lái)，大量基于學(xué)習(xí)的MRI SR方法[15-22]利用學(xué)習(xí)的圖像先驗(yàn)知識(shí)作為約束，解決圖像重建的不適定逆問(wèn)題.受上述文獻(xiàn)的啟發(fā)，結(jié)合小波變換的多尺度特性、多方向性與稀疏表示的靈活性，本文提出一種基于稀疏表示和小波變換的超分辨率算法.

1 超分辨率重建算法

借鑒Nazzal等[4]提出的SR方法，先對(duì)待重建圖像進(jìn)行小波分解;然后，對(duì)3個(gè)不同方向特性的高頻子圖分別進(jìn)行超分辨率重建;最后，對(duì)重建得到的高頻子圖進(jìn)行逆小波變換，得到最終的HR重建圖像.此外，為了充分利用圖像的高頻信息，將小波變換運(yùn)用于字典訓(xùn)練中，分別訓(xùn)練水平、垂直、對(duì)角方向的字典對(duì)(Dil，Dih)，i=h，v，d代表水平、豎直和對(duì)角線3個(gè)方向.

1.1 稀疏編碼模型

為了提升超分辨率算法的性能，在對(duì)冗余字典下的圖像系數(shù)進(jìn)行稀疏約束的同時(shí)，對(duì)重建的高頻子圖像也進(jìn)行稀疏約束，從而建立一種雙稀疏編碼模型.考慮到自然圖像通常具有復(fù)雜的結(jié)構(gòu)特征，僅使用單一的稀疏性作為約束條件無(wú)法重建出高質(zhì)量的圖像.因此，為了保留圖像的流形結(jié)構(gòu)，在雙稀疏編碼模型中加入局部線性嵌入正則化項(xiàng)(LLER).

1.1.1 雙稀疏編碼(DSC)模型 除了圖像在學(xué)習(xí)字典下的系數(shù)必須是稀疏的，考慮到重建后的高頻圖像同樣具有稀疏性，在稀疏編碼的階段，不僅對(duì)冗余字典的系數(shù)進(jìn)行稀疏約束，同時(shí)對(duì)重建得到的高頻信息也進(jìn)行稀疏約束，并由此建立雙稀疏編碼模型，即

(1)

式(1)中：αmh，αml分別是HR和LR子圖的稀疏系數(shù)；Dmh，Dml分別是HR和LR的子字典；Dhα是重建得到的高頻圖像；wm(m=h，v，d)代表水平、豎直和對(duì)角線3個(gè)方向的LR細(xì)節(jié)子圖；λ是正則化參數(shù)，用于平衡稀疏系數(shù)的稀疏性和wm的保真度；β是正則化參數(shù)，用于平衡小波域的稀疏性權(quán)重，并且對(duì)噪聲具有魯棒性.

根據(jù)HR細(xì)節(jié)子圖的稀疏系數(shù)與LR細(xì)節(jié)子圖的稀疏系數(shù)相同的假設(shè)[9]，令αmh=αml=αm，那么DSC模型可改寫為

(2)

圖1 重建流程Fig.1 Flowchart of reconstruction

將待重建的圖像經(jīng)小波分解得到1幅低頻子圖與3幅高頻子圖，由于高頻子圖對(duì)應(yīng)的高頻信息具有稀疏性，所以，通過(guò)式(1)分別對(duì)3個(gè)高頻信息進(jìn)行重建.對(duì)重建后的3幅高頻子圖(LH，HL，HH)和LR低分辨圖像再進(jìn)行逆小波變換，得到最后的高分辨率圖像，其重建流程，如圖1所示.

1.1.2 局部線性嵌入正則化 在基于稀疏表示的SR算法中，圖像結(jié)構(gòu)信息的丟失或不足將導(dǎo)致重建后的圖像缺乏明顯的結(jié)構(gòu)特征，且若圖像的流形結(jié)構(gòu)能夠被保留，則可以為后續(xù)的圖像重建提供足夠的結(jié)構(gòu)信息.因此，為了更好地保留圖像原有的流形結(jié)構(gòu)，在稀疏編碼過(guò)程中加入LLE正則化項(xiàng).LLE是流形學(xué)習(xí)中的經(jīng)典算法，在處于同一流形的前提下，該方法假設(shè)LR圖像能夠由其最近鄰線性表示，那么，相應(yīng)的稀疏系數(shù)也能通過(guò)相應(yīng)的近鄰點(diǎn)使用相同的權(quán)值線性表示.重構(gòu)權(quán)值qmi，j可表示為

(3)

‖(I-Qm)Wm‖22.

(4)

在雙稀疏模型中加入流形學(xué)習(xí)正則化項(xiàng)(式(3))，即

(5)

式(5)中：η是正則化參數(shù).

(6)

式(6)等價(jià)于

(7)

式(7)可優(yōu)化為

(8)

通過(guò)分裂Bregman算法[23]將式(8)轉(zhuǎn)化為

(9)

算法1用于求解LLER-DSC模型的分裂Bregman算法步驟如下.

輸入:LR字典Dml，HR 字典Dmh和小波細(xì)節(jié)子圖wm.初始化λ，β，η，μ1，μ2，f0，m=0，b0，m=0.

輸出:稀疏表示系數(shù)αm.

如果沒有收斂，則

fk+1，m=fk，m+(Dmlαk+1，m-wm)；

結(jié)束.

1.2 基于小波域的字典訓(xùn)練

小波變換對(duì)圖像進(jìn)行多尺度分解，它可以聚焦到圖像的任意細(xì)節(jié).將小波變換運(yùn)用到字典訓(xùn)練階段有兩個(gè)原因:1) 因?yàn)樾〔ū旧砭哂卸喑叨群投喾较虻忍匦?，所以使用?jīng)小波分解得到的子圖進(jìn)行字典訓(xùn)練，得到的字典同樣具有這些特性，從而使重建圖像具有更清晰的邊緣；2) 由壓縮感知理論可知，圖像本身或其在某個(gè)變換域內(nèi)的表示越稀疏，經(jīng)超分辨率算法得到的重建圖像質(zhì)量就越好.

對(duì)每一幅圖像進(jìn)行小波分解，得到LL1，LH1，HL1和HH14組子圖，其中，LL1是和原圖相似的低頻子圖;LH1,HL1和HH1分別代表水平、豎直和對(duì)角線方向的高頻子圖，這些高頻子圖具有稀疏性.將其中的3組高頻子圖用于訓(xùn)練高分辨率的字典;然后，對(duì)LL1進(jìn)行二級(jí)小波分解，并將得到的3組高頻子圖LH2，HL2和HH2作為低頻部分，用于訓(xùn)練低分辨率的字典.

借鑒文獻(xiàn)[2]分別訓(xùn)練高、低分辨率字典的思想，但沒有使用高通濾波器進(jìn)行特征提取.這是因?yàn)榻?jīng)過(guò)小波變換后的圖像已經(jīng)提取了高頻特征，不需要再單獨(dú)進(jìn)行特征提取.低分辨率字典的訓(xùn)練有以下5個(gè)步驟.

步驟1分別對(duì)每組子圖LH2,HL2和HH2進(jìn)行逆小波變換(保留其中1幅高頻子圖，同時(shí)將其他3幅子圖置零)得到3組子圖LH′2,HL′2和HH′2，這樣就能保證在求解稀疏系數(shù)時(shí)圖像維度一致.

步驟2對(duì)3組子圖LH′2,HL′2和HH′2重疊分塊.

步驟3對(duì)這些圖像塊進(jìn)行列向量化，得到Pil(i=LH，HL，HH).

步驟4為了減少字典訓(xùn)練量，采用PCA對(duì)Pil進(jìn)行降維處理.

步驟5使用K-SVD算法進(jìn)行字典訓(xùn)練，有

(10)

式(10)中：αi是高頻子圖的稀疏系數(shù)；S是最大稀疏度.

相應(yīng)的高分辨率字典的計(jì)算式為

Dih=PihαiT(αi(αi)T)-1.

(11)

式(11)中：上標(biāo)T代表轉(zhuǎn)置；上標(biāo)-1代表逆運(yùn)算.

最后，得到3對(duì)高、低分辨率字典(Dil，Dih)，i=h，v，d.其中，(Dhl，Dhh)，(Dvl，Dvh)，(Ddl，Ddh)分別是水平方向、垂直方向、對(duì)角線和反對(duì)角線方向的高、低分辨率字典.

1.3 算法的具體步驟

在文中算法中，對(duì)于給定的一幅低分辨率圖像，其超分辨率的問(wèn)題就轉(zhuǎn)換成對(duì)小波變換得到的3幅高頻子圖進(jìn)行重建(圖1).相對(duì)于傳統(tǒng)的基于稀疏表示的超分辨率算法，文中算法利用小波變換在分析圖像細(xì)節(jié)方面的優(yōu)勢(shì)，使最終得到的重建圖像包含更多的細(xì)節(jié)信息.文中算法有以下4個(gè)具體步驟.

步驟1對(duì)待重建的圖像進(jìn)行一級(jí)小波分解得到LL,LH,HL和HH 4幅子圖.

步驟2分別對(duì)LH,HL和HH 3幅高頻子圖進(jìn)行逆小波變換(保留其中1幅高頻子圖，同時(shí)將其他3幅子圖置零),得到LH′,HL′和HH′，這樣有助于維持每個(gè)小波子帶的相同方向性.

步驟3采用式(6)對(duì)應(yīng)的稀疏編碼模型對(duì)LH′,HL′和HH′子圖進(jìn)行重建.先對(duì)這3幅子圖進(jìn)行重疊分塊，并將其列向量化;然后，根據(jù)不同特征的圖像塊，自適應(yīng)地選擇訓(xùn)練好的字典，并求出對(duì)應(yīng)的圖像塊稀疏系數(shù).假設(shè)高頻子帶的稀疏系數(shù)和低頻子帶的稀疏系數(shù)相同，那么，高頻子帶對(duì)應(yīng)的重建圖像塊計(jì)算式為Pih=Dilαi.最后，將具有相同方向特征的重建圖像塊(重疊區(qū)域取平均)分別融合成一幅子圖(LH″，HL″和HH″).

步驟4對(duì)重建得到的3幅子圖和LR圖像進(jìn)行逆小波操作，得到最終的HR重建圖像.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)準(zhǔn)備

采用的硬件平臺(tái)為Intel(R) Core(TM)i7-7700K CPU@4.20 GHz，內(nèi)存24.0 GB，軟件平臺(tái)為Windows 64位操作系統(tǒng)，仿真軟件為MATLAB 2016b.在重建圖像過(guò)程中，選取圖像塊大小為6 px×6 px，在鄰近塊之間的重疊區(qū)為1個(gè)像素；在算法1中，λ=3.25，β=0.01，μ1=0.001，μ2=0.010.

用于字典訓(xùn)練的圖像集采用文獻(xiàn)[1，24-26]中均使用的含有91張高分辨率圖像的訓(xùn)練集.為了保證實(shí)驗(yàn)的客觀性，采用的測(cè)試圖像庫(kù)為Set5[27]，Set14[2]，B100(BSDS300[28]中取100張)，這些測(cè)試圖像專門用于評(píng)價(jià)超分辨率重建算法.同時(shí)，還將文中算法運(yùn)用到磁共振圖像中，為了保證用于MRI圖像實(shí)驗(yàn)的客觀性，訓(xùn)練圖像來(lái)源于TCIA[29]，測(cè)試圖像也從中隨機(jī)挑選.為了驗(yàn)證文中算法的有效性，主要與雙三次插值(Bicubic)、L1SR[1]算法、SISR[2]算法、ANR[25]算法、LLE[30]算法、文獻(xiàn)[31]算法和SRISAE[32]算法進(jìn)行比較.重建圖像的評(píng)價(jià)主要包括主觀和客觀評(píng)價(jià)兩個(gè)方面.客觀評(píng)價(jià)主要采用峰值信噪比(RPSN)[33]和結(jié)構(gòu)相似度(MSSI)[34]兩個(gè)指標(biāo).峰值信噪比和結(jié)構(gòu)相似度的分別定義為

2.2 結(jié)果分析

為了方便定量評(píng)價(jià)重建圖像的質(zhì)量，將測(cè)試圖像經(jīng)過(guò)小波變換得到的LL子圖作為待重建的LR圖像，并將原始的HR圖像作為參考圖像.實(shí)驗(yàn)分為3組:1) 驗(yàn)證改進(jìn)算法的有效性；2) 對(duì)自然圖像進(jìn)行超分辨率重建；3) 將文中算法運(yùn)用于磁共振圖像.

表1 4種SR算法的RPSN和MSSI的平均值比較Tab.1 Comparison of average RPSN and MSSI values obtained by four different SR algorithms

由表1可知：2種改進(jìn)算法的RPSN平均值都優(yōu)于SRWD算法，其中，LLER-DSC算法得到了最好的重建結(jié)果.由此可知，基于雙稀疏改進(jìn)的SR算法是有效的.

2) 第2組實(shí)驗(yàn).該實(shí)驗(yàn)的目的是驗(yàn)證文中算法(LLER-DSC)對(duì)自然圖像重建的有效性.將文中算法與Bicubic，SRISAE,SISR，ANR，NE_LLE，文獻(xiàn)[31]，SRISAE算法進(jìn)行比較.上述7種SR算法在Set5，Set14和B100中的RPSN和MSSI的平均值比較，如表2所示.由表2可知：在量化結(jié)果上，文中算法都優(yōu)于其他比較算法.由此可看出，文中算法重建效果高于其他比較算法.

表2 7種SR算法的RPSN和MSSI的平均值比較Tab.2 Comparison of average RPSN and MSSI values obtained by seven different SR algorithms

不同SR算法獲得的重建Butterfly和Barbara的主觀比較結(jié)果，如圖2，3所示.圖2,3中：除了列出原始HR參考圖像和上述7種對(duì)比算法重建結(jié)果在同一區(qū)域的細(xì)節(jié)放大圖外，還列出SRWD和DSC算法的重建結(jié)果.

圖2 不同SR算法獲得的重建Butterfly的主觀比較結(jié)果Fig.2 Visual comparison results of reconstructed images obtained by different SR algorithms for Butterfly

圖3 不同SR算法獲得的重建Barbara的主觀比較結(jié)果Fig.3 Visual comparison results of reconstructed images obtained by different SR algorithms for Barbara

由圖2,3可知：Bicubic不能重建出清晰的圖像；SISR,NE_LLE,文獻(xiàn)[31]和SRISAE算法的重建圖像邊緣過(guò)于平滑，丟失了部分信息；6種對(duì)比算法中，ANR的重建結(jié)果最好，但仍然不夠清晰；相比SRWD和DSC算法，LLER-DSC算法的重建圖像更清晰，LLER-DSC算法能有效地減少重建圖像的失真并且生成更精確的細(xì)節(jié)信息，重建出更接近于原始HR的圖像.該組實(shí)驗(yàn)進(jìn)一步說(shuō)明了文中算法的魯棒性和有效性.

3) 第3組實(shí)驗(yàn).由于MRI的分辨率通常受到許多因素的限制，如信噪比、硬件條件、掃描時(shí)間及患者的舒適度等，導(dǎo)致采集到的圖像都是低分辨率圖像.然而，在許多醫(yī)學(xué)應(yīng)用中，通常需要清晰的高分辨率MRI來(lái)輔助醫(yī)生，以提高臨床診斷的準(zhǔn)確性.所以，該組實(shí)驗(yàn)將文中算法應(yīng)用到MRI圖像的超分辨率重建中，從而驗(yàn)證文中算法的實(shí)用性.從癌癥影像檔案(TCIA)[29]中隨機(jī)選取91幅高分辨率MRI圖像作為訓(xùn)練圖像，測(cè)試圖像也從TCIA中隨機(jī)挑選.不同SR算法對(duì)MRI重建圖像的RPSN和MSSI值的比較，如表3所示.由表3可知：文中算法的RPSN和MSSI值總體上優(yōu)于其他算法，并且兩個(gè)評(píng)價(jià)指標(biāo)的平均值都最高.

表3 不同SR算法對(duì)MRI重建圖像的RPSN和MSSI值的比較Tab.3 Comparison of RPSN and MSSI of reconstructed MRI images obtained by different SR algorithms

不同SR算法獲得的重建MRI圖像Prostate-11,Prostate-02的主觀比較結(jié)果，如圖4,5所示.由圖4,5可知：NE_LLE算法得到的圖像在邊緣細(xì)節(jié)方面恢復(fù)不明顯，且出現(xiàn)嚴(yán)重的混疊現(xiàn)象；與其他SR算法相比，SISR算法重建的圖像不夠清晰；ANR算法在邊緣銳化方面優(yōu)于SISR算法，但是其重建圖像出現(xiàn)了許多虛假細(xì)節(jié)；相比于ANR算法，文獻(xiàn)[31]算法重建的圖像具有較少的虛假細(xì)節(jié)，且其恢復(fù)的邊緣細(xì)節(jié)更好；相比于文獻(xiàn)[31]算法，SRISAE算法重建圖像的邊緣細(xì)節(jié)有進(jìn)一步提升；LLER-DSC算法在邊緣細(xì)節(jié)的恢復(fù)方面略優(yōu)于SRISAE算法，尤其是水平、垂直和對(duì)角方向的邊緣較為明顯，得到的重建圖像也更為清晰.因此，文中算法在MRI圖像超分辨率重建中取得了令人滿意的結(jié)果.

圖4 不同SR算法獲得的重建MRI圖像Prostate-11的主觀比較結(jié)果Fig.4 Visual comparison results of reconstructed MRI images obtained by different SR algorithms for Prostate-11

圖5 不同SR算法獲得的重建MRI圖像Prostate-02的主觀比較Fig.5 Visual comparison results of reconstructed MRI images obtained by different SR algorithms for Prostate-02

3 結(jié)論

將小波變換運(yùn)用到字典訓(xùn)練和稀疏編碼階段，提出一種基于稀疏表示和小波變換的圖像超分辨率算法.通過(guò)結(jié)合小波分解得到的高頻信息的稀疏性與圖像在冗余字典下的系數(shù)的稀疏性，提出一種雙稀疏編碼模型，從而提高超分辨率算法的性能.為了保留圖像的流形結(jié)構(gòu)，在雙稀疏編碼模型中引入LLE正則化項(xiàng).同時(shí)，為了充分利用圖像的高頻信息，將小波變換運(yùn)用于字典訓(xùn)練的階段，并分別對(duì)待重建圖像經(jīng)小波分解得到的3幅高頻子圖進(jìn)行重建.

從主觀和客觀兩個(gè)方面對(duì)重建結(jié)果進(jìn)行分析，結(jié)果表明，文中方法的重建效果優(yōu)于其他用于比較的方法.同時(shí)，還將文中算法運(yùn)用于MRI圖像的重建，同樣獲得了良好的效果.在實(shí)際應(yīng)用中，文中算法有利于需要MRI快速成像的情況.由于對(duì)3幅高頻子圖的重建都采用相同的SR算法，并沒有考慮每幅子圖的差異性，因此，如何根據(jù)每幅高頻子圖的特征分別設(shè)計(jì)特定的SR算法，是將來(lái)工作的研究重點(diǎn).