朱 晨,楊 欣,謝堂鑫,周大可

(南京航空航天大學(xué) 自動化學(xué)院，江蘇 南京 210000)

數(shù)字圖像作為網(wǎng)絡(luò)時代信息的重要載體，其地位日益凸顯.高分辨率(high resolution，HR)圖像能夠提供比低分辨率(low resolution，LR)圖像更多的信息，在安防、醫(yī)療、探測等諸多領(lǐng)域HR圖像具有重要的應(yīng)用價值.由于環(huán)境、硬件、成本等因素制約，直接獲取場景HR圖像往往難以實(shí)現(xiàn)，為滿足對HR圖像的需求，我們有必要研究從LR圖像恢復(fù)HR圖像的方法.超分辨率(super resolution，SR)方法從早期的基于頻域方法到后來的基于空域方法，逐漸發(fā)展出三類方法[5]，分別是基于插值方法[1-2]，基于重建方法[3-4]以及基于學(xué)習(xí)的方法.在基于學(xué)習(xí)的方法中，基于稀疏理論的方法由于其對圖像特征的學(xué)習(xí)能力和表征能力，成為研究的熱點(diǎn).Yang等[9]首先提出了基于塊稀疏的SR模型，Zeyde等[11]在此基礎(chǔ)上引入K-SVD[17]字典及PCA降維，取得了效果和效率的提升.Dong等[12]通過引入圖像的非局部自相似性特性以降低稀疏編碼噪聲，提出了非局部集中超分辨率方法.Timofte等[14-15]引入嶺回歸模型將重建過程放在訓(xùn)練階段，提出錨定鄰域回歸模型(anchored neighborhood regression，ANR)及改進(jìn)方法A+，大幅降低了重建時間消耗并取得效果提升.Zhang等[16]在基于稀疏表示模型中引入低秩約束，進(jìn)一步恢復(fù)了重建圖像的自然結(jié)構(gòu)特性.國內(nèi)，針對高效保持圖像幾何及紋理結(jié)構(gòu)問題，孫寶玉等[10]提出基于多形態(tài)稀疏正則的多幀SR凸變分模型，彭真明等[13]使用多尺度字典對圖像不同區(qū)域分別重建再融合，獲得更好的效果.

本文針對高維信號在K-SVD字典上表示誤差大，圖像重建時缺少結(jié)構(gòu)約束等問題，提出引入一種雙稀疏字典模型[18-19]，通過結(jié)構(gòu)化字典和非結(jié)構(gòu)化字典結(jié)合，有效保證高維信號訓(xùn)練過程的進(jìn)行，同時保持對樣本空間表征能力.重建階段引入圖像非局部自相似性約束，約束模型解空間，使重建圖像結(jié)構(gòu)更接近自然圖像.實(shí)驗(yàn)結(jié)果表明，本文算法在客觀評價指標(biāo)及視覺感知效果上均獲得一定提升.

1 本文算法

傳統(tǒng)的基于稀疏表示的超分辨率方法中，圖像超分辨率問題可以轉(zhuǎn)換為輸入圖像在先驗(yàn)過冗余字典上的最優(yōu)稀疏解求解問題.設(shè)同一場景下x∈Rn表示為原始HR圖像塊，y∈Rm表示為降質(zhì)后的LR圖像塊，S∈Rm×n為下采樣矩陣，H∈Rn×n為模糊算子，n為加性高斯白噪聲，圖像的退化過程可以表示為：

y=SHx+n

(1)

超分辨率問題可以看作是求解式(1)的病態(tài)逆問題，如下所示

(2)

在基于稀疏表示的圖像超分辨率方法中，我們假設(shè)輸入及輸出信號y，x可被稀疏表示，即x=Dhαh，y=Dlαl，Dh和Dl分別為一對協(xié)同訓(xùn)練的高、低分辨率過冗余字典，αh和αl分別為x和y在對應(yīng)過冗余字典上的稀疏表示系數(shù).由于字典Dh和Dl在同分布訓(xùn)練集上協(xié)同訓(xùn)練，對于稀疏表示系數(shù)有如下關(guān)系αh≈αl，因此我們可以用α指代αh和αl.結(jié)合式(2)，SR問題可以轉(zhuǎn)換為最優(yōu)稀疏表示系數(shù)求解問題，如式(3)所示

(3)

式(3)中，λ表示正則化項(xiàng)平衡因子，α0為L0范數(shù)約束項(xiàng).由于L0范數(shù)約束會導(dǎo)致式(3)變成一個NP難問題，因此一般將其松弛到L1范數(shù)約束作為其最優(yōu)凸近似，從而可使用凸優(yōu)化方法求解，式(3)可變?yōu)?/p>

(4)

1.1 雙稀疏字典模型

在字典訓(xùn)練階段，我們基于已有的HR圖片集{Xi}生成LR圖片集{Yi}.使用雙三次插值法對{Xi}作下采樣和上采樣，放大因子為s，生成尺寸相同但高頻細(xì)節(jié)信息丟失的LR 圖片集{Yi}.基于稀疏表示SR方法普遍采用K-SVD字典作為重建過程的過冗余字典[11,14-15]，訓(xùn)練過程通過在{Xi}和{Yi}上協(xié)同訓(xùn)練高低分辨率字典對保證稀疏表示系數(shù)的一致性.由于字典誤差隨信號維度增大而增大，上述方法通常對信號降維來減小誤差，但這會導(dǎo)致原本信號信息丟失.考慮上述問題，我們引入文獻(xiàn)[19]中的雙稀疏字典模型：

(5)

其中，F(xiàn)∈Rn×N表示包含N個n維向量的樣本矩陣，Φ∈Rn×l表示給定的隱式結(jié)構(gòu)化字典如DCT，小波字典等，我們稱之為基字典，A∈Rl×m表示學(xué)習(xí)到的顯式非結(jié)構(gòu)化稀疏字典，Κ表示稀疏系數(shù)矩陣，q控制Κ中原子的稀疏度.

通過引入式(5)描述的雙稀疏字典模型，稀疏字典可以表示結(jié)構(gòu)化字典和非結(jié)構(gòu)化字典的乘積，即D=ΦA(chǔ)，D的每一個原子為基字典Φ的有限t個原子的線性組合表示.結(jié)構(gòu)化字典具有快速實(shí)現(xiàn)的優(yōu)點(diǎn)，但對于復(fù)雜的圖像數(shù)據(jù)缺乏自適應(yīng)性，對信號的表示能力較差，非結(jié)構(gòu)化字典則往往在樣本空間上具有很好的適應(yīng)性，但計算消耗大.通過在字典訓(xùn)練過程引入上述雙稀疏字典模型并融合考慮結(jié)構(gòu)化和非結(jié)構(gòu)化字典，使得該模型在保持快速性的同時也能夠有效適應(yīng)樣本空間，為處理更大維度的信號輸入提供了有效計算條件.

Fh≈DhK

(6)

由式(6)可計算得到Dh≈FhK+.因此，公式(4)在引入上述模型后可以寫成如下形式

(7)

1.2 非局部自相似性

(8)

其中ωj為高斯權(quán)重系數(shù)，計算方式如下

(9)

(10)

其中τ為非相似性約束項(xiàng)平衡因子.

1.3 整體算法

本文提出通過引入一種雙稀疏字典模型作為圖像SR重建的稀疏編碼字典，并在重建階段利用自然圖像的非局部相似性對問題求解作進(jìn)一步約束，迭代求解獲得最終的SR圖像.圖1為本文算法流程圖.

本文算法步驟如下.

2 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境CPU為Intel Core i7-8700K，內(nèi)存為 32 GB，所有實(shí)驗(yàn)均在Matlab2016b環(huán)境下完成.為驗(yàn)證本文算法有效性，設(shè)置對比方法為Bicubic，ANR[14]，A+[15]及LRANR[20].ANR，A+，LRANR使用相同參數(shù)的K-SVD字典，字典冗余度設(shè)為1024，采樣窗口大小為3×3，并使用PCA對輸入樣本降維，雙稀疏字典采樣窗口大小3×3，直接使用未降維的樣本訓(xùn)練，正則化參數(shù)λ設(shè)置為0.001，τ設(shè)置為0.005，迭代次數(shù)J設(shè)為10次，放大系數(shù)s設(shè)為3倍.由于人眼對自然圖像的亮度敏感性，實(shí)驗(yàn)過程中RGB圖片均轉(zhuǎn)換到Y(jié)CbCr顏色空間，并在亮度通道Y上進(jìn)行實(shí)驗(yàn)，其它2個通道僅使用雙三次插值放大.訓(xùn)練集選擇Yang91[9]，并選擇6張常用圖片作為測試圖片驗(yàn)證算法效果.我們使用PSNR和SSIM作為最終重建質(zhì)量評價指標(biāo).

表1為本文方法和選取的對比方法在亮度通道上PSNR和SSIM指標(biāo)對比情況.從表1可以看出，在放大系數(shù)為3的情況下，本文方法在六張測試圖片上的客觀評價指標(biāo)均有一定提升，平均PSNR值比ANR，A+及LRANR分別提高了0.96，0.28以及0.16，平均SSIM值比ANR，A+及LRANR分別提高了0.013 5，0.003 2以及 0.001 9.

表2為雙稀疏模型和K-SVD方法的誤差比較情況.兩者均在Yang91訓(xùn)練集上進(jìn)行訓(xùn)練，字典訓(xùn)練參數(shù)設(shè)置與上述實(shí)驗(yàn)參數(shù)設(shè)置一致，分別在 10 000，20 000，30 000，40 000樣本上計算誤差并比較.誤差計算公式如下：

(11)

其中Y表示樣本矩陣，D表示字典，雙稀疏模型中D=ΦA(chǔ)，X表示表示系數(shù)矩陣，n表示樣本維數(shù)，N表示樣本總數(shù).根據(jù)表2我們可以看出，相同字典訓(xùn)練參數(shù)設(shè)置下，相同樣本數(shù)量下雙稀疏模型表示誤差均比K-SVD小，說明雙稀疏模型對樣本的表示能力更好.

表1 各方法PSNR和SSIM比較

表2 不同樣本數(shù)下雙稀疏模型和K-SVD誤差比較 (×10-3)

如表3所示，我們選擇Lenna圖片對本文算法引入的雙稀疏字典模型以及非局部自相似性分別比較對最終重建結(jié)果的數(shù)值影響，結(jié)合表2可以看出，雙稀疏字典相比于K-SVD字典重建誤差更小，重建圖像的PSNR指標(biāo)也更高，同時圖片的非局部自相似性約束也有利于重建質(zhì)量的提升.

表3 Lenna各因素影響比較

圖2到圖4為各個方法放大3倍時在主觀視覺效果上的對比，其中圖(a)到(f)分別為原始HR圖像，Bicubic重建SR圖像，ANR重建SR圖像，A+重建SR圖像，LRANR重建SR圖像以及本文算法重建SR圖像.由圖可以看出，Bicubic重建效果最模糊，ANR方法雖然較Bicubic圖像質(zhì)量有所提高，但仍存在比較明顯的鋸齒效應(yīng)，A+及LRANR消除了鋸齒效應(yīng)，但邊緣細(xì)節(jié)過于平滑，本文算法通過引入非局部自相似性約束，保留了圖像的結(jié)構(gòu)化信息，克服了上述邊緣平滑問題，使重建細(xì)節(jié)信息得到了較好的保留，邊緣更加清晰，且鋸齒效應(yīng)基本消除.

3 結(jié)語

本文提出了基于一種雙稀疏模型和非局部自相似性約束的圖像超分辨率方法，通過引入雙稀疏字典模型，避免了信號降維過程的信息損失，同時重建階段引入圖像非局部自相似性約束，迭代求解最佳重構(gòu)圖像.實(shí)驗(yàn)結(jié)果表明，該算法對比多種超分辨率方法在客觀評價指標(biāo)上獲得了一定提升，并且在主觀視覺效果上，該算法獲得了更好的邊緣清晰度及細(xì)節(jié)信息.