李利，尹增山，石神

(中國科學(xué)院微小衛(wèi)星創(chuàng)新研究院， 上海 201203； 中國科學(xué)院大學(xué)， 北京 100049； 上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院， 上海 201210) (2020年1月23日收稿； 2020年5月5日收修改稿)

高分辨率(high resolution, HR)圖像在遙感、視頻監(jiān)控、醫(yī)學(xué)圖像、軍事偵察等領(lǐng)域有重要應(yīng)用價值。然而，圖像在獲取時往往會受到各種因素的影響，如距離、噪聲、運(yùn)動、設(shè)備抖動和欠采樣等，導(dǎo)致分辨率受限，不能滿足當(dāng)前空間圖像應(yīng)用的要求。因此，提升圖像的分辨率至關(guān)重要。超分辨率重建通過信號處理的方式，融合多幀具有亞像素位移的低分辨率(low resolution, LR)圖像，估計出HR圖像。該技術(shù)可以有效地克服硬件成像分辨率的限制。

1984年Tsai和Huang[1]首先提出頻域超分辨率重建方法，并應(yīng)用于衛(wèi)星圖像。此后，國內(nèi)外學(xué)者對超分辨率重建技術(shù)進(jìn)行后續(xù)研究，提出更有效的超分辨重建方法[2]。目前，超分辨率重建算法主要是在空間域上實(shí)現(xiàn)分辨率的提升，可分為基于插值、基于學(xué)習(xí)和基于建模3大類方法?；诓逯档姆椒╗3]是利用已知的相鄰像素來估計未知的像素，優(yōu)點(diǎn)是計算量較小，但該方法未考慮局部幾何結(jié)構(gòu)相似性等信息，會引入“鋸齒”、“馬賽克”等虛假信息，造成邊緣不清晰，圖像整體模糊?；趯W(xué)習(xí)的方法[4]利用訓(xùn)練數(shù)據(jù)集學(xué)習(xí)LR圖像和HR圖像之間的映射關(guān)系預(yù)測HR圖像，重建結(jié)果優(yōu)于基于建模的方法。然而學(xué)習(xí)過程需要足夠多的圖像數(shù)據(jù)，算法一般針對特定類型的圖像進(jìn)行處理，在幀數(shù)有限的LR圖像序列中難以滿足?；诮５姆椒◤挠绊憟D像成像因素出發(fā)，建立退化模型進(jìn)行重建?；诮５姆椒ㄔ谇蠼鈺r，可以加入先驗(yàn)信息對重建問題進(jìn)行約束，將病態(tài)的超分辨率重建問題轉(zhuǎn)化為良性問題，成為超分辨率重建的主流方法之一。該方法主要包括迭代反投影(iterate back projection, IBP)法[5]、凸集投影(projection onto convex sets, POCS)法[6-7]和最大后驗(yàn)(maximum a posteriori, MAP)概率方法[8-10]等。IBP方法簡單直觀，可用于復(fù)雜運(yùn)動的退化模型，但此方法不易加入先驗(yàn)，無法求得唯一的解。POCS方法可得到銳利的邊緣和清晰的紋理，且加入先驗(yàn)方便，然而解依賴于初始值的設(shè)定，算法的計算量大，收斂速度和穩(wěn)定性也有待提升。MAP方法盡管計算量較大，收斂速度較慢，但易于引入先驗(yàn)，確保解存在且唯一，是一種較優(yōu)的重建方法。

在基于建模的方法中，添加的先驗(yàn)?zāi)Ｐ椭饕═ikhonov先驗(yàn)?zāi)Ｐ蚚11]和TV先驗(yàn)?zāi)Ｐ蚚12-13]及其改進(jìn)先驗(yàn)?zāi)Ｐ?。Tikhonov先驗(yàn)?zāi)Ｐ鸵子趦?yōu)化，而先驗(yàn)項(xiàng)限制了高頻分量，重建圖像無法得到銳利的邊緣。TV先驗(yàn)?zāi)Ｐ鸵蚱浔＿呅阅芎?，是?yīng)用較多的先驗(yàn)?zāi)Ｐ椭?。然而，該模型不能根?jù)圖像在不同區(qū)域的特性實(shí)現(xiàn)自動處理，導(dǎo)致在平坦區(qū)域存在“階梯效應(yīng)”。對此，Yuan等[14]根據(jù)圖像的空間信息進(jìn)行加權(quán)限制，提出空間加權(quán)(spatially weighted total variation，SWTV)正則化算法，有效改善重建圖像的“階梯效應(yīng)”。Villena等[15]進(jìn)一步優(yōu)化TV先驗(yàn)?zāi)Ｐ?，從梯度圖像的水平方向和垂直方向選取不同權(quán)重值，提出L1先驗(yàn)?zāi)Ｐ?，有效保持邊緣的同時平滑圖像，但此算法在平滑離散區(qū)域噪聲時表現(xiàn)效果不佳。

基于上述分析，為重建出邊緣保持且噪聲低的HR圖像，對L1先驗(yàn)?zāi)Ｐ瓦M(jìn)行改進(jìn)，提出聯(lián)合L1和L0先驗(yàn)?zāi)Ｐ偷某直媛手亟ㄋ惴?。利用L0范數(shù)[16-17]的稀疏性，銳化圖像的主要邊緣而去除幅度較小的紋理或噪聲，以去除因“階梯效應(yīng)”產(chǎn)生的噪聲。將本文算法與雙三次插值、TV先驗(yàn)?zāi)Ｐ秃蚅1先驗(yàn)?zāi)Ｐ妥鲗Ρ龋ㄟ^仿真實(shí)驗(yàn)數(shù)據(jù)和真實(shí)實(shí)驗(yàn)數(shù)據(jù)的分析，從客觀評價指標(biāo)和主觀評價指標(biāo)上證實(shí)本文算法重建的HR圖像質(zhì)量更高。

1 基于MAP的超分辨率重建

在圖像的獲取過程中，許多因素會導(dǎo)致圖像質(zhì)量下降，得到低分辨率圖像。在經(jīng)典的退化模型中，影響因素有運(yùn)動形變、模糊、下采樣和噪聲，其數(shù)學(xué)表達(dá)式如下

yi=ABWix+ni, (i=1,2,…,k),

(1)

式中：yi∈mn表示第i幀LR圖像，共k幀LR圖像A∈mn×MN表示下采樣矩陣；B∈MN×MN表示模糊矩陣；Wi∈MN×MN表示運(yùn)動形變矩陣；x∈MN表示HR圖像；ni∈mn表示加性噪聲。

超分辨率重建是上述退化過程的逆過程，是一個典型的病態(tài)問題。本文采用MAP方法對x進(jìn)行估計：

(2)

(3)

假設(shè)第i幀圖像的噪聲是均值為0且方差為(2βi)-1的高斯白噪聲，則每幀LR圖像對應(yīng)的條件概率p(yi|x)表示為

(4)

假設(shè)LR圖像序列之間的噪聲是獨(dú)立同分布的，則條件概率p(y|x)為

(5)

先驗(yàn)概率p(x)可以減少對x估計的不確定性，從而得到穩(wěn)定的重建結(jié)果。結(jié)合L1先驗(yàn)?zāi)Ｐ蚿L1(x)的保邊特性和L0先驗(yàn)?zāi)Ｐ蚿L0(x)的去噪特性，本文提出混合先驗(yàn)?zāi)Ｐ蚿(x)=pL1(x)pL0(x)。其中，L1先驗(yàn)?zāi)Ｐ偷母怕拭芏群瘮?shù)如下

pL1(x|αh,αv)∝(αhαv)MNexp{-[αh‖Δh(x)‖1+

αv‖Δv(x)‖1]}，

(6)

L0先驗(yàn)?zāi)Ｐ偷母怕拭芏群瘮?shù)如下

pL0(x|λ)∝λMNexp{-λC(x)}，

(7)

式中：C(x)=‖Δ(x)‖0表示HR圖像的梯度圖像中非零元素的個數(shù)，λ是參數(shù)。

因此，將式(5)、式(6)和式(7)代入式(3)得目標(biāo)函數(shù)

αv‖Δv(x)‖1+λC(x)，

(8)

2 聯(lián)合L1和L0先驗(yàn)?zāi)Ｐ偷某直媛手亟ㄋ惴?/h2>

L1先驗(yàn)項(xiàng)和L0先驗(yàn)項(xiàng)無法直接應(yīng)用梯度下降法，采用majorization-minimization(MM)算法[12]和the half-quadratic splittingL0minimization method[16]分別對L1先驗(yàn)項(xiàng)和L0先驗(yàn)項(xiàng)進(jìn)行優(yōu)化。

2.1 L1先驗(yàn)項(xiàng)的優(yōu)化

MM算法的準(zhǔn)則是找到目標(biāo)函數(shù)的一個易于優(yōu)化的上界函數(shù)，通過優(yōu)化該上界函數(shù)獲得原問題的解。首先考慮以下不等式，對任意的a≥0和b≥0有

(9)

然后，對L1先驗(yàn)項(xiàng)應(yīng)用不等式(9)，則L1先驗(yàn)項(xiàng)的上界函數(shù)可表示為

(10)

QL1(x|x(t))=xTDTU(t)Dx+cte，

(11)

式中：cte為常數(shù)項(xiàng)。

2.2 L0先驗(yàn)項(xiàng)的優(yōu)化

參考文獻(xiàn)[16]所提的the half-quadratic splittingL0minimization method算法，對L0范數(shù)引入增廣變量進(jìn)行優(yōu)化，則λC(x)變換為

(12)

式中：C(H,V)=#{p‖Hp|+|Vp|≠0}表示|Hp|+|Vp|在p處不為零的個數(shù)。當(dāng)參數(shù)γ趨于無窮大時，H趨近于水平方向的梯度圖像Dhx，V趨近于垂直方向的梯度圖像Dvx。此時，C(H,V)的非零元素個數(shù)趨近于C(x)的非零元素個數(shù)。

將式(11)和式(12)代入式(8)得目標(biāo)優(yōu)化函數(shù)：

(13)

對式(13)進(jìn)行分步求解：

1) 求解HR圖像x(t+1)：

(14)

2) 求解輔助變量H和V：

(15)

基于上述分析，聯(lián)合L1和L0先驗(yàn)?zāi)Ｐ偷某直媛手亟ㄋ惴ㄈ缢惴?所示。

--------------------

Algorithm1image SR reconstruction algorithm by combining l1 and 10 prior model

--------------------

Input: sequensesyi,i=1, 2,…,k

2: choose blur matrixH

3: estimate registration matrixWand parametersβ,αh,αv

4:fort:=0 to maxiterdo

5:U(t):= diag [Uh(t)Uv(t)]

6: initializeγ0,γmax,λ

7:forγ:=γ0toγmaxdo

8: withx(t), solveHandVwith equation (15)

9: withHandV, solvex(t+1)with equation (14) by Preconditioned Conjugate Gradients algorithm

10:endfor

11:if‖x(t+1)-x(t)‖2/‖x(t)‖2

12: break

13:endif

14: updateW,β,αh,α

15:endfor

--------------------

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)部分包含仿真實(shí)驗(yàn)數(shù)據(jù)和真實(shí)實(shí)驗(yàn)數(shù)據(jù)的分析, 選取雙三次插值、TV先驗(yàn)?zāi)Ｐ?、L1先驗(yàn)?zāi)Ｐ妥鳛閷Ρ人惴ā７抡鎸?shí)驗(yàn)數(shù)據(jù)選取4幅124×124 HR圖像，即圖像Cartap、圖像Crahouse、圖像EIA和圖像Lena，相應(yīng)的參考LR圖像和HR圖像如圖 1所示。其中LR圖像序列由HR圖像經(jīng)過以下步驟獲得：

1) 隨機(jī)地平移旋轉(zhuǎn)；

2) 使用3×3的均值模糊算子進(jìn)行模糊退化；

3) 隔行隔列下采樣；

4) 根據(jù)信噪比(signal-noise ratio, SNR)加入高斯噪聲。

仿真實(shí)驗(yàn)采用峰值信噪比(peak signal-to-noise ratio, PSNR)和結(jié)構(gòu)相似性指數(shù)(structure similarity index measure, SSIM)來評價算法的性能。PSNR值越高表明重建圖像的信噪比越高，質(zhì)量越好。SSIM值越接近1，表明2幅圖像的結(jié)構(gòu)相似性越高。

表1給出SNR=30 dB時，本文算法與對比算法的PSNR和SSIM結(jié)果對比。由表 1可看出，本文算法的PSNR和SSIM均高于被對比算法。圖 2給出與表 1一致的重建結(jié)果對比圖。由圖 2可看出，本文算法在保持邊緣的同時，在非邊緣區(qū)域的去噪效果更優(yōu)，尤其是非邊緣區(qū)域較多的圖像Cartap和圖像EIA。

真實(shí)實(shí)驗(yàn)數(shù)據(jù)選取8幀100×100 LR圖像Car、16幀100×100 LR圖像Noel、30幀49×57 LR圖像Text、15幀66×76 LR圖像Adyoron和10幀256×256 LR圖像Plant。實(shí)驗(yàn)結(jié)果如下所示，圖3為上述圖像的參考LR圖像，圖4至圖8分別是圖像Car、圖像Noel、圖像Text、圖像Adyoron和圖像Plant的超分辨率重建結(jié)果對比圖。

圖1 仿真測試圖像的LR圖像及其相應(yīng)的HR圖像Fig.1 LR images and its corresponding HR images of simulations

表1 不同算法的超分辨率重建結(jié)果對比Table 1 Comparison of SR reconstruction results with different methods

圖2 圖 1中仿真測試圖像的超分辨率重建結(jié)果圖Fig.2 SR reconstruction results of simulations in Fig.1

從圖4至圖8對比可看出，雙三次插值的結(jié)果圖邊緣不清晰，噪聲明顯，圖像整體模糊。TV先驗(yàn)?zāi)Ｐ秃蚅1先驗(yàn)?zāi)Ｐ椭亟ǖ倪吘壿^好(如圖4 Car車窗上的字母和圖5 Noel的鼻子和耳朵)，然而在非邊緣區(qū)域存在“階梯效應(yīng)”(如圖4和圖5的白色區(qū)域，圖7的平坦區(qū)域和圖8的放大部分)。相比之下，本文算法的保邊效果不低于TV先驗(yàn)?zāi)Ｐ秃蚅1先驗(yàn)?zāi)Ｐ?如圖6中字母邊緣部分)，且在非邊緣區(qū)域噪聲抑制效果明顯。

圖3 真實(shí)LR圖像Fig.3 Real LR images

圖4 圖像Car的超分辨率重建結(jié)果圖Fig.4 SR reconstruction results of “Car” image

圖5 圖像Noel的超分辨率重建結(jié)果圖Fig.5 SR reconstruction results of “Noel” image

圖6 圖像Text的超分辨率重建結(jié)果圖Fig.6 SR reconstruction results of “Text” image

圖7 圖像Adyoron的超分辨率重建結(jié)果圖Fig.7 SR reconstruction results of “Adyoron” image

圖8 圖像Plant的超分辨率重建結(jié)果圖Fig.8 SR reconstruction results of “Plant” image

4 結(jié)論

本文針對L1先驗(yàn)?zāi)Ｐ痛嬖诘摹半A梯效應(yīng)”，提出聯(lián)合L1和L0先驗(yàn)?zāi)Ｐ偷某直媛手亟ㄋ惴ā?shí)驗(yàn)結(jié)果表明，本文算法的PSNR和SSIM值高于雙三次插值、TV先驗(yàn)?zāi)Ｐ秃蚅1先驗(yàn)?zāi)Ｐ停亟ńY(jié)果的保邊效果和去噪效果優(yōu)于被對比算法，有效提高超分辨率重建圖像的質(zhì)量。而本文算法因L0先驗(yàn)?zāi)Ｐ偷囊?，該先?yàn)的參數(shù)無法實(shí)現(xiàn)自動化求解，可進(jìn)一步研究探討。