李 桐,胡紹海,劉帥奇,孫宇恒
(1.北京交通大學(xué) 信息科學(xué)研究所,北京 100044;2.河北大學(xué) 電子信息工程學(xué)院,河北 保定 071002)
在數(shù)碼相機日益普及的今天,相機抖動或者物體運動造成的圖像模糊現(xiàn)象嚴(yán)重影響了使用者對數(shù)碼產(chǎn)品的體驗,怎樣從模糊圖像中恢復(fù)出清晰圖像成為了各國科學(xué)家研究的熱點問題。模糊圖像被復(fù)原成清晰圖像屬于圖像復(fù)原,這一復(fù)原過程被稱為圖像去模糊。由于模糊核函數(shù)是未知的,故這種圖像復(fù)原的過程稱為模糊圖像盲復(fù)原。圖像去模糊技術(shù)在攝影、航空、航海、地質(zhì)勘探等領(lǐng)域起著顯著的作用。對單幅圖像進行圖像盲去模糊非常困難,由于只有一個已知量(模糊圖像),而要求出兩個未知量(清晰圖像和模糊核),因此該過程是一個病態(tài)問題的求解過程。求解這樣的問題通常是對模糊圖像或者模糊核增加一些先驗約束進行正則化求解。
Fergus[1]等人利用圖像的先驗知識和模糊核的約束條件對模糊圖像進行正則化求解。通過大量自然圖像的對比試驗,提出清晰圖像與模糊圖像在圖像的梯度分布上區(qū)別很大,清晰圖像的梯度符合長拖尾分布,而模糊圖像的梯度不符合這種特征。利用混合高斯函數(shù)作為約束函數(shù)對自然圖像梯度分布進行擬合,并采用變分貝葉斯方法估計出模糊核,通過傳統(tǒng)R-L算法恢復(fù)原始圖像。由于圖像梯度分布函數(shù)具有廣泛性,因此該方法可以得到較好的去模糊效果。但是由于混合高斯函數(shù)擬合自然圖像梯度分布時,在梯度值較大的地方往往會出現(xiàn)過擬合現(xiàn)象,從而導(dǎo)致去模糊后的圖像產(chǎn)生了嚴(yán)重的振鈴效應(yīng)。
本文對Fergus算法進一步改進,采用有理數(shù)多項式擬合自然圖像梯度分布。雖然與混合高斯函數(shù)相比,有理數(shù)多項式函數(shù)在擬合自然圖像梯度特征時在誤差項平方和(SSE)、確定系數(shù)(R-square)、校正的決定系數(shù)(Adjusted R-square)、均方根(RMSE)等擬合優(yōu)度標(biāo)準(zhǔn)上只具有略微的優(yōu)勢,但是有理數(shù)多項式函數(shù)大大的削弱了擬合過程中的過擬合現(xiàn)象,從而使模糊核的估計更準(zhǔn)確,減小了由此而帶來的振鈴效應(yīng),對模糊圖像的復(fù)原更加有效。
運動模糊退化圖像的數(shù)學(xué)模型一般為
式中:B為輸入的模糊退化圖像;K為模糊核;L為清晰圖像;N為成像過程中加性噪聲。
圖像去模糊的目標(biāo)就是求解清晰圖像L。一般情況下,是在抑制噪聲的情況下,先求解模糊核K,然后通過傳統(tǒng)的反卷積算法求解得到清晰的圖像L。設(shè) p(L)是清晰圖像的概率密度函數(shù),p(B)是模糊圖像的概率密度函數(shù),而 p(L|B)表示已知模糊圖像條件下,原始清晰圖像的條件概率密度。根據(jù)貝葉斯定理,則有下式成立
由于模糊核K需要利用模糊圖像B來估計,式(2)可以寫成
在模糊圖像B已知時,可以得到如下的關(guān)系
即可得
E(K)=-lg(p(K)),其中E(B|L,K)是圖像噪聲約束項,也是模糊圖像B、清晰圖像L和模糊核K之間的數(shù)據(jù)匹配約束項,E(L)是對自然圖像的特征約束項,E(K)是對模糊核的特征約束,設(shè)E(L,K|B)為能量項,則有
由于上述模型已知量B的個數(shù)小于未知量L、K的個數(shù),所以這是一個病態(tài)問題的求解過程,在理論上難以獲得精確的解,因此通過L、K的大量迭代,在實驗中能夠獲得最優(yōu)解,EK(K)和EK(L)為能量項,對二者進行迭代即迭代以下兩個能量
這樣,把通過貝葉斯理論建立的求最大后驗概率(MAP)問題[2]轉(zhuǎn)化成求最小能量問題。計算迭代出模糊核,最后通過反卷積得到清晰圖像。
通常認(rèn)為自然場景圖像具有平滑性或者分塊平滑性,通過圖像的梯度可以體現(xiàn)圖像的平滑性。圖像的梯度值大部分情況下比較小,分布在梯度為零值附近,很少一部分會出現(xiàn)較大的值,這說明圖像梯度是稀疏的。梯度值較大的部分,對應(yīng)的是圖像中的細(xì)節(jié)。以往論文都通常假定圖像梯度的分布特征服從一個高斯模型,即
式中:‖ ‖
?F 為圖像梯度,利用圖像梯度的分布約束能夠減少圖像去模糊過程中的不確定性,但是在假設(shè)中強制圖像梯度分布服從高斯分布,導(dǎo)致模糊核估計不準(zhǔn)確,恢復(fù)結(jié)果過于平滑,因此引入較強的振鈴效應(yīng)[2]。
實際上,自然場景圖像梯度并不服從高斯分布,因此利用高斯模型進行圖像去模糊的效果并不是很好。本文對圖像先驗約束模型進一步改進,提出用有理數(shù)多項式函數(shù)擬合自然圖像梯度分布特征函數(shù)。大量圖像分析統(tǒng)計發(fā)現(xiàn),自然場景圖像的梯度分布具有一個很明顯的長拖尾曲線特征[3-4]。自然場景圖像具有很強的平滑性,大部分梯度值都在零值附近,而圖像梯度分布圖中很長的拖尾是由梯度值較大的點造成的,對應(yīng)的是自然場景圖像中的細(xì)節(jié)。
圖1是利用20幅自然圖像統(tǒng)計的自然圖像的梯度分布,其橫坐標(biāo)為梯度值,縱坐標(biāo)為梯度值對應(yīng)的概率的對數(shù)。
Fergus采用混合高斯函數(shù)擬合自然圖像的梯度分布
式中:an,bn和cn為高斯函數(shù)參數(shù)。
圖2即為混合高斯函數(shù)擬合的效果圖,其中黑點為經(jīng)過計算統(tǒng)計得到的圖像真實概率密度,untitled fit 1為混合高斯擬合函數(shù)??梢钥吹皆跀M合過程中,混合高斯函數(shù)擬合在梯度為100~150時,出現(xiàn)比較嚴(yán)重的過擬合現(xiàn)象。
圖1 自然圖像的梯度分布
圖2 混合高斯函數(shù)擬合自然圖像梯度分布
為了防止過擬合現(xiàn)象的出現(xiàn),本文采用有理數(shù)多項式函數(shù)擬合自然圖像的梯度分布
在有理數(shù)多項式函數(shù)中,通過曲線擬合確定有理多項式中的系數(shù) p和q。調(diào)節(jié)多項式的項數(shù)可以對擬合效果進行調(diào)整,但是考慮到項數(shù)多會產(chǎn)生冗余,增加了計算復(fù)雜度和計算時間,故本實驗采用上述函數(shù)。
圖3為有理數(shù)多項式函數(shù)擬合的效果圖,其中黑點為圖像的真實概率密度,untitled fit 2為有理數(shù)多項式函數(shù)擬合函數(shù)??梢钥吹皆摵瘮?shù)克服了擬合過程中出現(xiàn)的過擬合現(xiàn)象。
圖3 有理數(shù)多項式函數(shù)擬合自然圖像梯度分布
為了更為詳細(xì)地對比兩種擬合算法,本文計算了兩種擬合函數(shù)的擬合優(yōu)度
式中:Xi為原始數(shù)據(jù);X?i為預(yù)測值;Xˉi為原始數(shù)據(jù)平均值。
如表1所示,SSE與RMSE越接近于0,說明函數(shù)擬合越好,數(shù)據(jù)預(yù)測越成功。決定系數(shù)R-square與校正后決定系數(shù)Adjusted R-square是通過數(shù)據(jù)的變化來表征函數(shù)擬合的好壞,值越接近1說明擬合越好。可以看到本文的擬合算法略勝于混合高斯函數(shù)擬合算法。綜合考慮本文的擬合算法必然可以帶來更好的去模糊效果。
表1 擬合優(yōu)度對比
由于有理數(shù)多項式函數(shù)的分母多項式強制函數(shù)在梯度值較大值時平滑,所以有效地避免了過擬合現(xiàn)象的發(fā)生,從而使得模糊核估計得更準(zhǔn)確,減少振鈴效應(yīng)。本文通過集成學(xué)習(xí)[5-7],首先利用新的擬合函數(shù)進行能量項迭代求得模糊核,然后利用Richardson-Lucy算法[8-9]進行反卷積得到去模糊圖像。
本文選擇了人工合成圖像與自然拍攝的模糊圖像進行實驗,進而說明有理數(shù)多項式逼近自然圖像的梯度分布作為先驗約束的有效性。采用峰值信噪比PSNR(Peak Signal to Noise Ratio)和均方誤差和MSE(Mean Square Error)這兩個指標(biāo)評估兩種約束函數(shù)的復(fù)原結(jié)果。
圖4為使用混合高斯約束去模糊的結(jié)果和有理數(shù)多項式約束去模糊的結(jié)果,圖4a為清晰圖像,圖4b為人工模糊圖像,其中模糊核是均值為0,方差為5的高斯模糊核,圖4c為使用混合高斯約束得到的去模糊圖像,圖4d為使用有理數(shù)多項式約束得到的去模糊圖像。在圖4c中,平坦的背景區(qū)域出現(xiàn)了明顯的振鈴效應(yīng),這是因為在使用混合高斯函數(shù)擬合自然梯度圖像時,在大梯度值區(qū)域出現(xiàn)了過擬合現(xiàn)象,導(dǎo)致模糊核估計不準(zhǔn)確,從而使得圖像恢復(fù)失真,出現(xiàn)振鈴。在圖4d中,由于使用有理數(shù)多項式擬合自然圖像梯度,抑制了過擬合現(xiàn)象,所以圖像的細(xì)節(jié)部分保存相對完整,且模糊核估計相對準(zhǔn)確,振鈴效應(yīng)減少。
圖4 人工模糊圖像去模糊效果圖
圖5 為自然拍攝的模糊圖像的去模糊效果圖。圖5a模糊圖像,圖5b為使用混合高斯約束得到的去模糊圖像,圖5c為使用有理數(shù)多項式約束得到的去模糊圖像。在圖5b中,也有明顯的振鈴效應(yīng)。而在圖5c中,由于使用有理數(shù)多項式擬合自然圖像梯度,抑制了過擬合現(xiàn)象,振鈴效應(yīng)得到了明顯的抑制。
圖5 自然模糊圖像去模糊效果圖
表2為使用有理數(shù)多項式約束的去模糊圖像與混合高斯約束的去模糊圖像的PSNR、MSE比較。從表中結(jié)果可以看出,有理數(shù)多項式擬合自然圖像的梯度分布作為約束在這兩項客觀評價上有提升,但是在運算速度上,由于算法本身的自然對數(shù)限制,所以使用多項式擬合后,迭代所需要的時間更長。
表2 人工模糊圖像去模糊效果比較
本文提出了基于有理數(shù)多項式的圖像先驗?zāi)P图s束,利用有理數(shù)多項式擬合自然圖像梯度分布,通過選取合理的擬合參數(shù),得到擬合優(yōu)度良好的擬合函數(shù),避免了由于混合高斯函數(shù)過擬合現(xiàn)象帶來的模糊核估計不準(zhǔn)確,從而得到了較佳的去模糊效果。使用人工模糊圖像與自然模糊圖像的復(fù)原結(jié)果證明了本文算法的有效性和可行性。
[1]FERGUS R,SINGH B,HERTZMANN A,et al.Removing camera shake from a single photograph[C]//Proc.ACM Trans.Graphics(TOG).[S.l.]:ACM,2006:787-794.
[2]SHAN Q,JIA J,AGARWALA A.High-quality motion deblurring from a single image[C]//Proc.ACM Trans.Graphics(TOG).[S.l.]:ACM,2008:73.
[3]KRAHMER F,LIN Y,MCADOO B,et al.Blind image deconvolution:motion blur estimation[J].IMA Preprints Series,2006(21):33-35.
[4] STEFAN R,MICHAEL J.Fields of experts:freamwork for learning image priors[J].Computer Vision and Pattern Recognition,2005(10):56-59.
[5]YAIR W,F(xiàn)REEMAN W T.What makes a good model of natural images[J].Computer Vision and Pattern Recognition,2007(8):14-20.
[6]MISKIN J,MACKAY D.Ensemble learning for blind image separation and deconvolution[J].Neural Computing,2000(9):123-141.
[7] OSHER S,RUDIN L I.Feature-oriented image enhancement using shock filters[J].SIAM Journal on Numerical Analysis,1990,27(4):919-940.
[8]MISKIN JW.Ensemble learning for independent component analysis[D].Cambridge:University of Cambridge,2000.
[9] RICHARDSON W H.Bayesian-based iterative method of image restoration[J].JOSA,1972,62(1):55-59.
[10] LUCY L B.An iterative technique for the rectification of observed distributions[J].The Astronomical Journal,1974(79):745.