秦緒佳,柯玲玲,范穎琳,鄭紅波,張美玉

(浙江工業(yè)大學 計算機科學與技術學院,杭州 310032)

1 引 言

圖像去模糊問題一直以來在信號及圖像處理等相關領域都備受關注,針對這一問題研究人員提出了多種處理模型與算法,但大多模型存在一定的約束條件,在應用于不同的模糊圖像時穩(wěn)定性不夠,進而使得算法的適應性差,所以人們仍然孜孜不倦地在探索一種高性能且對一般性真實圖像具有普適性的算法.在實際的生產應用中,人們對圖像的質量有著很高的要求,但是通過不同手段獲取的圖像在成像過程中通常都會受到各種不確定因素的干擾,諸如,設備抖動、傳感器性能下降、拍攝條件受限、場景中物體運動等,這些都會導致圖像失真,已有的圖像去模糊處理算法很難滿足各類圖像對質量的應用要求.因而本文研究的單幅圖像快速去模糊算法具有較高的應用價值.

圖像的運動模糊是指在拍攝過程中,相機和目標物體之間具有相對運動而產生的模糊.圖像的非盲去模糊問題只有在模糊核已知的情況下才有解,現(xiàn)有的很多算法都是將此問題轉化為反卷積過程求解.反卷積在圖像上的應用方法有很多,這些方法在速度或復雜度上不盡相同.對圖像的簡單濾波操作速度快,但呈現(xiàn)出的視覺效果并不好.一些效果較好的算法先對圖像進行一系列濾波處理,然后匹配原圖像中與經處理后的邊緣統(tǒng)計信息的類似部分,在實際的求解過程中則表現(xiàn)為對正則化問題的約束.假設圖像邊緣呈現(xiàn)高斯分布,在經一系列傅里葉變換后仍然滿足高斯分布,通過這種方式可以很快恢復圖像.L.Rudin[1]、Y.Wang[2]等人分別利用快速L1范數(shù)和相應TV范數(shù)求解滿足拉普拉斯模型的邊緣分布,使得在短時間內生成的圖像質量較佳.一些文獻[3-5]中指出對真實圖像的研究表明超拉普拉斯模型能夠比較準確地擬合邊緣分布,很好地捕捉了邊緣分布呈現(xiàn)的“重尾”特性.然而利用超拉普拉斯約束使得問題產生了“非凸性”,增加了求解難度.就滿足0

在模糊核未知的情況下,實現(xiàn)單幅圖像的盲去模糊相當困難,因為已知量個數(shù)小于待求未知量的個數(shù),所以這是一個病態(tài)的求解過程.最初提出的盲去模糊算法是假設待求的模糊核滿足一般的線性結構,比如高斯模型,然后復原模糊核信息.然而自然圖像的模糊核結構通常較為復雜,其中包含有十分突出的邊緣特征.在研究圖像運動模糊的基礎上,通常情況下,對最小化x、k能量方程問題求解可以應用于單幅圖像的盲去模糊問題.多數(shù)用于解決單幅圖像盲去模糊問題的方法是結合模糊核信息的約束性條件以及對自然圖像先驗知識的理解,將其轉化為求模糊核與待恢復的潛在清晰圖像之間的聯(lián)合最大后驗概率MAPx、k[7,8]問題,再根據貝葉斯方法得出重要的后驗信息,進而推導出未知參數(shù).然而,Levin等人[9]在進行大量實驗之后發(fā)現(xiàn),在充分理解先驗知識的基礎之上直接利用MAPx、k模型進行盲去模糊的方法并不奏效.他們給出了解釋:受稀疏性條件的限制,最后得到的結果最有可能是模糊而并非邊緣清晰的圖像.但這個方法的可行之處在于,x與k的大小是極度不對稱的,使得通過最大后驗概率方法可以求解出精確的模糊核,將這類問題標記為MAPk[9].S.Cho[10]和Levin[11]等人基于上述內容估算模糊核,提取模糊核信息并結合原圖像進行快速反卷積,達到去模糊的效果.Benoit等人[12]建議使用Fuzzy C-Means(FCM)來約束最大似然期望的最大化反卷積方法.Z.Hu[13]在條件隨機場框架下,用公式來具體化子區(qū)域的選擇問題,提出用于去模糊的最佳子區(qū)域的判斷依據.L.Xu等人[14]使用的方法是將估算模糊核分為初始化過程與精確化過程的快速模糊核估算.這一方法在初始化階段,利用圖像金字塔模型快速且有效地估算模糊核的初始值,從而使得到的初始化結果具有較高的參考與計算價值,大大節(jié)省了對模糊核進行精確化處理所需的開銷.此外,Sun等人[15]基于稀疏表示和拉普拉斯混合模型提出了一種新的MAP圖像去模糊方法,即根據最大化后驗概率建立模糊方程結合參數(shù)估計算法,制定出解決模糊方程的新的迭代方案.經過去模糊處理后的圖像時常會出現(xiàn)振鈴偽影,為了有效抑制這一現(xiàn)象,Wen等人[16]提出根據局部圖像中高階導數(shù)的性質來計算自適應權值,從而穩(wěn)定隱式圖像復原的解.

在對前人提出的圖像去模糊處理算法進行總結并對部分算法的性能進行比較后,本文提出了一種針對正則約束項進行改進的單幅圖像去模糊算法,主要由三個部分組成完整的去模糊流程:選取用于模糊核估算的關鍵子區(qū)域、快速估算模糊核以及快速反卷積復原圖像.首先,在進行關鍵區(qū)域的選擇時,本文算法將參考L.Xu等人[14]在其文章中提到的梯度有效性,提取圖像中作用較大的邊緣信息,對“最優(yōu)”子區(qū)域進行鑒定與篩選時,使用一般的鄰域內響應的最大值作為依據;然后,在快速恢復潛在的模糊核信息階段,本文借鑒Krishnan和Fergus等人[6]提出的圖像復原策略,用超拉普拉斯模型來約束模糊核分布;最后,在快速反卷積復原圖像階段,已有的大多算法都是直接對圖像梯度進行超拉普拉斯約束,而本文提出一種新的圖像分布約束來替換原先的約束.

2 基于超拉普拉斯約束的圖像去模糊

2009年Krishnan和Fergus等人[6]提出了基于先驗的超拉普拉斯約束的圖像非盲反卷積復原方法.先來介紹什么是非盲反卷積問題,x是具有N個像素點的原始未損壞的線性灰度圖像;y是一個是被模糊或噪聲污染的降質圖像,假設得到的退化圖像是由x和模糊內核k做卷積再加上零均值的高斯噪聲產生的.現(xiàn)在假定問題為y和k是已知的,試圖找到一種有效的算法來復原原始圖像x.考慮到問題的病態(tài)特性,我們采用補償函數(shù)|.|α來正則化經一系列濾波器f1,…,fj處理x后的結果.這里用加權項λ來控制正則化的強度.從概率上講,求解的是最大后驗概率問題(MAPx)的估計:

p(x|y)∝p(y|x,k)p(x)

(1)

式(1)中前一項是高斯分布的概率,后一項是超拉普拉斯先驗圖像.p(x|y,k)的最大值等價于最小化代價-logp(x|y,k):

(2)

(3)

這里,β表示權值,在優(yōu)化過程中會不斷地變化,當β→∞時,(3)式收斂于(2)式.

通過對(2)式認真觀察,不難發(fā)現(xiàn)其實質是下式的變分模型:

(4)

(5)

對于這一問題的求解往往采用迭代交替最小化的方式進行求解,同時文獻[6]中也給出了具體的解決方案.

3 改進的超拉普拉斯約束圖像去模糊算法

3.1 算法整體流程

Levin等人[9]提出MAPk估算模式,該模式的具體內容是先估算出模糊核,在此基礎上再解決圖像反卷積問題,這種解決策略生成的圖像會更加清晰.采用的方法是先恢復模糊核再恢復圖像.Neel Joshi 等人[17]提出一種方法,根據整幅圖像中的具有明顯特征的邊緣信息來解決單幅圖像的模糊核估算問題.然而這種解決思路并不能獲得最優(yōu)解,當然利用全局圖像的特征來恢復模糊核信息更加不是一個好的選擇.此外,L.Xu等人[14]曾指出如果沒有仔細選擇具有較好的特征區(qū)域的前提下,堅持將含有潛在負面效應的整幅圖像應用于去模糊流程會產生質量較差的結果,即長度較短的邊緣對去模糊有反作用.一種存在一定風險的但在一定程度上能解決該問題的方法是讓用戶來選擇用于去模糊處理的關鍵區(qū)域.

圖1 本文算法處理流程Fig.1 Procedure of the algorithm

在不失魯棒性的前提下,本文中提到的篩選關鍵子區(qū)域的判斷方法具有十分重要的作用,即有效地提高了估算模糊核的準確性.在估算模糊核的過程中,仿照Krishnan和Fergus等人[6]提出的解決方法,對模糊核的稀疏性用超拉普拉斯模型進行約束,解決該非凸最小二乘問題也用類似的方法,最后能夠迅速恢復模糊核信息;在恢復潛在清晰圖像階段,我們提出了一種有效的約束項替換了Krishnan和Fergus等人[6]提出的算法中的正則約束項,解決了在復原過程中會出現(xiàn)強邊緣附近的小梯度區(qū)域盲目增強的問題.整個算法的具體流程如圖1所示.

3.2 圖像關鍵子區(qū)域的選擇

通過大量的實驗驗證可知,選擇具有豐富紋理的區(qū)域通常比那些平滑的區(qū)域能夠為估算模糊核提供更多有用的信息,但是,僅將紋理信息作為唯一依據的這類估算方法仍然可能產生較差的結果.實際不能用于模糊核估算的情況是大量重復的邊緣區(qū)域在邊緣方向與實際模糊運動方向比較靠近.圖2(a)為原圖,其它三幅為文獻[13]中選擇不同子區(qū)域估算模糊核并進行去模糊的結果.圖中左、中、右三個方框為三個子區(qū)域,圖2(b)-圖2(d)分別為使用原圖中三個不同子區(qū)域估算模糊核并進行圖像恢復的結果,在每張圖右上角方框中標出了對應的模糊核估算結果.很顯然,圖2(b)呈現(xiàn)的視覺效果最為清晰,主要是因為左側框中相較于其他顏色框選擇的關鍵子區(qū)域包含更多的信號,原模糊核信息能夠通過該這些信號被正確恢復.

現(xiàn)階段的一些研究算法開始注重根據圖像邊緣比較尖銳凸出的區(qū)域或者是邊緣的分布來估算模糊核.在合理的假設下,根據尖銳凸出的邊緣區(qū)域進行模糊核估算同使用紋理區(qū)域情況類似,能在圖像去模糊中產生很重要的作用.在運動模糊之后,原圖像中高對比度區(qū)域能夠成功保留模糊信息結構是有效利用圖像尖銳邊緣的前提.L.Xu等人[14]指出當模糊核大小大于邊緣大小時,模糊核的估算過程很有可能受到消極影響,針對這一問題本文在對圖像進行去模糊處理時采用足夠大的邊緣圖像.

圖2 不同模糊核恢復的圖像Fig.2 Restored images by using different fuzzy kernel

本文借鑒L.Xu等人[14]提出的算法,為了解決因去除小邊緣可能存在的副作用問題,有效地篩選出圖像邊緣中有利于算法進行的幅值和梯度.梯度有用性γ(p)定義如下:

(6)

其中,Ns(p)是以像素點p為中心的s×s窗口,分母中加上0.5的目的是防止平滑區(qū)域的γ(p)值過大.γ值較小時表示是微小邊緣或是平坦的區(qū)域.通過設定一個閾值τ,可以將單位階躍函數(shù)M(x)=H(γ(x)-τ)用來表示γ(p)的篩選.至此,可以用下面的公式來表示邊緣的選擇:

(7)

在進行篩選尖銳邊緣之前,原模糊圖像需要先進行沖擊濾波(使邊緣信息明顯)和雙邊濾波(一定程度上除去噪聲)處理.這樣我們就得到了完整圖像中經過篩選后的尖銳邊緣梯度.本文基于以上的處理步驟,在遍歷整幅圖像時利用簡單的寬度和高度自適應的矩形框,最終得到一個待用區(qū)域,該區(qū)域中非零幅值的像素點個數(shù)量是最多的.圖3為使用本文算法基于不同模糊圖像篩選得到的供模糊核估算的局部區(qū)域.

3.3 快速模糊核估算

(8)

其中,γ為權值.以上方程存在閉合解:

(9)

由于圖像會在各種不確定的因素下退化,為了保持圖像經一系列濾波處理后不降質,本文對模糊核的稀疏性進行超拉普拉斯約束,從而較為精確地估算出所需的模糊核信息.經本文改進后的能量方程為:

(10)

式中α≤1.0,式(10)中能量方程可以補償經一系列濾波處理后圖像.同時可以看出該能量方程轉變成了非凸最小二乘問題.為了達到快速解決以上問題的效果,下面引用Krishnan和Fergus等人[6]的有效解決模式,具體的解決思路:

圖3 不同模糊圖像采用本文算法選擇的子區(qū)域Fig.3 Sub-regions screened from different blurred images using the algorithm

1)對每個像素引入輔助變量v,從而可以將k項從補償函數(shù)|.|α的表達式中分離出來,新的代價函數(shù)即:

(11)

2)將上式轉化為交替求解不同變量:一是從先前的迭代中固定v,則將方程看作關于k的二次方程,此時問題將轉化為求k的過程;二是給定k,尋求v的最優(yōu)解.

(1)在v固定的情況下,可以將上式簡化成:

(12)

先對k求導,再將其置零進行傅里葉變換,最后將k表示成下式:

(13)

(2)在k固定的情況下,可將(11)式轉化成:

(14)

(14)式中的v值可以通過查詢LUT表獲得,通過解析法可求得在α=1/2和α=2/3兩個特殊情況下的值.

下面將L.Xu[14]等人提出的約束項用于估算模糊核信息得到的結果與本文中提出的新的約束項(α=0.8)處理得到的對應結果進行比較,情況如下:

圖4中,(b)為實際模糊核分布;(c)為Krishnan等人的算法恢復出的模糊核;(d)為利用Li Xu算法估算出的模糊核;(e)為本文方法估算出的模糊核.從圖中可以看出,本文方法獲得的模糊核與實際模糊核相近.

圖4 模糊核估算結果Fig.4 Different results of fuzzy kernel estimation

圖5為采用圖4中4種不同方法得到的模糊核,并利用文獻[4]中Levin等提出的非盲反卷積方法對圖4處理后的效果.

圖5 采用不同模糊核反卷積圖像去模糊結果Fig.5 Deblurred results by using different fuzzy kernel to carry out image deconvolution

3.4 快速非盲反卷積恢復

Krishnan和Fergus等人[6]在約束圖像稀疏性時,采用的是超拉普拉斯模型,同時提出了一種快速解決問題的模式.他們提出的最小化代價函數(shù):

(15)

反卷積恢復得到的清晰圖像可以表示成:

(16)

F1、F2利用Matlab的psf2otf函數(shù)生成:F1=psf2otf([1,-1],size),F2=psf2otf([1,-1]，size).

當固定x時,求解最優(yōu)化ω問題將轉化為解決2N個獨立的下列形式的一維問題:

(17)

上式中v≡(x?fj)i.

(18)

在這里,用I表示清晰圖像,Is則為圖像對應的尖銳邊緣圖像.

將Krishnan和Fergus等人[6]在其文章中針對類似問題提出的的解決策略與本文算法做個比較,很容易發(fā)現(xiàn)其主要區(qū)別在于圖像的反卷積復原過程,這一過程中,假設給定輔助變量ω=(ω1,ω2).在本文算法給出的約束條件下,清晰圖像可表示為:

將各權值設置為相同的條件下,利用Krishnan和Fergus等人[6]和本文分別提出兩種約束下生成的效果分別見圖6.

(19)

圖6 根據不同約束項復原的清晰圖像Fig.6 Clear images that are restored according to different constraints

4 實驗結果與分析

本文實驗環(huán)境為Inter(R)Xeon(R)E5620 CPU@2.40GHz(2處理器),內存16GB,64位操作系統(tǒng),采用Matlab編程實現(xiàn).

圖7-圖9是一些模糊圖像及其恢復實驗結果:

表1 PSNR(峰值信噪比)Table 1 Peak signal to noise ratio

表2 MSSIM(結構相似性)Table 2 Structural similarity

在圖7-圖9中,(a)圖為原模糊圖像;(b)為L.Xu 等人算法得到的結果;(c)Krishnan和Fergus等人算法實現(xiàn)的效果;(d)圖為本文算法處理得到去模糊圖像.分別用上面的三種算法對這三組圖片中的原圖像進行去模糊處理得到的各PSNR值和MSSIR值比較見表1-表3.

圖7 人物畫圖像去模糊結果Fig.7 Deblurred results of figure painting

表3 算法時間對比(單位:s)Table 3 Algorithm time contrast (unit:s)

圖8 自然場景去模糊結果Fig.8 Deblurred results of natural scene

從表1、 表2中的數(shù)據可以觀察到用本文算法對圖像進行處理后得到的圖像的峰值信噪比PSNR值大致介于L.Xu等人和Krishnan和Fergus等人的算法處理圖像得到的對應值之間.對于結構相似性MSSIM值,對圖7的處理,本文算法介于后兩者之間,而三種算法對圖8和圖9的處理得到的MSSIM值中,本文算法得出的值是三者中最高的.由此可見,本文提出的改進算法對模糊圖像處理的效果較好,圖像結構更突出.在實驗的過程中我們發(fā)現(xiàn)本文算法在處理的速度上相較于另外兩種算法也有明顯提高.

圖9 室外場景去模糊結果Fig.9 Deblurred results of outdoor scene

圖10 運動模糊風景照片去模糊結果Fig.10 Deblurred results of landscape photos with motion blur

圖10為攝影時因相機抖動獲得的運動模糊風景照片采用本文提出的算法得到的圖像清晰化結果.圖10(a)和圖10(c)為帶運動模糊的圖像,圖10(b)和圖10(d)對應的去模糊結果.

5 結 語

本文在學習研究前人所給出的圖像去模糊處理算法基礎上,提出了一種改進的單幅圖像去模糊算法.算法在圖像子區(qū)域選擇部分不單單從紋理豐富性角度考慮,也重點考慮到小邊緣區(qū)域是否會產生潛在的副作用,沿用L.Xu等人提出的算法思路,將幅值和梯度有用性作為選擇依據,篩選出有用的圖像邊緣信息.在快速恢復模糊核過程中,本文以Krishnan和Fergus等人提出的解法為指導,采用超拉普拉斯模型約束模糊核的稀疏性分布,使算法估算出的模糊核信息更為準確.最后在非盲反卷積階段改進了Krishnan和Fergus等人使用的正則約束項,使得生成的圖像清晰度高、結構突出.從整個算法流程來看,本文實際上是對單幅圖像的一種盲去模糊處理.最后使用該算法對多組圖像進行去模糊處理,然后對處理的結果進行比較分析,可以看到本文算法呈現(xiàn)了高效性,并能夠獲得較好的圖像去模糊效果.

：

[1] Rudin L I,Osher S,Fatemi E.Nonlinear total variation based noise removal algorithms[J].Nonlinear Phenomena,1992,60(1):259-268.

[2] Wang Y,Yang J,Yin W,et al.A new alternating minimization algorithm for total variation image reconstruction[J].SIAM Journal on Imaging Sciences,2008,1(3):248-272.

[3] Field D J.What is the goal of sensory coding[J].Neural Computation,1994,6(4):559-601.

[4] Levin A,Fergus R,Durand F,et al.Image and depth from a conventional camera with a coded aperture[J].ACM Transactions on Graphics (TOG),2007,26(3):70(1-9).

[5] Simoncelli E P,Adelson E H.Noise removal via Bayesian wavelet coring[C].IEEE International Conference on Image Processing,1996,1:379-382.

[6] Krishnan D,Fergus R.Fast image deconvolution using hyper-laplacian priors[C].Advances in Neural Information Processing Systems,2009:1033-1041.

[7] Shan Q,Jia J,Agarwala A.High-quality motion deblurring from a single image[J].ACM Transactions on Graphics (TOG),2008,27(3):73(1-10).

[8] Jia J.Single image motion deblurring using transparency [C].Computer Vision and Pattern Recognition,CVPR'07,IEEE Conference on.IEEE,2007:1-8.

[9] Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolution algorithms[C].IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009),2009:1964-1971.

[10] Cho S,Lee S.Fast motion deblurring[J].ACM Transactions on Graphics (TOG),ACM,2009,28(5):145(1-8).

[11] Levin A,Weiss Y,Durand F,et al.Efficient marginal likelihood optimization in blind deconvolution[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR2011),2011:2657-2664.

[12] Lelandais B,Duconge F.Deconvolution regularized using fuzzy c-means algorithm for biomedical image deblurring and segmentation[C].International Symposium on Biomedical Imaging,IEEE,2015:1457-1461.

[13] Hu Z,Yang M H.Good regions to deblur[M].Computer Vision-ECCV 2012,Springer Berlin Heidelberg,2012:59-72.

[14] Xu L,Jia J.Two-phase kernel estimation for robust motion deblurring[M].Computer Vision-ECCV 2010,Springer Berlin Heidelberg,2010:157-170.

[15] Sun D,Gao Q,Lu Y.A MAP approach for image deblurring based on sparsity prior and Laplacian mixture modeling[C].32nd Youth Academic Annual Conference of Chinese Association of Automation (YAC),Hefei,China,2017:901-906.

[16] Wen J,Zhao J,Wang C,et al.Blind deblurring from single motion image based on adaptive weighted total variation algorithm[J].Iet Signal Processing,2016,10(6):611-618.

[17] Joshi N,Szeliski R,Kriegman D J.PSF estimation using sharp edge prediction[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR 2008),2008:1-8.