郝建坤,黃 瑋,劉 軍,何 陽
(1.中國科學院 長春光學精密機械與物理研究所,吉林 長春 130033;
2.中國科學院大學,北京 100049)
?
空間變化PSF非盲去卷積圖像復原法綜述
郝建坤1,2,黃瑋1*,劉軍1,何陽1,2
(1.中國科學院 長春光學精密機械與物理研究所,吉林 長春 130033;
2.中國科學院大學,北京 100049)
摘要:傳統(tǒng)的圖像復原一般認為點擴散函數(shù)(PSF)是空間不變的,實際光學系統(tǒng)由于受到像差等因素的影響,并非嚴格的線性空間不變系統(tǒng),基于空間變化PSF的非盲去卷積圖像復原法逐漸體現(xiàn)其優(yōu)越性??臻g變化PSF的非盲去卷積圖像復原法先準確估計圖像空間變化的PSF,再利用非盲去卷積算法對圖像進行復原,有利于恢復出高質(zhì)量圖像。本文從算法的角度綜述了近幾年提出的基于空間變化PSF的非盲去卷積圖像復原方法,并對比了基于強邊緣預測估計PSF的非盲去卷積法、基于模糊噪聲圖像對PSF估計非盲去卷積法等算法的優(yōu)缺點,各算法分別在PSF估計精確度、振鈴效應抑制效果、適用范圍等方面體現(xiàn)出各自的優(yōu)劣??臻g變化PSF的非盲去卷積圖像復原法的研究,有利于推進圖像復原技術(shù)向更高水平發(fā)展,使光學系統(tǒng)往輕小型化方向發(fā)展,從而在多個科學領(lǐng)域發(fā)揮其重要作用。
關(guān)鍵詞:圖像復原;空間變化PSF;非盲去卷積;PSF估計
Review of non-blind deconvolution image restoration
based on spatially-varying PSF
1引言
圖像退化是指在圖像獲取傳輸過程中,由成像系統(tǒng)、傳輸介質(zhì)方面的原因造成圖像質(zhì)量下降,典型的表現(xiàn)為圖像模糊、失真等。產(chǎn)生圖像退化的原因有很多,常見的有以下幾種:
(1)目標或拍攝裝置的移動造成的運動模糊,長時間曝光引起的模糊等;
(2)焦點未對準、廣角引起的模糊,大氣擾動引起的模糊,曝光時間太短導致拍攝裝置捕獲的光子太少引起的模糊等;
(3)散焦引起的圖像扭曲;
(4)圖像在成像、數(shù)字化、采集和處理過程引入的噪聲;
(5)成像系統(tǒng)本身的像差引起的模糊。
根據(jù)點擴散函數(shù)(PSF)是否已知,圖像去模糊的方法大致可以分為兩類[1]:(1)盲去卷積,即圖像的PSF是未知的;(2)非盲去卷積,即圖像的PSF已知。
對于盲去卷積,由于PSF未知,在恢復清晰圖像的過程中,還要對PSF進行估計,這是一個具有挑戰(zhàn)性的病態(tài)逆問題?,F(xiàn)實生活中絕大多數(shù)模糊圖像的PSF未知,這使得圖像盲復原更接近實際情況,因此大量盲去卷積的算法涌現(xiàn)出來[2-7],其中針對運動模糊[8-9]和離焦模糊[5]等不同的模糊情況有不同的算法。
對于非盲去卷積,PSF要求已知,或者可以由算法來估計。根據(jù)模糊和PSF是否為空間變化,非盲去卷積可以分為空間不變PSF非盲去卷積和空間變化PSF非盲去卷積??臻g不變PSF非盲去卷積認為光學系統(tǒng)點擴散函數(shù)空間不變,整幅圖像利用同一個PSF去卷積。經(jīng)典的空間不變PSF非盲去卷積算法有維納濾波算法[10]、Richardson-Lucy算法[11-12]、約束最小二乘算法[13]等,這些算法在圖像復原過程中會出現(xiàn)振鈴效應、噪聲放大等問題。空間變化PSF非盲去卷積基于光學系統(tǒng)點擴散函數(shù)的空間變化性去卷積,其整體思路為先對成像系統(tǒng)的點擴散函數(shù)作評估,使其盡量接近真實值,再利用非盲去卷積的方法對圖像進行復原。若能較精確估計圖像空間變化的PSF,則更有利于恢復出高質(zhì)量的圖像。
本文將簡單介紹空間變化PSF非盲去卷積算法的發(fā)展史,并對近幾年提出的幾種算法進行介紹與分析,并針對各算法圖像復原結(jié)果對它們的優(yōu)缺點進行評述,最后做出總結(jié)與展望。
2空間變化PSF非盲去卷積法發(fā)展史
圖像的退化模型可用下面的數(shù)學表達式表述:
(1)
式中,g(x,y)是指退化的圖像,h(x,y)是指點擴散函數(shù),f(x,y)為原圖像,n(x,y)為加性噪聲,*代表卷積運算。
從圖像退化模型來看,恢復清晰圖像是一個反卷積的過程,利用非盲去卷積對圖像進行復原,則需對圖像的PSF進行估計。傳統(tǒng)的圖像復原方法認為PSF空間不變,而實際上光學系統(tǒng)受像差等因素的影響并非是嚴格的線性空間不變系統(tǒng),系統(tǒng)的點擴散函數(shù)會隨著視場的變化而改變,因此空間變化PSF非盲去卷積圖像復原法的提出,更有利于提高復原質(zhì)量。
空間變化圖像復原建模困難,計算量大,從20世紀60年代開始很多學者對此展開了深入研究。1965年,羅曼和帕爾斯[14]首先對各視場退化不同這一現(xiàn)象進行了討論;2006年,加納[15]在考慮像差和離焦的情況下對運動模糊所產(chǎn)生的空間變化點擴散函數(shù)進行了討論。空間變化PSF非盲去卷積算法主要利用分塊復原的方法對圖像去模糊。
分塊復原法由Trussell和Hunt于1978 年首先提出[16-17],其主要步驟為將圖像劃分為子塊,認為每一子塊圖像的點擴散函數(shù)是空間不變的,然后對每個子塊利用維納濾波算法去卷積,最后將復原后的子圖像塊拼接到一起,重構(gòu)整幅清晰圖像。1993年,Michael L.Cobb等人利用大型并行計算機實現(xiàn)了Richardson-Lucy算法及最大熵算法,恢復了哈勃圖像[18]。1995 年,F(xiàn)aisal等人在更為先進的并行計算機上,基于空間變化PSF,采用Richardson-Lucy恢復了哈勃圖像[19]。1996年,Boden[20]等人考慮了點擴散函數(shù)分塊插值的結(jié)果,使用Richardson-Lucy算法成功恢復了哈勃圖像。1997年,Thomas[21]對分塊復原展開深入研究,應用等暈區(qū)對圖像劃分,進而對圖像各區(qū)域進行復原。由于分塊復原法將復原圖像塊拼接后容易出現(xiàn)邊緣效應,因此隨后許多學者對此展開研究,Guo等人[22]將圖像分塊后利用期望最大化算法(Expectation-Maximization,EM)估計各圖像塊的PSF,得到圖像空間變化PSF,再用空間自適應限制最小二乘法復原圖像,圖像細節(jié)多的區(qū)域使用較松的規(guī)則化參數(shù)及較快的收斂速度,而在圖像相對平坦的區(qū)域使用較嚴格的規(guī)則化參數(shù)及較慢的收斂速度,從而抑制了邊緣效應;Junmo Kim[23]以及Leah Bar[24]等人分別在2002年,2007年先后針對局部模糊圖像先使用交替最小化方法尋找模糊圖像邊界,然后利用Mumford-Shah 規(guī)整化方法復原圖像,抑制邊緣振鈴效應。
除了分塊復原,還可以利用直接復原的方法,其步驟為先測得整幅圖像空間變化的PSF,再使用非盲去卷積對圖像進行恢復。Berger等人[25]提出一種空變自適應方法,將正則化和幻影抑制約束同時集成到算法中,利用凸集投影法復原圖像,不僅提高了像質(zhì),還消除了振鈴效應;2005年,Martin[26]利用直接復原法對圖像進行恢復,使用非凸的 Perona-Malik規(guī)整化方法提高算法的魯棒性,取得較好的效果。
隨著圖像處理技術(shù)的發(fā)展,近幾年許多學者在前人研究的基礎(chǔ)上,提出了更多基于空間變化PSF的非盲去卷積圖像復原法,這些算法處理速度快、魯棒性好、適用范圍廣,具有較好的性能。接下來將對2008年至今所提出的一些方法進行介紹與分析。
3基于空間變化PSF非盲去卷積法圖像復原法介紹與分析
對于僅已知一幅模糊圖像的盲復原問題,準確估計PSF是核心問題。由于圖像強邊緣經(jīng)模糊后對圖像質(zhì)量影響較大[27],因而通過強邊緣預測法[28]尋找圖像的強邊緣,在預測到的強邊緣信息中,選擇半徑為r區(qū)域內(nèi)的像素值作為有效像素用來估計空間變化的PSF。評估PSF時,基于貝葉斯框架,可表述為求解最大后驗概率(MAP)問題[43],進而轉(zhuǎn)化為求負對數(shù)似然比之和的最小值。
(2)
(3)
式中,Ki≥0,用牛頓投影梯度法求解該非負線性最小二乘問題。
圖像空間變化PSF估計得到后,可以用各種非盲去卷積算法對圖像去模糊,但必須保證算法整體的有效性。
利用兩幅不同曝光度的圖像對模糊圖像進行復原的想法,最早由S.H.Lim和D.A.Silverstein提出[29]。該算法估計圖像空間變化的PSF,需要對同一場景拍攝兩幅圖像:一幅模糊圖像,一幅噪聲圖像[30]。將兩幅圖像分成相同的N×N個圖像塊,先測得每個圖像塊中心的PSF值,圖像其余位置的PSF利用雙線性插值近似得到。分塊圖像的模糊可表示為[31]:
(4)
(5)
式中,第一項為誤差項,表示清晰圖像與模糊核卷積所得的模糊圖像和輸入的模糊圖像之間的誤差,其越接近0越好;第二項為正則項,減少由模型的不精準度所引入的噪聲。
如此估計得到的PSF是失敗的,部分模糊核形狀異常,因此需要對無效的模糊核進行判斷,進而對其修正。判定無效模糊核位置的方法有兩種:(1)計算各子窗口模糊核的熵,超過某閾值的即為無效模糊核;(2)由像素飽和引起的PSF估計失敗則更為嚴重,解決此問題需計算各子窗口模糊核值的和,對于有效模糊核,其值之和應該接近于1,因而模糊核值之和與其他偏差較大的即為無效模糊核。確定無效模糊核位置后,用與其相鄰的有效模糊核的平均值作為其修正值。
PSF確定后,通過能量函數(shù)最小化的方法對圖像去卷積:
(6)
式中,第一項為誤差項;第二項為全變分正則項,它不僅能有效去除噪聲,而且不會過平滑圖像邊緣,除此之外,某種程度上能夠抑制由像素飽和引起的振鈴效應。通過半二次迭代法[32]求解式(6)最小值。
參考文獻用[30]、[33]提出的改進的Richardson-Lucy(RL)算法對圖像去卷積,先利用殘余RL算法(residual RL)對圖像初步恢復,再用增益控制RL算法(Gain-controlled RL)進一步去除振鈴效應,其速度比能量函數(shù)最小化法更快。
PCGLS算法與分塊復原法相近,但并不是分別對每個區(qū)域進行復原再拼接到一起,而是將每一區(qū)域點擴散函數(shù)進行插值預處理,再利用最小二乘共軛梯度法對圖像全局復原,可有效避免傳統(tǒng)分塊復原法造成的邊緣振鈴效應。
首先將圖像分為N×N個矩形區(qū)域,然后測部分區(qū)域的PSF。測量PSF的方法有點脈沖法、脈沖法、刀刃法。接著對點擴散函數(shù)進行插值預處理,獲得其他區(qū)域的點擴散函數(shù),經(jīng)過插值預處理得到的PSF更為精確,避免了實驗設備條件不完善引入的誤差,有利于后續(xù)對圖像的復原。插值預處理的方法有線性插值、三次樣條插值、及分段三次Hermite插值多項式插值。線性插值一般插值效果不理想,實際應用較少。分段三次Hermite插值函數(shù)比線性插值函數(shù)光滑性好,但不具有收斂性,而且會產(chǎn)生Runge現(xiàn)象,插值效果不理想。三次樣條插值效果最好,應用比較廣泛。
圖像復原問題可轉(zhuǎn)化為求解最小二乘法問題:
(7)
共軛梯度法是一種求解最優(yōu)化問題最有效的迭代方法,將其引入求解該最小二乘問題中,可獲得較好的復原效果。
Hirsch[34]等人提出的EFF(Efficient Filter Flow)法,基于頻域來計算圖像空間變化的PSF。在不考慮噪聲的情況下,圖像模糊可用矩陣向量相乘(MVM,matrix-vector-multiplication)線性表示y=Ax。參考文獻[35]提出的疊加(OLA,overlap-add )的方法,能夠在頻域中快速有效地計算空間變化的PSF。主要思想為將模糊圖像重疊分為p塊,其中一塊模糊圖像表示為[34]:
(8)
式中,x為清晰圖像,a(r)為第r個圖像塊的濾波器,其長度為k,w(r)是一個長度與x相同的窗口函數(shù),使得第r個圖像塊與清晰圖像x相對應的位置像素值不為0。
整幅圖像空間變化的PSF可表示為:
(9)
式中,A(r)表示a(r)的矩陣形式,Diag(v)表示向量v的對角矩陣形式,將式(9)轉(zhuǎn)化到頻域中:
(10)
式中,Cr是剪切矩陣,Za,Zy為補零矩陣,F(xiàn)表示離散傅里葉變換。
(11)
交叉通道先驗去卷積就是不同的顏色通道在去卷積過程中共享信息,那么特征頻率保存較完好的某一顏色通道就可以幫助其他顏色通道重構(gòu)圖像。凸的交叉通道先驗圖像復原法,不僅保證了全局收斂至最佳值,而且即使圖像存在較嚴重的模糊,也能恢復出質(zhì)量較好的圖像。
評估空間變化的PSF,需要對同一場景拍攝一幅模糊圖像(正常光圈大小下拍攝)和一幅清晰圖像(光圈縮小至接近小孔拍攝),將模糊圖像和清晰圖像劃分成若干個大小相同的圖像塊。設j為模糊圖像的一個圖像塊,I表示相對應的清晰圖像塊,估計PSF的最佳值bopt相當于求解下面的最小化問題:
(12)
式中,第一項是線性最小方差的數(shù)據(jù)融合項, s=∑x,yI(x,y)/∑x,yj(x,y)是某個圖像塊的清晰圖像與模糊圖像像素值之比,表示清晰圖像塊和模糊圖像塊之間的差異;第二項為全變分先驗;第三項表示能量約束項。式(12)是一個凸優(yōu)化問題,采用一階原始對偶優(yōu)化算法[39],通過不斷迭代得到最優(yōu)PSF。得到最佳PSF以后,利用去卷積算法最終恢復清晰圖像。將該交叉通道先驗運用到所有顏色通道的去卷積過程中,可以用以下優(yōu)化問題來描述:
(13)
式中,第一項為最小二乘數(shù)據(jù)擬合項,第二項為圖像先驗項,第三項為交叉通道先驗項。其中c表示不同顏色通道,i為清晰圖像,j為模糊圖像,B是模糊核,H是卷積矩陣,λ和β均為權(quán)重因子。式(13)類似于式(12),同樣使用一階原始對偶優(yōu)化算法來求解,最終恢復出清晰的圖像。
4算法對比及優(yōu)缺點評述
基于強邊緣預測估計PSF的非盲去卷積法適用于由運動、離焦以及相機的固有屬性所引起的模糊,運行速度快,對各種圖像都能較準確地估計其模糊核,且能夠在亞像素分辨率條件下,估計圖像空間變化的PSF。然而,它也有一定的局限性,只能求解具有單峰的模糊核,一旦模糊核為多峰,該算法就不再有效。這種局限性主要來源于對邊緣檢測器的依賴,對于每個模糊邊緣,邊緣檢測器只能找到一個位置。Joshi[28]等人利用上述方法對同時存在離焦和運動模糊的圖像進行復原,測得整幅圖像的PSF后(其中噪聲由參考文獻[40]提出的方法測得),利用經(jīng)典的Richardson-Lucy算法進行去卷積,有效抑制振鈴效應,并校正色差,實驗結(jié)果如圖1。
圖1 Joshi等人實驗的恢復圖像Fig.1 Recoverd image in the experiment by Joshi, et al
基于模糊/噪聲圖像對PSF估計非盲去卷積法主要用于運動模糊,其獨特之處在于用兩幅不同曝光度的圖像進行圖像復原。相比于單幅圖像復原,其速度更快,且能分割處理拍攝目標運動引起的模糊。算法整體魯棒性好,但抑制振鈴效應的效果相比多幅圖的圖像復原差一些。Michal S?orel[31]等人將圖像分為7×7的圖像塊,利用該算法對圖像進行復原,分別用能量函數(shù)最小化法和參考文獻[33]提出的改進的RL算法去卷積,后者速度更快,實驗結(jié)果見圖2、圖3,兩種方法復原圖像像質(zhì)都有所提升,雖然利用改進的RL算法去卷積速度較快,但是圖像復原質(zhì)量相比能量函數(shù)最小化法差一些。
圖2 估計失敗的PSF和改進后的PSFFig.2 Unsuccessfully estimated PSF and adjusted PSF
圖3 改進RL算法和能量最小化算法恢復圖像Fig.3 Recovered images by variant RL and energy minimization
基于預處理的空變PSF的最小二乘共軛梯度法(PCGLS)主要對成像光學系統(tǒng)像差所引起的圖像模糊進行復原,引入點擴散函數(shù)的全局思想,進而進行全局圖像復原。利用插值對PSF進行預處理從而避免了邊緣振鈴效應,與未經(jīng)過預處理的空間變化PSF最小二乘共軛梯度法相比,其迭代速度較快,但是像質(zhì)沒有明顯提高。郝玲[41]將圖像分為5×5個圖像塊,先用刀刃法測部分區(qū)域的PSF,再利用分段插值對PSF進行預處理,最后利用最小二乘共軛梯度法對圖像復原,實驗結(jié)果見圖4。
圖4 模糊圖像和恢復圖像Fig.4 Blurred image and recovered image
圖5 Christian J.Schuler等人實驗的恢復圖像Fig.5 Recovered image in the experiment by Christian J.Schuler, et al
基于頻域估計PSF與Hyper-Laplacian先驗的非盲去卷積法主要用于運動模糊和光學系統(tǒng)像差引起的圖像模糊。該算法使用重疊分塊,在頻域中能夠快速有效地計算空間變化的PSF。利用Hyper-Laplacian先驗對圖像進行去卷積,可平滑圖像。該算法不僅對復雜成像光學系統(tǒng)圖像復原效果很好,而且對于模糊程度非常大的單透鏡相機同樣有較好的效果,其適用范圍廣。Christian J.Schuler[38]等人利用該算法,在去卷積的同時加入去馬賽克變化,不僅去除模糊還恢復了圖像的全彩色,實驗結(jié)果見圖5,復雜系統(tǒng)和單透鏡復原像質(zhì)都明顯提升?;谝浑A原始對偶算法的凸交叉通道先驗圖像復原法主要用于光學系統(tǒng)像差導致的圖像模糊,運行速度快,魯棒性好,并且能夠使全局收斂至最佳值,交叉通道先驗使不同顏色通道能夠共享更多圖像細節(jié),抑制各通道產(chǎn)生的振鈴效應,從而恢復出像質(zhì)較高的圖像。該算法不僅適用于普通商用鏡頭圖像恢復,而且適用于模糊嚴重的簡單透鏡系統(tǒng),同時也可用于多光譜相機的圖像復原,適用范圍非常廣。對簡單透鏡系統(tǒng)的圖像恢復,雖然像質(zhì)提升至可接受的結(jié)果,但是與高端單反相機拍攝的照片相比,像質(zhì)差一些。Heide[42]等人用焦距為130 mm、F#為4.5的平凸透鏡制成單透鏡相機并獲取模糊圖像,其實驗恢復結(jié)果見圖6,像質(zhì)明顯提高。
下面分別從估計PSF的方法、去卷積的方法、適用范圍、優(yōu)點以及缺點5個方面,對5種算法實例進行對比,其對比結(jié)果見表1。
圖6 Heide等人實驗的恢復圖像Fig.6 Recovered image in the experiment by Heide, et al
PSF估計去卷積適用范圍優(yōu)點缺點Joshi強邊緣預測法Richardson-Lucy運動、離焦以及相機的固有屬性所引起的模糊①速度快②PSF估計較準確③亞像素分辨率下 復原圖像不適用于模糊核為多峰的情況MichalSorel模糊/噪聲圖像對估計法改進的RL算法運動模糊①比單幅圖像復 原速度更快②振鈴效應抑 制效果好拍攝兩幅不同曝光度的圖像不易控制HaoLin刀刃法+分段插值最小二乘共軛梯度像差引起的模糊 避免振鈴效應像質(zhì)提高不明顯ChristianJ.Schuler頻域直接計算Hyper-Laplacian先驗+demosaicing運動模糊、像差模糊①PSF估計快速有效②恢復圖像全彩色③能用于單透鏡 成像復原單透鏡復原效果差一些,PSF有待改進Heide一階原始對偶算法一階原始對偶算法像差引起的模糊①速度快,魯棒性好②振鈴效應抑制 效果好③可用于多種相 機圖像復原簡單透鏡系統(tǒng)的圖像復原效果差一些
5結(jié)束語
圖像復原是一種逆問題,具有病態(tài)性質(zhì)。實際復原過程中,對PSF測量越準確越有利于恢復出更真實的原圖像。傳統(tǒng)的圖像復原簡化了PSF隨空間變化的這一實際特性,認為PSF空間不變。基于空間變化PSF的非盲去卷積圖像復原從更精確的PSF出發(fā)對模糊圖像進行復原,更加貼合成像系統(tǒng)的實際成像過程。本文對空間變化PSF的非盲去卷積圖像復原法的發(fā)展史進行簡單描述,重點介紹了近幾年提出的一些空間變化PSF非盲去卷積算法,同時對各算法進行評述。
雖然這些算法已經(jīng)取得了很多創(chuàng)造性的成果,但是仍然存在一些不足之處:
(1)準確評估空間變化的PSF是一項具有挑戰(zhàn)性的任務,這些算法依然有一定的改進空間。
(2)對于復原簡單透鏡系統(tǒng)所成像,若光學系統(tǒng)在設計時能夠校正一部分像差,在后期處理時會有更好的恢復效果,從而達到與復雜光學系統(tǒng)相媲美的像質(zhì),實現(xiàn)光學設計與后續(xù)圖像處理算法設計的聯(lián)合設計將成為新的挑戰(zhàn)。
(3)目前這些算法只是處于實驗室研究階段,還不夠完善,并且考慮到嵌入式計算機性能問題,難以運用到實際中。
我們相信,對這些問題深入細致的研究將有利于完善基于空間變化PSF的非盲去卷積圖像復原法,推進圖像復原技術(shù)向更高水平發(fā)展,使光學系統(tǒng)向更小、更輕、更便宜的方向發(fā)展,從而在多個科學領(lǐng)域發(fā)揮其重要作用。
[1]JADHAV R D,DESHMUKH P P. Parameter assumption for blind and non-blind deblurring in image processing[J].InternationalJ.Electrical,ElectronicsandComputerEngineering,2014,3(1):1-9.
[2]KUNDUR D,HATZINAKOS D. Blind image deconvolution[J].SignalProcessingMagazine,IEEE,1996,13(3):43-64.
[3]YAP K H,GUAN L,LIU W. A recursive soft-decision approach to blind image deconvolution[J].SignalProcessing,IEEETransactionson,2003,51(2):515-526.
[4]CAMPISI AND K. EGIAZARIAN.BlindImageDeconvolution:TheoryandApplications[M]. CRC Press,2007.
[5]YIN H,HUSSAIN I. Blind source separation and genetic algorithm for image restoration[C].2006 International Conference on Advances in Space Technologies,IEEE,2006:167-172.
[6]JUSTEN L,RAMLAU R. A non-iterative regularization approach to blind deconvolution[J].InverseProblems,2006,22(3):771.
[7]BABACAN S D,MOLINA R,KATSAGGELOS A K. Variational Bayesian blind deconvolution using a total variation prior[J].IEEETransactionsonImageProcessing,2009,18(1):12-26.
[8]KRAHMER F,LIN Y,MCADOO B,etal. Blind image deconvolution: Motion blur estimation[J].IMAPreprintsSeries,2006:2133-5.
[9]OLIVEIRA J P,FIGUEIREDO M A T,BIOUCAS-DIAS J M.BlindEstimationofMotionBlurParametersforImageDeconvolution[M]. Berlin Heidelberg:Springer,2007:604-611.
[10]WIENER N.Extrapolation,Interpolation,andSmoothingofStationaryTimeSeries[M]. Cambridge,MA:MIT Press,1949.
[11]RICHARDSON W H. Bayesian-based iterative method of image restoration[J].J.OpticalSocietyofAmeirica,1972,62(1):55-59.
[12]LUCY L B. An iterative technique for the rectification of observed distributions[J].TheastronomicalJ.,1974,79:745.
[13]HUNT B R. The application of constrained least squares estimation to image restoration by digital computer[J].IEEETransactiononComputers,1973,100(9):805-822.
[14]LOHMANN A W,PARIS D P. Space-variant image formation[J].J.OpticalSocietyofAmerica,1965,55(8):1007-1013.
[15]KLAPP I,YITZHAKY Y. Angular motion point spread function modelconsidering aberrations and defocus effects[J].J.Opt.Soc.Am.A,2006,23(8):1856-1864.
[16]TRUSSELL H,HUNT B. Image restoration of space variant blurs by sectioned methods[J].IEEETrans.Acoustics,SpeechandSignalProcess(S0096-3518),1978,26(6):608-609.
[17]TRUSSEL H,HUNT B. Sectioned methods for image restoration[J].IEEETrans.Acoustics,SpeechandSignalProcess(S0096-3518),1978,26(2):157-164.
[18]COBB M L,HERTZ P L,WHALEY R O. Space variant point function deconvolution of hubbleimagery using the connection machine[J].SPIE,1993,2029:202-208.
[19]FAISAL M,LANTERMAN A D,SNYDER D L,etal.. Implementation of a modified richardson-lucy method for image restoration on a massively parallel computer to compensate for space-variant point spread function of a charge-coupled device camera[J].J.OpticalSocietyofAmericaA,1995,12:2593-2603.
[20]BODEN A F,REDDING D C,HANISCH R J. Massively parallel spatially-variant maximum likelihood restoration of hubble space telescope imagery[J].J.OpticalSocietyofAmericaA,1996,13:1537-1545.
[21]COSTELLO T P,MIKHAEL W B. Efficient restoration of space-variant blurs from physical optics by sectioning with modified Wiener filtering[J].DigitalSignalProcessing,2003,13(1):1-22.
[22]GUO Y P,LEE H P,TEO C L. Blind restoration of images degraded byspace-variant blurs using iterative algorithms for both blur identification and image restoration[J].ImageandVisionComputing,1997,15(5):399-410.
[23]KIM J,TSAI A,CETIN M,etal.. A curve evolution-based variational approach to simultaneous image restoration and segmentation[J].IEEEInternationalConferenceonImageProcessing,2002,1:109-112.
[24]BAR L,SOCHEN N A,KIRYATI N.RestorationofImageswithPiecewiseSpace-VariantBlur[M]. Berlin Heidelberg: Springer-Verlag,2007,4485:533-544.
[25]OZKAN M K,TEKALP A M,SEZAN M I. POCS-based restoration of space-varying blurredimages[J].IEEETransactionsonImageProcessing(S1057-7149),1994,3(4):450-454.
[26]WELK M,THEIS D,WEICKERT J.VariationAldeblurringofImageswithUncertainandSpatiallyVariantBlurs[M]. Berlin Heidelberg:Springer-Verlag,2005,3663:485-492.
[27]朱明,楊航,賀柏根,等.聯(lián)合梯度預測與導引濾波的圖像運動模糊復原[J].中國光學,2013,6(6):850-855.
ZHU M,YANG H,HE B G,etal.. Image motion blurring restoration of joint gradient prediction and guided filter[J].ChineseOptics,2013,6(6):850-855.(in Chinese)
[28]JOSHI N,SZELISKI R,KRIEGMAN D J. PSF estimation using sharp edge prediction[C]. Computer Vision and Pattern Recognition,2008. CVPR 2008. IEEE Conference on. IEEE,2008:1-8.
[29]LIM S H,SILVERSTEIN D A. Method for deblurring an image:U.S. 8654201[P]. 2014-2-18.
[30]YUAN L,SUN J,QUAN L,etal.. Image deblurring with blurred/noisy image pairs[J].ACMTransactionsonGraphics,2007,26(3):1.
[33]YUAN L,SUN J,QUAN L,etal.. Progressive inter-scale and intra-scale non-blind image deconvolution[J].ACMTransactionsonGraphics,2008,27(3):74.
[34]HIRSCH M,SRA S,SCH LKOPF B,etal.. Efficient filter flow for space-variant multiframe blind deconvolution[J].InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition(CVPR),2010:607-614.
[35]STOCKHAM J T G. High-speed convolution and correlation[C]. Proceedings of the April 26-28,1966,Spring joint computer conference. ACM,1966:229-233.
[36]KRISHNAN D,FERGUS R. Fast image deconvolution using hyper-Laplacian priors[C]. Advances in Neural Information Processing Systems,Springer,2009:1033-1041.
[37]LEVIN A,WEISS Y,DURAND F,etal.. Understanding and evaluating blind deconvolution algorithms[C]. IEEE Conference on Computer Vision and Pattern Recognition,2009(CVPR 2009) IEEE,2009:1964-1971.
[38]SCHULER C J,HIRSCH M,HARMELING S,etal.. Non-stationary correction of optical aberrations[C]. 2011 IEEE International Conference on Computer Vision(ICCV),IEEE,2011:659-666.
[39]CHAMBOLLE A,POCK T. A first-order primal-dual algorithm for convex problems with applications to imaging[J].J.MathematicalImagingandVision,2011,40(1):120-145.
[41]郝玲.基于空變系統(tǒng)圖像恢復的點擴散函數(shù)獲取研究[D].哈爾濱:哈爾濱工業(yè)大學航天學院,2012.
HAO L. Point spread function obtaining research based on the linear space variant image restoration[D]. Harbin:Harbin Institute of Technology,2012.(in Chinese)
[42]HEIDE F,ROUF M,HULLIN M B,etal.. High-quality computational imaging through simple lenses[J].ACMTransactionsonGraphics,2013,32(5):149.
[43]FERGUS R,SINGH B,HERTZMANN A,etal.. Removing camera shake from a single photograph[J].ACMTransactionsonGraphics,2006,25(3):787-794.
郝建坤(1991—),女,山西大同人,碩士研究生,主要從事圖像復原等方面的研究。E-mail:haojiankunlj@163.com
黃瑋(1965—),男,吉林長春人,研究員,博士生導師,主要從事光學系統(tǒng)設計方面的研究。E-mail:huangw@ciomp.ac.cn
Supported by National Natural Science Foundation of China(No.11474038)
HAO Jian-kun1,2, HUANG Wei1*, LIU Jun1, HE Yang1,2
(1.ChangchunInstituteofOptics,FineMechanicsandPhysics,
ChineseAcademyofSciences,Changchun130033,China;
2.UniversityofChineseAcademyofSciences,Beijing100049,China)
*Correspondingauthor,E-mail:huangw@ciomp.ac.cn
Abstract:Traditional image restoration is generally considered that point spread function(PSF) is space-invariant. However, the actual optical system suffering from various optical aberrations can not be strictly linear space invariant. Non-blind deconvolution(NBD) algorithm of image restoration based on spatially-varying PSF(SVPSF) gradually embodies its superiority. NBD image restoration with SVPSF accurately estimates the spatially-varying PSF of the image at first, and then restores the image through NBD algorithm, which is conducive to the recovery of high quality images. From the perspective of algorithm, we review non-blind image restoration method proposed in recent years based on spatially-varying PSF, as well as compare merits and drawbacks among NBD algorithm based on PSF estimation using sharp edge prediction, NBD algorithm based on blurred/noisy image pairs, and so on. These algorithms reflect pros and cons respectively in PSF estimation accuracy, inhibitory effect of ringing artifacts, and the scope of application. The study of the NBD image restoration method based on SVPSF is beneficial to the development of image restoration technology to a higher level, which facilitates the optical systems to be smaller, so that it can play an important role in many scientific fields.
Key words:image restoration;spatially-varying PSF;non-blind deconvolution;PSF estimated
作者簡介:
中圖分類號:TN911.73
文獻標識碼:A
doi:10.3788/CO.20160901.0041
文章編號2095-1531(2016)01-0041-10 2095-1531(2016)01-0051-14
基金項目:應用光學國家重點實驗室基金資助項目(No.Y4223FQ141) 國家自然科學基金資助項目(No.11474038)
收稿日期:2015-09-11; 2015-09-03;
修訂日期:2015-11-13 2015-10-12
Supported by Foundation of State Key Laboratory on Applied Optics of China(No.Y4223FQ141)