朱 明，楊 航，賀柏根，魯劍鋒

（中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033）

聯(lián)合梯度預(yù)測與導(dǎo)引濾波的圖像運動模糊復(fù)原

朱 明，楊 航*，賀柏根，魯劍鋒

（中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林長春130033）

針對由相機(jī)與所攝景物之間發(fā)生相對位置移動所導(dǎo)致的圖像運動模糊，提出了一種魯棒的基于單幅運動模糊圖像的盲反卷積算法。該方法首先通過預(yù)測圖像中的較強(qiáng)邊緣信息，實現(xiàn)用簡單、易于求解的優(yōu)化問題在傅里葉域中快速、準(zhǔn)確地估計出點擴(kuò)散函數(shù)。然后利用得到的點擴(kuò)散函數(shù)，使用基于梯度約束的非盲反卷積算法復(fù)原清晰圖像，同時采用一種新的邊緣保持濾波器—導(dǎo)引濾波來消除噪聲并抑制振鈴效應(yīng)。實驗結(jié)果表明：本文的算法能夠快速地從單幅運動模糊圖像復(fù)原出具有清晰邊緣和紋理的高質(zhì)量圖像，并且運算時間不超過20 s。

梯度預(yù)測；運動模糊圖像；圖像復(fù)原；導(dǎo)引濾波

1 引 言

圖像運動模糊復(fù)原是圖像處理領(lǐng)域的重要組成部分和基本任務(wù)之一。近年來，隨著數(shù)碼相機(jī)，拍照手機(jī)等電子數(shù)碼產(chǎn)品的普及，以及計算機(jī)處理能力的提升，數(shù)字信號/圖像處理在天文、醫(yī)療、軍事以及日常生活中有著越來越重要的應(yīng)用，其中圖像復(fù)原方法已成為圖像處理領(lǐng)域中的研究熱點之一。

在圖像拍攝過程中，如果相機(jī)與所拍攝景物之間發(fā)生了相對位置移動，例如：拍攝者在拍攝時相對于景物運動，拍攝者在拍攝較長曝光時間的照片時以及拍攝的景物正在高速運動時，手持相機(jī)未使用三角架等原因，使得所拍攝的照片產(chǎn)生運動模糊，以上這些情況在人們?nèi)粘Ｊ褂眯⌒透叻直媛氏鄼C(jī)時是很常見的。如何從模糊圖像中復(fù)原清晰圖像在理論和實際中都有著十分重要的價值。

一般情況下，學(xué)者們認(rèn)為單幅運動模糊圖像具有統(tǒng)一的點擴(kuò)散函數(shù)（PSF），此時圖像運動模糊的模型可以描述成真實清晰圖像與點擴(kuò)散函數(shù)的卷積再加上干擾噪聲。在大多數(shù)情況下，只有模糊圖像是已知的，而點擴(kuò)散函數(shù)和清晰圖像都是未知的，因此圖像運動復(fù)原問題就成為一個盲反卷積問題。

在研究圖像運動復(fù)原的早期，因為不能夠?qū)SF和圖像進(jìn)行較好的建模，所以大部分算法只能處理極為特殊的運動模糊圖像。例如，假定運動為勻速直線運動或變速直線運動［1］，或假定真實圖像在傅里葉域內(nèi)的能量譜滿足某種約束，而這些假設(shè)與實際中復(fù)雜的PSF相差甚遠(yuǎn)，因此不能夠很好地恢復(fù)出圖像空間域上的特征以及精確的PSF。Kundur在1996年對早期的圖像運動模糊復(fù)原有較完整的介紹［2］。

2006年，麻省理工學(xué)院的Fergus等人首次利用圖像的統(tǒng)計信息等先驗知識較好地從較嚴(yán)重的單幅運動模糊圖像中復(fù)原出清晰圖像［3］，在一般條件下對PSF進(jìn)行估計，取得了較好的實驗結(jié)果，開創(chuàng)了圖像運動模糊復(fù)原研究新的里程碑。Shan等人［4］建立了和Fergus類似的模型，對圖像及其一階、二階導(dǎo)數(shù)進(jìn)行約束，并利用快速Fourier變換在頻域內(nèi)進(jìn)行優(yōu)化，但由于其采用內(nèi)點法優(yōu)化點擴(kuò)散函數(shù)，導(dǎo)致計算量很大。2011年，Levin等人對單幅圖像運動模糊復(fù)原算法進(jìn)行了總結(jié)［5］，不僅從實驗上，更是從理論上指出傳統(tǒng)最大后驗概率方法的缺陷，即僅僅利用統(tǒng)一模型嘗試恢復(fù)清晰圖像和點擴(kuò)散函數(shù)的方法是不可靠的，而是要利用圖像維度比PSF維度大得多的這種基本性質(zhì)，盡可能地從圖像中提取有用信息估計出PSF，而后再利用非盲反卷積算法估計清晰圖像。其他的圖像運動模糊復(fù)原算法［6-12］還有很多。

本文提出了一種魯棒的聯(lián)合梯度預(yù)測與導(dǎo)引濾波的單幅運動模糊圖像復(fù)原算法。該方法首先預(yù)測模糊圖像對應(yīng)清晰圖像的強(qiáng)邊緣，該預(yù)測可在頻域中快速準(zhǔn)確地計算出PSF，之后通過簡單的基于全變差的優(yōu)化問題估計清晰圖像，并使用一種高效的邊緣保持濾波器—導(dǎo)引濾波［10］抑制振鈴效應(yīng)以及圖像的噪聲。實驗結(jié)果表明，本文提出的方法可以魯棒地從單幅運動模糊圖像中恢復(fù)出具有清晰邊緣和紋理、極少噪聲和振鈴的高質(zhì)量清晰圖像。

2 利用梯度預(yù)測的迭代盲復(fù)原方法

運動模糊圖像的形成可以用如下數(shù)學(xué)公式描述：

式中：B表示模糊圖像，h為PSF，L為真實目標(biāo)圖像，n為干擾噪聲，*為卷積運算符。

在PSF未知的情況下，圖像運動模糊復(fù)原是一個盲反卷積問題。問題的關(guān)鍵是如何快速、準(zhǔn)確地估計出PSF，之后進(jìn)行非盲反卷積，同時有效地保持圖像的邊緣特征并抑制圖像中殘留的噪聲。Levin等人提出要利用圖像具有的更多已知的重要條件求取PST，因此我們采用圖像中的強(qiáng)邊緣信息來計算PSF。

本文通過迭代法估計PSF和目標(biāo)圖像的方法來進(jìn)行圖像運動模糊復(fù)原，每一次的迭代過程分為以下3個步驟（見圖1）。

圖1 圖像運動模糊復(fù)原流程圖Fig.1 Overview ofmotion blurring restoration process

（1）計算圖像中的強(qiáng)邊緣，利用這些強(qiáng)邊緣和模糊圖像中的邊緣，計算出點擴(kuò)散函數(shù)的整體輪廓。

（2）利用得到的點擴(kuò)散函數(shù)，采用非盲反卷積的方法估計目標(biāo)圖像。

（3）使用導(dǎo)引濾波去除迭代復(fù)原圖像中的噪聲和振鈴效應(yīng)。

2.1 基于強(qiáng)邊緣預(yù)測的PSF估計方法

在圖像盲反卷積的過程中，估計PSF是核心工作，因為PSF的估計準(zhǔn)確與否直接影響到恢復(fù)圖像的清晰程度、噪聲干擾，以及振鈴失真等現(xiàn)象。本文主要依靠圖像中的強(qiáng)邊緣信息來估計PSF，因為圖像中平滑區(qū)域無論模糊與否，都對圖像質(zhì)量影響不大，但是圖像中的強(qiáng)邊緣經(jīng)過模糊后則有了較大的改變，所以研究如何將模糊圖像的強(qiáng)邊緣用于運動模糊復(fù)原中具有重要的意義。

首先計算目標(biāo)圖像的梯度（Px，Py），保留其中的顯著邊緣，而其他值設(shè)為0。即

式中，Lx，Ly表示當(dāng)前估計圖像的x方向和y方向偏導(dǎo)數(shù)，T為一個閾值。

在得到強(qiáng)邊緣信息（Px，Py）后，采用如下方法估計PSF：

式中，（Bx，By）表示圖像B的梯度。用到PSF的兩個先驗知識，即h的每一個元素均不小于零（hi，j≥0），且h中所有元素的和為1）。對于上述極值問題，可以采用最速下降方法來求解。對于式（3）中的卷積運算，可以利用卷積定理使用快速傅里葉變換及其逆變換在頻域上快速計算。與其他的解法相比，這種方法不僅速度快而且占用內(nèi)存要少得多，這樣就可以處理更大的圖像。

2.2 反卷積

在反卷積步驟中，使用得到的PSF h的估計和模糊圖像B，計算目標(biāo)清晰圖像L。最小化能量泛函如下：

式中，正則項‖ΔL‖保證L具有光滑的梯度，ω和β是權(quán)重。這個最小化問題可以在頻域中快速地求解，僅僅需要兩次快速Fourier變換。

這個優(yōu)化的結(jié)果不會產(chǎn)生高質(zhì)量的結(jié)果，因為這個方法會放大圖像中的噪聲，而且在圖像強(qiáng)邊緣附近會產(chǎn)生比較明顯的振鈴效應(yīng)。但是由于估計PSF只用到圖像的強(qiáng)邊緣，拋棄一些小的細(xì)節(jié)，因此這個結(jié)果對PSF估計精度的影響不會很大。

2.3 導(dǎo)引濾波

在復(fù)原過程中，為了更加精確地估計PSF和得到高質(zhì)量的復(fù)原圖像，需要去除圖像中殘留的噪聲，抑制振鈴效應(yīng)，同時保持圖像的邊緣不被模糊［13-14］，本文使用導(dǎo)引濾波器［15］來達(dá)到這個目的。

導(dǎo)引濾波是一種新的可以在保持圖像邊緣不被模糊的前提下，平滑圖像的非線性濾波器，同時也可以有效地除去圖像的噪聲以及振鈴。導(dǎo)引濾波包括一幅導(dǎo)引圖像LI，濾波圖像Lp，以及一幅輸出圖像L。假設(shè)導(dǎo)引濾波輸出圖像L是導(dǎo)引圖像LI的一個局部線性模型，在一個以點s為中心的窗口ωs內(nèi)，假設(shè)：

式中：as和bs是在窗口ωs內(nèi)的線性系數(shù)，它們可以由下式計算得到：

式中：μs和σ2s是LI在窗口ωs內(nèi)的均值和方差，ps是濾波圖像Lp在ωs內(nèi)的均值。

對于那些重疊的像素（被多個窗口包含，計算多次），最終的取值為所有值的加權(quán)平均值，即：

與傳統(tǒng)的濾波函數(shù)相比，導(dǎo)引濾波具有較好的邊緣保持和細(xì)節(jié)增強(qiáng)的性能，對其性能的理論分析，文獻(xiàn)［15］有著詳細(xì)的描述。在本文提出的算法中，為了方法的簡捷，設(shè)LI=Lp。

3 圖像運動模糊復(fù)原實驗

利用本文提出的算法和Fergus［3］，Shan［4］等人的算法對運動模糊退化圖像進(jìn)行了復(fù)原對比實驗，圖2為復(fù)原結(jié)果?？梢钥闯?，本文算法與其他兩個算法相比，得到了較好的恢復(fù)效果，驗證了本文算法的有效性。

圖2 圖像運動復(fù)原對比實驗結(jié)果Fig.2 Results of different restorationmethods

圖2中，F(xiàn)ergus的方法對一些細(xì)節(jié)造成了模糊，Shan的方法有較為明顯的震蕩波紋，而本方法得到的復(fù)原圖像，不僅能恢復(fù)出清新的邊緣和紋理細(xì)節(jié)，同時也抑制了振鈴效應(yīng)。

圖3與Fergus的方法進(jìn)行了對比，可以看出本文的方法復(fù)原出的效果在圖像的對比度上要好于Fergus的結(jié)果。

在點擴(kuò)散函數(shù)方面，本文方法得到的PSF比Fergus和Shan的結(jié)果略顯模糊，這也是我們試圖恢復(fù)出具有清晰邊緣的圖像，同時也是恢復(fù)的結(jié)果更為清晰的一個原因。

本文算法使用的開發(fā)工具是Matlab，在計算時間方面，計算PSF的時間為5～6 s，而后的非盲反卷積的時間為7～9 s，總的計算時間不超過20 s，而Shan等人雖然使用了更高效的C語言實現(xiàn)算法［4］，但是其計算時間也超過了120 s。

圖3 圖像運動復(fù)原對比實驗結(jié)果Fig.3 Results of different restorationmethods

4 結(jié) 論

本文提出了一種魯棒的，聯(lián)合梯度預(yù)測和導(dǎo)引濾波的單幅圖像運動模糊復(fù)原方法。該方法首先預(yù)測清晰圖像的強(qiáng)邊緣，基于預(yù)測得到的結(jié)果，使用簡單而有效的優(yōu)化方法快速準(zhǔn)確地計算點擴(kuò)散函數(shù)，之后通過基于全變差的非盲反卷積算法復(fù)原清晰圖像，并且利用導(dǎo)引濾波去除圖像中殘留的噪聲，抑制振鈴效應(yīng)并且保持邊緣不被模糊。實驗結(jié)果表明，本文提出的方法可以快速、魯棒地從單幅運動模糊圖像恢復(fù)出具有清晰邊緣和紋理、極少噪聲和振鈴的高質(zhì)量清晰圖像，總體運算時間不超過20 s。

［1］ 孫輝，李志強(qiáng).基于相位相關(guān)的勻速直線運動模糊圖像位移參數(shù)估計［J］.中國光學(xué)，2012，5（2）：174-180. SUN H，LIZH Q.Estimation of displacement parameters for uniform linearmotion-blurred images based on phase-only correlation［J］.Chinese Optics，2012，5（2）：174-180.（in Chinese）

［2］ KUNDUR D，HATZINAKOSD.Blind image deconvolution［J］.IEEE Signal Processing Magazine，1996，13（3）：43-64.

［3］ FERGUSR，SINGH B，HERTZMANN A，et al..Removing camera shake from a single photograph［J］.ACM Trans.on Graphics，2006（25）：787-794.

［4］ SHAN Q，JIA J，AGARWALA A.High-qualitymotion deblurring from a single image［J］.ACM Trans.on Graphics，2008，27（3）：73-78.

［5］ LEVIN A，WEISSY，DURAND F，et al..Understanding blind deconvolution algorithms［J］.IEEE Trans.Pattern Anal. and Mach.Intell.，2011，33（12）：2354-2367.

［6］ JIA J.Single imagemotion deblurring using transparency［C］//IEEE Conf.on Computer Vision and Pattern Recognition，June 17-22，2007，Minneapolis，MN，2007.

［7］ 石明珠，許廷發(fā)，張坤.運動成像混合模糊的全變分圖像復(fù)原［J］.光學(xué)精密工程，2011，19（8）：1973-1981. SHIM ZH，XU T F，ZHANG K.Total variation image restoration for mixed blur in moving image［J］.Opt.Precision Eng.，2011，19（8），1973-1981.（in Chinese）

［8］ 馮亮，王平，許廷發(fā)，等.運動模糊退化圖像的雙字典稀疏復(fù)原［J］.光學(xué)精密工程，2011，19（8）：1982-1989. FENG L，WANG P，XU T F，et al..Dual dictionary sparse restoration of blurred images［J］.Opt.Precision Eng.，2011，19（8）：1982-1989.（in Chinese）

［9］ JOSHIN，SZELISKIR，KRIEGMAND J.Psf estimation using sharp edge prediction［C］//IEEE conf.on Computer Vision and Pattern Recognition，June 23-28，2008，Anchorage，AK，2008.

［10］ 溫博，張啟衡，張建林.應(yīng)用自解卷積和增量Wiener濾波實現(xiàn)迭代盲圖像復(fù)原［J］.光學(xué)精密工程，2011，19（12）：3049-3055. WEN B，ZHANG Q H，ZHANG JL.Realization of iterative blind image restoration by self deconvolution and increment Wiener filter［J］.Opt.Precision Eng.，2011，19（12）：3049-3055.（in Chinese）

［11］ 郭永彩，王婀娜，高潮.空間自適應(yīng)和正則化技術(shù)的盲圖像復(fù)原［J］.光學(xué)精密工程，2008，16（11）：2263-2267.GUO Y C，WANG EN，GAO CH.Blind image restoration algorithm based on space-adaptive and regularization［J］.Opt. Precision Eng.，2008，16（11）：2263-2267.（in Chinese）

［12］ 楊航.圖像反卷積算法研究［D］.長春：吉林大學(xué)，2012. YANG H.Study on image deconvolution algorithm［D］.Changchun：Jilin University，2012（in Chinese）.

［13］ YANG H，ZHANG ZH B.Fusion ofwave atom-based wiener shrinkage filter and joint non-iocalmeans filter for texturepreserving image deconvolution［J］.Opt.Eng.，2012，51（6）：67-75.

［14］ HUANG H Y，YANG H，MA S L.Gradient based image deconvolution［J］.J.Electronic Imaging，2013，22（1）：013006.

［15］ HE K，SUN J，TANG X.Guided image filter［J］.IEEE Trans.Pattern Anal.Mach.Intell.，2013，35（6）：1397-1409.

Imagemotion blurring restoration of joint gradient prediction and guided filter

ZHU Ming，YANG Hang*，HE Bai-gen，LU Jian-feng
（Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）
*Corresponding author，E-mail：yhang3109@163.com

Tomodify the imagemotion blurring induced by the relative positionmotion between a camera and a subject，a robust blind deconvolution method based on single imagemotion blurring was proposed.Firstly，the strong edges of a latent imagewas predicted.By constraining image gradient，the point spread function in frequency domain was estimated fast and robustly by thismethod.After that，the non-blind deconvolution algorithm based on the gradient constrain was used to restore the latent image.Meanwhile，a new edge preserving filter-guided filterwas used to suppress the ringing and noise.Experiments show that the proposedmethod can restore a high quality imagewith clear edges and tissues from singlemotion blurring image，and the operation time is less than 20 s.

gradient prediction；motion blurring image；image restoration；guided filter

TP391.4

A

10.3788/CO.20130606.0850

朱 明（1964—），男，江西南昌人，研究員，博士生導(dǎo)師，1985年于南京航空航天大學(xué)獲得學(xué)士學(xué)位，1991年于中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所獲得碩士學(xué)位，主要從事圖像處理和光電成像測量技術(shù)以及目標(biāo)識別與電視跟蹤技術(shù)方面的研究。E-mail：zhu_ mingca@163.com

楊 航（1985—），男，吉林農(nóng)安人，博士后，2009年、2012年于吉林大學(xué)分別獲得碩士、博士學(xué)位，主要從事圖像復(fù)原，圖像融合，模式識別等方面的研究。E-mail：yhang3109@163.com

賀柏根（1983—），男，山西平遙人，助理研究員，2007年于吉林大學(xué)獲得學(xué)士學(xué)位，2012年于中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所獲得博士學(xué)位，主要從事模式識別、景象匹配、視頻跟蹤等方面的研究。E-mail：hebaigen@sohu. com

魯劍鋒（1978—），男，吉林長春人，副研究員，2001年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事嵌入式系統(tǒng)的設(shè)計、圖像模式識別等方面的研究。E-mail：pc80586@sina.com

1674-2915（2013）06-0850-06

2013-09-11；

2013-10-17

國家自然科學(xué)基金資助項目（No.11071103）