張樂平

(懷寧縣委黨校，安徽 安慶 246121)

結(jié)合各向異性擴(kuò)散和高階擴(kuò)散的視頻盲去模糊復(fù)原方法

張樂平

(懷寧縣委黨校，安徽 安慶 246121)

為了能夠有效的去除模糊，得到高質(zhì)量的視頻圖像，提出了一種結(jié)合各向異性擴(kuò)散和高階擴(kuò)散的視頻盲去模糊方法.利用基于全變差的各向異性擴(kuò)散和shock濾波器來準(zhǔn)確提取模糊視頻中每幅模糊圖像幀的大尺度邊緣，并利用提取的大尺度邊緣，結(jié)合稀疏性約束來對(duì)模糊退化函數(shù)進(jìn)行準(zhǔn)確的估計(jì)；在模糊視頻圖像的復(fù)原階段，為了保證連續(xù)的視頻圖像幀之間的時(shí)間一致性，在視頻的時(shí)間軸上，提出了一種基于高階擴(kuò)散的連續(xù)性正則化約束項(xiàng)，以在時(shí)間上對(duì)連續(xù)的視頻圖像幀進(jìn)行較好的一致性約束.提出的方法能夠在較好復(fù)原模糊視頻的同時(shí)有效地抑制復(fù)原視頻中的振鈴瑕疵，同時(shí)進(jìn)一步增強(qiáng)復(fù)原視頻中的時(shí)間一致性.

模糊視頻盲復(fù)原；各向異性擴(kuò)散；模糊退化函數(shù)；高階擴(kuò)散；時(shí)間連續(xù)性

引言

與模糊圖像的盲復(fù)原相比，模糊視頻的盲復(fù)原是一個(gè)更加具有挑戰(zhàn)性的病態(tài)逆問題，而模糊視頻復(fù)原的目的也是從觀察到的模糊視頻中復(fù)原出原始的清晰視頻畫面.與圖像模糊的原理一樣，造成視頻模糊的原因仍然是模糊退化函數(shù)(Blur Degeneration Function：BDF)，且根據(jù)BDF是否已知，模糊視頻的復(fù)原可以分為模糊視頻的非盲復(fù)原和模糊視頻的盲復(fù)原兩大類.在模糊視頻的非盲復(fù)原方面，2011年，Chan等人提出了一種模糊視頻的非盲復(fù)原方法，該方法將全變差模型引入到模糊視頻的復(fù)原中，提出了一種增廣拉格朗日式方法來對(duì)該全變差模型進(jìn)行求解[6].同年，Takeda等人提出了一種結(jié)合時(shí)間和空間的方法來有效復(fù)原由運(yùn)動(dòng)模糊所造成的模糊視頻圖像[7].在現(xiàn)實(shí)生活中，由于拍攝條件和外在環(huán)境等眾多原因的影響，有可能導(dǎo)致一段視頻中一部分的視頻圖像幀是模糊的，而其余的視頻圖像是清晰的，因此，在模糊視頻的盲復(fù)原方面，Lee等人于2013年提出了一種利用視頻中清晰的圖像幀來復(fù)原模糊的圖像幀的模糊視頻盲復(fù)原方法.Lee等人根據(jù)視頻圖像幀的歸一化邊緣能量測(cè)量來探測(cè)一段視頻中的模糊視頻圖像幀，然后再利用該模糊視頻圖像幀附近的清晰視頻圖像幀來對(duì)該模糊視頻圖像幀進(jìn)行有效的復(fù)原[8].2012年，Cho等人同樣利用視頻中的清晰圖像幀，并結(jié)合基于圖像塊的合成，提出了一種適用于手持?jǐn)z像機(jī)的模糊視頻盲復(fù)原方法[9].為了有效解決在拍攝時(shí)，由于被拍攝物體的三維旋轉(zhuǎn)運(yùn)動(dòng)所造成的視頻中的運(yùn)動(dòng)模糊，2012年，Deng等人利用極坐標(biāo)來模擬向平面內(nèi)的旋轉(zhuǎn)運(yùn)動(dòng)，提出了一種有效的去除平面內(nèi)旋轉(zhuǎn)模糊的模糊視頻盲復(fù)原方法[10].

由以上的分析可知，針對(duì)現(xiàn)有的一些具有代表性的模糊視頻復(fù)原方法而言，模糊視頻的非盲復(fù)原方法考慮了整段模糊視頻的去模糊問題，但是在非盲的方法中，卻假設(shè)BDF是已知的.對(duì)于模糊視頻的盲復(fù)原而言，現(xiàn)有的盲復(fù)原方法要么是利用視頻中的清晰圖像幀來對(duì)視頻中的模糊圖像幀進(jìn)行復(fù)原[8, 9]，要么只研究了視頻中前景物體的去模糊問題[10]，而沒有考慮整段視頻中所有的視頻圖像幀，包括前景物體和背景場(chǎng)景都存在模糊時(shí)的盲復(fù)原問題.

因此，針對(duì)現(xiàn)有方法存在的缺陷，本文提出一種針對(duì)整段模糊視頻的基于時(shí)間一致性的模糊視頻盲復(fù)原方法.因?yàn)橐曨l在拍攝的過程中攝像機(jī)的運(yùn)動(dòng)是隨機(jī)的，且被拍攝的場(chǎng)景是隨著時(shí)間變化的，因此，當(dāng)整段視頻都出現(xiàn)模糊時(shí)，其中的每一幅模糊的視頻圖像幀的BDF并不是完全相同的.針對(duì)模糊視頻的這一特點(diǎn)，本文提出的方法將分為兩個(gè)階段：BDF的估計(jì)階段和模糊視頻圖像幀的復(fù)原階段.在BDF的估計(jì)階段中，提出一種基于各向異性擴(kuò)散[11]和shock濾波器[12]的BDF估計(jì)方法來對(duì)BDF進(jìn)行準(zhǔn)確的估計(jì)；在模糊視頻圖像幀的復(fù)原階段，提出一種三維立體的時(shí)間掩膜，在有效復(fù)原出每一幅原始的清晰視頻圖像幀的基礎(chǔ)上，保證復(fù)原視頻中幀與幀之間的時(shí)間一致性，得到更高質(zhì)量的復(fù)原視頻.大量的實(shí)驗(yàn)結(jié)果表明本文所提出的方法能夠很好的復(fù)原整段模糊視頻，且較近幾年的一些具有代表性的模糊視頻盲復(fù)原方法相比，在主觀的視覺效果和客觀的評(píng)價(jià)指標(biāo)方面均有顯著的提升.

1 提出的模糊視頻盲復(fù)原方法

1.1 模糊視頻幀的BDF估計(jì)

當(dāng)整段視頻都出現(xiàn)模糊時(shí)，其中的每一幅模糊的視頻圖像幀的BDF并不是完全相同的，因此在BDF的估計(jì)階段本文將對(duì)每幅模糊視頻圖像幀各自的BDF分別進(jìn)行估計(jì).

視頻圖像幀的模糊退化模型可用如下的數(shù)學(xué)模型進(jìn)行表示：

g=k*L+n

(1)

其中，g為觀察到的模糊噪聲圖像，大小為M×N，k為已知的BDF，L為原始的清晰圖像，n為零均值、方差為σ2的加性高斯噪聲，*表示卷積運(yùn)算.BDF估計(jì)階段的目的就是在僅僅已知g的情況下，準(zhǔn)確地估計(jì)出k.2010年，Xu等人發(fā)現(xiàn)大尺度的物體邊緣能夠估計(jì)出更加準(zhǔn)確的BDF[13].因此，在BDF的估計(jì)階段，利用一種各向異性擴(kuò)散的結(jié)構(gòu)提取策略和shock濾波器來準(zhǔn)確提取每幅模糊視頻圖像幀中的大尺度邊緣，然后僅利用提取的大尺度邊緣對(duì)BDF的準(zhǔn)確估計(jì).因此，在BDF的估計(jì)階段，提出BDF估計(jì)數(shù)學(xué)模型：

(2)

如公式(2)所示，對(duì)BDF的估計(jì)是一個(gè)二次性L2范數(shù)的最優(yōu)化問題，因此，對(duì)公式(2)求解關(guān)于k的導(dǎo)數(shù)，并利用快速的傅里葉變換可以得到：

(3)

為了得到具有物理意義的解，在每一次迭代中，還采用圖像盲復(fù)原方法中通用的一類約束條件對(duì)估計(jì)的BDF進(jìn)行約束：

(4)

其中，(i,j)表示圖像中像素點(diǎn)的坐標(biāo)，max(km+1)表示求取km+1中數(shù)值最大的元素，P和Q表示k的大小.

1.2 模糊視頻的復(fù)原

其在模糊視頻的復(fù)原階段，為了有效抑制噪聲和振鈴瑕疵，首先利用圖像的一階梯度和二階梯度信息；其次，為了保證復(fù)原視頻中幀與幀之間的時(shí)間一致性，提出一種立體的三維時(shí)間掩膜來對(duì)復(fù)原視頻中圖像幀之間的時(shí)間一致性進(jìn)行有效的正則化約束.模糊視頻圖像幀復(fù)原的數(shù)學(xué)模型為：

(5)

(6)

由公式(6)可知，本文提出的三維立體時(shí)間掩膜▽T將每個(gè)視頻圖像幀與該幀之前和之后的兩個(gè)相鄰幀聯(lián)系到了一起，通過最小化它們之間的內(nèi)容差異性(公式(5))來保證相鄰幀在時(shí)間上的一致性.為了求解公式(5)，將公式(5)的最后兩項(xiàng)結(jié)合到一起，得到：

(7)

(8)

1)固定L，求解u，得到：

(9)

由u=▽∧L可知，輔助變量u由ux，uy和uT三部分組成，因此利用shrinkage函數(shù)來對(duì)變量u的每一部分進(jìn)行求解：

(10)

2)固定u，求解L，得到：

(11)

由公式(11)可知，關(guān)于L的求解只涉及到二次性的L2范數(shù)，因此，對(duì)公式(11)求解關(guān)于L的導(dǎo)數(shù)，并利用快速的傅里葉變換得到：

(12)

為了得到具有物理意義的解，在每一次迭代中，還將對(duì)求解的復(fù)原視頻圖像幀進(jìn)行非負(fù)的約束：

(13)

在提出的方法中，利用觀察到的模糊視頻圖像幀的最低分辨率層作為最初的L來初始化整個(gè)算法，將其代入到公式(2)中，開始對(duì)BDF的估計(jì)；然后估計(jì)出k的又將被代入到公式(5)用于模糊視頻圖像幀的復(fù)原.如此循環(huán)，直到得到滿意的復(fù)原結(jié)果為止.

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)環(huán)境的配置

在實(shí)驗(yàn)結(jié)果及分析部分一共采用了兩段模糊的視頻(如圖1所示為兩段模糊視頻中的第5幀圖像)來驗(yàn)證所提方法的有效性.在兩段模糊視頻的實(shí)驗(yàn)中，提出方法的參數(shù)均被設(shè)置為：ω0=0.025，ωx=ωy=0.012 5，λ=1 200，α=40，ωxx=ωyy=ωxy=0.625，β=0.02，γ=0.1.當(dāng)‖Lm+1-Lm‖2/‖Lm‖2<0.001時(shí)停止迭代，算法結(jié)束.

圖1 實(shí)驗(yàn)中采用的兩段模糊視頻中的第5幀圖像：(a)“text”視頻；(b)“house”視頻

由公式(9)和(12)可知，參數(shù)γ越大，每次迭代對(duì)變量u的更新就越少，從而導(dǎo)致復(fù)原圖像L的更新速度就越慢,算法迭代次數(shù)增加.因此，為了在不影響算法性能的條件下盡可能的提高算法的效率，通過反復(fù)的實(shí)驗(yàn)得到，在本文所有實(shí)驗(yàn)中，對(duì)參數(shù)γ進(jìn)行如下設(shè)置：γ=10λ.

2.2 提出方法的性能比較實(shí)驗(yàn)

對(duì)文中所提方法與近幾年的一些具有代表性的模糊視頻盲復(fù)原方法(文獻(xiàn)[8]和文獻(xiàn)[10])進(jìn)行比較，以進(jìn)一步驗(yàn)證本文所提出方法的性能.

圖2所示為所有三種方法在“text”模糊視頻實(shí)驗(yàn)中的復(fù)原結(jié)果.圖2所示為“text”復(fù)原視頻中幀復(fù)原圖像(a)結(jié)果(所有方法估計(jì)的BDF和對(duì)應(yīng)的復(fù)原圖像幀).如圖2所示，因?yàn)長(zhǎng)ee等人提出的方法[8]是利用視頻中存在的清晰圖像幀來復(fù)原其余的模糊圖像幀，而沒有涉及到對(duì)BDF的估計(jì)，因此當(dāng)整段視頻都出現(xiàn)模糊時(shí)，該方法就無法找到合適的清晰圖像幀來對(duì)模糊圖像幀進(jìn)行復(fù)原，因此Lee等人的方法在復(fù)原的圖像幀中引入了嚴(yán)重的振鈴瑕疵，且沒有估計(jì)的BDF(圖2(b)).Deng等人的方法[10]雖然不依賴于清晰的圖像幀，但是卻只考慮了前景物體出現(xiàn)模糊的情況，因此當(dāng)視頻中的背景同樣也出現(xiàn)模糊時(shí)，雖然該方法估計(jì)的BDF與本文提出方法所估計(jì)的BDF相似，但是在復(fù)原視頻圖像幀方面，該方法也會(huì)引入少量的瑕疵(圖2(c)).相比之下，本文提出的方法不僅實(shí)現(xiàn)了BDF的準(zhǔn)確估計(jì)，同時(shí)還很好地保證了各個(gè)視頻圖像幀之間的時(shí)間一致性，本文提出的方法不僅能夠估計(jì)出準(zhǔn)確的BDF，同時(shí)還能夠復(fù)原出最清晰的視頻圖像幀(圖2(d)).

圖2 所有三種方法在“text”模糊視頻中的復(fù)原結(jié)果

圖3所示為所有三種方法在“house”模糊視頻實(shí)驗(yàn)中的復(fù)原結(jié)果.同樣的，圖3所示為“house”復(fù)原視頻中幀復(fù)原圖像(b)的結(jié)果.如圖3所示，在“house”模糊視頻中，文獻(xiàn)[8]和文獻(xiàn)[10]中的方法均不能得到令人滿意的復(fù)原結(jié)果.不僅不能很好地去除模糊，而且還在復(fù)原圖像幀中均引入了不同程度的邊緣效應(yīng)和振鈴瑕疵，同時(shí)文獻(xiàn)[10]中方法所估計(jì)的BDF也存在較為明顯的瑕疵(圖2(b)和圖2(c)).相比之下，本文提出的方法不僅能夠估計(jì)出最準(zhǔn)確的BDF，而且還能夠有效抑制邊緣效應(yīng)和振鈴等瑕疵，同時(shí)保證視頻圖像幀之間的時(shí)間一致性，得到最清晰的視頻圖像幀.

圖3 所有三種方法在“house”模糊視頻中的復(fù)原結(jié)果

通過利用峰值信噪比(PeakSignal-to-NoiseRatio：PSNR)指標(biāo)來客觀評(píng)價(jià)本文提出方法的性能見表1.表1所示為所有三種方法在兩段模糊視頻實(shí)驗(yàn)中所得到的平均PSNR，即先計(jì)算出復(fù)原視頻中每一幅復(fù)原圖像幀的PSNR，然后再對(duì)其求取算數(shù)平均.如表1所示，較文獻(xiàn)[8]和文獻(xiàn)[10]相比，本文提出的方法在兩段模糊視頻的實(shí)驗(yàn)中均能得到最高的平均PSNR值，達(dá)到最好的視頻復(fù)原效果.

表1 實(shí)驗(yàn)中所得到的平均PSNR (dB)值

3 結(jié)論

為了實(shí)現(xiàn)對(duì)模糊視頻的清晰化盲復(fù)原，針對(duì)現(xiàn)有方法存在的缺陷，提出了一種針對(duì)整段模糊視頻的基于時(shí)間一致性的模糊視頻盲復(fù)原方法.所提方法主要由兩部分組成：1)在BDF的估計(jì)階段，首先采用各向異性擴(kuò)散的圖像結(jié)構(gòu)提取策略和shock濾波器將模糊視頻中的每幅模糊圖像幀中的大尺度邊緣準(zhǔn)確地提取出來，然后僅利用提取的大尺度邊緣對(duì)BDF進(jìn)行準(zhǔn)確的估計(jì).2)在模糊視頻的復(fù)原階段，提出了一種立體的三維時(shí)間掩膜，在有效復(fù)原出每一幅原始的清晰視頻圖像幀的基礎(chǔ)上，保證復(fù)原視頻中幀與幀之間的時(shí)間一致性，同時(shí)有效的抑制了邊緣效應(yīng)和振鈴等瑕疵，進(jìn)而得到更高質(zhì)量的復(fù)原視頻.大量的實(shí)驗(yàn)結(jié)果表明本文提出的方法能夠很好的復(fù)原整段模糊的視頻，且較近幾年的一些具有代表性的模糊視頻盲復(fù)原方法相比，在主觀的視覺效果和客觀的評(píng)價(jià)指標(biāo)方面均有顯著的提升.

[1]R.Fergus,B.Singh,A.Hertzmann,S.T.Roweis,W.T.Freeman.Removingcamerashakefromasinglephotograph[J].ACMTransactionsonGraphics, 2006, 25 (3): 787-794.

[2]Q.Shan,J.Jia,A.Agarwala.High-qualitymotiondeblurringfromasingleimage[J].ACMTransactionsonGraphics, 2008, 27 (3): 73:1-73:10.

[3]M.S.C.Almeida,L.B.Almeida.Blindandsemi-blinddeblurringofnaturalimages[J].IEEETransactionsonImageProcessing, 2010, 19 (1): 36-52.

[4]D.Krishnan,T.Tay,R.Fergus.BlindDeconvolutionUsingaNormalizedSparsityMeasure[C].IEEEComputerVisionandPatternRecognition(CVPR), 2011: 233-240.

[5]J.F.Cai,H.Ji,C.Q.Liu,Z.W.Shen.Framelet-BasedBlindMotionDeblurringFromaSingleImage[J].IEEETransactionsonImageProcessing, 2012, 21 (2): 562-572.

[6]S.H.Chan,R.Khoshabeh,K.B.Gibson,P.E.GillandT.Q.Nguyen.AnaugmentedLagrangianmethodfortotalvariationvideorestoration[J].IEEETransactionsonImageProcessing, 2011, 20 (11): 3079-3111.

[7]H.TakedaandP.Milanfar.Removingmotionblurwithspace-timeprocessing[J].IEEETransactionsonImageProcessing, 2011, 20 (10): 2990-3000.

[8]D.Lee,S.C.Jeong,Y.LeeandB.C.Song.Avideodeblurringalgorithmusingaccurateblurkernelestimationandresidualdeconvolutionbasedonablurred-unblurredframepair[J].IEEETransactionsonImageProcessing, 2013, 22 (3): 926-940.

[9]S.Cho,J.WangandS.Lee.Videodeblurringforhand-heldcamerausingpatch-basedsynthesis[J].ACMTransactionsonGraphics, 2012, 31 (4): 64:1-64:9.

[10]X.Deng,Y.Shen,M.Song,D.Tao,J.BuandC.Chen.Video-basednon-uniformobjectmotionblurestimationanddeblurring[J].Neurocomputing, 2012, 86 (1): 170-178.

[11]P.PeronaandJ.Malik.Scale-spaceandedgedetectionusinganisotropicdiffusion[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1990, 12 (7): 629-639.

[12]G.Gilboa,N.A.Sochen,Y.Y.Zeevi.RegularizedShockFiltersandComplexDiffusion[C].The7thEuropeanConferenceonComputerVision(ECCV), 2002 (2350): 399-413.

[13]L.Xu,J.Jia.Two-PhaseKernelEstimationforRobustMotionDeblurring[C]. 11thEuropeanConferenceonComputerVision6133 (ECCV), 2010: 157-170.

A Video Blind Deblurring Method Based on Anisotropic Diffusion and High-order Diffusion

ZHANG Le-ping

(Huaining Party School, Anqing Anhui 246121, China)

In order to remove the blur and obtain the high quality restoration video, this paper proposes a blind video deblurring method which combines the anisotropic diffusion and high-order diffusion. This study uses the anisotropic diffusion based on total variation and shock filter to accurately extract the large scale edges of each fuzzy image frame in a fuzzy video, and uses the extracted edges to accurately estimate the fuzzy degradation function. In the restoration stage of fuzzy video image, the study proposes a continuity regularization constraints based on higher-order diffusion in order to guarantee the time consistency between continuous video frames base on the time axis of the video to carry out a better consistency constraint of continuous video frames in time. The proposed method can effectively restrain the ringing in video restoration while restoring the fuzzy video and further enhance the temporal consistency in the restored video.

blind restoration of fuzzy video; anisotropic diffusion; fuzzy degradation function; high-order diffusion; time continuity

1673-2103(2017)02-0026-07

2016-10-05

張樂平(1974-)，男，安徽安慶人，講師，研究方向：計(jì)算機(jī).

TN911.73

A