賀文熙，葉坤濤

（江西理工大學(xué)理學(xué)院，江西贛州341000）

基于簡化的TV模型修復(fù)圖像

賀文熙，葉坤濤

（江西理工大學(xué)理學(xué)院，江西贛州341000）

基于修復(fù)受損灰度圖像的整體變分法，提出了一種簡化的TV模型.該模型根據(jù)待修復(fù)區(qū)域的實際情況對TV模型方程進行不同程度的簡化，得到更容易實現(xiàn)的復(fù)雜度更低的偏微分方程.文中選擇了四幅受損區(qū)域不同的待修復(fù)圖像進行修復(fù)實驗.實驗表明：不論是需要去除不必要的文字還是修復(fù)不希望出現(xiàn)的劃痕，對于不同的修復(fù)區(qū)域采用不同的修復(fù)方程在保證修復(fù)主觀效果相當(dāng)?shù)那闆r下，可以使得修復(fù)速度明顯加快，修復(fù)后的圖像不易察覺修復(fù)痕跡，看上去自然.

圖像修復(fù)；TV模型；偏微分方程

0 引言

所謂圖像修復(fù)是指利用已知區(qū)域的信息來推測未知區(qū)域（即待修復(fù)區(qū)域）的信息.通常認為未知區(qū)域附近和未知區(qū)域高度相關(guān).以前圖像修復(fù)完全依靠有經(jīng)驗的藝術(shù)家進行人工修復(fù)，費時費力，而且很難做到不露痕跡.考慮到圖像修復(fù)在影視特技表演、珍貴文史資料復(fù)原、多余物體去除等方面有非常大的應(yīng)用價值，有必要對圖像修復(fù)領(lǐng)域進行深入研究.2000年Bertalmio、Sapiro、Caselles與Ballester等科學(xué)家[1-5]首先把三階偏微分方程引進圖像修復(fù)領(lǐng)域（此即BSCB模型），該算法強調(diào)沿梯度垂直方向把信息滲透進待修復(fù)區(qū)域，這種算法比較費時.后來不斷有人提出新的算法，如Oliveira等研究者[6]利用高斯卷積核進行濾波，這種算法能提高修復(fù)速度，但修復(fù)效果仍然不夠理想.另外，代表人物Criminisi與Efros[7-11]關(guān)于樣圖與紋理的圖像修復(fù)思想對后來的圖像修復(fù)工作者也起了積極影響.和Criminisi與Efros一樣杰出的科技工作者Chan與Shen[12-14]等人提出了曲率驅(qū)動擴散模型（curvature-drive diffusion,簡稱為CDD模型）和整體變分模型（total variationl,簡稱為TV模型），這兩種模型修復(fù)效果很好，但修復(fù)速度仍然較慢.當(dāng)然目前的修復(fù)模型還有很多，比如利用徑向基函數(shù)[15]（RBF）進行高維插值修復(fù)圖像，利用小波系數(shù)相關(guān)性修復(fù)圖像等[16].

文中提出一種簡化的TV模型.該模型根據(jù)待修復(fù)區(qū)域的實際情況對修復(fù)方程進行簡化.使得運算復(fù)雜度有所降低，進而提高修復(fù)速度.這種方法也可用于近紅外圖像的修復(fù).實驗表明，利用該模型修復(fù)數(shù)字圖像不僅速度更快，而且修復(fù)效果不錯.

1 TV方程的導(dǎo)出

修復(fù)過程原理見圖1，圖中Ω是信息缺損的區(qū)域，Ω為缺損區(qū)域與信息完好區(qū)域之邊界，G代表包含Ω的相鄰區(qū)域.這個原理圖說明了修復(fù)過程是從外向里一層一層修復(fù).

圖1 修復(fù)區(qū)域和邊界

所謂基于TV模型的圖像修復(fù)就是要使得泛函R（u）最小化.這Δ里u是圖像任一像素的灰度值，是u的梯度，r（u）是一個取正值的函數(shù)，R（u）的表達式為：

我們還可把條件加進去，再用拉格朗日乘子法得到滿足一定條件的泛函：

最后得到如下包含去噪的修復(fù)方程：

2 TV方程的簡化

文中對以上模型進行改進.首先，不討論去噪，第二項為零.方程為：

該方程可展開為：

眾所周知：利用計算機編程進行迭代時，時間開銷主要是乘法或除法運算，因此減少乘法或除法的的運算次數(shù)就能節(jié)約時間.而圖像修復(fù)問題主要是考慮兩個方面.一是主觀修復(fù)效果好，另外就是修復(fù)速度要快，這有利于實時修復(fù)圖像.基于這樣的考慮，有必要根據(jù)待修復(fù)區(qū)域像素分布情況簡化模型，從而達到節(jié)約時間的目的.

比如待修復(fù)區(qū)域以及鄰域為G，（α，β）是G內(nèi)任意一個像素的位置，亦即G＝{（α，β∈[c，d]}.對α∈[a，b]，β∈[c，d]，若（α，β）點的像素灰度值f的梯度的倒數(shù)大，但梯度的倒數(shù)變化小，這時只須取第一項.方程變?yōu)槿缦潞唵蔚男问剑?/p>

當(dāng)然如果區(qū)域G={（α，β）α∈[a，b]，β∈[c，d]}內(nèi)像素梯度大，散度小，這時第一項較小，方程成為：

3 實驗過程與分析

方程的離散在發(fā)表的論文[17]上已有討論，這里不再重復(fù).試驗以Matlab7.0為平臺，在PC機（Pentium 4,2.94GHz,內(nèi)存在512MB）上實現(xiàn)，離散時間步長取0.01.對于均勻區(qū)域（見圖2（b）），可用式（7）修復(fù)（c取為1），修復(fù)結(jié)果如圖2（d）.

圖2 均勻區(qū)域圖像修復(fù)

若梯度的倒數(shù)比較大，但變化較?。ㄒ妶D3（a）），可用式（8）修復(fù)，修復(fù)結(jié)果如圖3（c）.

圖3 梯度倒數(shù)變化小的區(qū)域圖像修復(fù)

若兩項作用相當(dāng)（見圖4（b）），則可用式（9）進行修復(fù)，修復(fù)結(jié)果如果4（d）.

圖4 兩項相當(dāng)區(qū)域圖像修復(fù)

一般情況（見圖5（b）），可用式（5）或式（4）修復(fù)，修復(fù)結(jié)果見圖5（c）

圖5 一般情況圖像修復(fù)

為了比較修復(fù)效果，引進客觀評價標(biāo)準ISNR.ISNR的定義是：

式中I（i，j）、J（i，j）和I?（i，j）分別表示原圖像、受損圖像和修復(fù)后的圖像的灰度.圖3（a）無原圖，故不能計算INSR，其余圖像修復(fù)時，INSR可達到19.文中方法修復(fù)時間更快.

4 實驗結(jié)果

綜合圖2（b）、圖3（a）、圖4（b）的修復(fù)結(jié)果可以得到如下結(jié)論：若只考慮修復(fù)后的主觀感受，文中提出的改進TV模型和chan與Shen等人提出的TV模型修復(fù)效果沒有特別大的區(qū)別，如果限定較少的迭代次數(shù)，則TV模型稍好.但是圖像修復(fù)強調(diào)的不是修復(fù)次數(shù)而是修復(fù)速度.今后的工作主要是建立像素間的影射關(guān)系，從而可以并行修復(fù)待修復(fù)區(qū)域的各個像素.終極目標(biāo)為：架構(gòu)一個快速修復(fù)的人工神經(jīng)網(wǎng)絡(luò)，能夠?qū)θ睋p圖像進行實時修復(fù).

[1]Bertamio M,Sapiro G,Caselles V,et al.Image inpainting[C]//Internationalconference on Computer Graphics and Interactive Techniques,New York:ACM Press,2000:417-424.

[2]M Bertalmio,A L Bertozzi,G Sapiro.Navier-stokes,fluid dynamics,and image and video inpainting.Computer Vision andPattern Recognition,2001:355-362.

[3]M Bertalmio,L Vese,G Sapiro,et al.Simutanneous strcture image inpainting[J].IEEE Transactions on Image Processing,2003,12(8):882-889.

[4]C Ballester,V Caselles,J Verdera.A variational model for fillingin gray level and color images[J].In Proc.ICCV,2001:10-16.

[5]Ballester C,Bertalmio M,Caselles V,et al.Filling in by Joint Interpolation of Vector Field and Gray Levels[J].IEEE Trans.Image Process,2001,10(8):1200-1211.

[6]M M Oliveira,B Bowen,R Mckenna.Fast digital image inpainting[J].International Conference on Visualization,Imaging and Image processing,2001:261-266.

[7]A Criminissi,P Pérez,K Toyama.Region filling and removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[8]A Criminissi,P Pérez,K.Toyama.Object removal by exemplarbased inpainting[C]//Proceedings of Conference on Computer Vision Pattern Recognition,USA,2003.

[9]Efoseung T.Texture synthesis by non-parametric sampling[C].Intl.Conf.Computer Vision,1999:1033-1038.

[10]A A Efros,W T Freeman.Image quilting for texture synthesis and transfer[C].Proceedings of SIGGRAPH,2001:341-346.

[11]D J Heeger,J R Bergen.Pyramid-based texture analysis/synthesis[C].SIGGRAPH 95,1995:229-238.

[12]Tony F Chan,Shen J H.Mathematic models for local nonmtexture imprinting by Curvature-Driven Diffusion(CDD)[J].J.Visual Comm.Image Rep.,2001,12(4):436-449.

[13]Tony F Chan,Shen J H.Image processing and analysis:variational,PDE,wavelet,and stochastic methods[M].SIAM Philadelphia,2005.

[14]Shen J H,Tony F Chan.Variational restoration of nonflat image features:models and algorithms[J].SIAM J.Appl.Math,2000,61(4):338-1361.

[15]周廷方，湯鋒，王進，等.基于徑向基函數(shù)的圖像修復(fù)技術(shù)[J].中國圖像圖形學(xué)報，2004，9(10)：1190-1196.

[16]何凱，梁然，張濤.基于小波系數(shù)相關(guān)性的紋理圖像快速修復(fù)算法[J].天津大學(xué)學(xué)報，2010，43(12)：1093-1097.

[17]廉小麗，徐中宇，馮麗麗，等.一種新的基于偏微分方程的圖像修復(fù)[J].計算機工程，2009，35(6)：34-236.

Image impainting based on simplified TV model

HE Wen-xi,YE Kun-tao

（Facuty of Science,Jiangxi University of Science and Technology,Ganzhou 34100,China）

An simplified TV model based on impainting images is proposed in this paper.This model adopts different equations with special inpainting area to achieve much more simplified partial differential equations.Four damaged pictures are selected for image impainting experiments.The experiment results prove that this simplified model would need less time for different requirements of image impainting and make impainted images more natural.

image impainting;TV model;partial differential equation

TP319.41

A

2012-06-17

江西省教育廳科技項目（GJJ11468）

賀文熙（1963-），男，副教授，主要從事圖像處理和磁性材料制備等方面研究，E-mal:hwxhhd@126.com.

2095-3046（2012）05-0066-03