陳美玲 朱鋁芬 張云 石瑤

摘 ?要：本文針對Criminisi算法及其現(xiàn)階段存在的不足，提出一種基于圖像樣本塊的圖像復原算法。通過在Criminisi算法中加入模塊的自適應(yīng)算子，使原來的9*9模塊在適當情況下自適應(yīng)變化為其余模塊大小，來降低修復誤差。實驗結(jié)果在主觀上修復部分更加清晰自然，修復邊緣沒有太大的瑕疵;從客觀評價指標上分析：圖像峰值信噪比PSNR變大，圖像模糊程度變小;修復運行時間更長，圖像修復效果更好。結(jié)果表明改進后的Criminisi算法從主觀層面和客觀層面都具有更好的圖像修復效果，即污染區(qū)域圖像斷層更少，過渡更加平滑，紋理豐富、結(jié)構(gòu)復雜區(qū)域的修復也更加自然。

關(guān)鍵詞：自適應(yīng);Criminisi算法;圖像修復

中圖分類號：TP317.4 ? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）18-0043-04

Abstract：To overcome the shortcomings of Criminisi algorithm and its present stage，a new improved image restoration algorithm based on sample blocks is proposed. In Criminisi algorithm，the adaptive operator of the module is added to reduce the repair error by adaptively changing the size of the other modules from the original 9*9 module in appropriate cases. The experimental results show that the repair part is more clear and natural in subjective analysis，and the repair edge is not too defective. From the objective evaluation index，the peak signal-to-noise ratio （PSNR） of the image becomes larger，and the image blurring degree becomes smaller. The repair operation time is longer，and the image restoration effect is better. The experimental results show that the improved Criminisi algorithm has a better image restoration effect both in subjective and objective aspects，that is，the contaminated area has fewer image slices，more smoother，and the texture-rich and complex areas are more natural.

Keywords：adaptive operator;Criminisi algorithm;image restoration

0 ?引 ?言

圖像修復[1]是指用于恢復或重建由于損壞而丟失的圖像或從圖像中移除冗余對象的技術(shù)，它采取特定的原理和算法，并利用破損圖像中待修復區(qū)域的領(lǐng)域信息來修復未知區(qū)域，主要目的是讓觀察者不易覺察出圖像已經(jīng)被損壞或者被修復過[2]。圖像修復已經(jīng)被人們廣泛應(yīng)用于數(shù)字圖像處理、計算機繪圖、數(shù)據(jù)壓縮、電腦卡通制作及虛擬現(xiàn)實等領(lǐng)域中[3]。

圖像修復過程包含一系列消除噪聲和干擾的繁瑣步驟，如糾正幾何失真和對比度損失以及反卷積;現(xiàn)今的圖像修復技術(shù)的發(fā)展已經(jīng)愈發(fā)成熟，修復方法也極為豐富，包含：維納濾波、逆濾波、第一濾波、幾何失真校正等手段。數(shù)字圖像修復技術(shù)有兩個主要分支：一個是基于紋理結(jié)構(gòu)的圖像恢復，非常適合大型圖像損傷區(qū)域;另一個分支是基于非紋理圖像恢復，主要用于小圖像恢復。

雖然基于非紋理結(jié)構(gòu)的圖像復原技術(shù)可以廣泛應(yīng)用于小面積污染的圖像復原，但是這種技術(shù)不適用于大面積的圖像復原。因此，一些學者提出了基于紋理結(jié)構(gòu)的圖像復原。最近，最流行的方法是基于快速操作的圖像修復算法。匹配完整的圖像區(qū)域，將最近和相似的區(qū)域復制到要修復的區(qū)域，然后重復更新邊界信息，一直到獲取到修復結(jié)果圖為止。其中最典型的算法是Criminisi等人提出的Criminisi算法，大量學者針對此類算法做出了研討[4]。

起初，Cheng等人在Criminisi算法的優(yōu)先權(quán)函數(shù)上進行了改進，讓這類算法可以對不同特性的圖像進行處理，大大提升了此類算法的實用性，JinHai把圖像分解成了結(jié)構(gòu)和紋理兩部分，然后把結(jié)構(gòu)信息加入到了優(yōu)先權(quán)判斷中，研究表明這類方法可以在結(jié)構(gòu)邊緣處提升修復效果;在相似性度量上，Xue依照顏色比率梯度直方圖搭建了一種新的相似度量規(guī)則，提高了匹配塊搜索的精確度;接著Zhang提出了一種自適應(yīng)的修復算法，針對樣本塊大小的選取，提高獲取各種尺度的圖像特征的效率，來提高修復質(zhì)量[5]。

本文針對Criminisi算法存在的問題進行了改進，在同一幅圖像中，不同模塊間達到最佳修復效果的模塊大小會自適應(yīng)改變。

1 ?Criminisi算法

Criminisi算法的原理是找到圖像I的整個已知區(qū)域I-Ω與未知損傷區(qū)域Ω之間的邊緣δΩ，并在邊緣域內(nèi)選取樣本塊，樣本塊與鄰接樣本塊之間存在像素點的重疊，形成樣本塊集合P={P（x1），P（x2），…，P（xN）}，其中p（xi）包含于I/Ω，N是樣本塊的總個數(shù)，xi是樣本塊的中心像素。首先，根據(jù)特定原理確定要修復的像素的優(yōu)先級，并且以具有最高優(yōu)先級的點為中心建立目標塊（即樣本塊）。然后在P中尋找與目標塊最相似的模板，并將獲得的最佳匹配模板塊的像素值填充到目標塊的對應(yīng)位置。這樣，經(jīng)過多次迭代，最終完成整個受損區(qū)域的修復問題。

（3）將最優(yōu)匹配塊中的信息復制到待匹配塊中。

（4）重復上述步驟。

（5）直到全部破損區(qū)域修復完成為止。

基于樣本塊修復算法的原理如圖1所示，其中Φ（Source region）為原區(qū)域，Ω（Target region）為目標區(qū)域。

2 ?基于樣本塊大小的自適應(yīng)算法

在基于紋理合成的圖像算法中，樣本塊的大小對最終的修復效果是影響極大的，同時對修復速度還有影響。在大多數(shù)的紋理合成算法中，塊大小一般為9*9，但是并不合理，不能應(yīng)對所有的情況。比如：當處理紋理結(jié)構(gòu)復雜和色彩豐富的圖像時，如果樣本塊大，則會導致修復誤差變大，雖然修復的運行時間很短，但是對于修復結(jié)果而言不夠理想[6]。

對于Criminisi算法，該算法以步行模式運行。如果最后一個修復結(jié)果有錯誤，它將繼續(xù)導致下一個匹配修復偏差，直到修復結(jié)果錯誤，因此匹配修復的正確性非常重要。模塊大小對于匹配修復的正確性至關(guān)重要。針對Criminisi算法固定模塊尺寸的不足，提出了一種適應(yīng)模塊尺寸的方法。也就是說，在同一圖像中，將自適應(yīng)地改變在不同模塊之間實現(xiàn)最佳修復效果的模塊尺寸。如上所述，當紋理更豐富，圖像的信息變化更快時，如果模板更大，則更可能發(fā)生錯誤。因此，當紋理改變時，模板大小不再能夠繼續(xù)增加。本文使用的自適應(yīng)模板的大小，中心思想是從內(nèi)到外傳播信息。從初始模板大小開始（本文使用5*5），然后縮小一個像素，在擴展前后，如果信息變化平穩(wěn)，判斷模板中的信息變化是否平緩或跳躍，然后繼續(xù)擴展一個像素點，否則，返回到先前的模板大小并停止擴展。如圖2所示。

在圖2中，曲線是要修復的邊界，它是具有最高優(yōu)先級的點，并且居中以形成初始模板（最里面的矩形）。然后向外擴展以計算擴展后信息的變化，信息的變化是平穩(wěn)的或強烈的，主要通過信息的變化率來反映，變化率是通過顏色值的變化來衡量的。這與像素處的梯度有關(guān)，因此通過在擴展之前和之后兩個模塊之間的每個像素的梯度的差異是否超過特定閾值來測量。具體實現(xiàn)過程如下：

令第一次擴展后的模板邊界為矩形框的四邊與圖像的已知區(qū)域的交點。然后對于邊界上的任何已知像素，即假設(shè)它是擴展后的對應(yīng)點，在使用中心差分方法的情況下設(shè)梯度。當點向外擴展時，梯度也由中心差計算，則擴散條件為：

3 ?新算法圖像修復的對比結(jié)果

如圖3蹦極，圖3（a）是一張蹦極照片，其圖像信息非常豐富，紋理結(jié)構(gòu)也很復雜，將其處理后得到圖3（b）掩碼圖像，通過照片觀察可看出來掩碼圖像跨越了河流、房屋、草地三片區(qū)域，其修復的復雜程度很高。通過MATLAB工具采用改進前的原始Criminisi算法得到圖3（c），緊接著用改進后的算法獲得圖3（d）。

由圖3可以看出，改進前的修復效果圖3（c）掩碼圖像基本被修復，但是很明顯其河流、房屋、草地三片區(qū)域的交界處都出現(xiàn)不同程度的斷層，這明顯不合理;改進后的模塊自適應(yīng)算法得到的圖3（d）修復圖可發(fā)現(xiàn)圖像信息斷層情況大大改善，提升了視覺感受[7]。

客觀評價指標主要從三項指標來進行對比，分別是時間（單位：s）、PSRN值（峰值信噪比）和MSE值（均方差），如表1所示。

由表1可知：改進后的新算法PSNR值更高且MSE值更低[8]，可知即其圖像修復的效果更好，具體表現(xiàn)在新算法修復后的失真率更低，與原圖的相似度更高。并且可發(fā)現(xiàn)新算法的修復時間更長，這也是一項對于算法運行效率的評價指標，時間是數(shù)字形式可以量化，所以可以客觀比較。一般而言，圖像修復的時間越長，修復效果越好，時間和修復效果之間成正比關(guān)系，也就是說修復效果較好的算法，其耗費時間相對而言更長。

以下進行兩組圖像對比再次驗證上述結(jié)論，對比結(jié)果如圖4、圖5、表2、表3所示。

由圖4卡通圖像，圖5向日葵兩組圖像修復前后的對比圖以及其表2、表3評價指標表明：改進后的新算法從主觀上而言修復后的圖像連通性更好，修復痕跡更小;客觀上而言新算法PSNR指標數(shù)值更大，即失真率更小，圖像更接近原圖，MSE數(shù)值更小，即圖像降噪率更好;并且新算法修復時間更長，即因為修復效果與時間成正比，所以修復效果要比改進前更加優(yōu)越。

4 ?結(jié) ?論

本文主要分析了Criminisi算法的兩大缺陷：其一是修復模塊單一，應(yīng)對紋理結(jié)構(gòu)單一且簡單的缺損圖像可以適用，一旦待修復圖像紋理結(jié)構(gòu)復雜后將難以應(yīng)對;其二是原算法的優(yōu)先權(quán)問題，當置信度和等照度線強度處于兩個極端時，那么他們的乘積也就是優(yōu)先權(quán)將會變小，也就是最應(yīng)該被優(yōu)先修復的區(qū)域卻沒有被修復，導至后面的修復都產(chǎn)生錯誤。本文針對兩大缺陷其一的單一模塊問題，提出了自適應(yīng)模塊大小的新算法改進。即加入模塊大小自適應(yīng)擴展的算法讓其可以根據(jù)帶修復區(qū)域的復雜程度來自動識別模塊大小并進行同步改變，這樣既能改善修復結(jié)果，也能提升修復效率。三組圖像恢復數(shù)據(jù)表明：新算法修復效果從主觀評價和客觀評價兩方面都較好于原算法。

參考文獻：

[1] GUILLEMOT C，LE M O. Image Inpainting：Overview and Recent Advances [J].IEEE Signal Processing Magazine，2014，31（1）：127-144.

[2] 張斐.大區(qū)域圖像修復算法研究 [D].南京：南京郵電大學，2013.

[3] BERTALMIO M，SAPIRO G，CASELLES V，et al. Image Inpainting [C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. Proceedings of the SIGGRAPH. New York：ACM Press/Addison-Wesley Publishing Co.，2000：417-424.

[4] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by examplar-based inpainting [J].IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

[5] 彭坤楊，董蘭芳.一種基于圖像平均灰度值的快速圖像修復算法 [J].中國圖象圖形學報，2010，15（1）：50-55.

[6] 沈峘，李舜酩，毛建國，等.數(shù)字圖像復原技術(shù)綜述 [J].中國圖象圖形學報，2009，14（9）：1764-1775.

[7] 孟春芝，何凱，焦青蘭.自適應(yīng)樣本塊大小的圖像修復方法 [J].中國圖象圖形學報，2012，17（3）：337-341.

[8] WEXLER Y，SHECHTMAN E，IRANI M. Space-Time Completion of Video [J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2007，29（3）：463-476.

作者簡介：陳美玲（1984-），女，滿族，吉林長春人，講師，碩士，研究方向：控制工程，圖像處理。