劉正男,梁美玉

(安徽信息工程學(xué)院 電氣與電子工程學(xué)院，安徽 蕪湖 241000)

0 引言

圖像修復(fù)技術(shù)歷史悠久，早在中國西漢時期就有修復(fù)畫卷的記錄，圖像修復(fù)的概念是在文藝復(fù)興時期引入的，近年來發(fā)展迅速[1-5]。目前，圖像修復(fù)可以主要分為兩個方面，一個是基于非紋理結(jié)構(gòu)的處理，另一個是基于紋理的修復(fù)。前者又可以分為變分模型和偏微分方程模型(PDE)，后者可細(xì)分為紋理合成與圖像分解的修復(fù)算法。

基于非紋理結(jié)構(gòu)的修復(fù)算法是根據(jù)已知信息進行空白區(qū)域的填補修復(fù)，適用于待修復(fù)面積較小的情況。Bertalmio等人[6]于2005年在PDE的思路上提出了BSCB(Bertalmio、Sapiro、Casel Ballester)模型，算法的核心是在受損區(qū)域的邊緣上利用公式遵從一定的方向傳播至內(nèi)部，直到填補所有的待修復(fù)區(qū)域，此算法為圖像修復(fù)領(lǐng)域開啟了一個全新的世界。2001年，Chan等人[7-8]提出了一種具有銳化和去噪功能的TV數(shù)學(xué)模型，該算法不僅盡可能多地保留圖像的邊緣信息，而且復(fù)雜度較低，但是存在結(jié)構(gòu)連通性比較差的問題，導(dǎo)致修復(fù)結(jié)果與原圖之間差異較大，并且由于修復(fù)過程中沒有將圖像信息是均勻分布的這一特性考慮進去，導(dǎo)致得到的結(jié)果存在不夠清晰的情況。隨后Chan等人[9]針對TV算法出現(xiàn)的缺點，又提出了將幾何信息引入算法以改進處理效果的CDD模型。為了控制和調(diào)節(jié)圖像修復(fù)中的信息擴散過程，該算法在考慮梯度信息之余，還利用了含有曲率k的控制函數(shù)，使仿真結(jié)果更加理想、視覺更加合理。但由于該算法本身是一個高階方程模型，帶來了很大的計算量，導(dǎo)致修復(fù)時間變長的同時也存在處理后期難以收斂的問題，從而得到的仿真圖像也會存在連通性不佳、內(nèi)容模糊的現(xiàn)象。之后也有很多研究者對這兩個模型進行了一系列的優(yōu)化與改進[10-13]。

基于紋理結(jié)構(gòu)的修復(fù)方法的主要思想是利用一些參數(shù)在源區(qū)域中尋找和待處理區(qū)域最接近的圖像塊進行圖像處理，進而達到修復(fù)的目的，該算法在大范圍受損圖像的修復(fù)方面具有明顯的優(yōu)勢。Criminisi等人[14]在2003年提出新的修復(fù)算法，首次引入了優(yōu)先權(quán)的概念，利用數(shù)據(jù)項與置信項的乘積來決定處理的先后次序，而后利用最佳匹配搜索來填補空白區(qū)域，考慮了目標(biāo)對象的結(jié)構(gòu)與紋理，成為圖像修復(fù)中的一個里程碑。

1 Criminisi算法分析

Criminisi算法的基本思想是利用被扣圖像的剩余部分的冗余信息來對孔洞進行填充操作，主要分為優(yōu)先級的計算、最佳匹配塊的搜索并填充以及置信度的更新這3個部分：

1) 優(yōu)先級用于確定待修復(fù)塊的處理次序，解決結(jié)構(gòu)連通性較差的問題；

2) 搜索即根據(jù)紋理相似距離(平方差距離和，即SSD)在已知區(qū)域中找到最佳匹配塊；

3) 復(fù)制即是將最佳匹配塊復(fù)制到對應(yīng)的目標(biāo)區(qū)域位置。

圖1展示了Criminisi算法的一次處理過程。

圖1 Criminisi算法的處理過程

P(p)=C(p)D(p)，

(1)

其中：C(p)是置信項，D(p)是數(shù)據(jù)項。C(p)和D(p)分別定義[14]3為

(2)

(3)

其中：C(q)為待修復(fù)塊ψp中像素q的置信項值，未對圖像操作處理前，在圖像信息已知范圍內(nèi)定義其值為1，在圖像待處理范圍內(nèi)定義其值為0；|ψp|指的是待修復(fù)塊ψp的面積。

(4)

再以目標(biāo)最優(yōu)匹配塊對空白部分進行填充，并在此之后對置信度進行更新，進行下一次的修復(fù)。

圖2是Criminisi算法的仿真效果圖，其中圖2 (a)是待處理對象，圖2 (b)為經(jīng)過Criminisi算法處理得到的結(jié)果。由結(jié)果分析發(fā)現(xiàn)，對于待處理圖2(a)，本意是移除圖片中右邊男子，但是由于Criminisi算法是從完好區(qū)域?qū)ふ页雠c待處理區(qū)最為接近的圖像塊并進行填充，于是就出現(xiàn)了圖2(b)的修復(fù)結(jié)果，僅僅是將中間的女子所在圖像塊進行了復(fù)制，此外，還出現(xiàn)了不合理內(nèi)容的填充問題。

圖2 Criminisi算法仿真圖

2 改進Criminisi算法

Criminisi算法對于待處理面積較大的圖像的修復(fù)效果比較理想，然而當(dāng)目標(biāo)對象信息比較復(fù)雜時，或待修復(fù)塊涉及兩個或者多個紋理結(jié)構(gòu)截然不同的區(qū)域時，不論是優(yōu)先權(quán)計算函數(shù)，還是最佳匹配算法，就會因此出現(xiàn)修復(fù)錯亂、仿真效果不夠理想的情況。此外，在修復(fù)圖像前，Criminisi算法需要對圖像中的待處理部分進行掩膜操作，可是人為創(chuàng)建的掩膜與真正需要處理的修復(fù)區(qū)域還是會存在或大或小的差距。在標(biāo)記掩膜時，為了涵蓋所有的破損區(qū)域，人們通常會設(shè)計面積較大的掩膜。然而，過大地標(biāo)注掩膜，勢必會加大圖像處理過程的難度，進而也會增加修復(fù)算法的時間成本。

針對上述問題，本研究對原Criminisi算法進行了改進，現(xiàn)將本文算法記為CBC(Corrode、Block、Criminisi)，提出以下優(yōu)化方案：

1)通過腐蝕算法對圖像的掩膜進行處理，避免人為擴大修復(fù)區(qū)域；

2)針對優(yōu)先權(quán)函數(shù)在修復(fù)后期為零所導(dǎo)致的修復(fù)錯亂的問題，對優(yōu)先權(quán)函數(shù)提出了優(yōu)化；

3)通過分塊的思想對圖像進行分塊修復(fù)，避免差距明顯的紋理區(qū)域出現(xiàn)修復(fù)錯亂。

2.1 腐蝕處理

腐蝕屬于圖形形態(tài)學(xué)操作，其目的是消除對象的邊界點，使邊界向內(nèi)部收縮，同時可以消除微小的結(jié)構(gòu)元素。也就是對目標(biāo)對象中的白色區(qū)域進行縮減的過程，經(jīng)過處理后的圖像白色區(qū)域面積要比原圖像中的白色區(qū)域面積小。腐蝕可簡單地理解為取局部最小值，將對象中的結(jié)構(gòu)元素進行四處移動，倘若結(jié)構(gòu)元素的所有點都在目標(biāo)對象內(nèi)，則該點保留于對象中，否則就會被消除掉(即腐蝕)。

腐蝕算法仿真如圖3所示，其中圖3(a)是原始掩膜圖像，圖3(b)是經(jīng)過腐蝕處理后得到的效果圖。

圖3 腐蝕處理前后對比效果

經(jīng)過對比可以看出，白色區(qū)域變小了，即掩膜區(qū)域變小了，這在一定程度上減輕了人為擴大修復(fù)區(qū)域的問題，也提高了圖像修復(fù)算法的運行效率。因此，可以在圖像修復(fù)之前進行適當(dāng)?shù)母g預(yù)處理。

圖4是經(jīng)過腐蝕預(yù)操作后再進行Criminisi修復(fù)的結(jié)果，其中圖4(a)是原圖，圖4(b)是所得到的結(jié)果圖像。

圖4 腐蝕處理后Criminisi算法仿真與原圖對比效果

通過圖4與圖2的結(jié)果對比分析可以看出，經(jīng)過腐蝕操作后再進行Criminisi算法處理的結(jié)果盡管沒有達到預(yù)期的修復(fù)效果，依然是對附近類似人物的復(fù)制填充結(jié)果，但是處理后的圖像沒有出現(xiàn)破損區(qū)域，沒有發(fā)生草坪上出現(xiàn)湖水的圖像塊和水邊樹木枝干的情況，整體而言，沒有明顯的圖像處理痕跡，視覺效果更加合理。

利用時間、峰值信噪比、結(jié)構(gòu)相似性給出以上結(jié)果的評價參數(shù)。

表1 Criminisi算法與腐蝕處理后Criminisi算法的評價結(jié)果

根據(jù)表1的客觀評價結(jié)果，可以看出，經(jīng)過腐蝕處理后的修復(fù)效果更加真實自然，并且由于腐蝕的特性導(dǎo)致修復(fù)區(qū)域變小，也縮短了圖像修復(fù)的時間。

2.2 優(yōu)先權(quán)函數(shù)的改進

由公式(2)可知，置信項會在修復(fù)過程中趨近于0，導(dǎo)致無法確定修復(fù)塊的優(yōu)先次序。而公式(1)僅對待修復(fù)塊的結(jié)構(gòu)信息做了一定的計算，但是并沒有考慮到信息的復(fù)雜度，因此，這里提出在進行優(yōu)先權(quán)函數(shù)的建立時將能反映復(fù)雜程度的信息熵考慮在內(nèi)，具體函數(shù)為

(5)

其中Sp代表圖像的信息熵，定義如下：

(6)

其中pi是目標(biāo)對象中灰度值為i的像素所占的比例。

當(dāng)C(p)<0.5時，為了避免置信項過低導(dǎo)致數(shù)據(jù)項無法合理影響破損塊的優(yōu)先權(quán)的情況出現(xiàn)，本研究將Criminisi算法中的數(shù)據(jù)項與置信項的乘積運算改為兩者相加；當(dāng)C(p)≥0.5時，由于置信項對于待修復(fù)塊的優(yōu)先權(quán)起著很大的作用，所以繼續(xù)保持?jǐn)?shù)據(jù)項與置信項的相乘運算。

2.3 分塊處理

鑒于原Criminisi算法利用匹配準(zhǔn)則在整幅圖像中尋找最佳相似塊，故而導(dǎo)致在圖像中出現(xiàn)修復(fù)失誤的情況，因此提出在不同紋理區(qū)域里分別進行修復(fù)的思路。具體思路如下：首先將待修復(fù)的對象分割成若干子對象，并且彼此之間沒有重疊的部分，隨后針對每一個子對象做并行修復(fù)處理，減小修復(fù)范圍的同時也保證了最佳匹配塊的符合度，修復(fù)效果如圖5所示。

圖5 Criminisi分塊處理仿真與原圖對比效果

從圖5可以看到，經(jīng)過分塊處理的圖像再進行圖像修復(fù)，已經(jīng)基本上達到了去除目標(biāo)人物的要求，只是細(xì)節(jié)部分仍然有待提高。

本研究融合分塊和腐蝕算法，對Criminisi算法進行改進，先對圖像的掩膜部分進行腐蝕預(yù)處理，繼而對圖像進行分塊處理，處理結(jié)果如圖6所示。

圖6 CBC算法仿真與原圖對比效果

經(jīng)過結(jié)果對比與分析，可以發(fā)現(xiàn)本研究提出的算法不僅對修復(fù)圖像實現(xiàn)了要去除目標(biāo)人物的要求，而且修復(fù)后的圖像沒有修復(fù)痕跡，在細(xì)節(jié)方面也取得了比較好的效果。

3 實驗結(jié)果與分析

為了檢驗算法的性能，將CBC算法與Criminisi算法[14]、TV算法[8]、CDD算法[9]的結(jié)果進行對比分析。在性能衡量方面，本研究不僅采用了客觀評價還另外組織了主觀評價。

3.1 客觀評價標(biāo)準(zhǔn)

本研究采用峰值信噪比(Peak Signal to Noise Ratio，PSNR)、結(jié)構(gòu)相似性(Structural similarity，SSIM)來對修復(fù)算法的效果進行客觀評價。

1) 峰值信噪比PSNR

PSNR是使用最廣泛的一種衡量圖像質(zhì)量的客觀指標(biāo)，其值越大表明結(jié)果圖像越接近于原始圖像，PSNR的具體計算公式如下：

(7)

2) 結(jié)構(gòu)相似性SSIM

SSIM(用SSIM表示)是一個新的圖像評價指標(biāo)，用于衡量兩幅圖像的結(jié)構(gòu)相似度，SSIM的值越接近于1說明兩幅圖像的結(jié)構(gòu)越相似，其計算步驟為

(8)

(9)

(10)

SSIM(X,Y)=L(X,Y)*C(X,Y)*S(X,Y),

(11)

3.2 主觀評價

由于原圖像與修復(fù)所得結(jié)果在結(jié)構(gòu)上存在一定的差距，直接對兩者進行客觀評價缺乏說服力，故在接下來的篇幅中，對原圖像進行人為損壞，再利用本研究所提出的修復(fù)算法對其進行處理，為了檢驗算法的性能，對CBC算法與Criminisi算法、TV算法、CDD算法的結(jié)果進行對比分析，修復(fù)結(jié)果如圖7所示。

圖7 CBC算法與Criminisi算法、TV算法以及CDD算法的仿真對比效果

據(jù)上述不同算法的仿真結(jié)果，可以發(fā)現(xiàn)，利用本研究方法修復(fù)后的圖像整體效果較好，基本上實現(xiàn)了殘缺部分的修復(fù)。此外，TV算法和CDD算法由于只進行了1 000次迭代，修復(fù)效果不夠理想，沒有達到修復(fù)要求，在修復(fù)結(jié)果中能夠看到修復(fù)區(qū)域依然存在模糊區(qū)域。相較于TV算法和CDD算法，Criminisi算法對于大范圍破損圖像的處理更勝一籌，從修復(fù)結(jié)果來看，Criminisi算法在很大程度上實現(xiàn)了對殘缺部分的修復(fù)，但是修復(fù)結(jié)果有待改進，與原圖像存在肉眼可見的差距。而本研究算法在Criminisi算法的基礎(chǔ)上提出改進，對掩膜進行腐蝕預(yù)處理從而使得修復(fù)區(qū)域減小，分塊修復(fù)的處理方式能夠區(qū)別開不同紋理的信息，故而修復(fù)效果比較好，同時，改進的優(yōu)先權(quán)函數(shù)對圖像處理后期出現(xiàn)的修復(fù)錯亂情況起到了一定的抑制作用。但是，由于CBC算法沒有對最佳匹配塊的搜索范圍和匹配準(zhǔn)則進行調(diào)整和優(yōu)化，導(dǎo)致部分修復(fù)結(jié)果仍有優(yōu)化空間，比如CBC算法對圖7(a)和圖7(f)的圖片的修復(fù)效果就出現(xiàn)了不夠理想的情況。

3.3 客觀評價

在性能衡量方面，本研究采用峰值信噪比和結(jié)構(gòu)相似性來對算法進行分析，結(jié)果如表2所示。

表2 CBC算法與Criminisi算法、TV算法以及CDD算法的對比評價結(jié)果

由表2中實驗數(shù)據(jù)表明：可知TV算法由于其模糊效應(yīng)，綜合評價結(jié)果比較差；CDD算法在TV算法的基礎(chǔ)上引入梯度和曲率信息，修復(fù)結(jié)果得到了改善，峰值信噪比和結(jié)構(gòu)相似性均有所提高，但對于邊緣待修復(fù)區(qū)域的處理仍然不夠理想，模糊現(xiàn)象依舊存在；CBC算法在Criminisi算法的基礎(chǔ)上提出了改進，圖像的評價參數(shù)均有所提高。

4 結(jié)論

本研究提出的基于腐蝕和分塊處理的圖像修復(fù)算法利用腐蝕算法對圖像進行預(yù)處理，減輕了人為擴大修復(fù)區(qū)域的問題；然后通過信息熵對優(yōu)先權(quán)函數(shù)進行了優(yōu)化，抑制了修復(fù)錯亂的問題；最后引入分塊的思想對不同區(qū)域進行分塊修復(fù)。通過一系列的數(shù)據(jù)對比和經(jīng)過對處理后的圖像效果進行分析，本研究算法在邊緣破損圖像的處理效果較好，取得了比較高的峰值信噪比、結(jié)構(gòu)相似性，細(xì)節(jié)部分也得到了較好處理。但是CBC算法對于大面積破損圖像的修復(fù)效果不夠理想，原因是CBC算法未對最佳匹配塊的搜索區(qū)域和匹配準(zhǔn)則做出調(diào)整，后續(xù)工作將進一步對其完善。