劉 宇，金偉正，范賜恩，鄒 煉

(武漢大學 電子信息學院，武漢 430072)(*通信作者電子郵箱jwz@whu.edu.cn)

0 引言

攝影愛好者們通常遇到這樣的問題：感興趣的攝影對象被柵欄，鐵絲網(wǎng)等物體所遮擋，無論如何挑選拍攝角度，都無法獲得理想的畫面。在拍攝籠子里的動物、安全護欄里的自然風景或建筑物時，或者拍攝籬笆對面的人像時，這些動輒橫貫了整幅圖像的遮擋物，常常喧賓奪主，將人們感興趣的拍攝對象分割成支離破碎的小塊，嚴重影響了畫面的美觀。對于圖像瀏覽者來說，同樣也不希望視野被這些惱人的障礙物所阻隔。于是，利用圖像處理技術，將這些惱人的障礙物去除，還原出一個完整、干凈的圖像就成為了一個值得探討的話題。

網(wǎng)狀遮擋去除，是本文作者對英文單詞“de-fencing”的意譯，指的就是將上文所說的網(wǎng)狀的遮擋物從圖像或者視頻中去除的過程。這個概念由Liu等[1]首次提出。他們將這個問題分解成了3個步驟：1)網(wǎng)狀結構的感知；2)遮擋物的分割；3)去掉遮擋后圖像的修復。其后的研究[2-9]也都是從這三個方面入手。

在圖像中檢測出網(wǎng)狀的結構是一切的開始。網(wǎng)狀結構的感知與分割實際上是一個前景背景的語義分割問題。不過不同于常見的前背景分割，在這個應用中，要保留的是背景，而作為前景的網(wǎng)狀遮擋物，則是需要去除的物體。示例如圖1所示。

圖1 網(wǎng)狀遮擋物去除示例

在一幅被安全護欄或者籠子遮擋的圖像中，遮擋物占據(jù)的像素能夠占到整幅圖像的18%～53%[1]，但由于其形狀特點，這些像素分散分布在整幅圖像中。常用的物體檢測方法像行人檢測[10]通常是利用一個矩形框在圖像中滑動搜索，利用框內像素的顏色、紋理等特征給出預測的參考分數(shù)來實現(xiàn)對物體的檢測，但類似這樣的物體探測方法，對于這種網(wǎng)狀中空的物體并不適用。網(wǎng)格狀的遮擋物，在局部特征上呈現(xiàn)的是一種顏色較為均勻的細長形狀，類似的特征在自然圖像中極為常見，樹木的枝干、道路邊的電線桿及路燈、人衣服上的花紋以及一些動物身上的斑紋都有可能呈現(xiàn)出類似的特征。而假如只關注更大尺度的特征，搜索到的矩形框中不僅包括想移除的遮擋物，更多的像素屬于需要保留的背景。因此，對于網(wǎng)狀結構遮擋物的探測，本研究需要考慮其在較高尺度上的特征的同時，保留其在局部小尺度上的性質，從而實現(xiàn)前景與背景的正確分割。Liu等[1]和Park等[6]使用Park等[11]提出的半規(guī)則紋理探測算法來檢測網(wǎng)狀結構，該算法首先在圖像中尋找可能的網(wǎng)格節(jié)點，再利用網(wǎng)格在空間上排列的規(guī)律性生長出其他網(wǎng)格節(jié)點，該算法在一些排列比較均勻規(guī)則的網(wǎng)狀遮擋物的探測上準確性較高，但對于一些不那么規(guī)則或是異形的網(wǎng)格來說，該算法往往不能準確和完全地找到所有前景遮擋物。Farid等[3]認為遮擋物的顏色應當滿足一定的概率分布，他們利用人工輸入的遮擋物樣本點作為顏色參考，從整幅圖像中分割出前景遮擋，這種方法十分依賴人工輸入的樣本點的選取，并且對于前背景顏色差別不大的圖像來說效果不佳。Khasare等[4]利用圖割算法來分割遮擋物與被遮擋物，但需要人工對網(wǎng)狀遮擋物和被遮擋物進行手動標記。Jonna等[5]提出了一種定位并移除顏色—深度(RGB-Depth, RGB-D)圖像網(wǎng)狀遮擋物的方法，利用深度攝像頭如Microsoft Kinect獲得的圖像深度信息來定位并移除網(wǎng)狀遮擋物。Zou等[8]的方法同樣利用了RGB-D圖像。Yamashita等[7]在同一個角度下對目標拍攝了不同焦距的圖像，利用這些圖像定位出網(wǎng)狀遮擋物。Jonna、Zou、Yamashita提出的方法都需要額外的信息來實現(xiàn)對網(wǎng)狀遮擋物的定位，無法實現(xiàn)對單張彩色圖像的網(wǎng)狀遮擋物的準確定位。為了解決這個問題，Jonna等[2]引入了卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network， CNN)來實現(xiàn)對單張圖像的網(wǎng)狀遮擋物的精準定位，他們標注了4 000張網(wǎng)狀遮擋物節(jié)點的正樣本和8 000張負樣本來訓練CNN，之后利用該網(wǎng)絡在待處理圖片中尋找網(wǎng)狀遮擋物的節(jié)點并最終獲得網(wǎng)狀遮擋物掩膜，該方法的難點在于訓練樣本的獲取，并且該網(wǎng)絡對于異形的網(wǎng)狀遮擋物的探測效果存疑。

針對目前的去遮擋算法在對遮擋物的尋找上的準確性的問題，本文利用超像素分割技術，突破單個像素的特征限制，利用超像素塊中多個像素的顏色及紋理的統(tǒng)計特征，對圖像進行前背景分割。由于前景的網(wǎng)狀遮擋物在不同的自然圖像中可能會擁有不同的形狀及顏色特征，因此利用圖割算法將自然圖像中的物體分割成幾類，并將其中最接近于網(wǎng)狀特征的一類作為該幅圖像的先驗知識，利用支持向量機(Support Vector Machine， SVM)分類器對圖像中的超像素塊進行分類，最終得到準確的遮擋物位置，最后使用文獻[12]中提出的SAIST(Spatially Adaptive Iterative Singular-value Thresholding)算法恢復出原始的圖像。整個算法流程如圖2所示。

1 算法流程

1.1 超像素分割

為了突破單個像素的特征限制，同時保留圖像的局部細節(jié)特征，本文算法使用簡單線性迭代聚類(Simple Linear Iterative Clustering， SLIC)[13]算法對圖像進行超像素分割預處理。SLIC算法將圖像上的每個像素點n由一個五維特征向量[ln,an,bn,xn,yn]T表示，ln、an、bn是點n在CIELAB(CIEL*a*b* 1976 color space)色彩空間的L、a、b三個通道上的像素值，xn、yn為點n的坐標。圖像中的每一個像素點通過K-means聚類的方法分配其最鄰近的聚類中心的標號值，像素點n距離一個聚類中心Ci=[li,ai,bi,xi,yi]T的距離Ds表示為：

(1)

(2)

(3)

圖2 算法流程

整個SLIC算法的流程如下：

1)在圖像中以S為步長均勻地劃分網(wǎng)格，以網(wǎng)格的中心作為初始化聚類中心點Ci=[li,ai,bi,xi,yi]T。

2)將聚類中心移至n*n鄰域的最小梯度位置。

3)對于圖像中的每個像素點，將其分配給2S*2S矩形范圍內Ds最小的聚類中心。

4)計算新的聚類中心點。

5)計算殘留率，如果殘留率小于一定閾值或者像素點的標號不再改變，算法收斂。重復3)～5)直至收斂。

為了正確地分割出網(wǎng)狀遮擋物，S就應該與網(wǎng)狀遮擋物的寬度近似，本文取S=10。在S固定的情況下，緊湊因子m越大，Ds中空間距離所占的權重越高，顏色相似性所占的權重越小，這樣生成的超像素塊將會在空間上有更高的緊湊性，而對局部顏色的變化有更高的容忍度。如前文所述，網(wǎng)狀遮擋物的顏色會受光照或者銹蝕、污點的影響，設置一個較大的m值，可在一定程度上克服這種局部的顏色變化；但m值也不可過大，過大的m值會使SLIC分割失去其邊緣保持的特性，其塊間的邊界將不再與前景背景的邊界重合，這不利于之后的超像素塊特征提取和前景分割過程。令m=λ*S，相比其他超像素塊算法應用，本文所需的超像素塊空間大小很小(因為網(wǎng)狀遮擋物往往很窄)，所以要相應地提高空間距離dxy在Ds中的權重，應選擇一個較大的λ值。經(jīng)過實驗，λ=100在大多數(shù)情況下能夠較好地兼顧網(wǎng)狀遮擋物的邊界與局部顏色差異。圖3展示了一張網(wǎng)狀遮擋物圖片通過SLIC超像素分割時不同迭代次數(shù)時的邊界變化情況。在第一次聚類后，超像素塊的邊界未能貼合前背景的邊界，經(jīng)過多次迭代后，超像素塊邊界逐漸與網(wǎng)狀遮擋物的邊界相貼合。

通過SLIC超像素算法，本文算法將一幅由像素點構成的圖像變成了由一個個超像素塊拼成的圖像，得益于SLIC算法優(yōu)秀的邊界保持性，接下來只要一一確定每個超像素塊是否屬于網(wǎng)狀遮擋物，便能夠實現(xiàn)前景與背景的分割。每一個超像素塊都包括有100個左右的像素點，且同一個超像素塊內的像素點大概率都屬于同一個物體，所以，一個超像素塊相比單個像素或單個像素及其鄰域能夠提供更多、更準確的顏色及紋理特征，因而獲得更為準確的分類。

為了實現(xiàn)網(wǎng)狀遮擋物的自動檢測，本文算法需要能夠自動分辨出超像素塊的歸屬的方法。本文利用Graph Cuts圖割算法[14]對超像素塊進行分類，擴展網(wǎng)狀遮擋物的顏色與紋理特征到大尺度下的總體形態(tài)特征。

圖3 SLIC聚類分割過程

1.2 使用圖割算法的超像素塊融合

從圖2(c)中可以看到，經(jīng)過超像素處理后，所有的網(wǎng)狀遮擋物和背景都被超像素塊的邊界所分離開了，但新的問題是網(wǎng)狀遮擋物自身也被分割成了小塊。本文使用圖割算法來解決這個問題，通過合理地構建能量函數(shù)，使網(wǎng)狀遮擋物的小超像素塊與背景的超像素塊分別與其毗鄰的相似超像素塊進行融合，使局部的超像素塊相互組合生成一個大的結構，如圖2(d)所示。利用圖割算法，本文算法可以在不知道網(wǎng)狀遮擋物的顏色特征和結構特征的情況下，自動從彩色圖像中提取出類似物體供后續(xù)算法進行篩選和分類。

將超像素塊映射成一個帶權圖，為每個超像素塊賦予不同的標號，構建一個能量函數(shù)來使用圖割算法，能量函數(shù)的一般形式為：

E(f)=Edata(f)+γEsmooth(f)

(4)

其中：數(shù)據(jù)項Edata表示同一標號頂點的不相似性，光滑項Esmooth表示不同標號頂點的相似性，γ為平衡因子，f表示圖中各頂點被賦予的標號。利用圖割算法使兩者之和E盡可能地小，就能夠得到邊界光滑分類準確的圖像分割結果。在許多圖割算法的應用中，都是將每個像素點作為帶權圖的頂點，用像素點的灰度值作為特征來計算相似性。這種做法直觀且易于實現(xiàn)但由于其將每一個像素點都作為帶權圖的頂點，使得這個圖的尺寸十分龐大，對其使用圖割算法在時間復雜度和空間復雜度上都非常高，并且最后得到的分割結果也會由于過于追求邊界的光滑性而抹去許多細節(jié)元素，不利于本文對細小的網(wǎng)狀結構的檢測需求。本文將圖像超像素預處理后的超像素塊作為帶權圖的頂點使用圖割算法，解決了上述問題，并得到了令人滿意的結果。

同SLIC算法一樣，本文在CIELAB色彩空間中對超像素圖像使用圖割算法。對于每個超像素塊，取其平均顏色來表示其顏色特征計算相似性。為了減弱環(huán)境光照對分割結果的影響，每個超像素塊只取a、b兩個顏色空間，計其平均像素值為Ia、Ib。初始標號通過K-means算法獲得，將圖像分為K類，每類中心點的a、b通道像素值計為Ica、Icb。令

(5)

其中：

Dp(fp)=(Ipa-Ica)2+(Ipb-Icb)2

(6)

對于光滑項Esmooth：

(7)

其中：

(8)

p，q表示不同的超像素塊，fp，fq表示超像素塊被分配的標號。能量函數(shù)構建完成后，利用文獻[14]中提供的Graph Cuts算法，重新分配標號最小化能量函數(shù)(如圖4)。在能量函數(shù)優(yōu)化過程中，可能會有一些標號被完全合并，最終得到K′種標號，K′≤K。

圖4 Graph Cuts分割優(yōu)化過程中能量函數(shù)的數(shù)值變化

圖割結果如圖2(d)所示，圖中將相同標號的超像素塊用相同的純色替換。僅通過聚類算法得到的超像素塊分類分布十分零散，很難從中分類定位出不同的物體；經(jīng)過圖割算法處理后的新的超像素塊分類勾勒出了圖像中各個物體的輪廓，其中就包括本研究所需的網(wǎng)狀遮擋物。

1.3 遮擋物樣本超像素塊的獲得與CCTP特征提取

本文算法從上述處理中在自然圖像中得到了K′類物體，接下來利用筆畫寬度特征從K類物體中篩選出最可能的網(wǎng)狀遮擋物。

利用Li等[15]用在字符檢測中的筆畫寬度檢測算法，取出第k類物體中連通域面積最大的區(qū)域，求出其平均筆畫寬度SWmean(k)與筆畫寬度的方差SWvar(k)。通過對網(wǎng)狀遮擋物的形狀特征分析可知，其通常比較細小并且在圖像中寬度變化不大，因此網(wǎng)狀遮擋物的兩種比劃寬度特征應該都較小，因此對所有的k∈K,將SWmean(k)與SWvar(k)這兩種特征進行升序排序，得到每類的兩個排名Rm(k),Rv(k)，那么最可能的網(wǎng)狀遮擋物的標號fg就可依式(9)得到：

fg=arg min(Rm(k)+Rv(k))

(9)

上述算法篩選出來的網(wǎng)狀遮擋物準確率較高，但召回率常常很低，這是由于為了盡可能地保存網(wǎng)狀遮擋物和背景的邊界，在使用聚類算法獲得初始標號時本算法使用了一個較大的K值，而網(wǎng)狀遮擋物可能因此被分成了多類，但式(9)只挑出了其中一類。因為其召回率太低，不能直接作為去遮擋的掩膜使用，但其準確率很高，可以將其作為分類器的正樣本進行訓練。同一幅圖像中網(wǎng)狀遮擋物的顏色可能會有變化，但總體而言變化不會很大。將所有屬于標號fg的超像素塊的像素取其R、G、B三個通道中的顏色平均值MCfg與標準差SCfg。例圖2中，MCfg=[71.435 2,167.018 5,215.203 5]，SCfg=[40.326 7,51.025 6,42.153 3]。

對于圖像內所有的超像素塊p，求出其顏色平均值MCp，根據(jù)式(10)對它們進行標記：

(10)

當超像素塊的標號為fg時，它是已經(jīng)確定的網(wǎng)狀遮擋物對象，標記為1；當超像素塊的平均顏色遠離已知的網(wǎng)狀遮擋物的顏色時，將其標記為-1。這樣就將圖像中的部分超像素塊分為了兩類：一類是網(wǎng)狀遮擋物超像素塊，如圖2(e)所示；另一類是背景超像素塊，如圖2(f)所示。

還剩下一批標記為0的超像素塊，其平均顏色與網(wǎng)狀遮擋物接近，難以僅從顏色上進行區(qū)別。于是，本文提出了一種新的針對超像素塊的特征，命名為顏色紋理聯(lián)合特征(Combined Color Texture Pattern, CCTP)。由于一個超像素塊內包含上百個像素，因此對一個超像素塊僅用其平均顏色進行描述必然會丟失許多信息，而將每一個像素值都記錄下來會使得特征過長，并且無法解決每個超像素塊內像素不同的問題，因此本文算法用顏色直方圖來描述超像素塊內的像素顏色分布，將R、G、B三個通道的像素值分成12個區(qū)間，構成一個12×3維的向量，每個元素表示落入其中的像素個數(shù)，最后將所有元素除以該超像素塊的像素個數(shù)，得到了顏色直方圖ColorHist。同時引入結構特征，在三個顏色通道中計算每個像素的旋轉不變局部二值模式(Local Binary Pattern， LBP)碼[16-18]，旋轉不變LBP碼的總個數(shù)是10個，記錄每個超像素塊中各類LBP碼的總個數(shù)，最后除以超像素塊的像素個數(shù)，就得到了結構直方圖LBPHist。聯(lián)合顏色與結構兩個直方圖向量，就得到了一個66維的CCTP特征向量。如圖5所示，將一個超像素塊內的所有像素點的顏色替換成該超像素塊的平均顏色，圓圈內和方框內的兩個超像素塊平均顏色相近，但CCTP特征向量相差卻有十分明顯的區(qū)別。

1.4 SVM分類

求出所有超像素塊的CCTP特征，將標記過的正負樣本的CCTP特征構造一個訓練樣本集用于訓練一個SVM二分類器。

T={(xi,yi)|yi{1,-1},i=1,2,…,n}

(11)

其中：xi是標記過的超像素塊的66維CCTP特征，yi=1時表示該超像素塊為已標記的網(wǎng)狀遮擋物，yi=-1時表示該超像素塊是已標記過的背景超像素塊。

在線性可分的情況下，使訓練樣本分開的超平面描述為：

w·x+b=0

(12)

最優(yōu)超平面就是能將訓練樣本集完全正確分開，同時滿足距離超平面最近的兩類點間隔最大。求解這樣的超平面問題，可表示為下述的約束優(yōu)化問題：

s.t.yi(w·xi+b)≥1,i=1,2,…,n

(13)

圖5 CCTP特征向量示意

式(13)的拉格朗日目標函數(shù)為：

(14)

其中：αi≥0為各樣本對應的拉格朗日系數(shù)。對w和b分別求其偏導函數(shù)，令其等于0，則該約束優(yōu)化問題可轉化為較簡單的二次函數(shù)尋優(yōu)問題：

(15)

(16)

(17)

α*是式(15)求出的最優(yōu)解，w*和b*為對應的最優(yōu)平面參數(shù)。本文使用CCTP特征對目標超像素塊進行分類的問題常常是線性不可分的，可利用核函數(shù)將該線性分類問題推廣到非線性的情況，使用下述的高斯核函數(shù)：

(18)

則式(15)則可變換為求解：

(19)

則分類函數(shù)為：

(20)

使用式(20)對所有標記為0的超像素塊的CCTP特征進行分類，這樣所有的超像素塊就被分成了兩類：網(wǎng)狀遮擋物超像素塊與背景超像素塊。

最后，將所有屬于網(wǎng)狀遮擋物超像素塊的像素賦值為255，剩下的賦值為0，就得到了一張標記出了網(wǎng)狀遮擋物位置的掩膜。由于圖像修補算法的基本原理就是在未被破壞的圖像區(qū)域尋找與待修補區(qū)域相近的圖像塊來修補被破壞的位置，如果算法得到的掩膜將所有的網(wǎng)狀遮擋物全部標記為待修補區(qū)域，那么圖像修補算法將會利用背景的圖像塊修補原來為網(wǎng)狀遮擋物的區(qū)域，最終得到?jīng)]有網(wǎng)狀遮擋物的圖像，也就成功實現(xiàn)了網(wǎng)狀遮擋物去除。

2 實驗分析與對比

本文使用PSU-NRT(Pennsylvania State University Near-Regular Texture Database)數(shù)據(jù)集[19]和文獻[3]項目主頁中獲取的圖片，通過多種實驗比較文獻[1]和文獻[3]中的算法以及本文算法對網(wǎng)狀遮擋物的檢測以及最終的去除效果進行峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)對比。實驗中，超像素分割相關參數(shù)如前文所述，S=10，λ=100，m=λ*S=1 000,取聚類數(shù)量K=10,光滑項與數(shù)據(jù)項的平衡因子γ=0.35。本文實驗平臺為：64位Windows 10， Matlab R2016b。實驗結果證明，網(wǎng)狀遮擋物的去除的關鍵在于檢測出準確的網(wǎng)狀遮擋物的位置，本文在實驗圖片上獲得了更為準確的掩膜圖像。接下來，本文制作了實驗圖片來比較前面兩種中網(wǎng)狀遮擋物的修復效果，同時移植文獻[12]中的SAIST圖像修復算法用于網(wǎng)狀遮擋物圖像修復。實驗結果顯示，在獲得準確的遮擋物掩膜的情況下，3種修復方式的修復效果區(qū)別不大，SAIST算法的效果稍好。最后，本文對比了本文算法結合SAIST圖像恢復算法與當前兩種算法的總體恢復效果；實驗結果表明，新算法保留了更多的細節(jié)，檢測出了更多的網(wǎng)狀遮擋物結構，顯著提升了恢復效果。

2.1 網(wǎng)狀遮擋物檢測結果對比

在圖6中，從上至下每一行分別是測試圖像Monkey、Boy、Orange rack。Farid等[3]算法中，利用人工輸入?yún)⒖键c的方式求取圖像中像素顏色值距離參考點的馬氏距離來確定一個像素點是否是網(wǎng)狀遮擋物，通過對上述過程結果提取最大連通域并進行膨脹的方法得到網(wǎng)狀遮擋物的掩膜。該方法在精心挑選參考點且網(wǎng)狀遮擋物在圖像中一直連續(xù)的情況下能夠得到較好的結果，如圖6中的Monkey。當未找到好的參考點，如圖6中的Boy，或是遮擋物不連續(xù)，如圖6中Orange rack時，得到的網(wǎng)狀遮擋物掩膜不甚理想，最后的恢復效果也不佳。本實驗使用本文算法得到的掩膜，結合與Farid相同的恢復算法，恢復效果獲得了明顯的提升，并且本文算法無需人工輸入?yún)⒖键c，顯著提高了算法的可用性。

2.2 不同算法和特征的分類效果對比

對比圖6(b)與圖6(c)可以明顯看出，本文算法得到的掩膜更為準確，保留的網(wǎng)狀結構細節(jié)更多，這是源于超像素算法優(yōu)秀的邊界保持特性。同時，本文提出的CCTP特征對超像素塊進行了較準確的描述。通常人們使用一個超像素塊內像素的平均顏色和顏色方差來描述一個超像素塊，如文獻[20]和文獻[21]，但在本文應用中，超像素塊的樣本原本就是從平均顏色聚類而來，再用其訓練得到的分類器必然不夠準確。

分別使用超像素塊的顏色均值和方差，顏色直方圖和LBP直方圖，使用圖6的Boy圖像中得到的正負樣本來訓練SVM分類器，最終得到的網(wǎng)狀遮擋物掩膜如圖7所示。正如本文之前所分析的那樣，圖7(a)中，絕大部分未被分類的超像素塊被分類成了背景。而在使用顏色直方圖進行分類時，效果有了明顯的提升，但在畫面下方一些亮度較暗的區(qū)域未能正確的分類。在使用紋理特征即LBP直方圖訓練的分類器時，較暗的部分被正確地分類，但畫面上方亮度比較高的區(qū)域和小孩衣服上的條紋被錯誤的分類。融合顏色直方圖和LBP直方圖的CCTP結合了兩者的優(yōu)點，得到了令人滿意的結果，證明了本文提出的CCTP的優(yōu)越性。

圖6 本文網(wǎng)狀遮擋物檢測算法替換Farid算法[3]中網(wǎng)狀檢測部分后的恢復效果比較

圖7 使用不同的特征對超像素塊進行分類的結果比較

2.3 不同算法對網(wǎng)狀遮擋物的修復效果與質量評價參數(shù)對比

本文將經(jīng)典圖像處理測試圖像Lena、Baboon、Sailboat人工加上網(wǎng)狀遮擋物，來模擬網(wǎng)狀遮擋物遮擋的人物、動物以及自然風景。使用不同的圖像修補算法來進行恢復，來比較現(xiàn)有的圖像修補算法對網(wǎng)狀遮擋物的修補效果。本文比較了Criminisi等[22]于2004年提出的經(jīng)典的圖像修補算法;Farid等[23]在他的算法中使用了改進的Criminisi等算法；同時，本文還引入了文獻[12]中提出的SAIST算法來進行比較。本文使用PSNR和SSIM(Structural SIMilarity)這兩種最為普遍使用的有參考圖像質量評價指標。PSNR的計算公式為:

PSNR=10*lg [(2n-1)2/MSE]

(21)

其中：n為處理圖像的位寬，本文中為8；MSE是待評價圖像與參考圖像間的均方誤差；PSNR值越大，待評價圖像越接近于參考圖像。

SSIM的計算公式為：

(22)

其中：imgx,imgy為輸入的兩幅圖像，通常算法將圖像分成小塊后求出圖像塊的SSIM值，最終整幅圖像的SSIM值由它們的均值表示；μx和μy是imgx,imgy的平均值，σx和σy是imgx、imgy的方差；σxy是imgx,imgy的協(xié)方差；c1=(k1L)2，c2=(k2L)2，L是圖像像素值的動態(tài)范圍，k1=0.01，k2=0.03。

從圖8中可以看出，3種修復算法的修復效果從主觀上講差別并不大，表1中的圖像質量評價參數(shù)證實了本文的看法。再對比圖6的修復結果，可以看出，去除網(wǎng)狀遮擋物的重點在于獲得準確的網(wǎng)狀遮擋物掩膜，這正是本文的算法所提供的。而一個合適的圖像修復算法能夠起到錦上添花的作用。從表1中易發(fā)現(xiàn)，Criminisi等[22]和Farid等[23]算法得分幾乎一樣，而SAIST算法得到了稍高的分數(shù)；因此，本文算法結合本文算法與SAIST修復算法，組合成完整的單幅彩色圖像網(wǎng)狀遮擋物去除算法。

表1 3種修復算法的PSNR和SSIM得分對比

圖8 3種修復算法得到的恢復結果比較

2.4 總體恢復效果對比

圖9對比了本文算法與當前兩種算法的去網(wǎng)狀遮擋物的效果。本文算法明顯優(yōu)于其他兩種算法。例如在Duck中，Liu等[1]算法完全破壞了圖像，而Farid等[3]算法殘留了許多遮擋物，本文算法則完全去除了圖像中的網(wǎng)狀遮擋物。Liu等[1]的算法未能在Monkey和Boy中找到網(wǎng)狀遮擋物，所以也

無法得到恢復圖像。Shadow不是傳統(tǒng)意義上的所謂網(wǎng)狀遮擋物，但畫面中的房梁與陰影可以看作是網(wǎng)狀遮擋物用于檢測本文的算法魯棒性。Liu等[1]的算法成功檢測并去除了格子型的陰影，但在門上和地面上留下了殘留的陰影，房梁也沒能被識別為網(wǎng)狀遮擋物；Farid等[3]算法檢測出了所有的房梁和陰影，但恢復結果不佳。本文算法檢測出了所有的陰影與部分房梁，得到了較完美的恢復效果。

3 結語

本文對于單幅彩色圖像的網(wǎng)狀遮擋物去除這一問題，提出了一種新的網(wǎng)狀遮擋物檢測方法：通過超像素分割和圖割的方式在單張圖像中自動尋找出網(wǎng)狀遮擋物樣本，新提出CCTP特征用于對超像素塊進行分類，分割出網(wǎng)狀遮擋物掩膜，最后結合SAIST圖像修復算法，獲得了比當前算法更佳的修復效果。實驗結果證明，使用CCTP用于分類比使用平均顏色或者單獨使用顏色直方圖特征來分類能夠得到更準確的分類結果，從而獲得比當前算法更準確的網(wǎng)狀遮擋物掩膜。目前，網(wǎng)狀遮擋物的去除難點仍在于準確地分割出網(wǎng)狀遮擋物掩膜，本文算法雖然相較其他算法檢測結果更為準確，但在遮擋物與背景顏色過于相近或者網(wǎng)狀遮擋物太細的時候，算法無法得到令人滿意的結果。事實上，當前的算法都無法準確地分割所有類型的網(wǎng)狀遮擋物圖像，因此，對于該問題還有很大的改進空間。同時，對于自然圖像中同網(wǎng)狀遮擋物一樣局部顏色較為均勻，形狀比較統(tǒng)一的物體，例如字符、路牌、交通標線等可以使用本文算法類似框架進行檢測；對于本文提出的描述超像素塊的特征CCTP，其是否能夠擴展至超像素分割的其他常用應用如圖像分割、顯著性檢測等，都是下一步的研究目標。

圖9 3種恢復算法結果對比

References)

[1] LIU Y Y, BELKINA T, HAYS J H, et al. Image de-fencing [C]// Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2008: 1-8.

[2] JONNA S, NAKKA K K, SAHAY R R. My camera can see through fences: a deep learning approach for image de-fencing [C]// Proceedings of the 2015 3rd LAPR Asian Conference on Pattern Recognition. Piscataway, NJ: IEEE, 2015: 261-265.

[3] FARID M S, MAHMOOD A, GRANGETTO M. Image de-fencing framework with hybrid inpainting algorithm [J]. Signal, Image and Video Processing, 2016, 10(7): 1193-1201.

[4] KHASARE V S, SAHAY R R, KANKANHALLI M S. Seeing through the fence: image de-fencing using a video sequence [C]// Proceedings of the 2013 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2013: 1351-1355.

[5] JONNA S, VOLETI V S, SAHAY R R, et al. A multimodal approach for image de-fencing and depth inpainting [C]// Proceedings of the Eighth International Conference on Advances in Pattern Recognition. Piscataway, NJ: IEEE, 2015: 1-6.

[6] PARK M, BROCKLEHURST K, COLLINS R T, et al. Image de-fencing revisited [C]// Proceedings of the 2010 Asian Conference on Computer Vision. New York: ACM, 2010: 422-434.

[7] YAMASHITA A, MATSUI A, KANEKO T. Fence removal from multi-focus images [C]// Proceedings of the 2010 20th International Conference on Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 4532-4535.

[8] ZOU Q, CAO Y, LI Q, et al. Automatic inpainting by removing fence-like structures in RGB-D images [J]. Machine Vision and Applications, 2014, 25(7): 1841-1858.

[9] XUE T, RUBINSTEIN M, LIU C, et al. A computational approach for obstruction-free photography [J]. ACM Transactions on Graphics, 2015, 34(4): 79.

[10] DOLLAR P, WOJEK C, SCHIELE B, et al. Pedestrian detection: an evaluation of the state of the art [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743-761.

[11] PARK M, BROCKLEHURST K, COLLINS R T, et al. Deformed lattice detection in real-world images using mean-shift belief propagation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(10): 1804-1816.

[12] DONG W, SHI G, LI X. Nonlocal image restoration with bilateral variance estimation: a low-rank approach [J]. IEEE Transactions on Image Processing, 2013, 22(2): 700-711.

[13] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[14] BOYKOV Y, VEKSLER O, ZABIH R. Fast approximate energy minimization via graph cuts [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 1222-1239.

[15] LI Y, JIA W, SHEN C, et al. Characterness: an indicator of text in the wild [J]. IEEE Transactions on Image Processing, 2014, 23(4): 1666-1677.

[16] OJALA T, PIETIK INEN M, HARWOOD D. A comparative study of texture measures with classification based on featured distributions [J]. Pattern Recognition, 1996, 29(1): 51-59.

[17] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[18] PIETIK INEN M, OJALA T, XU Z. Rotation-invariant texture classification using feature distributions [J]. Pattern Recognition, 2000, 33(1): 43-52.

[19] PSU near-regular texture database [EB/OL]. [2017- 02- 18]. http://vivid.cse.psu.edu/index.php?/category/23.

[20] 張微,汪西莉.基于超像素的條件隨機場圖像分類[J].計算機應用,2012,32(5):1272-1275.(ZHANG W, WANG X L. Superpixel-based conditional random field for image classification [J]. Journal of Computer Applications, 2012, 32(5): 1272-1275.)

[21] 張礦,朱遠平.基于超像素融合的文本分割[J].計算機應用,2016,36(12):3418-3422.(ZHANG K, ZHU Y P. Text segmentation based on superpixel fusion [J]. Journal of Computer Applications, 2016, 36(12): 3418-3422.)

[22] CRIMINISI A, P REZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[23] FARID M S, KHAN H, MAHMOOD A. Image inpainting based on pyramids [C]// Proceedings of the 2010 IEEE 10th International Conference on Signal Processing. Piscataway, NJ: IEEE, 2010: 711-715.

This work is partially supported by the National Natural Science Foundation of China (61072135).

LIUYu, born in 1991, M. S. candidate. His research interests include image restoration.

JINWeizheng, born in 1966, M. S., associate professor. His research interests include image processing.

FANCi’en, born in 1975, Ph. D., associate professor. Her research interests include image processing, computer vision.

ZOULian, born in 1975, Ph. D., research fellow. His research interests include image analysis and understanding.