劉曉康，萬(wàn) 曦，涂文超，周清楷，田正穩(wěn)

(1.國(guó)網(wǎng)江蘇省電力有限公司常州供電分公司運(yùn)維檢修部,江蘇 常州 213000； 2.河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 常州 213022；3.江蘇亞威變壓器有限公司,江蘇 南通 226600)

0 引 言

電網(wǎng)的建設(shè)與維護(hù)是國(guó)家提升綜合國(guó)力和社會(huì)高速發(fā)展的動(dòng)力與重要保障。電力設(shè)備作為電網(wǎng)中的重要組成部分，其故障會(huì)危及電力系統(tǒng)的安全運(yùn)行，因此需對(duì)電力設(shè)備進(jìn)行檢測(cè)并判斷是否故障?，F(xiàn)有的利用測(cè)溫儀或紅外熱成像進(jìn)行設(shè)備檢測(cè)，成本高、費(fèi)時(shí)費(fèi)力，受人為因素影響大，容易漏測(cè)，且需要技術(shù)人員對(duì)測(cè)量結(jié)果進(jìn)行分析，智能化水平低[1]。隨著圖像處理技術(shù)的成熟與發(fā)展，研究人員逐步將紅外圖像與可見(jiàn)光圖像進(jìn)行協(xié)同處理，結(jié)合紅外圖像能測(cè)溫、抗環(huán)境干擾能力強(qiáng)和可見(jiàn)光圖像細(xì)節(jié)信息豐富、分辨率高的優(yōu)點(diǎn)，在紅外圖像中檢測(cè)發(fā)熱區(qū)域的同時(shí)，自動(dòng)分割可見(jiàn)光圖像中發(fā)熱的電力設(shè)備，便于對(duì)電力設(shè)備進(jìn)行故障檢測(cè)。

使用紅外和可見(jiàn)光圖像進(jìn)行協(xié)同處理需要對(duì)二者進(jìn)行配準(zhǔn)，但紅外圖像與可見(jiàn)光圖像相比分辨率低、細(xì)節(jié)丟失嚴(yán)重、圖像模糊，且它們的灰度屬性具有明顯差異，配準(zhǔn)難度大。SIFT(Scale Invariant Feature Transform)[2]和SURF(Speeded-Up Robust Features)[3]是基于點(diǎn)特征的圖像配準(zhǔn)方法，一般用于同源圖像間配準(zhǔn)。文獻(xiàn)[4]利用SIFT描述子對(duì)電力設(shè)備紅外和可見(jiàn)光圖像配準(zhǔn)，但空間變換關(guān)系過(guò)于復(fù)雜；文獻(xiàn)[5]采用Canny邊緣檢測(cè)與SURF描述子，但特征點(diǎn)間的對(duì)應(yīng)關(guān)系較弱，匹配準(zhǔn)確率低；文獻(xiàn)[6]利用基于灰度冗余的圖像實(shí)時(shí)均衡技術(shù)，突出圖像的輪廓特征，但對(duì)于設(shè)備溫度分布差異大的情況配準(zhǔn)效果差。文獻(xiàn)[7]提出了基于非下采樣輪廓波變換域改進(jìn)的加速分割檢測(cè)特征(Features from Accelerated Segment Test， FAST)提取的電氣設(shè)備紅外與可見(jiàn)光圖像配準(zhǔn)方法，基于FAST的特征點(diǎn)提取更加準(zhǔn)確，方便之后的特征點(diǎn)匹配和剔除誤配準(zhǔn)，但當(dāng)紅外圖像中設(shè)備和環(huán)境的溫差較小時(shí)，難以提取正確的特征點(diǎn)。文獻(xiàn)[8]以斜率一致性為標(biāo)準(zhǔn)剔除誤匹配，提高了配準(zhǔn)精度。本文提出一種基于紅外可見(jiàn)光配準(zhǔn)的電力設(shè)備分割方法，采用結(jié)構(gòu)化隨機(jī)森林進(jìn)行邊緣檢測(cè)，解決紅外和可見(jiàn)光圖像灰度分布不一致的問(wèn)題，結(jié)合高斯金字塔和歸一化互信息進(jìn)行配準(zhǔn)，再對(duì)紅外圖像進(jìn)行Otsu閾值分割，結(jié)合配準(zhǔn)結(jié)果分割出可見(jiàn)光圖像中的電力設(shè)備，避免了可見(jiàn)光圖像中光照、顏色、紋理等因素影響分割的問(wèn)題。

1 算法實(shí)現(xiàn)

1.1 結(jié)構(gòu)化隨機(jī)森林邊緣檢測(cè)

結(jié)構(gòu)化隨機(jī)森林邊緣檢測(cè)[9]側(cè)重于融合多尺度響應(yīng)以及結(jié)合結(jié)構(gòu)信息和背景。其流程圖如圖1所示，首先訓(xùn)練一個(gè)隨機(jī)決策森林，隨機(jī)決策森林是多棵決策樹(shù)的集成學(xué)習(xí)方法，為防止過(guò)度擬合，每棵決策樹(shù)在隨機(jī)排列的數(shù)據(jù)上訓(xùn)練得到，其輸出可以是類(lèi)的標(biāo)記(多標(biāo)記分類(lèi))或連續(xù)值(回歸)。

圖1 結(jié)構(gòu)化隨機(jī)森林邊緣檢測(cè)流程圖

每棵決策樹(shù)都以遞歸的方式獨(dú)立訓(xùn)練，對(duì)于給定的節(jié)點(diǎn)j和訓(xùn)練集合Sj∈X×Y，根據(jù)信息增益最大原則：

(1)

確定節(jié)點(diǎn)分離函數(shù)：

h(x,θj)=[x(k)<γ]∈{0，1}

(2)

h(x,θj)=0時(shí)，將x歸類(lèi)為節(jié)點(diǎn)左側(cè)，h(x,θj)=1時(shí)，將x歸類(lèi)為節(jié)點(diǎn)右側(cè)。

(3)

(4)

其中H(S)為香農(nóng)熵，py是訓(xùn)練數(shù)據(jù)Sj中帶有標(biāo)簽y的概率。

由于僅需通過(guò)若干決策樹(shù)的二值決策函數(shù)進(jìn)行推理，因此具有極高的執(zhí)行速度與靈活性[10]。

通過(guò)訓(xùn)練多棵不相關(guān)的樹(shù)組合成森林，可以較好地解決單棵樹(shù)出現(xiàn)過(guò)擬合以及不穩(wěn)定的情況。輸入隨機(jī)采樣的像素塊x或特征類(lèi)別作為訓(xùn)練數(shù)據(jù)可以提高決策森林的準(zhǔn)確度[11]。

由于標(biāo)簽集合Y中的每個(gè)結(jié)構(gòu)標(biāo)簽y有一定的相似度，為了方便計(jì)算Ij，采用二階映射將標(biāo)簽y的相似度離散化映射到離散化標(biāo)簽c。首先定義映射∏:y→z將具有標(biāo)簽y的像素塊編碼成二元向量，在Z中計(jì)算z之間的歐氏距離以區(qū)分具有相似標(biāo)簽y的像素塊是否屬于同一分割。為了降低計(jì)算量，在Z中取m維特征形成低維映射∏Φ:Y→Z，再定義∏Φ：Z→C，采用主成分分析(Principal Component Analysis, PCA)降維量化，根據(jù)z所在的具體象限給定具體標(biāo)簽C(1,…,k)，取k=2。

訓(xùn)練完成后，將所有決策樹(shù)組合成決策森林，集成模型，輸入紅外和可見(jiàn)光圖像，可得到最終分類(lèi)結(jié)果，即二者的邊緣圖。

1.2 紅外可見(jiàn)光圖像配準(zhǔn)

1.2.1 可見(jiàn)光邊緣圖的高斯金字塔

本文紅外可見(jiàn)光配準(zhǔn)流程如圖2所示，通過(guò)對(duì)可見(jiàn)光邊緣圖像進(jìn)行不同尺度的縮小制作高斯金字塔。高斯金字塔是以多尺度表示來(lái)解釋圖像的一種方法，它將同一圖像進(jìn)行多次的高斯濾波并下采樣，獲得多組不同尺度的圖像形成圖像金字塔。金字塔的底層是圖像的高分辨率表示，頂層是低分辨率表示。首先計(jì)算紅外邊緣圖和可見(jiàn)光邊緣圖的最大尺度比Smax，獲得尺度范圍S∈[1.1,Smax]。其次，將原尺寸為M×N的可見(jiàn)光邊緣圖像，經(jīng)過(guò)一個(gè)3×3模板的高斯低通濾波器，再對(duì)其進(jìn)行S倍下采樣，即可得到(M/S)×(N/S)尺寸的當(dāng)前層圖像。S從1.1開(kāi)始，每次遞增0.1直至Smax，重復(fù)高斯濾波和下采樣，即可得到每層圖像，最后構(gòu)成金字塔，可見(jiàn)光邊緣高斯金字塔如圖2所示。

圖2 紅外可見(jiàn)光配準(zhǔn)流程圖

1.2.2 基于互信息的紅外可見(jiàn)光圖像配準(zhǔn)

計(jì)算紅外邊緣圖與金字塔中每層圖像的子圖的互信息值，并篩選出最大值，即可得到最佳尺度關(guān)系與配準(zhǔn)區(qū)域。2幅圖的互信息通過(guò)二者的熵和聯(lián)合熵來(lái)反映它們之間的相關(guān)性，當(dāng)二者最佳配準(zhǔn)時(shí)，互信息值達(dá)到最大[12]。

本文以邊緣圖像為基準(zhǔn)進(jìn)行配準(zhǔn)，會(huì)出現(xiàn)紅外邊緣圖像與可見(jiàn)光邊緣圖像的多個(gè)子圖具有相似灰度分布的情況，若以互信息值為度量易造成誤配準(zhǔn)，因此本文以歸一化互信息作為配準(zhǔn)度量，其魯棒性更好[13]，歸一化互信息值越大，表明2幅圖像的相似度越高、重合部分越大、相關(guān)性越強(qiáng)。具體步驟為：

1)在高斯金字塔當(dāng)前層圖像中以滑動(dòng)窗口的方式獲取與紅外邊緣圖像尺寸相同的子圖，其步長(zhǎng)稍大，分別計(jì)算紅外邊緣圖像與所有子圖的歸一化互信息值：

(5)

其中，H(A)表示紅外邊緣圖像的熵，反映了紅外邊緣圖像的信息量。其表達(dá)式為：

(6)

(7)

其中，hi表示紅外邊緣圖像中灰度值為i的像素點(diǎn)總數(shù)，q表示灰度級(jí)數(shù)，pi表示灰度i出現(xiàn)的概率。

H(B)表示子圖的熵，反映子圖的信息量，其表達(dá)式為：

(8)

(9)

其中，hj表示紅外邊緣圖像中灰度值為j的像素點(diǎn)總數(shù)，r表示灰度級(jí)數(shù)，pj表示灰度j出現(xiàn)的概率。

H(A,B)表示紅外邊緣圖像和子圖的聯(lián)合熵，在信息論中，聯(lián)合熵用來(lái)度量由多個(gè)隨機(jī)變量組成的隨機(jī)系統(tǒng)的不確定性，反映了隨機(jī)系統(tǒng)的信息量。其表達(dá)式為：

(10)

(11)

其中，hij表示紅外邊緣圖像中灰度值為i且子圖中灰度值為j的像素點(diǎn)總數(shù)，q表示紅外邊緣圖像的灰度級(jí)數(shù)，r表示子圖的灰度級(jí)數(shù)，pij表示紅外邊緣圖像中灰度值為i且子圖中灰度值為j的概率。

2)篩選出當(dāng)前層中的最大歸一化互信息值，并記錄其對(duì)應(yīng)子圖位置和當(dāng)前層的尺度。以此子圖位置為中心，擴(kuò)大其區(qū)域至2倍，在此區(qū)域中減小滑動(dòng)窗口的步長(zhǎng)，獲取與紅外邊緣圖像尺寸相同的子圖并重復(fù)計(jì)算歸一化互信息和篩選最大值的步驟。

針對(duì)滑動(dòng)窗口計(jì)算量大、耗時(shí)長(zhǎng)的問(wèn)題，本文通過(guò)先粗配準(zhǔn)后精配準(zhǔn)，即滑動(dòng)窗口步長(zhǎng)先大后小的方法，大大減少了配準(zhǔn)時(shí)長(zhǎng)，提高實(shí)用性。

3)從所有層的最大歸一化互信息值中篩選出最大值，并記錄其對(duì)應(yīng)層的尺度和子圖位置，即為紅外和可見(jiàn)光圖像的尺度關(guān)系和最佳配準(zhǔn)位置。

根據(jù)尺度關(guān)系和配準(zhǔn)結(jié)果對(duì)紅外圖像和可見(jiàn)光圖像進(jìn)行加權(quán)平均融合，得到視覺(jué)反饋。

1.3 目標(biāo)分割

為了便于分辨可見(jiàn)光圖像中的具體電力設(shè)備并進(jìn)行故障檢測(cè)，需進(jìn)行分割，但由于可見(jiàn)光圖像中存在光照、顏色、紋理等因素的影響，直接進(jìn)行Otsu[14]分割可能導(dǎo)致結(jié)果有很大的偏差。GrabCut[15]方法先人為選取前景框，再進(jìn)行分割，但由于干擾因素的影響，也難以得到完全正確的結(jié)果。其他先進(jìn)的分割方法能準(zhǔn)確分割，但是其復(fù)雜度高并且速度慢。而本文算法結(jié)合紅外可見(jiàn)光圖像進(jìn)行分割，紅外圖像由于其成像特性，發(fā)熱目標(biāo)區(qū)域具有比其他區(qū)域更高的灰度值，容易通過(guò)Otsu分割出發(fā)熱的電力設(shè)備。因此先對(duì)紅外圖像中的電力設(shè)備進(jìn)行分割，并根據(jù)配準(zhǔn)結(jié)果將分割結(jié)果嵌套進(jìn)可見(jiàn)光圖像，進(jìn)而分割出發(fā)熱的電力設(shè)備，受到的干擾少，結(jié)果準(zhǔn)確，分割速度快。首先對(duì)紅外圖像進(jìn)行Otsu閾值分割，并提取最大連通域，由于紅外圖像的特性，可得大于Otsu閾值的發(fā)熱區(qū)域。根據(jù)配準(zhǔn)結(jié)果，分割出可見(jiàn)光圖像中對(duì)應(yīng)于紅外圖像發(fā)熱區(qū)域的位置，即為電力設(shè)備。

2 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文算法的準(zhǔn)確率，選取50組電力設(shè)備的紅外和可見(jiàn)光圖像進(jìn)行配準(zhǔn)與分割實(shí)驗(yàn)。圖像由FLIR T250攝像機(jī)拍攝，紅外圖像的尺寸為320×240像素，可見(jiàn)光圖像的尺寸為2048×1536像素，在配準(zhǔn)過(guò)程中由于紅外圖像的溫度條和文字會(huì)對(duì)結(jié)果造成影響，因此裁剪掉此類(lèi)干擾因素，裁剪后紅外圖像尺寸為260×210，算法由Matlab 2017b編寫(xiě)并實(shí)現(xiàn)。

2.1 配準(zhǔn)結(jié)果分析

現(xiàn)有的配準(zhǔn)方法大多都是基于點(diǎn)特征進(jìn)行的，所以本文選取了4種此類(lèi)方法進(jìn)行對(duì)比：SURF[3]、KAZE[16]、EHD(Edge-oriented Histogram Descriptor)[17]以及LGHD(Log-Gabor Histogram Descriptor)[18]。實(shí)驗(yàn)結(jié)果如表1所示。

表1 各算法配準(zhǔn)成功率

SURF方法用于同源圖像配準(zhǔn)時(shí)具有很好的效果，能夠抵抗尺度與旋轉(zhuǎn)變換以及光照、噪聲等的影響，但是如圖3(f)，SURF檢測(cè)到的紅外與可見(jiàn)光圖像匹配點(diǎn)對(duì)很少并且多為誤匹配點(diǎn)對(duì)，無(wú)法生成正確的變換矩陣。

(a) 紅外圖像 (b) 紅外邊緣圖像 (c) 可見(jiàn)光圖像 (d) 可見(jiàn)光邊緣圖像 (e) 本文算法配準(zhǔn)結(jié)果

(f) SURF特征點(diǎn)匹配 (g) KAZE特征點(diǎn)匹配

(h) EHD特征點(diǎn)匹配 (i) LGHD特征點(diǎn)匹配

而KAZE方法構(gòu)建了非線性尺度空間，提取特征點(diǎn)時(shí)保留了更多細(xì)節(jié)信息，魯棒性更好，配準(zhǔn)精度有所提升。如圖3(g)，KAZE檢測(cè)到更多匹配點(diǎn)對(duì)，但正確的結(jié)果仍然很少。

EHD首先檢測(cè)圖像中輪廓，再通過(guò)MPEG-7標(biāo)準(zhǔn)生成邊緣直方圖描述符，利用這些描述符進(jìn)行特征匹配，如圖3(h)。LGHD與EHD相比在邊緣檢測(cè)的速度上有所提升，并利用Log-Gabor濾波器生成特征描述符，其特征點(diǎn)匹配結(jié)果如圖3(i)。

上述基于點(diǎn)特征的配準(zhǔn)方法的100組實(shí)驗(yàn)圖像中，部分利用RANSAC剔除誤匹配點(diǎn)會(huì)導(dǎo)致匹配點(diǎn)不足，無(wú)法生成變換矩陣，其余通過(guò)變換矩陣配準(zhǔn)后，所得結(jié)果的形狀有所偏差，不夠準(zhǔn)確。本文基于邊緣利用歸一化互信息進(jìn)行配準(zhǔn)，如圖3(e)，相比于其他基于點(diǎn)特征的方法，配準(zhǔn)成功率更高。

2.2 分割結(jié)果分析

本文選擇了Otsu閾值分割和GrabCut算法進(jìn)行分割的對(duì)比，實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 分割結(jié)果對(duì)比圖

文獻(xiàn)[19]總結(jié)了20種常用的圖像分割評(píng)估指標(biāo)，本文從中選取了Multual Information(MI)[20]、Interclass Correlation(ICC)[21]這2種評(píng)估指標(biāo)對(duì)分割結(jié)果與Ground truth圖像進(jìn)行比較分析。

2幅圖的互信息MI通過(guò)二者的熵和聯(lián)合熵來(lái)反映它們之間的相關(guān)性，當(dāng)二者相似性最高時(shí)，互信息值達(dá)到最大。分割結(jié)果St和Ground truth圖像Sg的MI定義為：

MI(St,Sg)=H(St)+H(Sg)-H(St,Sg)

(12)

其中，H(St)、H(Sg)、H(St,Sg)定義見(jiàn)式(6)～式(11)。MI值越大，表示分割結(jié)果與Ground truth越相似，即分割結(jié)果更加完整。

分割結(jié)果St和Ground truth圖像Sg的ICC定義為：

(13)

(14)

(15)

其中MSb表示St和Sg之間的均方，MSw表示St和Sg之內(nèi)的均方，μ表示2個(gè)分割的均值的平均值，m(x)=(fg(x)+ft(x))/2是在像素點(diǎn)x處2個(gè)分割的均值。ICC值越大，表示分割結(jié)果越完整。

評(píng)價(jià)指標(biāo)對(duì)于50組圖像的分割結(jié)果的客觀評(píng)價(jià)結(jié)果如表2所示。對(duì)可見(jiàn)光圖像直接使用Otsu閾值分割無(wú)法得到有效結(jié)果，GrabCut算法需要標(biāo)注出包含要分割物體的前景框，計(jì)算效率低，智能化程度低，對(duì)于可見(jiàn)光圖像中目標(biāo)物與背景相似度較大的情況分割效果不理想。本文算法在視覺(jué)反饋以及客觀評(píng)價(jià)結(jié)果上的效果都優(yōu)于Otsu和GrabCut，可以精確分割出可見(jiàn)光圖像中的電力設(shè)備。

表2 分割結(jié)果指標(biāo)

3 結(jié)束語(yǔ)

本文提出了一種基于紅外和可見(jiàn)光圖像配準(zhǔn)的電力設(shè)備分割方法。由于紅外和可見(jiàn)光圖像的成像原理不同，二者的細(xì)節(jié)特征和灰度信息有很大區(qū)別，傳統(tǒng)的配準(zhǔn)方法無(wú)法獲得準(zhǔn)確結(jié)果，本文算法利用紅外和可見(jiàn)光圖像邊緣信息的相似性，結(jié)合高斯金字塔和歸一化互信息進(jìn)行配準(zhǔn)，成功率和準(zhǔn)確率更高?？梢?jiàn)光圖像復(fù)雜度高，難以精準(zhǔn)分割出電力設(shè)備，而紅外圖像中的電力設(shè)備相較于背景溫度更高，可以簡(jiǎn)單地分割出圖像中的電力設(shè)備，進(jìn)而根據(jù)配準(zhǔn)結(jié)果，準(zhǔn)確地分割出可見(jiàn)光圖像中的電力設(shè)備。