陳 達(dá),何全才,迪二鎮(zhèn),鄧造柱
自適應(yīng)權(quán)重的偏微分分割模型在變電設(shè)備紅外圖像中的應(yīng)用
陳 達(dá),何全才,迪二鎮(zhèn),鄧造柱
(深圳供電局有限公司,廣東 深圳 518020)
針對(duì)變電設(shè)備運(yùn)維中的紅外檢測(cè)圖像無法被準(zhǔn)確分割的問題,本文應(yīng)用了一種改進(jìn)的自適應(yīng)權(quán)重偏微分圖像分割方法。通過分析紅外圖像信噪比低、邊緣模糊、對(duì)比度低以及最常出現(xiàn)的灰度不均勻問題,在明確傳統(tǒng)分割方法不足的基礎(chǔ)上,對(duì)基于偏微分方程的分割模型開展改進(jìn)。本文所提出的自適應(yīng)權(quán)重的LGIF分割模型利用目標(biāo)設(shè)備和背景灰度不均勻程度不同的特點(diǎn),將其與區(qū)域內(nèi)的平均灰度值聯(lián)系起來,針對(duì)性調(diào)整模型中全局能量項(xiàng)和局部能量項(xiàng)權(quán)重,以彌補(bǔ)現(xiàn)有算法不足。在多種場(chǎng)景下經(jīng)實(shí)驗(yàn)驗(yàn)證,本文模型相較閾值法、CV分割模型和固定權(quán)重LGIF模型均更為有效準(zhǔn)確,表現(xiàn)穩(wěn)定,方便了后續(xù)的特征提取和識(shí)別。
變電設(shè)備;紅外圖像;圖像分割;活動(dòng)輪廓
紅外成像技術(shù)已經(jīng)被普遍地運(yùn)用在電力工業(yè)中,成為運(yùn)維工作中不可或缺的主要工具和手段,其結(jié)果精確,既靈敏又適合于大面積快速排查[1]。不需要將設(shè)備停運(yùn)而將代價(jià)高昂的故障提前檢測(cè)出來,經(jīng)濟(jì)效益和社會(huì)效益顯著[2]。
變電站輪式巡檢機(jī)器人配備了紅外鏡頭和可見光鏡頭,具有承擔(dān)部分巡視任務(wù)的能力[3]。然而,目前機(jī)器人圖像識(shí)別技術(shù)不完善,只能機(jī)械地按照人工預(yù)設(shè)點(diǎn)位和拍攝角度進(jìn)行紅外測(cè)溫,具體結(jié)果仍需人工分析。若機(jī)器人不能自動(dòng)定位畫面中的設(shè)備,機(jī)器人自身的位置偏差或者識(shí)別偏差就無法糾正,也無法依據(jù)設(shè)備類型做出進(jìn)一步的故障診斷。為了準(zhǔn)確了解設(shè)備發(fā)熱程度和定位熱點(diǎn),必須先將設(shè)備區(qū)域從圖像中分割出來。
Otsu等將類間方差最大作為判定原則,稱為OTSU法,又稱最大熵分割法[4]。該方法通用性較好且效果上佳,但沒有考慮鄰域像素點(diǎn)的分布。分割閾值為最佳閾值時(shí),背景和目標(biāo)在灰度直方圖上的類間方差最大,各類類內(nèi)方差最小。紅外圖像和可見光圖像不同,其對(duì)比度更低,邊緣模糊??梢姽鈭D像中常用的OTSU法在紅外圖像上雖然有效果,但其灰度直方圖不一定有波峰和波谷,此時(shí)容易產(chǎn)生誤分割和欠分割現(xiàn)象,原理上對(duì)背景中和目標(biāo)相似的亮度區(qū)域不具備處理能力。
基于區(qū)域的圖像分割方法的思想主要考慮空間結(jié)構(gòu)特性進(jìn)行分割[5]。文獻(xiàn)[6]提出了改進(jìn)的生長(zhǎng)法,所改進(jìn)的圖像生長(zhǎng)法使用溫度最高點(diǎn)作為初始點(diǎn)進(jìn)行擴(kuò)展。但是,該方法沒有考慮到,某些拍攝質(zhì)量欠佳的圖像背景中可能會(huì)有溫度較高的其他物體(如太陽),導(dǎo)致實(shí)際溫度最高點(diǎn)不一定在設(shè)備上。
對(duì)于明顯灰度不均勻的圖像,不管以任何灰度閾值劃分,都不能完全地將目標(biāo)和背景分割開來。其主要原因是目標(biāo)和背景兩者存在灰度范圍相互交叉的情況。本文所研究的圖像中,設(shè)備目標(biāo)亮度總體明顯高于背景亮度。但設(shè)備各處溫度不均勻,因此呈現(xiàn)的灰度也不是均勻的。根據(jù)上述分析,常規(guī)的OTSU法和區(qū)域生長(zhǎng)法無法適應(yīng)灰度不均勻的圖像。
因數(shù)學(xué)可解釋性好,近十幾年來,偏微分方程圖像分割被不少學(xué)者看好前景,是典型的模型驅(qū)動(dòng)方法[7]。該類方法在模型設(shè)計(jì)過程中考慮了先驗(yàn)信息,可根據(jù)圖像特征來構(gòu)造。該領(lǐng)域中最為突出的是活動(dòng)輪廓方法。幾何活動(dòng)輪廓模型的主要思想是:用高維曲面函數(shù)的零水平集隱式表示平面分割曲線,將零水平集的能量泛函極小化過程等價(jià)為分割曲線的演化方程,經(jīng)過迭代,最終使零水平集運(yùn)動(dòng)到目標(biāo)設(shè)備邊界之上[8]。其中,Chan-Vese模型(以下簡(jiǎn)稱CV模型)在2001年被Chan和Vese提出,他們假設(shè)待分割的圖像的目標(biāo)和背景可以用分別用兩個(gè)連續(xù)的不同灰度塊來分別擬合[9]。該方法能處理曲線拓?fù)渥兓约叭踹吔?,但是難以處理灰度不均勻圖像。
Li等解決CV模型不使用灰度分布信息的缺點(diǎn),創(chuàng)造了局部二值擬合(local binary fitting,LBF)模型[10]。該方法使用高斯核函數(shù)來獲取各局部灰度分布信息,因此可以分割準(zhǔn)確目標(biāo)和背景的邊緣。缺點(diǎn)在于對(duì)初始輪廓極其敏感,分割結(jié)果的穩(wěn)定性差,能量函數(shù)容易落入局部極小值,難以單獨(dú)使用,通常它被作為一種獲取局部信息能量項(xiàng)的方法。另外該方法由于計(jì)算量大,收斂效率相比于CV模型等有較大差距。Li等提出采用了全局統(tǒng)計(jì)信息和LBF中局部二值擬合思想的模型,提出局部和全局能力驅(qū)動(dòng)模型(local and global intensity fitting energy, LGIF),穩(wěn)定性和精度高[11]。該模型通過為全局能量和局部能量賦上一定的權(quán)重,綜合了CV模型和LBF模型的優(yōu)點(diǎn),具有一定的灰度不均勻圖像分割能力。圖1為各種分割模型對(duì)設(shè)備圖像的分割效果。
鑒于設(shè)備和背景灰度均勻程度的差異,本文引入先驗(yàn)知識(shí)對(duì)LGIF模型進(jìn)行了改進(jìn),提出了一種不同拍攝條件下均具有良好性能的設(shè)備圖像分割算法。
對(duì)于某一閉合曲線,由極小化的某一能量泛函我們能獲得以時(shí)間為變量的演化方程。設(shè)閉合曲線將圖像域分為1和2兩部分,1和2分別為曲線內(nèi)、外部分的平均灰度值。定義能量泛函:
式中:表示曲線的長(zhǎng)度,因此第一項(xiàng)是曲線的弧長(zhǎng);而表示該區(qū)域中某像素點(diǎn)灰度值,因此第二項(xiàng)、第三項(xiàng)代表曲線內(nèi)外區(qū)域與當(dāng)前的分片常數(shù)灰度值之間的偏差;、1、2為相應(yīng)權(quán)重。采用變分水平集方法,現(xiàn)在曲線用嵌入函數(shù)(,)來表示,初始水平集函數(shù)是符號(hào)距離函數(shù)。引入單位階躍(Heaviside)函數(shù)()和單位脈沖(Dirac)函數(shù)(),原能量泛函修改為:
CV模型由于使用Dirac函數(shù),抑制了模型對(duì)遠(yuǎn)離初始輪廓像素的檢測(cè)能力。由于沒有考察局部灰度分布情況,不能完全分割與目標(biāo)溫度接近的背景,因而往往需要借助灰度變換?數(shù)學(xué)形態(tài)法等手段進(jìn)一步提取目標(biāo)。
Li等綜合PS模型時(shí)間復(fù)雜度大和CV模型沒有灰度分布信息的缺點(diǎn),提出了LBF模型[10]。定義為:設(shè)閉合曲線將圖像域分為1和2兩部分,1和2分別為曲線內(nèi)、外部分的平均灰度值。s是高斯核,用于根據(jù)與鄰域中心點(diǎn)距離決定鄰域內(nèi)像素點(diǎn)的權(quán)重,標(biāo)準(zhǔn)差為。()為圖像在點(diǎn)處的灰度值。
其局部灰度項(xiàng)的能量泛函將是:
為保持符號(hào)距離函數(shù)性質(zhì)的懲罰項(xiàng)是:
平滑零水平集邊緣的能量項(xiàng)是:
總能量泛函為以上3項(xiàng)相加:
這種方法引入了懲罰項(xiàng),利用高斯核來獲取各局部灰度分布,邊緣分割準(zhǔn)確,可以解決CV模型無法分割灰度不均勻圖像的問題。然而,該模型計(jì)算量過大,導(dǎo)致效率不高、收斂進(jìn)展緩慢。另外LBF模型對(duì)于圖像噪聲和初始輪廓靈敏性極高,容易產(chǎn)生局部極小,分割曲線的最終位置根據(jù)初始輪廓不同而不同。
Wang等將CV模型提取全局信息的能力和LBF模型提取局部信息的能力相互結(jié)合[11]。其總能量泛函為:
其中,全局能量泛函為:
式中:為全局能量項(xiàng)的權(quán)值。在曲線靠近物體邊緣的時(shí)候,局部能量項(xiàng)LBF起了主要作用,最終決定了曲線停止演化的位置;曲線距目標(biāo)較遠(yuǎn)時(shí),全局能量項(xiàng)CV起主要作用,加速曲線演化。()促使曲線邊緣平滑,而()用于保持符號(hào)距離函數(shù)不變。
由上式可見,參數(shù)用于平衡全局信息CV和局部信息LBF之間的權(quán)重。對(duì)于灰度均勻程度不同的圖像,其取值應(yīng)靈活變化。當(dāng)整體圖像灰度均勻時(shí),需要增強(qiáng)CV的權(quán)重,此時(shí)分割精確度更好,需取較大值。當(dāng)整體圖像嚴(yán)重灰度不均勻時(shí),需要增加LBF的權(quán)重,需取較小值。在原LGIF模型中,是一個(gè)常數(shù),本文的選取將根據(jù)紅外圖像的特點(diǎn)進(jìn)行實(shí)驗(yàn)而確定。
紅外圖像具有對(duì)比度差、信噪比差、目標(biāo)和背景的分布區(qū)分很不明顯的特點(diǎn)。變電設(shè)備由于結(jié)構(gòu)特殊性,發(fā)熱程度不均勻。所以變電設(shè)備在紅外圖像中是灰度不均勻的主要部分,而背景顏色較單一甚至為純黑色,設(shè)備區(qū)域圖像灰度化后的不均勻程度會(huì)大于背景的不均勻程度。
在明確以上特點(diǎn)之后,整體來看,圖像灰度均勻時(shí),通常意味著圖像中背景占了較大部分,背景溫度低于設(shè)備溫度,此時(shí)圖像灰度均值偏低。而整體圖像灰度不均勻時(shí),通常表示圖像中設(shè)備所占面積較大,整體灰度均值偏高。由此,本文方法依據(jù)該關(guān)系將灰度不均勻程度與平均灰度值聯(lián)系,將定義為一個(gè)根據(jù)圖像整體灰度均值動(dòng)態(tài)調(diào)整的函數(shù):
=(1-) (9)
式中:為固定參數(shù),經(jīng)多次實(shí)驗(yàn),取值為0.5;為圖像灰度均值與最大值之比,在整體均值較大時(shí),會(huì)減小,模型將更善于應(yīng)對(duì)灰度不均勻圖像,對(duì)容易混雜的細(xì)節(jié)能較好把控。
最終的模型為:
為了求LGIF的極小值,也就是求LGIF的變分,將式(10)使用梯度下降流方程求解,得到曲線的時(shí)間偏微分方程為:
其中:
1稱為局部擬合力,2稱為全局?jǐn)M合力。在獲得曲線演化方程后,以距離圖像左上角100像素的20×20的矩形框作為初始輪廓進(jìn)行演化,進(jìn)行下面的實(shí)驗(yàn)。
實(shí)驗(yàn)使用FLIR T600型熱像儀獲得數(shù)據(jù)集,其中含640×480像素圖片和320×240像素兩種分辨率的圖片。程序運(yùn)行平臺(tái)為Intel(R) Core(TM) CPU i5-1035G4 CPU @1.10GHz,8GB內(nèi)存,Windows 10操作系統(tǒng)。
實(shí)驗(yàn)選擇日常巡視中拍攝的主變本體、套管、變低側(cè)避雷器、GIS設(shè)備、敞開式電容式電壓互感器等5類共220張實(shí)際設(shè)備圖片作為實(shí)驗(yàn)樣本進(jìn)行測(cè)試。根據(jù)圖片中背景情況的不同,按照純色背景,復(fù)雜背景,灰度不均勻背景3種情況分別測(cè)試。圖2、3、4顯示了這幾種背景下設(shè)備的分割效果。
實(shí)驗(yàn)結(jié)果表明:
1)OTSU法只考慮灰度值統(tǒng)計(jì)上的差異,在均勻背景和純色背景下一般有較好的表現(xiàn)。但是,由于OTSU法對(duì)空間結(jié)構(gòu)缺乏處理能力,在不均勻圖像中設(shè)備輪廓細(xì)節(jié)不能分割完整。如果圖像灰度分布非常極端(如圖2),該方法甚至可能分割失敗。
圖2 純色背景下圖像分割效果
2)CV模型相對(duì)于OTSU法,加入了對(duì)空間結(jié)構(gòu)的考量,目標(biāo)完整性通常較好,當(dāng)圖像中目標(biāo)內(nèi)部和背景內(nèi)部各自均勻且兩者之間邊界清晰,灰度差異大時(shí),分割效果最好。當(dāng)目標(biāo)與背景之間灰度差異不顯著時(shí),CV模型由于沒有局部項(xiàng),局部邊界常常不準(zhǔn)確。
3)本文方法將全局能量項(xiàng)和局部能量項(xiàng)的權(quán)重根據(jù)圖片平均灰度值特征進(jìn)行自適應(yīng)調(diào)整之后,能有效調(diào)整權(quán)重,適當(dāng)?shù)貙BF模型的優(yōu)勢(shì)發(fā)揮出來,避免了固定權(quán)重下可能導(dǎo)致的分割結(jié)果完全相反的問題。如圖4中固定權(quán)重LGIF模型中的局部能量項(xiàng)權(quán)重過小,模型未能清晰地劃出邊界,導(dǎo)致結(jié)果不可用。
3種情況下分割模型準(zhǔn)確率統(tǒng)計(jì)如表1所示。
表1 三種情況設(shè)備分割情況統(tǒng)計(jì)
統(tǒng)計(jì)結(jié)果表明,在純色背景分割對(duì)比中,各種模型均最容易取得正確分割。在復(fù)雜背景下,由于目標(biāo)與背景對(duì)比明顯,CV模型大致能分割出正確輪廓,但輪廓較為粗糙。不均勻背景下,本文方法所包含的權(quán)重調(diào)整方法適應(yīng)性更強(qiáng),在設(shè)備輪廓完整性、準(zhǔn)確率上表現(xiàn)更優(yōu)。同時(shí),本文方法在3種不同背景情況均有較為穩(wěn)定的分割效果。
為了客觀分析和評(píng)價(jià)分割的質(zhì)量,接下來選擇以下6個(gè)評(píng)價(jià)指標(biāo)來檢測(cè)本文方法性能,即IOU、Dice相似系數(shù)、體積重疊誤差(volumetric overlap error,VOE)、體積相對(duì)誤差(relative volume difference,RVD)、精確率(precision)、召回率(recall)。6種度量方法的定義如下:
式中:()代表所包含區(qū)域像素個(gè)數(shù)的集合;1和2分別表示真實(shí)的目標(biāo)區(qū)域(Ground truth)和算法分割的目標(biāo)區(qū)域。
交并比(IOU)代表兩個(gè)區(qū)域相交面積占兩個(gè)區(qū)域總面積之和的比值;Dice相似系數(shù)代表的是兩個(gè)區(qū)域相交面積的2倍占兩個(gè)區(qū)域面積之和的比值,完美分割時(shí),該值為1。VOE代表的是錯(cuò)誤率,越低越好,其計(jì)算與Dice系數(shù)類似。RVD表示兩個(gè)區(qū)域面積之間的差異。精確率代表結(jié)果中有多少是屬于真值,召回率代表原始真值分割區(qū)域中,有多少正確部分被算法找到。
為此,我們構(gòu)建帶有人工標(biāo)注真實(shí)分割區(qū)域的測(cè)試樣本,借助上述指標(biāo),比較本文方法和OTSU法(閾值法),評(píng)價(jià)結(jié)果數(shù)據(jù)見表2。精確率和召回率作為互相矛盾的評(píng)價(jià)指標(biāo),應(yīng)綜合觀察其指標(biāo)分布,見圖5。方法結(jié)果越靠近點(diǎn)(1,1),說明該方法效果越好。Dice相似系數(shù)比較結(jié)果見圖6。部分圖像示例分割效果對(duì)比見圖7。
表2 本文方法與閾值法對(duì)比評(píng)價(jià)
圖5 精確率-召回率散點(diǎn)圖
圖6 Dice相似系數(shù)
(a) 示例1真值(a) Eg.1 ground truth(b) 示例1本文方法分割(b) Eg.1 result using our algorithm(c) 示例1 OTSU法分割(c) Eg.1 result using OTSU (d) 示例2真值(d) Eg.2 ground truth(e) 示例2本文方法分割(e) Eg.2 result using our algorithm(f) 示例2 OTSU法分割(f) Eg.2 result using OTSU (g) 示例3真值(g) Eg.3 ground truth(h) 示例3本文方法分割(h) Eg.3 result using our algorithm(i) 示例3 OTSU法分割(i) Eg.3 result using OTSU (j) 示例4真值(j) Eg.4 ground truth(k) 示例4本文方法分割(k) Eg.4 result using our algorithm(l) 示例4 OTSU法分割(l) Eg.4 result using OTSU (m) 示例5真值(m) Eg.5 ground truth(n) 示例5本文方法分割(n) Eg.5 result using our algorithm(o) 示例5 OTSU法分割(o) Eg.5 result using OTSU
本文分析了變電設(shè)備的紅外圖像特點(diǎn),在明確LGIF模型不足的基礎(chǔ)上,將灰度不均勻程度與平均灰度值聯(lián)系起來,利用背景和目標(biāo)占圖像大小比例對(duì)整體灰度不均勻程度的影響,自適應(yīng)地調(diào)整全局能量項(xiàng)和局部能量項(xiàng)所占權(quán)重,提出根據(jù)平均灰度值調(diào)整全局能量和局部能量權(quán)重的自適應(yīng)權(quán)重LGIF分割模型。在220張覆蓋3種場(chǎng)景的紅外圖像上對(duì)比各模型與本文方法并評(píng)價(jià)統(tǒng)計(jì),得出本文方法能較為準(zhǔn)確地分割目標(biāo)設(shè)備的結(jié)論。最后,使用6種客觀評(píng)價(jià)指標(biāo)評(píng)價(jià)本文方法與OTSU法,在如背景非常復(fù)雜的主變本體或者灰度不均勻的套管等各種場(chǎng)景下實(shí)驗(yàn),本文方法均能穩(wěn)定分割設(shè)備區(qū)域,綜合來看指標(biāo)更優(yōu)。實(shí)驗(yàn)結(jié)果表明,本文方法有效提高了變電設(shè)備紅外圖像的分割準(zhǔn)確程度,方便了后續(xù)的特征提取和識(shí)別。
[1] 羅軍川. 電氣設(shè)備紅外診斷技術(shù)及在四川電網(wǎng)的應(yīng)用研究[D]. 重慶: 重慶大學(xué), 2003.
LUO Junchuan. Researches on Infrared Diagnostic Technology of Electric Equipments and Application in Electric Power Grid of Sichuan[D]. Chongqing: Chongqing University, 2003.
[2] 李德剛. 紅外診斷技術(shù)在電氣設(shè)備狀態(tài)檢測(cè)中的研究與應(yīng)用[D]. 濟(jì)南: 山東大學(xué), 2010.
LI Degang. Research and Application on the Infrared Diagnostics of Electrical Equipment Testing[D]. Jinan: Shandong University, 2010.
[3] 周立輝, 張永生, 孫勇, 等. 智能變電站巡檢機(jī)器人研制及應(yīng)用[J]. 電力系統(tǒng)自動(dòng)化, 2011, 35(19): 85-88.
ZHOU Lihui, ZHANG Yongsheng, SUN Yong, et al. Development and application of equipment inspection robot for smart substations[J]., 2011, 35(10): 85-88.
[4] OTSU N. A threshold selection method from gray-level histograms[J].,,, 1979, 9(1): 62-66.
[5] 陳躍偉, 彭道剛, 夏飛, 等. 基于區(qū)域生長(zhǎng)法和BP神經(jīng)網(wǎng)絡(luò)的紅外圖像識(shí)別[J]. 激光與紅外, 2018, 48(3): 401-408.
CHEN Yuewei, PENG Daogang, XIA Fei, et al. Infrared image recognition based on region growing method and BP neural network[J]., 2018, 48(3): 401-408.
[6] 施兢業(yè). 基于紅外圖像處理的變電設(shè)備識(shí)別與熱故障診斷[D]. 上海: 上海電機(jī)學(xué)院, 2017.
SHI Jingye. Substation Equipment Recognition and Thermal Fault Diagnosis Based on Infrared Image Processing[D]. Shanghai: Shanghai Dianji University, 2017.
[7] 袁建軍. 基于偏微分方程圖像分割技術(shù)的研究[D]. 重慶: 重慶大學(xué), 2012.
YUAN Jianjun. Image Segmentation Technology Based on Partical Differential Equation[D]. Chongqing: Chongqing University, 2012.
[8] 湯茂飛. 基于主動(dòng)輪廓模型的紅外圖像分割方法研究[D]. 南京: 南京理工大學(xué), 2015.
TANG Maofei. Research on Infrared Image Segmentation Method Based on Active Contour Model[D]. Nanjing: Nanjing University of Science & Technology, 2015.
[9] CHAN T, VESE L. Active contours without edges[J]., 2001, 2(10): 266-277.
[10] LI C, KAO C Y, Gore J C, et al. Implicit active contours driven by local binary fitting energy[C]//2007., 2007: (DOI:10.1109/CVPR.2007.383014).
[11] WANG Li, LI Chunming, SUN Quansen, et al. Active contours driven by local and global intensity fitting energy with application to brain MR image segmentation[J].,2009, 33(7): 520-531.
Application of Partial Differential Segmentation Model with Adaptive Weight in Infrared Image of Substation Equipment
CHEN Da,HE Quancai,DI Erzhen,DENG Zaozhu
(.,518020,)
To address the problem whereby the equipment area cannot be accurately segmented in the infrared image while maintaining substation equipment, this study applied an improved adaptive weight partial differential image segmentation method to segment the equipment area. By analyzing problems such as low signal-to-noise ratio, blurred edges, low contrast, and uneven grayscale of images, we investigated the disadvantages of traditional image segmentation methods, and the segmentation model based on partial differential equations was improved. The proposed adaptive weight LGIF model utilizes the different gray scale inhomogeneity of the target equipment and the background, associated it with the respective average gray scale, andadjusted the weights of the model's global and local energy items. Experiments in a variety of scenarios have verified that the model in this study is more effective and accurate than the OTSU method, CV model, and fixed-weight LGIF model, which is convenient for follow-up feature extraction and recognition.
substation equipment, infrared image, image segmentation, active contour
TP391
A
1001-8891(2022)02-0179-10
2020-10-15;
2020-12-29.
陳達(dá)(1994-),男,廣東普寧人,助理工程師,工程碩士,主要研究方向?yàn)樽冸娂t外圖像處理。E-mail:635878796@qq.com。