張志超，左雷鵬，鄒 捷，趙耀民，宋楊凡

基于多模態(tài)圖像信息的變電設(shè)備紅外分割方法

張志超1，左雷鵬1，鄒 捷1，趙耀民1，宋楊凡2

（1. 國網(wǎng)保定供電公司，河北 保定 071000；2. 華北電力大學(xué) 動力工程系，河北 保定 071000）

無人機(jī)拍攝下的紅外圖像中變電設(shè)備的分割精度直接影響著熱故障診斷的結(jié)果，針對復(fù)雜紅外背景下變電設(shè)備分割精度低的問題，提出了一種融合可見光和紅外圖像的多模態(tài)路徑聚合網(wǎng)絡(luò)（Multimodal Path Aggregation Network, MPAN）。首先提取并融合兩種模態(tài)圖像的特征，考慮到兩種模態(tài)圖像的特征空間存在差異，提出了自適應(yīng)特征融合模塊（Adaptive Feature Fuse Module, AFFM），以充分融合兩種模態(tài)特征；對具有多尺度特征的主干網(wǎng)絡(luò)增加自底向上的金字塔網(wǎng)絡(luò)，并對橫向連接的路徑增強(qiáng)模塊引入自注意力機(jī)制；最后使用dice系數(shù)優(yōu)化掩膜損失函數(shù)。實驗結(jié)果表明，多模態(tài)圖像的融合能夠增強(qiáng)分割性能，且驗證了提出各模塊的有效性，該模型能夠顯著提高紅外圖像中變電設(shè)備實例分割的準(zhǔn)確率。

實例分割；變電設(shè)備；紅外圖像；可見光圖像；自適應(yīng)特征融合模塊；自注意力機(jī)制；dice系數(shù)

0 引言

變電站中的變電設(shè)備在長期運(yùn)行過程中，可能會產(chǎn)生各種內(nèi)生缺陷[1]。在變電站中，紅外熱成像技術(shù)作為變電設(shè)備最常見的狀態(tài)監(jiān)測方法之一，常用于監(jiān)測變電設(shè)備溫度的異常升高以及由于過熱而導(dǎo)致的故障[2]。由于，變電設(shè)備發(fā)生嚴(yán)重故障時通常伴隨著溫度的急劇上升，因此快速、準(zhǔn)確地監(jiān)測此類熱現(xiàn)象極為重要。為了最大限度地減少在變電站現(xiàn)場對變電設(shè)備進(jìn)行熱故障監(jiān)測所花費(fèi)的時間，通常是對于獲取的變電設(shè)備紅外圖像進(jìn)行離線分析，但是這種方法對于即將發(fā)生的故障會存在發(fā)現(xiàn)不及時，甚至被完全錯過的問題。雖然目前無人機(jī)被用于采集變電站現(xiàn)場的實時紅外圖像，但是對于變電設(shè)備實現(xiàn)現(xiàn)場在線診斷仍未能實現(xiàn)，使得工作人員的絕大部分時間都花在基于經(jīng)驗的目標(biāo)篩選、案例比較和人工診斷，效率低下。

近幾年隨著人工智能技術(shù)的快速發(fā)展，利用智能算法對變電設(shè)備進(jìn)行在線診斷成為可能[3-5]。但是在利用紅外設(shè)備對變電設(shè)備進(jìn)行熱成像時，存在背景溫度信息復(fù)雜的情況，因此可以考慮先從紅外熱圖中對目標(biāo)設(shè)備進(jìn)行識別并提取輪廓，之后利用目標(biāo)的溫度信息實現(xiàn)故障診斷。所以對目標(biāo)設(shè)備提取的準(zhǔn)確性直接影響著故障診斷的結(jié)果。

為了準(zhǔn)確地提取出紅外圖像中的變電設(shè)備，眾多的研究學(xué)者做出了大量貢獻(xiàn)。王小芳等人利用線性譜聚類（Linear Spectral Clustering Algorithm, LSC）算法對紅外圖像進(jìn)行超像素分割，并結(jié)合Otsu算法與MSRM超像素算法，實現(xiàn)紅外圖像中電力設(shè)備的提取[6]。王曉飛等人針對電力設(shè)備紅外圖像，設(shè)計了一種引入高斯模型的空間分布信息的IFCM算法，并利用局部空間分布信息與直覺模糊距離解決邊緣模糊和圖像強(qiáng)度不均勻的問題[7]。馮振新等人提出了一種局部區(qū)域Mediodshift聚類算法，實現(xiàn)了電力設(shè)備紅外圖像中熱故障區(qū)域的提取[8]。然而在真實的紅外場景中，變電設(shè)備的尺寸不一并且缺少紋理性信息，這些傳統(tǒng)圖像處理技術(shù)的魯棒性較差，對于紅外圖像中的目標(biāo)區(qū)域識別性能較差。

近幾年，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）及其擴(kuò)展框架的計算機(jī)視覺技術(shù)取得了重大進(jìn)展。這種基于深度特征提取技術(shù)的現(xiàn)代圖像處理技術(shù)，相比于傳統(tǒng)方法具有更高的準(zhǔn)確性。劉云鵬等人構(gòu)建多尺度特征融合的全卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了紅外圖像中劣化絕緣子片的分割提取[9]。吳克河等人提出了基于Mask R-CNN的電力設(shè)備紅外圖像分割方法，并引入遷移學(xué)習(xí)的機(jī)制解決訓(xùn)練樣本少的問題[10]。李文璞等人基于改進(jìn)的R3Det模型對瓷套進(jìn)行檢測，以減少復(fù)雜背景的干擾，并通過三相檢測框檢測同類設(shè)備，計算同類設(shè)備的溫差最終基于溫差閾值法對電壓致熱型設(shè)備進(jìn)行缺陷診斷[11]。

以上工作分別從不同的方向?qū)崿F(xiàn)了紅外圖像中目標(biāo)的提取，但僅僅針對紅外圖像中變電設(shè)備的特征進(jìn)行提取，而紅外圖像經(jīng)常出現(xiàn)細(xì)節(jié)模糊、噪聲大、視覺效果差等問題，丟失了設(shè)備在可見光圖像中豐富的紋理細(xì)節(jié)信息。圖1為對同一場景拍攝得到的可見光圖像和紅外圖像，直觀地展示了可見光圖像和紅外圖像的優(yōu)缺點：可見光圖像清晰地顯示了行人等目標(biāo)的紋理，但是在房屋內(nèi)的人由于光線陰暗無法在圖像中顯示。紅外圖像中灰度值較高處顯示了房屋內(nèi)的人，但是樹枝、自行車和行人等細(xì)節(jié)特征丟失嚴(yán)重。

圖1 同一場景拍攝的可見光圖像與紅外圖像

針對可見光圖像與紅外圖像中的多模態(tài)圖像信息沒有充分利用的問題，我們提出了多模態(tài)路徑聚合網(wǎng)絡(luò)，首先在網(wǎng)絡(luò)輸入端引入多模態(tài)圖像信息，并通過自適應(yīng)特征融合模塊融合兩種不同模態(tài)的信息；然后對獲得的多尺度特征構(gòu)建橫向連接、自下而上的特征金字塔，以獲得高階特征圖中的語義信息與低階特征圖中的紋理信息，在橫向連接的路徑增強(qiáng)結(jié)構(gòu)中引入注意力機(jī)制，以保留特征豐富的語義信息并抑制噪聲；最后通過dice系數(shù)優(yōu)化網(wǎng)絡(luò)掩碼部分的損失函數(shù)，使網(wǎng)絡(luò)關(guān)注邊界信息，提高分割變電設(shè)備掩碼的準(zhǔn)確度。

1 方法與模型

YOLACT（You Only Look at Coefficients）[12]是一種具有代表性的單階段實例分割算法，具有較快的速度和精度，并能應(yīng)用于實時圖像處理過程。該模型通過兩個并行的分支來完成實例分割任務(wù)：第一個分支通過Protonet產(chǎn)生一系列獨(dú)立于單一實例原型掩膜；第二個分支在檢測分支上添加額外的head預(yù)測mask系數(shù)，以用于編碼一個實例在原型mask空間的表示，最后將經(jīng)過非極大值抑制（Non-Maximum Suppression，NMS）得到每個實例。對NMS處理結(jié)果和Protonet的輸出進(jìn)行線性組合運(yùn)算，得到最終的檢測結(jié)果。文中工作基于YOLACT，主干網(wǎng)絡(luò)采用ResNet，并對其主干網(wǎng)絡(luò)部分的結(jié)構(gòu)進(jìn)行改進(jìn)，提出了MPAN模型，其總體架構(gòu)如圖2所示。

1.1 多模態(tài)特征自適應(yīng)融合

由于不同模態(tài)數(shù)據(jù)的差異性，在輸入端直接加權(quán)合并多模態(tài)數(shù)據(jù)的所有通道信息，網(wǎng)絡(luò)模型表現(xiàn)并不好，有的甚至不如單模態(tài)信息作為輸入的網(wǎng)絡(luò)[13]。因此我們提出了自適應(yīng)特征融合模塊，保留紅外圖像的輻射特征和可見光圖像的紋理特征，以增強(qiáng)模型對于變電設(shè)備實例分割任務(wù)的精度，自適應(yīng)特征融合模塊（Adaptive Feature Fuse Module, AFFM）如圖3所示。

首先，對可見光圖像和紅外圖像的特征圖進(jìn)行求和操作，然后通過元素乘法、通道級聯(lián)和卷積多種操作以獲得如下互補(bǔ)特征。

式中：Cat代表級聯(lián)；?代表元素乘法；Conv1×1代表1×1卷積；V和I分別代表可見光圖像和紅外圖像的多尺度特征。

對于互補(bǔ)特征F，我們使用殘差模塊獲得更深層次的語義信息。

式中：CBR卷積模塊包括3×3卷積，批歸一化層（Batch Normalization, BN）和修正線性單元（Rectified Linear Unit, ReLU）。

我們使用空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）[14]，以擴(kuò)大特征的感受野，并提取具有代表性的全局上下文特征，然后使用3×3卷積提取融合特征，具體公式如下：

式中：分別由擴(kuò)張率為6,12,18,24的擴(kuò)張卷積對特征進(jìn)行操作獲取。自適應(yīng)特征融合模塊能夠?qū)Σ煌B(tài)的特征進(jìn)行優(yōu)勢互補(bǔ)，融合特征Fn, n＝1,2,3,4,5對于后續(xù)實例分割任務(wù)更加準(zhǔn)確。

1.2 基于注意力機(jī)制的特征金字塔特征提取網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行特征提取時，低階特征更關(guān)注紋理信息，而高階特征則包含更多的語義信息。特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks, FPN）通過構(gòu)造具有金字塔分層結(jié)構(gòu)的深度卷積網(wǎng)絡(luò)，形成多尺度特征金字塔[15]，能夠解決高低階特征圖中語義與紋理信息間的矛盾，實現(xiàn)不同尺度特征間的有效融合。然而傳統(tǒng)的FPN結(jié)構(gòu)僅通過簡單的加權(quán)方式對金字塔網(wǎng)絡(luò)進(jìn)行融合，這種操作不能很好地整合特征圖之間的非線性關(guān)系[16]。因此為了在進(jìn)行端到端的學(xué)習(xí)時更有效地提取變電設(shè)備的特征，我們將注意力機(jī)制引入到橫向連接的路徑增強(qiáng)模塊中，使得特征在向前傳播時能夠保留其豐富的語義信息并抑制噪聲，提高檢測精度，如圖2。注意力機(jī)制由通道自注意力機(jī)制與空間自注意力機(jī)制組成，其結(jié)構(gòu)如圖4所示。

圖4中，輸入特征∈R××W分別通過通道自注意力以及空間自注意力，并進(jìn)行融合得到輸出特征∈R××W。通道自注意力能夠提取不同通道層之間隱含的關(guān)系特征，這些關(guān)系特征與場景中的深度語義信息密切相關(guān)。而空間自注意力通過對上下文信息進(jìn)行編碼，增強(qiáng)局部特征的表示能力。

其中輸入特征∈R××W在通過通道自注意力機(jī)制時，首先調(diào)整其維度為R×(H×W)，并與其轉(zhuǎn)置進(jìn)行矩陣乘法，再通過Softmax運(yùn)算得到權(quán)重張量∈R×，其運(yùn)算過程如下：

式中：P表示第個通道與第個通道的關(guān)系。

式中：為可學(xué)習(xí)的權(quán)重參數(shù)。在網(wǎng)絡(luò)訓(xùn)練前，進(jìn)行隨機(jī)初始化，隨著網(wǎng)絡(luò)的學(xué)習(xí)，對參數(shù)進(jìn)行迭代更新。

空間自注意力機(jī)制的操作類似于通道自注意力機(jī)制。我們在算法1中給出了整個注意力機(jī)制的偽代碼。

算法1：注意力機(jī)制

輸入：輸入特征圖?R×H×W；

輸出：輸出特征圖?R×H×W。

1）調(diào)整的維度為1?(H×W)×C；調(diào)整的維度為2?R×(H×W)；

2）將1與2進(jìn)行矩陣乘法，并通過Softmax操作得到權(quán)重?R×C；

3）將權(quán)重與2進(jìn)行矩陣乘法運(yùn)算，并乘以可學(xué)習(xí)的超參數(shù)后與相加，得到通道自注意力機(jī)制的輸出特征CA?R×H×W；

圖4 AFFM結(jié)構(gòu)圖

7）將權(quán)重與4進(jìn)行矩陣乘法運(yùn)算，并乘以可學(xué)習(xí)的超參數(shù)后與3相加得到特征；

8）將特征通過多通道卷積層，得到空間自注意力機(jī)制的輸出SA?R×H×W；

9）將特征CA與特征SA逐元素相加進(jìn)行特征融合，得到最終的輸出。

1.3 損失函數(shù)優(yōu)化

YOLACT的損失函數(shù)主要由3部分組成，其損失函數(shù)為：

YOLACT＝class＋box＋mask(7)

式中：class為分類損失函數(shù)；box為預(yù)測框損失函數(shù)；mask為掩膜損失函數(shù)。掩膜損失函數(shù)mask由二元交叉熵進(jìn)行計算，對應(yīng)的損失函數(shù)公式為：

對目標(biāo)分割的精度決定了后續(xù)故障診斷的準(zhǔn)確性，而我們對網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練時，往往忽略了目標(biāo)的邊緣信息，但是邊緣信息對于實例分割非常重要，邊緣信息能夠很好地表征實例。原始YOLACT的掩膜損失分支在預(yù)測時忽略了邊界信息，實驗中會出現(xiàn)邊緣檢測不準(zhǔn)確的現(xiàn)象，從而影響掩碼的準(zhǔn)確度[17]，因此我們引入dice系數(shù)，增強(qiáng)網(wǎng)絡(luò)對邊界信息的敏感性，對掩碼部分的損失函數(shù)進(jìn)行優(yōu)化，將二值交叉熵與dice系數(shù)之和作為新的掩膜損失函數(shù)，公式如下：

mask_dice＝mask＋dice(9)

式中：為準(zhǔn)確率；為召回率；為準(zhǔn)確率和召回率之間的平衡系數(shù)，其中取值為1，表示準(zhǔn)確率和召回率同等重要。

2 實驗結(jié)果及分析

2.1 數(shù)據(jù)集及數(shù)據(jù)增強(qiáng)

文中模型所使用的紅外圖像數(shù)據(jù)集來源于北方某市供電局在巡檢時通過FLIR紅外熱成像儀拍攝的圖像，該數(shù)據(jù)集包含絕緣子、套管和電流互感器3類變電設(shè)備，共3096張紅外圖像，且該紅外圖像數(shù)據(jù)集具有對應(yīng)的可見光圖像。在模型訓(xùn)練時，訓(xùn)練集和驗證集的劃分比例為4:1。該數(shù)據(jù)集均通過labelme標(biāo)注工具進(jìn)行標(biāo)注，3類變電設(shè)備的紅外圖像及可見光圖像如圖5所示，變電設(shè)備的數(shù)量如表1所示。

圖5 變電設(shè)備可見光圖像（上）及紅外圖像（下）

表1 變電設(shè)備名稱及數(shù)量

由于文中采用的數(shù)據(jù)集規(guī)模較小，深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中易出現(xiàn)過擬合現(xiàn)象，因此我們通過數(shù)據(jù)增強(qiáng)算法以增強(qiáng)網(wǎng)絡(luò)的泛化性能。文中所采用的數(shù)據(jù)增強(qiáng)方法如下：

1）隨機(jī)翻轉(zhuǎn)，對原始圖像以50%的概率在水平方向進(jìn)行隨機(jī)翻轉(zhuǎn)。

2）顏色抖動，將原始圖像的亮度、飽和度以及對比度進(jìn)行隨機(jī)變化。

3）隨機(jī)旋轉(zhuǎn)，對原始圖像進(jìn)行隨機(jī)旋轉(zhuǎn)，旋轉(zhuǎn)的角度為－10°～＋10°。

2.2 評價指標(biāo)

為了全面客觀地評價改進(jìn)算法的有效性，我們通過平均精度均值（Mean Average Precision, mAP）以及平均召回率均值（Mean Average Recall, mAR）對其性能進(jìn)行評估。mAP和mAR分別是由不同交并比（Intersection Over Union, IOU）下的平均精度（Average Precision, AP）和平均召回率（Average Recall, AR）取均值得到，而AP和AR由精確率（Precision, P）和召回率（Recall, R）的PR曲線計算得出。Precision和Recall的計算公式如下：

式中：TP表示期望為正樣本，實際識別也為正樣本；FP表示期望為正樣本，實際識別為負(fù)樣本；FN表示期望為負(fù)樣本，實際識別為正樣本。

2.3 實驗步驟與結(jié)果

2.3.1 網(wǎng)絡(luò)訓(xùn)練

文中實驗的模型通過Pytorch深度學(xué)習(xí)框架搭建，并使用顯存為11GB的GTX1080Ti顯卡對模型進(jìn)行訓(xùn)練，使用SGD優(yōu)化器來優(yōu)化端到端的MPAN，其中初始的學(xué)習(xí)率為0.001，權(quán)重衰減參數(shù)和分別設(shè)置為0.9和0.999，batch size設(shè)為2，訓(xùn)練周期一共60個epoch，每隔10個epoch就將學(xué)習(xí)率衰減為原來的10%。

2.3.2 不同算法實驗對比

為驗證文中方法對變電設(shè)備實例分割的有效性，將文中方法與現(xiàn)階段先進(jìn)的實例分割方法在相同數(shù)據(jù)集上進(jìn)行實驗對比，進(jìn)行對比的方法包括Mask R-CNN、PANet、YOLACT，同時文中還在不同主干網(wǎng)絡(luò)下進(jìn)行對比，以驗證文中方法具有的泛化性。同時為驗證多模態(tài)圖像作為輸入的優(yōu)越性，實驗設(shè)置輸入單光源圖像進(jìn)行對比：僅輸入可見光圖像（MPAN-RGB）或紅外圖像（MPAN-INFRARED）。mAP和mAR作為實驗的評價指標(biāo)，其中mAP和mAR的值越大，說明算法的分割效果越好。

實驗結(jié)果如表2所示，從表2中可以看出，提出的方法相比于其他實例分割方法的mAP和mAR具有顯著提升，且mAP和mAR最高分別達(dá)到了65.89%和67.76%。在表2中，基于ResNet-101主干網(wǎng)絡(luò)的MPAN算法比基于ResNet-101主干網(wǎng)絡(luò)的YOLACT基線算法的mAP和mAR提高了3.57%和3.85%，證明了改進(jìn)算法的有效性。同時，基于ResNet-101主干網(wǎng)絡(luò)的MPAN方法優(yōu)于MPAN-RGB和MPAN-INFRARED，證明了應(yīng)用多模態(tài)信息融合作為輸入對于變電設(shè)備實例分割任務(wù)的重要性。

為了更加直觀地展示我們提出算法的有效性，圖6展示了YOLACT算法和MPAN算法對于紅外圖像中變電設(shè)備的分割效果對比。由圖6可以看出，YOLACT算法對于目標(biāo)的識別存在錯檢，而MPAN算法能夠準(zhǔn)確地檢測出圖中的變電設(shè)備，并且擁有較高的置信度，MPAN算法對于邊緣信息能夠更好地保留，說明了我們算法改進(jìn)的有效性。

表2 不同算法的mAP和mAR指標(biāo)對比

2.3.3 算法消融實驗

為了進(jìn)一步分析提出的網(wǎng)絡(luò)模型中改進(jìn)策略的有效性，對改進(jìn)策略提高網(wǎng)絡(luò)模型性能的效果進(jìn)行消融實驗。當(dāng)不采用ADDM時，即兩種模態(tài)信息進(jìn)行直接加權(quán)融合；當(dāng)不采用Attention時，即橫向連接的特征直接進(jìn)行加權(quán)融合；當(dāng)不采用mask_dice時，掩膜損失函數(shù)即為原始二值交叉熵?fù)p失函數(shù)。

從表3中可以看出，對網(wǎng)絡(luò)添加不同策略后mAP和mAR均有所提升。添加ADDM后，mAP和mAR提高了2.15%和1.88，說明ADDM能夠有效地將兩種不同模態(tài)特征進(jìn)行自適應(yīng)融合；添加Attention模塊后mAP和mAR提高了1.75%和1.62%，Attention模塊引入橫向連接的路徑增強(qiáng)模塊時，通過通道自注意力機(jī)制和空間自注意力機(jī)制能夠加強(qiáng)特征的語義信息，并有效抑制冗余噪聲；對掩模損失函數(shù)進(jìn)行優(yōu)化后，mAP和mAR指標(biāo)也均有所提升，說明dice系數(shù)的引入能夠加強(qiáng)模型對邊界信息的關(guān)注程度。當(dāng)應(yīng)用所有改進(jìn)策略時，mAP和mAR最高為65.89%和67.76%，說明了我們提出的方法的有效性。

2.3.4 數(shù)據(jù)增強(qiáng)實驗

為驗證文中所采用的數(shù)據(jù)增強(qiáng)方法在變電設(shè)備分割任務(wù)的有效性，對MPAN模型進(jìn)行消融實驗。從表4中可以看出，當(dāng)使用3種數(shù)據(jù)增強(qiáng)方法時，mAP和mAR均取得最優(yōu)值，分別為65.89%和67.76%，相比于不使用數(shù)據(jù)增強(qiáng)方法分別提升了1.21%和1.39%，證明了數(shù)據(jù)增強(qiáng)方法能夠增強(qiáng)數(shù)據(jù)的多樣性，提升模型對分割任務(wù)的性能。在表4中，當(dāng)僅使用顏色抖動方法時，模型的性能相較于基準(zhǔn)模型有所下降，其原因是紅外圖像在經(jīng)過顏色抖動后，圖像中原有目標(biāo)的特征信息有所改變，甚至消失，會影響模型對于目標(biāo)特征的學(xué)習(xí)，進(jìn)而導(dǎo)致精度下降。

表3 改進(jìn)策略消融分析定量比較結(jié)果

表4 數(shù)據(jù)增強(qiáng)消融分析定量比較結(jié)果

3 結(jié)論

針對紅外圖像中變電設(shè)備的檢測存在精度低，并且沒有充分引用多模態(tài)圖像信息的問題，提出了多模態(tài)路徑聚合網(wǎng)絡(luò)。經(jīng)過理論和實驗驗證，得出以下結(jié)論：

1）在網(wǎng)絡(luò)輸入端通過自適應(yīng)特征融合模塊融合兩種不同模態(tài)的信息，以獲取不同模態(tài)信息的優(yōu)勢特征。

2）對于融合得到的多尺度特征，通過構(gòu)建橫向連接的自底向上的特征金字塔，并在路徑增強(qiáng)模塊增加注意力機(jī)制，提高網(wǎng)絡(luò)對特征的提取能力，使其同時具有深層的語義信息和低層的紋理信息。

3）對掩膜損失分支的損失函數(shù)添加dice系數(shù)進(jìn)行優(yōu)化，增強(qiáng)網(wǎng)絡(luò)對邊緣信息的敏感性，使得邊緣分割更加精細(xì)。

[1] 李莉, 熊煒, 陸冬梅, 等. 輸變電設(shè)施可靠性評估中設(shè)備故障率預(yù)測方法研究[J]. 電測與儀表, 2015, 52(3): 37-41. LI Li, XIONG Wei, LU Dongmei, et al. Study on the prediction method for failure rate in the reliability evaluation of power transmission and transformation facility[J]., 2015, 52(3): 37-41.

[2] 裴少通, 劉云鵬, 陳同凡, 等. 基于BOA-SVM的劣化絕緣子紅外圖譜診斷方法[J].電測與儀表, 2018, 55(24): 11-16. PEI Shaotong, LIU Yunpeng, CHEN Tongfan, et al. Infrared spectrum diagnosis method of deteriorated insulators based on BOA-SVM[J]., 2018, 55(24): 11-16.

[3] 陳鐵, 呂長欽, 張欣, 等. 基于KPCA-WPA-SVM的變壓器故障診斷模型[J]. 電測與儀表, 2021, 58(4): 158-164. CHEN Tie, LYU Changqin, ZHANG Xin, et al. Transformer fault diagnosis model based on KPCA-WPA-SVM[J]., 2021, 58(4): 158-164.

[4] Furse C M, Kafal M, Razzaghi R, et al. Fault diagnosis for electrical systems and power networks: A review[J]., 2020, 21(2): 888-906.

[5] Ferreira V H, Zanghi R, Fortes M Z, et al. A survey on intelligent system application to fault diagnosis in electric power system transmission lines[J]., 2016, 136: 135-153.

[6] 王小芳, 毛華敏. 一種復(fù)雜背景下的電力設(shè)備紅外圖像分割方法[J]. 紅外技術(shù), 2019, 41(12): 1111-1116. WANG Xiaofang, MAO Huamin. Infrared image segmentation method for power equipment in complex background[J]., 2019, 41(12): 1111-1116.

[7] 王曉飛, 胡凡奎, 黃碩. 基于分布信息直覺模糊c均值聚類的紅外圖像分割算法[J].通信學(xué)報, 2020, 41(5): 120-129. WANG Xiaofei, HU Fankui, HUANG Shuo. Infrared image segmentation algorithm based on distribution information intuitionistic fuzzy c-means clustering[J]., 2020, 41(5): 120-129.

[8] 馮振新, 許曉路, 周東國, 等. 基于局部區(qū)域聚類的電力設(shè)備故障區(qū)域提取方法[J]. 電測與儀表, 2020, 57(8): 45-50. FENG Zhenxin, XU Xiaolu, Zhou Dongguo, et al. Extraction method of power device fault region based on local clustering algorithm[J]., 2020, 57(8): 45-50.

[9] 劉云鵬, 張喆, 裴少通, 等. 基于深度學(xué)習(xí)的紅外圖像中劣化絕緣子片的分割方法[J]. 電測與儀表, 2022, 59(9): 63-68, 118. Doi: 10.19753/j.issn1001-1390.2022.09.009. LIU Yunpeng, ZHANG Zhe, PEI Shaotong, et al. Faulty insulator segmentation method in infrared image based on deep learning[J]., 2022, 59(9): 63-68, 118. Doi: 10.19753/j.issn1001-1390.2022.09.009.

[10] 吳克河, 王敏鑒, 李淵博. 基于Mask R-CNN的電力設(shè)備紅外圖像分割技術(shù)研究[J].計算機(jī)與數(shù)字工程, 2020, 48(2): 417-422. WU Kehe, WANG Minjian, LI Yuanbo. Research on infrared image segmentation technology of power equipment based on Mask R-CNN[J]., 2020, 48(2): 417-422.

[11] 李文璞, 毛穎科, 廖逍, 等. 基于旋轉(zhuǎn)目標(biāo)檢測的變電設(shè)備紅外圖像電壓致熱型缺陷智能診斷方法[J].高電壓技術(shù), 2021, 47(9): 3246-3253. LI Wenpu, MAO Yingke, LIAO Xiao，et al. Intelligent diagnosis method of infrared image for substation equipment voltage type thermal defects based on rotating target detection[J]., 2021, 47(9): 3246-3253.

[12] BOLYA D, ZHOU C, XIAO F, et al. YOLACT: real-time instance segmentation[J/OL]., 2019, https://arxiv.org/abs/1904.02689 2019: 1904-2689.

[13] 田樂, 王歡. 引入獨(dú)立融合分支的雙模態(tài)語義分割網(wǎng)絡(luò)[J]. 計算機(jī)工程, 2022, 48(8): 240-248, 257. Doi: 10.19678/j.issn.1000-3428.0062066. TIAN Le, WANG Huan. Dual-modal semantical segmentation network by involving independent fusion branch[J]., 2022, 48(8): 240-248, 257. Doi: 10.19678/j.issn.1000-3428.0062066.

[14] CHEN L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]., 2018, 40(4): 834-848

[15] LIN T, DOLLáR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//(CVPR), 2017: 936-944, Doi: 10.1109/CVPR. 2017.106.

[16] 胡志偉, 楊華, 婁甜田. 采用雙重注意力特征金字塔網(wǎng)絡(luò)檢測群養(yǎng)生豬[J].農(nóng)業(yè)工程學(xué)報, 2021, 37(5): 166-174. HU Zhiwei, YANG Hua, LOU Tiantian. Instance detection of group breeding pigs using a pyramid network with dual attention feature[J]., 2021, 37(5): 166-174.

[17] CHENG B, Girshick R, Dollár P, et al. Boundary IoU: improving object-centric image segmentation evaluation[J/OL]., 2021: 2103-16562. https://arxiv.org/abs/2103. 16562.

Segmentation Method of Substation Equipment Infrared Image Based on Multimodal Image Information

ZHANG Zhichao1，ZUO Leipeng1，ZOU Jie1，ZHAO Yaomin1，SONG Yangfan2

(1. StateGrid Baoding Electric Power Supply Company, Baoding 071000, China; 2. Department of Power Engineering, North China Electric Power University, Baoding 071000, China)

The segmentation accuracy of substation equipment in infrared images captured by a UAV directly affects the results of thermal fault diagnosis. We proposed a multimodal path aggregation network (MPAN) that fuses visible and infrared images to address the problem of low segmentation accuracy of substation equipment in complex infrared backgrounds. First, we extracted and fused the features of two modal images, and considering the differences in the feature space of the two modal images, we proposed the adaptive feature fuse module (AFFM) to fuse the two modal features fully. We added a bottom-up pyramid network to the backbone with multi-scale features and a laterally connected path enhancement. Finally, we used dice coefficients to optimize the mask loss function. The experimental results showed that the fusion of multimodal images can enhance the segmentation performance and verify the effectiveness of the proposed modules, which can significantly improve the accuracy of the segmentation of substation equipment instances in infrared images.

instance segmentation, substation equipment, infrared image, visible image, adaptive feature fusion module, self-attention mechanism, dice coefficient

TP391.4

A

1001-8891(2023)11-1198-09

2022-03-23；

2022-06-11.

張志超（1982-），男，高級工程師，主要研究方向為變電檢修。E-mail: bd_zzc@163.com。

國網(wǎng)河北省電力有限公司科技項目資助（kj2019-027）。