曾昌健 李 麗 鄭為湊

(1.福建電力職業(yè)技術(shù)學(xué)院，福建 泉州 362000;2.國(guó)網(wǎng)寧德供電公司，福建 寧德 352100)

1 概述

輸電線路覆冰是一個(gè)隨機(jī)的自然現(xiàn)象，受濕度、海拔、地形、風(fēng)等多個(gè)自然環(huán)境因素影響，會(huì)出現(xiàn)不同程度的線路冰雪附著狀態(tài)。由于輸電線路在發(fā)生冰害事故時(shí)，一般氣候惡劣，覆冰發(fā)生時(shí)道路無(wú)法通行，通訊中斷，搶修難度非常巨大，導(dǎo)致因無(wú)法及時(shí)復(fù)電而帶來(lái)嚴(yán)重的經(jīng)濟(jì)影響。

國(guó)內(nèi)外對(duì)輸電線路覆冰形成機(jī)制、覆冰閃絡(luò)、輸電線路脫冰舞動(dòng)和線路覆冰預(yù)測(cè)等的研究取得了較大進(jìn)展[1-3]。在國(guó)內(nèi)，西安交通大學(xué)科技人員針對(duì)桿塔覆冰桿段兩側(cè)拉力不同，采用平衡點(diǎn)法計(jì)算覆冰厚度。華北電力大學(xué)科技人員針對(duì)光纖傳感器敏感度高、電磁穩(wěn)定性好等優(yōu)點(diǎn)，采用光纖拉力傳感器和光纖傾斜角傳感器，獲得拉力和傾角實(shí)現(xiàn)覆冰厚度計(jì)算。湖南電力設(shè)計(jì)院科技人員采用自適應(yīng)分割閾值識(shí)別輸電線路覆冰現(xiàn)象[4-6]。華南理工大學(xué)科技人員采用自適應(yīng)閾值變換和基于LOG算子的邊緣檢測(cè)技術(shù)實(shí)現(xiàn)輸電線路覆冰識(shí)別。在國(guó)外，Berlijn S.M.等人提取了結(jié)冰前后絕緣子的邊緣輪廓，并通過(guò)校準(zhǔn)估計(jì)了結(jié)冰厚度，但精度不高。Yang等人提出根據(jù)覆蓋維數(shù)分形法和邊緣檢測(cè)來(lái)計(jì)算結(jié)冰厚度[7-12]。本文采用機(jī)器視覺(jué)與改進(jìn)的Faster R-CNN與模板匹配結(jié)合GrabCut算法進(jìn)行覆冰識(shí)別，實(shí)現(xiàn)導(dǎo)線、絕緣子覆冰厚度識(shí)別偵測(cè)，提高預(yù)警水平。

2 基于改進(jìn)的Faster R-CNN絕緣子覆冰辨識(shí)模型

通過(guò)對(duì)基于Faster R-CNN辨識(shí)算法的研究，利用訓(xùn)練集、測(cè)試集去訓(xùn)練改進(jìn)的Faster R-CNN網(wǎng)絡(luò)；在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，為了避免過(guò)擬合，采用批量歸一化方式、激活函數(shù)ReLU去優(yōu)化網(wǎng)絡(luò)參數(shù)，生成覆冰辨識(shí)模型；為了提高絕緣子覆冰辨識(shí)精度，采用非極大值抑制和ResNet101卷積網(wǎng)絡(luò)對(duì)Faster R-CNN進(jìn)行改進(jìn)。將測(cè)試樣本輸入絕緣子覆冰辨識(shí)模型之后，獲得預(yù)測(cè)的標(biāo)簽及邊框，最終實(shí)現(xiàn)對(duì)絕緣子覆冰的辨識(shí)。本項(xiàng)目利用改進(jìn)的Faster R-CNN算法實(shí)現(xiàn)絕緣子覆冰狀態(tài)辨識(shí)(見(jiàn)圖1)，具體步驟如下所述。

圖1 改進(jìn)的Faster R-CNN架構(gòu)

①本項(xiàng)目的算法支持輸入任意大小(A×B)的圖像，在輸入到網(wǎng)絡(luò)訓(xùn)練前，將任意大小(A×B)的圖像縮放至固定大小(600×800)。接著利用ResNet101卷積神經(jīng)網(wǎng)絡(luò)層對(duì)固定大小的圖像進(jìn)行特征提取從而得到了特征圖，該特征圖大小為300×400×1024。特別地，ResNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中包含7×7×64的卷積(其激活函數(shù)使用的是線性整流函數(shù)(ReLU))及四種不同卷積塊(這四種不同卷積塊分別用卷積塊1、卷積塊2、卷積塊3及卷積塊4表示)。本研究所采用的ResNet101包括4種不同類(lèi)型的卷積塊(即：3個(gè)卷積塊1，4個(gè)卷積塊2，3個(gè)卷積塊3及3個(gè)卷積塊4，其中卷積塊1包含1×1×64、3×3×64及1×1×256的卷積，卷積塊2包含1×1×128、3×3×128及1×1×512，卷積塊3包含1×1×256、3×3×256及1×1×1024，卷積塊4包含1×1×512、3×3×512及1×1×1024)。

②將步驟1中得到的特征圖導(dǎo)入到相應(yīng)的區(qū)域候選網(wǎng)絡(luò)。區(qū)域候選網(wǎng)絡(luò)先是利用3×3×512的卷積(其激活函數(shù)使用ReLU)對(duì)特征圖的降維并利用批量歸一化提高區(qū)域候選網(wǎng)絡(luò)性能及避免過(guò)擬合，接著分別利用兩個(gè)不同數(shù)量的1×1卷積對(duì)特征圖進(jìn)行不同的操作。通過(guò)Softmax對(duì)特征圖上面不同的錨點(diǎn)進(jìn)行分類(lèi)而獲得包含目標(biāo)的正樣本的錨點(diǎn)與只包含背景的負(fù)樣本的錨點(diǎn)。另一條線則是用于做邊框的回歸偏移量，從而獲得精確的候選區(qū)域。最后通過(guò)Proposal層綜合分類(lèi)操作得到的包含目標(biāo)正樣本的錨點(diǎn)和其對(duì)應(yīng)的邊框回歸偏移量來(lái)剔除過(guò)小及超出邊界的候選區(qū)域，從而獲得輸入到ROIPooling層的特征圖的候選區(qū)域，該步完成了目標(biāo)定位的功能。

③通過(guò)RoI池化層(RoI Pooling)收集由卷積層輸出的特征圖和由區(qū)域候選網(wǎng)絡(luò)輸出的候選區(qū)域，并引入在線難例挖掘(OHEM)來(lái)處理數(shù)據(jù)類(lèi)別不平衡的情況，從而簡(jiǎn)化算法難度，選定輸出固定大小的區(qū)域候選特征圖(proposal feature maps)。將得到的區(qū)域候選特征圖送入ResNet152結(jié)構(gòu)的3個(gè)卷積塊4，用于目標(biāo)類(lèi)別判定及邊框回歸預(yù)測(cè)。

④首先通過(guò)3個(gè)卷積塊4進(jìn)行特征提取，接著利用平均池化，其次，就是目標(biāo)分類(lèi)和邊框預(yù)測(cè)回歸。通過(guò)softmax對(duì)輸入的區(qū)域候選塊進(jìn)行分類(lèi)，同時(shí)對(duì)該候選塊進(jìn)行邊框回歸預(yù)測(cè)獲得精確的邊框位置。從而實(shí)現(xiàn)絕緣子覆冰狀態(tài)辨識(shí)。

3 模板匹配結(jié)合GrabCut的絕緣子覆冰厚度計(jì)算算法

當(dāng)通過(guò)改進(jìn)Faster R-CNN算法檢測(cè)出覆冰絕緣子后，本項(xiàng)目將模板匹配、最大流最小割(GrabCut)算法結(jié)合使用進(jìn)行圖像特征提取，即對(duì)覆冰絕緣子圖像進(jìn)行前景背景分離，從圖像中提取完整覆冰絕緣子圖像(前景)，并與未覆冰絕緣子進(jìn)行對(duì)比，計(jì)算出覆冰厚度。流程圖如圖2所示。

圖2 絕緣子覆冰厚度計(jì)算算法流程圖

3.1 對(duì)絕緣子現(xiàn)場(chǎng)圖像進(jìn)行預(yù)處理，提高圖像可用性

現(xiàn)場(chǎng)監(jiān)控裝置返回的圖像中，因現(xiàn)場(chǎng)環(huán)境影響和受限，圖片中存在大量的噪聲和背景干擾，為消除噪聲和背景干擾對(duì)后續(xù)圖像處理的不良影響，首先對(duì)獲取的絕緣子圖像進(jìn)行預(yù)處理，提高背景對(duì)比度，并利用均值濾波去除環(huán)境噪聲。400萬(wàn)像素高清攝像頭返回圖像的分辨率為2560×1440像素，圖像較大，影響運(yùn)算效率，在盡可能保留圖像信息的條件下將圖像縮小為原圖1/10，以提高運(yùn)算速度。

3.2 建立模板圖像

為從現(xiàn)場(chǎng)圖像中提取出所需前景圖像，建立與覆冰后圖像進(jìn)行比較和匹配的模板圖像。該模板圖像為在良好氣象條件、固定機(jī)位現(xiàn)場(chǎng)拍攝的絕緣子圖像，并對(duì)圖像使用步驟1中的方法進(jìn)行處理，在保留圖像信息前提下提高了可用性，便于后續(xù)處理。

3.3 模板圖像與現(xiàn)場(chǎng)圖像進(jìn)行匹配，獲取圖像前景框

模板匹配常用于數(shù)字圖像處理，是把不同時(shí)間、成像條件、同機(jī)位2幅及以上圖像在三維空間上比對(duì)，即通過(guò)一塊已知模板圖像，在大視野中尋找目標(biāo)潛在位置。算法流程：首先選取與現(xiàn)場(chǎng)相同絕緣子的模板T(m×n個(gè)像素)，然后將其放置在待檢索圖像S(W×H個(gè)像素)上，其中m≤H，n≤W。T從S左上角[S的(0，0)點(diǎn)]開(kāi)始向其他未覆蓋區(qū)域移動(dòng)(如圖3所示)。T覆蓋S的范圍稱為子圖Sij。i、j分別為模板T左上角點(diǎn)在被檢索圖S所在坐標(biāo)系下的坐標(biāo)，檢索范圍為0≤i≤H-m,0≤j≤W-n。匹配過(guò)程是通過(guò)比較模板T與待檢索圖像子圖Sij的相似程度，該指標(biāo)用式(1)來(lái)衡量：

(1)

式(1)中的第一、三兩項(xiàng)分別為子圖Sij與模板T的能量，第二項(xiàng)為Sij與T的相關(guān)關(guān)系。為更有效表達(dá)二者的關(guān)聯(lián)性，通過(guò)改造并歸一化后得到式(2)：

(2)

Rij稱為子圖Sij與模板T的相關(guān)系數(shù)，0≤Rij≤1，Rij越趨于1，說(shuō)明Sij與T越相同，越可以被認(rèn)為是相同的圖像。

當(dāng)模板T在待檢索圖像S中完成檢索后，找到Rij的最大值的位置，認(rèn)為此位置即為S中待查找物體的位置，記錄此時(shí)的Sij左上角點(diǎn)的坐標(biāo)(i，j)，以(i，j)為起點(diǎn)、以(i+m，j+n)為終點(diǎn)的矩形框即為圖像前景框。

圖3 模板匹配示意圖

使用GrabCut算法(如圖4)分離圖像，并提取所需的前景圖像。GrabCut算法的基本思想都是最大流最小割(Max Flow-Minimum Cut)方法。

圖4 GrabCut算法示意圖

3.4 獲取圖像輪廓

①圖像灰度化：將三通道RGB圖像，按照式(3)進(jìn)行加權(quán)平均，使三通道降為一通道灰度圖。

Gray=0.114B+0.587G+0.299R

(3)

②圖像二值化：使用人工指定閾值T的方案，按照式(4)對(duì)灰度圖像進(jìn)行二值化處理，獲得二值圖像。

(4)

③查找并繪制圖像輪廓：使用findcontours函數(shù)處理二值化圖像Binary，設(shè)置參數(shù)RETR_EXTERNAL限制檢索范圍，僅檢測(cè)最外層輪廓。設(shè)置一個(gè)較大閾值T，過(guò)濾小輪廓干擾，當(dāng)且僅當(dāng)輪廓面積大于閾值T時(shí)，才會(huì)繪制該輪廓。

至此，圖像前景分割及提取流程結(jié)束。

3.5 輪廓面積計(jì)算及覆冰預(yù)警

使用contourArea函數(shù)返回輪廓面積，定義面積為輪廓內(nèi)包含像素點(diǎn)個(gè)數(shù)。為分析覆冰前后輪廓面積變化情況，分別計(jì)算覆冰前后絕緣子的輪廓面積，設(shè)覆冰前絕緣子輪廓面積為N1(模板圖像中絕緣子輪廓面積)，覆冰后絕緣子輪廓面積為N2(待檢測(cè)圖像中絕緣子輪廓面積)，并根據(jù)實(shí)驗(yàn)及歷年人工觀冰數(shù)據(jù)，設(shè)置覆冰厚度閾值T，作為判斷是否需要預(yù)警的依據(jù)。根據(jù)式(5)計(jì)算當(dāng)前覆冰變化率：

(5)

其中，Pa為絕緣子覆冰前后輪廓面積的變化率；設(shè)Dm為人工觀冰厚度，Pa每增加3%相當(dāng)于Dm增加Am(Am為根據(jù)現(xiàn)場(chǎng)實(shí)際及歷史經(jīng)驗(yàn)數(shù)據(jù)獲得的相應(yīng)的經(jīng)驗(yàn)值)。以此為依據(jù)計(jì)算實(shí)際Dm的大小，若超過(guò)預(yù)警值T，則存在絕緣子持續(xù)覆冰風(fēng)險(xiǎn)，需要進(jìn)行預(yù)警，并對(duì)絕緣子進(jìn)行持續(xù)觀測(cè)，必要時(shí)進(jìn)行除冰處理。

4 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)室環(huán)境模擬絕緣子覆冰厚度計(jì)算實(shí)驗(yàn)結(jié)果分布如表1所示，算法對(duì)絕緣子覆冰狀態(tài)的判斷具有較高的精度；算法效果如圖5、圖6所示。圖5中，未覆冰絕緣子輪廓面積為26627.5像素，圖6中，覆冰絕緣子輪廓面積為33137.5像素，覆冰前后絕緣子輪廓面積變化明顯，可以基于此判斷絕緣子覆冰狀態(tài)。綜合實(shí)驗(yàn)結(jié)果可以看出，算法對(duì)未覆冰絕緣子的判斷精度更高，這是因?yàn)楦脖^緣子的形態(tài)各異，需要大量數(shù)據(jù)用于訓(xùn)練，數(shù)據(jù)量越大，進(jìn)行訓(xùn)練后算法的精度越高，實(shí)驗(yàn)室環(huán)境下做出的數(shù)據(jù)量有限，當(dāng)逐步提高數(shù)據(jù)量后，算法的精度會(huì)進(jìn)一步提高?？傮w來(lái)看，算法的精度若達(dá)到需求，可以用于判斷絕緣子的覆冰狀態(tài)。

表1 實(shí)驗(yàn)室環(huán)境模擬絕緣子覆冰厚度計(jì)算實(shí)驗(yàn)結(jié)果分布

結(jié)合算法的測(cè)試結(jié)果綜合分析，在實(shí)驗(yàn)室環(huán)境下使用與現(xiàn)場(chǎng)相同的算法進(jìn)行實(shí)驗(yàn)，同樣得到了良好的實(shí)驗(yàn)結(jié)果，算法的精度得到了進(jìn)一步驗(yàn)證，可以認(rèn)為該系統(tǒng)可以在輸電線路現(xiàn)場(chǎng)投入使用。

圖5 實(shí)驗(yàn)室環(huán)境模擬絕緣子覆冰實(shí)驗(yàn)未覆冰絕緣子圖

圖6 實(shí)驗(yàn)室環(huán)境模擬絕緣子覆冰實(shí)驗(yàn)覆冰絕緣子圖

5 結(jié)論

本文基于機(jī)器視覺(jué)與深度學(xué)習(xí)技術(shù)，提出改進(jìn)Faster R-CNN算法實(shí)現(xiàn)絕緣子覆冰辨識(shí)和偵測(cè)，結(jié)合模板匹配的GrabCut算法實(shí)現(xiàn)覆冰厚度變化識(shí)別，無(wú)需人工實(shí)時(shí)在線監(jiān)測(cè)，解放大量人力，可協(xié)助電力部門(mén)預(yù)防與應(yīng)對(duì)冰雪災(zāi)害，在降低冰災(zāi)事故發(fā)生率方面具有較高實(shí)用價(jià)值，具備良好的應(yīng)用前景。