王劉旺

（國網(wǎng)浙江省電力有限公司電力科學(xué)研究院，杭州 310014）

0 引言

電力系統(tǒng)的突發(fā)故障會(huì)給社會(huì)生產(chǎn)生活帶來嚴(yán)重影響，造成重大經(jīng)濟(jì)損失，甚至可能給人民的生命和財(cái)產(chǎn)安全帶來威脅。確保電力系統(tǒng)安全穩(wěn)定運(yùn)行，本質(zhì)上是確保電力系統(tǒng)發(fā)、變、輸、配、用各環(huán)節(jié)電力設(shè)備的安全穩(wěn)定運(yùn)行，遠(yuǎn)程測量系統(tǒng)和遠(yuǎn)程監(jiān)視系統(tǒng)在其中發(fā)揮了重要作用。

隨著網(wǎng)絡(luò)傳輸技術(shù)的發(fā)展，視頻監(jiān)控的覆蓋面和清晰度不斷提高，其在電網(wǎng)安全監(jiān)控中的應(yīng)用越來越廣泛。目前，電網(wǎng)中視頻監(jiān)控范圍主要包括以下幾方面：一是設(shè)備狀態(tài)，包括架空輸電線路和變電站內(nèi)設(shè)備，輸電線路上主要關(guān)注桿塔、絕緣子、金具、導(dǎo)線等部件的外觀缺陷，變電站設(shè)備主要關(guān)注漏油、外觀破損、過熱等異常狀態(tài)以及斷路器、隔離開關(guān)、信號(hào)燈、表計(jì)等信息狀態(tài)。二是人員狀態(tài)，主要是對(duì)作業(yè)現(xiàn)場人員行為的監(jiān)管，包括人員身份信息、著裝情況以及行為狀態(tài)。三是電網(wǎng)重要區(qū)域環(huán)境狀態(tài)，包括輸電線路區(qū)域和變電站區(qū)域，這部分監(jiān)控目的是安防，關(guān)注線路外力破壞、植被安全距離、山火、導(dǎo)線覆冰厚度、鳥巢和變電站內(nèi)明火、煙霧、異物入侵等異常情況。從監(jiān)控設(shè)備上來看，本質(zhì)上都是可見光或紅外攝像頭，但不同應(yīng)用場景在搭載方式上有所差異，架空輸電線路上主要使用巡線機(jī)器人和無人機(jī)，變電站內(nèi)主要依靠固定式攝像頭、軌道式攝像頭和巡檢機(jī)器人，作業(yè)現(xiàn)場則主要依托臨時(shí)架設(shè)的布控球和工作負(fù)責(zé)人所佩戴的作業(yè)記錄儀。

對(duì)電網(wǎng)重要場景及對(duì)象可采用遠(yuǎn)程監(jiān)控替代人工現(xiàn)場巡檢巡查，但監(jiān)控視頻的處理和利用仍依靠人工，存在工作量大、受主觀影響大、人員易疲勞等問題。隨著電力視覺技術(shù)概念［1］的提出，機(jī)器視覺技術(shù)在電力監(jiān)控視頻智能處理中的實(shí)際應(yīng)用成為可能，識(shí)別準(zhǔn)確率和魯棒性在不斷提升。

本文簡要介紹了機(jī)器視覺技術(shù)概念及其在電力場景中常用的關(guān)鍵技術(shù)；從輸變電設(shè)備狀態(tài)檢測、電網(wǎng)重要區(qū)域環(huán)境狀態(tài)監(jiān)測、電力作業(yè)現(xiàn)場人員狀態(tài)判別3個(gè)方面分別闡述了機(jī)器視覺技術(shù)的應(yīng)用研究進(jìn)展；在此基礎(chǔ)上，對(duì)機(jī)器視覺技術(shù)在電力安全監(jiān)控領(lǐng)域落地應(yīng)用所面臨的問題進(jìn)行了分析討論。

1 機(jī)器視覺技術(shù)概述

視覺是人類強(qiáng)大的感知方式，也是人類獲取外界信息的最主要方式。顧名思義，機(jī)器視覺就是指利用機(jī)器模擬人的視覺對(duì)事物進(jìn)行度量和描述的技術(shù)，包括借助于硬件實(shí)現(xiàn)的表征度量和基于軟件實(shí)現(xiàn)的信息描述兩方面，但關(guān)鍵是對(duì)信息的描述，因此，目前機(jī)器視覺技術(shù)的發(fā)展多集中于算法軟件層面，其主要任務(wù)聚焦在目標(biāo)檢測、目標(biāo)分割和目標(biāo)跟蹤3個(gè)方面。

1.1 目標(biāo)檢測

目標(biāo)檢測的任務(wù)是從圖像中檢測某一類或某幾類受關(guān)注的語義對(duì)象的實(shí)例目標(biāo)，獲取該實(shí)例的類別信息和在圖像中的位置信息。在深度學(xué)習(xí)出現(xiàn)之前，傳統(tǒng)的目標(biāo)檢測通常包括區(qū)域選取、特征提取和特征分類3個(gè)階段，將目標(biāo)檢測問題轉(zhuǎn)化為感興趣區(qū)域的圖像分類問題。基于深度學(xué)習(xí)的目標(biāo)檢測方法提升了傳統(tǒng)算法中的區(qū)域選取效率，替代了手工特征提取步驟，優(yōu)化了特征分類準(zhǔn)確性，成為目前主流方法?；谏疃葘W(xué)習(xí)的目標(biāo)檢測可以分為單階段檢測和兩階段檢測兩類方法。單階段檢測方法是直接回歸得到目標(biāo)位置，代表性算法有YOLO［2］、SSD［3］等。兩階段檢測方法是在生成的候選框上進(jìn)行回歸得到目標(biāo)位置，代表性算法有Fast R-CNN［4］、Faster R-CNN［5］等。

1.2 目標(biāo)分割

目標(biāo)分割需要確定圖像中物體的邊界，具體做法是對(duì)圖像中歸屬同一個(gè)物體的所有像素添加同一標(biāo)簽，在視覺上呈現(xiàn)分割效果。目標(biāo)分割分為語義分割和實(shí)例分割，前者只要求在類別上進(jìn)行分割，而后者需要精確到個(gè)體。傳統(tǒng)的目標(biāo)分割主要分為基于像素相似性和基于像素鄰域關(guān)系兩種，代表算法分別是閾值分割［6］、K-means 分割［7］和區(qū)域生長［8］、分水嶺［9］。相較于傳統(tǒng)方法，基于深度學(xué)習(xí)的目標(biāo)分割方法在準(zhǔn)確率上得到極大提升，主要有Mask R-CNN［10］、DeepLab［11］等。

1.3 目標(biāo)跟蹤

目標(biāo)跟蹤的目的是確定一段視頻序列中某一個(gè)或多個(gè)目標(biāo)的大小和位置并將目標(biāo)關(guān)聯(lián)起來，形成目標(biāo)在視頻序列中的運(yùn)動(dòng)軌跡。根據(jù)建模方式不同，目標(biāo)跟蹤算法分為生成模型和判別模型。生成模型提取目標(biāo)特征構(gòu)建表現(xiàn)模型，在圖像中搜索與模型最匹配的區(qū)域作為跟蹤結(jié)果，如Mean-shift［12］、卡爾曼濾波［13］等。判別模型將目標(biāo)跟蹤轉(zhuǎn)化為二分類問題，將目標(biāo)和背景看成兩個(gè)類別進(jìn)行特征提取和分類，如相關(guān)濾波［14］、深度學(xué)習(xí)等。生成模型僅對(duì)目標(biāo)建模，忽略了背景信息，魯棒性不如判別模型。

2 機(jī)器視覺技術(shù)在電力安全監(jiān)控中的應(yīng)用

深度學(xué)習(xí)的發(fā)展使得機(jī)器視覺技術(shù)的準(zhǔn)確性和魯棒性大幅提升，其在電力安全監(jiān)控中的應(yīng)用研究越來越受關(guān)注，輸變電設(shè)備狀態(tài)監(jiān)控、人員狀態(tài)監(jiān)控和重要區(qū)域環(huán)境狀態(tài)監(jiān)控的智能化水平不斷提升。

2.1 輸變電設(shè)備狀態(tài)監(jiān)控

輸電設(shè)備和變電設(shè)備在所處地理位置、環(huán)境及監(jiān)控方式等方面都存在較大差異，因此監(jiān)控重點(diǎn)有所不同。

2.1.1 輸電線路狀態(tài)檢測

架空輸電線路由桿塔、絕緣子、金具、導(dǎo)線等部件構(gòu)成，具有分布點(diǎn)多面廣、長期暴露于自然環(huán)境中、地理位置偏僻復(fù)雜等特點(diǎn)，因此主要借助無人機(jī)、直升機(jī)、巡線機(jī)器人等設(shè)備搭載攝像頭進(jìn)行移動(dòng)式監(jiān)控，目前無人機(jī)巡線已經(jīng)成為我國架空輸電線路巡檢的主要手段。

表1給出了輸電線路中常見的部件缺陷，下文分別介紹各部件的缺陷檢測研究進(jìn)展。

表1 輸電線路常見缺陷

1）桿塔是輸電線路中尺度最大的部件，針對(duì)桿塔的檢測目的是發(fā)現(xiàn)倒桿、斷桿，排除桿塔傾斜、塔材彎曲、銹蝕等桿塔異常情況，同時(shí)定位桿塔上尺度更小的部件，進(jìn)行更小尺度上的缺陷檢測。傳統(tǒng)方法主要通過模板匹配、邊緣檢測等方法對(duì)桿塔進(jìn)行檢測。文獻(xiàn)［15］采用LSD 方法檢測并提取圖像中的直線段特征，與預(yù)先建立的桿塔三維模型的投影進(jìn)行匹配，從而實(shí)現(xiàn)桿塔檢測。文獻(xiàn)［16］在線段特征基礎(chǔ)上進(jìn)行桿塔主輪廓提取并計(jì)算中軸，根據(jù)中軸和地面法線的夾角來判斷傾斜程度。傳統(tǒng)方法過于依賴人工設(shè)計(jì)特征，局限性很大，僅適用于特定條件下。引入機(jī)器學(xué)習(xí)技術(shù)后，涌現(xiàn)出更多桿塔特征提取和模式識(shí)別方法，包括HOG 特征法［17］、Harris 角點(diǎn)檢測法［18］、支持向量機(jī)、極限學(xué)習(xí)機(jī)等。近期，基于深度學(xué)習(xí)的目標(biāo)檢測方法被用于桿塔檢測，包括Faster-RCNN［19-20］、YOLOv3［21-22］等常見目標(biāo)檢測模型。在相同的檢測速度下，YOLOv3 的平均準(zhǔn)確率比Faster R-CNN更高，而且更適用于無人機(jī)巡檢的應(yīng)用場景。

2）絕緣子是輸電線路上的電氣絕緣和機(jī)械固定元件，主要材質(zhì)是陶瓷、玻璃或其他復(fù)合材料，易發(fā)生自爆、掉串、破損、臟污等異常。絕緣子尺度適中，較易被檢測出，異常狀態(tài)是在本體檢測基礎(chǔ)上進(jìn)一步判別，存在難點(diǎn)。傳統(tǒng)方法基于絕緣子的外觀和色差，主要有模板匹配法［23-24］、特征識(shí)別法［25］、圖像分割法［26］、輪廓提取法［27］等，然而絕緣子所處背景復(fù)雜，存在桿塔和線路等其他目標(biāo)，極大影響了傳統(tǒng)方法的適用性。近年來基于深度學(xué)習(xí)的目標(biāo)檢測模型層出不窮，主要以YOLO［28-30］、Faster-RCNN［31-32］等熱門模型為主，其研究重點(diǎn)均是對(duì)原模型進(jìn)行改造以提高檢測準(zhǔn)確率。由于缺乏異常樣本，同時(shí)深度方法對(duì)樣本量要求較高，樣本不平衡問題也成為研究的關(guān)注點(diǎn)，解決思路分為擴(kuò)充樣本和改進(jìn)算法兩種。擴(kuò)充樣本包括圖像增強(qiáng)方式［33］、3D建模方式［34］和基于生成對(duì)抗網(wǎng)絡(luò)的方式［35-36］。改進(jìn)算法一般從遷移學(xué)習(xí)［37］、代價(jià)敏感學(xué)習(xí)［38］和集成學(xué)習(xí)等方面考慮。

3）金具作為輸電線路中支撐、連接、固定和防護(hù)其他部件的金屬附件，其種類和尺寸各異，分布廣泛，存在的缺陷也各不相同，屬于小目標(biāo)檢測問題。在本體及缺陷檢測方法上同樣有早期的傳統(tǒng)機(jī)器學(xué)習(xí)方法和近期的深度學(xué)習(xí)方法，前者需要針對(duì)每一種金具類型及其缺陷種類進(jìn)行人工特征設(shè)計(jì)及提取，工作量大且適用性差；后者雖然在特征提取方面具備很大優(yōu)勢，同時(shí)具備多目標(biāo)檢測功能，但需要大量缺陷樣本支撐，其樣本標(biāo)注工作量也較大。文獻(xiàn)［15］采用生成對(duì)抗網(wǎng)絡(luò)豐富樣本集，利用Faster-RCNN 檢測缺銷釘、脫銷、缺墊片和銷釘未開口等缺陷。文獻(xiàn)［39］提出了一種基于改進(jìn)Cascade R-CNN 的典型金具檢測方法，涉及線夾、掛環(huán)等10 種金具本體和均壓環(huán)損壞、防震錘交叉2種缺陷檢測。金具及其缺陷檢測所應(yīng)用的模型主要包括Faster R-CNN［40-41］、YOLO［42］和SSD［43-44］。

4）導(dǎo)線承擔(dān)傳輸電能的任務(wù)，然而針對(duì)導(dǎo)線的檢測研究并不多，大多采用的是圖像處理方法。文獻(xiàn)［45］采用自適應(yīng)Canny 邊緣檢測實(shí)現(xiàn)導(dǎo)線提取。文獻(xiàn)［46］利用加權(quán)色差法、最大類間方差法以及形態(tài)學(xué)濾波實(shí)現(xiàn)導(dǎo)線分割，并設(shè)計(jì)提取紋理特征用于缺陷狀態(tài)識(shí)別。文獻(xiàn)［47］基于DeepLab v3+模型初步識(shí)別導(dǎo)線。導(dǎo)線斷股在配電網(wǎng)中出現(xiàn)得較多，文獻(xiàn)［48］通過LSD 和形變物體檢測算法進(jìn)行導(dǎo)線斷股檢測。文獻(xiàn)［49］采用FCN 網(wǎng)絡(luò)進(jìn)行導(dǎo)線分割，并設(shè)計(jì)圖像特征進(jìn)行斷股檢測。

2.1.2 變電設(shè)備狀態(tài)檢測

變電設(shè)備主要包括變壓器、斷路器、隔離開關(guān)、儀表設(shè)備、電壓互感器、電流互感器、避雷器等，其狀態(tài)估計(jì)主要依靠帶電檢測和在線監(jiān)測等手段，而變電設(shè)備的視頻監(jiān)控主要關(guān)注可視化的缺陷和開關(guān)表計(jì)等指示狀態(tài)。表2給出了變電設(shè)備監(jiān)控重點(diǎn)。

表2 變電設(shè)備監(jiān)控重點(diǎn)

發(fā)熱是變電設(shè)備最受關(guān)注的嚴(yán)重缺陷，進(jìn)一步可發(fā)展為更嚴(yán)重的設(shè)備故障，因此，對(duì)設(shè)備敏感區(qū)域進(jìn)行溫度監(jiān)測顯得格外重要。紅外熱成像一直以來都是設(shè)備測溫應(yīng)用最廣泛且最有效的手段，基于紅外圖像的設(shè)備發(fā)熱故障診斷一直是研究熱點(diǎn)。發(fā)熱診斷的任務(wù)是確定發(fā)熱位置和發(fā)熱嚴(yán)重程度，涉及到定位和分類，和目標(biāo)檢測任務(wù)契合。因此，目前主流的方法都是基于目標(biāo)檢測技術(shù)，采用的模型主要是Faster R-CNN［50-52］和YOLO［53-55］。然而僅是對(duì)設(shè)備本體或異常發(fā)熱區(qū)域進(jìn)行目標(biāo)檢測，發(fā)熱性質(zhì)、重要程度及溫度值都需要借助圖像處理技術(shù)進(jìn)一步分析。通過目標(biāo)分割方法也能定位發(fā)熱區(qū)域，常用的模型包括Mask R-CNN［56］、DeepLabv3+［57］等。目標(biāo)分割提取的區(qū)域是像素級(jí)別的，比目標(biāo)檢測的邊界框更精細(xì)。

由于變電設(shè)備大多在變電站內(nèi)，自然環(huán)境優(yōu)于輸電線路，因此，變電設(shè)備在外觀破損和元件缺失方面的檢測需求低于輸電線路，而對(duì)銹蝕和漏油關(guān)注更多。文獻(xiàn)［58］首先采用SSD 算法檢測變壓器目標(biāo)，然后用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行銹蝕和漏油的判別。文獻(xiàn)［59］使用輕量化的mobilenet-SSD模型進(jìn)行充油設(shè)備的油液滲漏識(shí)別，提升了計(jì)算效率。文獻(xiàn)［60］提出一種直方圖均衡化的樣本增強(qiáng)方法，在此基礎(chǔ)上采用循環(huán)訓(xùn)練RetinaNet 模型的方法提高陰影與漏油的識(shí)別度。

變電站中存在大量的指示類狀態(tài)信息，包括斷路器/隔離開關(guān)的分合狀態(tài)、數(shù)字型和指針型表計(jì)的讀數(shù)、信號(hào)燈狀態(tài)、壓板位置等幾大類。

組合電器式隔離開關(guān)分合狀態(tài)用“分”“合”兩個(gè)漢字牌來表示，是機(jī)器視覺識(shí)別的對(duì)象，在圖像清晰的前提下通過識(shí)別漢字和底色能輕易判別。而隔離開關(guān)的分合狀態(tài)則是由開關(guān)臂的位置及是否連通來判斷，易受拍攝角度和背景影響。主要方法包括模板匹配［61］、機(jī)器學(xué)習(xí)［62-63］方法，兩者都需要針對(duì)分合兩種狀態(tài)下的隔離開關(guān)圖像人工構(gòu)造特征，針對(duì)性強(qiáng)，通用性不足。文獻(xiàn)［61］采用差分算法和OTSU 二值化算法提取隔離開關(guān)的三相觸頭輪廓，通過當(dāng)前狀態(tài)和標(biāo)準(zhǔn)合閘的輪廓面積比對(duì)實(shí)現(xiàn)分合狀態(tài)判別。文獻(xiàn)［63］在區(qū)域分割的基礎(chǔ)上，針對(duì)合閘、分閘不到位、分閘到位3種狀態(tài)提取了投影長度之比作為特征。而目標(biāo)檢測和目標(biāo)分割方法僅是對(duì)刀閘及區(qū)域的識(shí)別［64］，分合狀態(tài)依然是靠圖像處理設(shè)計(jì)特征來判斷。

儀表分為數(shù)字型和指針型兩種顯示方式，儀表讀數(shù)并非電力場景獨(dú)有，水表、氣表等計(jì)量表均有遠(yuǎn)程智能抄表的需求。數(shù)字表的識(shí)別本質(zhì)上是對(duì)數(shù)字的識(shí)別，但需要考慮字輪式儀表中出現(xiàn)的雙半字符情況，采用深度學(xué)習(xí)方法能達(dá)到99%的準(zhǔn)確率［65］。指針表的讀數(shù)識(shí)別方法主要分為基于儀表指針檢測［66-68］和基于圖像特征映射兩類［69］。前者步驟較多，依次為表盤目標(biāo)檢測、表盤校準(zhǔn)、指針提取、讀數(shù)識(shí)別，受影響因素較多，各環(huán)節(jié)均易產(chǎn)生誤差。后者直接訓(xùn)練從圖像特征到讀數(shù)的映射模型，通過回歸得到讀數(shù)，簡化了流程，但方法準(zhǔn)確性取決于圖像特征的質(zhì)量。文獻(xiàn)［66-68］屬于儀表指針檢測類方法，區(qū)別在于各環(huán)節(jié)所使用的算法，在表盤指針區(qū)域檢測方面，F(xiàn)aster-RCNN 和YOLO 等深度模型是主流方法，指針提取有OSTU 閾值分割、霍夫變換、U-Net 分割等方法，讀數(shù)計(jì)算主要有角度法和距離法兩種。圖像特征映射類方法較少，文獻(xiàn)［69］采用融合了卷積注意力機(jī)制的雙路異構(gòu)卷積神經(jīng)網(wǎng)絡(luò)提取儀表圖像特征，將指針讀數(shù)識(shí)別轉(zhuǎn)化為識(shí)別指針區(qū)間分布的分類問題。變電站內(nèi)儀表種類繁多、監(jiān)控圖像質(zhì)量低，因此算法的魯棒性和適用性是工程應(yīng)用的關(guān)鍵。

保護(hù)壓板投退狀態(tài)的校核是一項(xiàng)重要巡檢工作，它關(guān)系到保護(hù)系統(tǒng)能否正確動(dòng)作。目前，基于視頻監(jiān)控的智能校核方法主要包括數(shù)字圖像處理［70-72］、機(jī)器學(xué)習(xí)特征識(shí)別［73］、深度學(xué)習(xí)［74-78］3類。前兩類方法的關(guān)鍵是檢測并分割目標(biāo)壓板區(qū)域和構(gòu)造反映壓板不同狀態(tài)的圖像特征。在特征構(gòu)造上均是圍繞“投”“退”兩種狀態(tài)下的壓板形態(tài)進(jìn)行設(shè)計(jì)，包括方向、面積、尺寸、形狀等，可解釋性強(qiáng)。文獻(xiàn)［70］融合多閾值和K均值聚類分割壓板區(qū)域，提取方向角和寬長比作為判別特征。文獻(xiàn)［78］采用改進(jìn)后的雙線性卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了壓板狀態(tài)端到端的識(shí)別，省去了人工設(shè)計(jì)特征的環(huán)節(jié)，但是可解釋性弱。

2.2 人員狀態(tài)監(jiān)控

雖然電力場景中的很多巡視類工作已通過視頻監(jiān)控完成，但大部分電力作業(yè)還是依靠人工，管住人員是管住作業(yè)現(xiàn)場安全的關(guān)鍵。傳統(tǒng)的電力作業(yè)現(xiàn)場安全監(jiān)督主要依靠現(xiàn)場作業(yè)負(fù)責(zé)人和作業(yè)稽查人員，無法實(shí)現(xiàn)全程監(jiān)督，尤其是對(duì)瞬時(shí)和短時(shí)違章行為監(jiān)督力度不夠。

近年來，以智能安全帽、布控球、電子圍欄等為主的數(shù)字化安全管控智能終端逐漸推廣應(yīng)用，使得移動(dòng)式的作業(yè)現(xiàn)場納入視頻監(jiān)控，對(duì)違章行為的智能識(shí)別需求不斷增強(qiáng)。

從作業(yè)人員行為狀態(tài)的識(shí)別方法角度，可以將人員狀態(tài)分為靜態(tài)和動(dòng)態(tài)兩種，區(qū)別在于能否采用單幀圖像進(jìn)行判別。表3列出了作業(yè)人員典型違章行為。

表3 作業(yè)人員典型違章行為

2.2.1 人員靜態(tài)判別

人員靜態(tài)狀態(tài)可利用單幀圖像完成判別，主要包括人員的身份狀態(tài)、著裝狀態(tài)以及抽煙、倒地、打手機(jī)、梯上作業(yè)無人扶梯、登高作業(yè)無人監(jiān)護(hù)等狀態(tài)類違章行為。

作業(yè)人員的身份識(shí)別是人員資質(zhì)校核、外來人員闖入、違章行為綁定等相關(guān)后續(xù)功能的基礎(chǔ)。由于作業(yè)人員著裝統(tǒng)一，開工前的人臉主動(dòng)識(shí)別和工作中的人臉抓拍識(shí)別是目前最主要的手段。

規(guī)范著裝是電力作業(yè)人員的基礎(chǔ)要求，具體著裝包括安全帽、工作服、馬甲、絕緣鞋/靴、絕緣手套、安全帶、護(hù)目鏡等穿戴類用品。安全著裝的視覺特征明顯，其中基于目標(biāo)檢測方法的安全帽佩戴的識(shí)別精度已滿足工程應(yīng)用需求［79-81］。而工作服、馬甲、絕緣鞋/靴、絕緣手套、安全帶和護(hù)目鏡的智能識(shí)別成果并不多，因外觀不統(tǒng)一、種類繁多而給智能識(shí)別模型的構(gòu)建增加了難度。著裝檢測方法通常都是在人體目標(biāo)檢測的基礎(chǔ)上對(duì)關(guān)注區(qū)域進(jìn)行特征提取和分類。文獻(xiàn)［82］采用深度學(xué)習(xí)檢測人體關(guān)鍵點(diǎn)，以此進(jìn)行區(qū)域定位，然后利用基于注意力機(jī)制的分類模型識(shí)別各區(qū)域的著裝情況。文獻(xiàn)［80，83］均在檢測模型的輕量化上進(jìn)行了改進(jìn)。文獻(xiàn)［84］為了提高安全帽、護(hù)目鏡等極低分辨率目標(biāo)的檢測精度，采用稀疏表示模型提高圖像分辨率，并且對(duì)SSD 算法的特征提取層進(jìn)行了改進(jìn)。然而，安全帶、絕緣手套、護(hù)目鏡等特種作業(yè)專用工具需要結(jié)合對(duì)應(yīng)作業(yè)場景進(jìn)行判斷。文獻(xiàn)［85］在電焊作業(yè)場景下，利用YOLOv3 算法檢測出特定對(duì)象后引入交并比構(gòu)造邏輯判斷函數(shù)判斷是否安全作業(yè)。

抽煙、倒地、打手機(jī)等較常見的異常行為［86］和電力作業(yè)場景關(guān)聯(lián)性不大，屬于狀態(tài)類行為，可以采用圖像識(shí)別的方式對(duì)圖像幀進(jìn)行判別，且樣本較易獲取，其他場景的算法模型可以輕易遷移到電力作業(yè)場景應(yīng)用。

梯上作業(yè)無人扶梯、登高作業(yè)無人監(jiān)護(hù)等與現(xiàn)場作業(yè)相關(guān)聯(lián)的狀態(tài)類違章行為是電力作業(yè)現(xiàn)場監(jiān)控的重點(diǎn)，同時(shí)也是難點(diǎn)。此類狀態(tài)類違章行為可以借鑒文獻(xiàn)［85］的思路，從目標(biāo)檢測結(jié)合邏輯判斷的方式進(jìn)行綜合判別，但如何提高魯棒性是挑戰(zhàn)。

2.2.2 人員動(dòng)態(tài)判別

人員動(dòng)態(tài)狀態(tài)無法利用單幀圖像進(jìn)行判別，需要在時(shí)序圖像或視頻流基礎(chǔ)上進(jìn)行分析識(shí)別，主要包括人員跟蹤以及投擲物體、打架、翻越圍欄等動(dòng)作類違章行為。

大型復(fù)雜作業(yè)場景中作業(yè)人員較多，作業(yè)范圍廣大，對(duì)作業(yè)人員進(jìn)行跟蹤對(duì)于差異化作業(yè)任務(wù)下的個(gè)體安全十分必要。實(shí)現(xiàn)人員跟蹤需要持續(xù)完成人體檢測、人員身份識(shí)別、人員實(shí)時(shí)定位等多個(gè)任務(wù)。目前，針對(duì)電力作業(yè)場景的人員跟蹤研究較少，一方面可以借鑒其他場景的人員跟蹤成果，另一方面可以將任務(wù)分解。文獻(xiàn)［87］針對(duì)人員身份識(shí)別引入了步態(tài)特征作為人臉特征的補(bǔ)充，彌補(bǔ)了人臉難以獲取的應(yīng)用場景。人員實(shí)時(shí)定位單純借助視頻監(jiān)控難以實(shí)現(xiàn)，前提需要建立場景坐標(biāo)模型，通過多攝像頭與坐標(biāo)關(guān)聯(lián)映射的方法實(shí)現(xiàn)粗定位，然后通過單視角下的目標(biāo)跟蹤及坐標(biāo)映射實(shí)現(xiàn)精細(xì)定位。這對(duì)于變電站等固定場景具有可行性，但對(duì)于臨時(shí)作業(yè)場景成本太大，不具備實(shí)施條件，基于非視頻的定位方式更合適，如北斗、UWB（超寬帶）。

投擲物體、打架、翻越圍欄等動(dòng)作類違章行為的智能識(shí)別是難點(diǎn)，尤其是電力作業(yè)場景特有的動(dòng)作，一是因?yàn)闃颖救狈Γ且驗(yàn)殡娏ψ鳂I(yè)中的動(dòng)作包含復(fù)雜的人物交互信息，動(dòng)作合規(guī)性有嚴(yán)格的定義?？傮w上，電力作業(yè)場景中的動(dòng)作類違章識(shí)別還停留在對(duì)打架、投擲物體等較為普遍的動(dòng)作識(shí)別上，具體應(yīng)用尚處在初級(jí)起步階段。文獻(xiàn)［88］采用長效遞歸卷積網(wǎng)絡(luò)同時(shí)提取視頻幀中的外觀信息和動(dòng)態(tài)信息，對(duì)攀巖施工、進(jìn)入某區(qū)域、開會(huì)討論和檢修記錄4 類行為進(jìn)行了識(shí)別。文獻(xiàn)［89］與文獻(xiàn)［88］思路類似，構(gòu)建了一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)的電力生產(chǎn)安全動(dòng)作識(shí)別網(wǎng)絡(luò)架構(gòu)，采用兩個(gè)卷積網(wǎng)絡(luò)分別從單幀圖像和多幀密集光流中學(xué)習(xí)人體外觀、姿態(tài)等靜態(tài)信息和動(dòng)態(tài)運(yùn)動(dòng)信息，并進(jìn)行融合分類。

2.3 重要區(qū)域環(huán)境狀態(tài)監(jiān)控

對(duì)于輸電線路和變電站等電網(wǎng)重要設(shè)施來說，除了來自設(shè)備本身和人員的風(fēng)險(xiǎn)因素之外，環(huán)境因素也是需要關(guān)注的風(fēng)險(xiǎn)源。

2.3.1 輸電線路周界環(huán)境監(jiān)測

輸電線路覆蓋范圍廣，跨越里程量大，所處的自然環(huán)境和社會(huì)環(huán)境十分復(fù)雜。線路周界環(huán)境異動(dòng)會(huì)對(duì)電力輸送的安全性產(chǎn)生風(fēng)險(xiǎn)，可能導(dǎo)致線路故障甚至區(qū)域停電。其中能靠視頻監(jiān)測的較大風(fēng)險(xiǎn)包括山火、導(dǎo)線覆冰、植被生長、異物入侵等。

預(yù)防山火主要有3個(gè)方面：一是部署傳感器進(jìn)行監(jiān)測，但成本較高，且可靠性不高；二是根據(jù)衛(wèi)星遙感數(shù)據(jù)建立山火風(fēng)險(xiǎn)評(píng)估模型，對(duì)山火進(jìn)行動(dòng)態(tài)評(píng)估和預(yù)警；三是部署固定攝像頭，對(duì)山火隱患進(jìn)行實(shí)時(shí)監(jiān)控。文獻(xiàn)［90］借助遙感影像，利用隨機(jī)森林模型選取植被類型、綠度指數(shù)、高程、坡度、坡向和月份共6個(gè)預(yù)警指標(biāo)預(yù)測山火發(fā)生概率，但山火發(fā)生的影響因素非常復(fù)雜，文章未考慮全面。文獻(xiàn)［91］根據(jù)固定攝像機(jī)的實(shí)時(shí)監(jiān)控畫面，通過圖像幀差值的方法檢測異常點(diǎn)進(jìn)而判斷早期山火煙霧。文獻(xiàn)［92］構(gòu)建Mobilenet-SSD 模型并進(jìn)行邊緣部署識(shí)別山火，準(zhǔn)確率達(dá)到81%。

覆冰會(huì)增加導(dǎo)線自重、產(chǎn)生弧垂、加劇導(dǎo)線舞動(dòng)，造成斷線、倒塔等嚴(yán)重故障。視覺方法是覆冰厚度監(jiān)測主流手段之一，又分為傳統(tǒng)圖像處理方法和深度學(xué)習(xí)方法。傳統(tǒng)方法通過邊緣檢測技術(shù)提取覆冰后的導(dǎo)線輪廓，與覆冰前進(jìn)行比較得出覆冰厚度［93-95］，對(duì)圖像質(zhì)量要求較高。深度學(xué)習(xí)方法目前應(yīng)用還較少，處于探索研究階段。文獻(xiàn)［96］采用卷積神經(jīng)網(wǎng)絡(luò)建立從覆冰圖像到覆冰厚度等級(jí)的映射模型，并引入IBP 自調(diào)整機(jī)制進(jìn)行優(yōu)化提升泛化能力。文獻(xiàn)［97］面向邊緣計(jì)算需求采用輕量化卷積神經(jīng)網(wǎng)絡(luò)MobileNetV3 提取覆冰圖像特征，并引入多感受野模塊增強(qiáng)特征表達(dá)能力，通過SSD模型實(shí)現(xiàn)特征到覆冰等級(jí)的映射，然而邊緣計(jì)算裝置在覆冰氣候下的可靠性有待研究。

植被因生長過快接近高壓線路，容易造成線路短路、斷線等故障繼而引發(fā)跳閘、停電，被稱為樹障。植被覆蓋范圍廣，目前普遍依托衛(wèi)星影像［98-99］和航拍圖像［100-101］進(jìn)行樹障監(jiān)測，通過建立模型實(shí)現(xiàn)樹高的檢測和線樹距離的測量。文獻(xiàn)［102］基于掛線運(yùn)行的雙目攝像頭，建立樹木興趣區(qū)域模型，通過可變窗口塊匹配法擬合樹障隱患邊緣，實(shí)現(xiàn)測距。

部分輸電線路臨近城市、村莊等地區(qū)，存在大量異物入侵的風(fēng)險(xiǎn)，主要包括大型機(jī)械施工造成的外力破壞和鳥巢、蜂巢、風(fēng)箏、塑料垃圾等懸掛異物造成的線路故障。針對(duì)機(jī)械施工的外破預(yù)警不僅要檢測出施工機(jī)械，還需要判斷是否對(duì)線路造成風(fēng)險(xiǎn)。文獻(xiàn)［103］采用目標(biāo)分割模型Mask R-CNN 替代常用的目標(biāo)檢測模型進(jìn)行施工機(jī)械輪廓分割，提升外破預(yù)警的準(zhǔn)確性。對(duì)于懸掛異物，目前的思路分為圖像分類和目標(biāo)檢測兩種。前者對(duì)圖像提取特征后進(jìn)行分類識(shí)別，提取特征環(huán)節(jié)多采用深度學(xué)習(xí)方法［104-107］。后者直接對(duì)出現(xiàn)的異物進(jìn)行目標(biāo)檢測，采用的模型主要有Faster-RCNN［108-109］、SSD［110-111］、YOLO［112-113］，比圖像分類方法更準(zhǔn)確。隨著深度網(wǎng)絡(luò)模型越來越成熟，提升異物入侵檢測智能化水平的關(guān)鍵在于樣本，文獻(xiàn)［108-109，113］分別采用條件生成對(duì)抗網(wǎng)絡(luò)和圖像合成擴(kuò)充樣本。

2.3.2 變電站環(huán)境監(jiān)測

變電站屬于半封閉場所，其自然環(huán)境雖沒有輸電線路惡劣，但站內(nèi)設(shè)備的種類和數(shù)量都較多，環(huán)境較為特殊。站內(nèi)環(huán)境監(jiān)測重點(diǎn)包括溫濕度、電磁場、風(fēng)力、氣體成分、異物入侵、煙霧與明火等。其中，溫濕度、電磁場、風(fēng)力及氣體均有相應(yīng)的傳感器，且無法通過視覺方式感知，因此視覺監(jiān)控主要用于站內(nèi)的異物入侵、煙霧和明火的檢測上。

變電站內(nèi)的異物入侵和輸電線路類似，由于變電站半封閉的環(huán)境特性，其異物入侵也較輸電線路少，目前這方面研究成果也不多，但需求并無區(qū)別，輸電線路上所用方法可以直接遷移過來使用。文獻(xiàn)［114］采用改進(jìn)后的Faster-RCNN 模型對(duì)變電站內(nèi)的鳥巢和懸掛物等小目標(biāo)異物進(jìn)行檢測。文獻(xiàn)［115］對(duì)YOLOv5模型的錨框尺寸和特征提取改進(jìn)后用于鳥巢和風(fēng)飄物檢測，提升了識(shí)別率。

變電站內(nèi)設(shè)備眾多，環(huán)境復(fù)雜，易發(fā)生電氣火災(zāi)。目前，煙霧和明火預(yù)警主要還是依靠溫度、煙霧傳感器，存在滯后性。視覺方法實(shí)時(shí)性較高，可作為煙霧和火災(zāi)檢測的補(bǔ)充手段，在變電站內(nèi)的應(yīng)用也早有研究。早期的檢測方法是通過數(shù)字圖像處理技術(shù)對(duì)煙霧和明火進(jìn)行特征描述和提取，根據(jù)特征參數(shù)識(shí)別煙霧和明火。文獻(xiàn)［116］結(jié)合運(yùn)動(dòng)特征和顏色特征進(jìn)行變電站內(nèi)的煙霧檢測，但未在變電站內(nèi)進(jìn)行應(yīng)用檢驗(yàn)?；谏疃葘W(xué)習(xí)的方法將煙霧和火災(zāi)檢測作為目標(biāo)檢測任務(wù)，從大量樣本中自動(dòng)學(xué)習(xí)特征，避免了人工設(shè)計(jì)特征的局限性，泛化能力更強(qiáng)。文獻(xiàn)［117］采用Mobile-Netv3-Large 網(wǎng)絡(luò)對(duì)YOLOv3 模型進(jìn)行改進(jìn)輕量化改進(jìn)，減小了模型大小，提升了檢測效率，便于在無人機(jī)、機(jī)器人等邊緣側(cè)部署。

3 問題分析及相關(guān)建議

前文從輸變電設(shè)備狀態(tài)監(jiān)控、人員狀態(tài)監(jiān)控、重要區(qū)域環(huán)境狀態(tài)監(jiān)控3種應(yīng)用場景，整體分析了機(jī)器視覺技術(shù)在電力安全監(jiān)控中的應(yīng)用研究進(jìn)展，可以看出，現(xiàn)有研究仍存在諸多問題，應(yīng)用水平還有待提高，電力視覺向電力智能視覺演進(jìn)還需時(shí)間。

3.1 缺乏統(tǒng)一標(biāo)準(zhǔn)樣本集

算法模型、數(shù)據(jù)樣本和算力資源是影響機(jī)器視覺技術(shù)應(yīng)用落地的3個(gè)重要要素，其中，數(shù)據(jù)樣本問題最為突出。無人機(jī)、機(jī)器人、固定攝像頭等監(jiān)控終端及其應(yīng)用系統(tǒng)每天獲取大量的數(shù)據(jù)，但絕大多數(shù)都是正常數(shù)據(jù)，異常狀態(tài)下的成熟樣本成為稀缺資源。由數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法對(duì)訓(xùn)練樣本的數(shù)量有較高要求，高質(zhì)量統(tǒng)一標(biāo)準(zhǔn)樣本集的缺乏，一方面限制了基于深度學(xué)習(xí)的機(jī)器視覺應(yīng)用，另一方面也制約了電力安全監(jiān)控領(lǐng)域機(jī)器視覺方法的性能評(píng)估與對(duì)比，間接阻礙了技術(shù)的革新發(fā)展。

通過圖像增強(qiáng)和圖像融合等方法可以實(shí)現(xiàn)樣本的擴(kuò)充，但并未從根本上解決樣本缺乏問題。目前，電網(wǎng)公司正在進(jìn)行樣本庫建設(shè)，試圖從管理層面推動(dòng)樣本匯集，然而在技術(shù)層面上并未建成一條從數(shù)據(jù)產(chǎn)生、采集、預(yù)處理、標(biāo)注到成熟樣本及樣本利用的完整鏈路。需要依托視頻監(jiān)控系統(tǒng)本身，將識(shí)別到的異常情況作為樣本來源，并研發(fā)智能標(biāo)注工具輔助人工標(biāo)注，提升標(biāo)注效率，從而擴(kuò)充樣本，促進(jìn)模型更新，形成良性循環(huán)。

3.2 安全監(jiān)控系統(tǒng)之間存在孤立

現(xiàn)有的安全監(jiān)控系統(tǒng)由于解決的問題存在差異，在電網(wǎng)公司中所屬業(yè)務(wù)部門不同，因此基礎(chǔ)架構(gòu)、系統(tǒng)功能和數(shù)據(jù)接口都不統(tǒng)一。同時(shí)，由于安全監(jiān)控需求的碎片化，很多系統(tǒng)自成一體，相互孤立，存在業(yè)務(wù)和數(shù)據(jù)壁壘，甚至所用的監(jiān)控設(shè)備都存在重復(fù)建設(shè)問題。

一方面，需要對(duì)輸電線路、變電站等重要區(qū)域的監(jiān)控點(diǎn)進(jìn)行規(guī)劃研究，綜合考慮風(fēng)險(xiǎn)因素、建設(shè)成本、基礎(chǔ)條件、環(huán)境因素，對(duì)安全監(jiān)控的設(shè)備選型、布點(diǎn)位置進(jìn)行統(tǒng)一規(guī)劃，形成可推廣的標(biāo)準(zhǔn)化建設(shè)模板。

另一方面，需要打通所有安全監(jiān)控系統(tǒng)，建立一套視覺終端運(yùn)行管理系統(tǒng)，不僅實(shí)現(xiàn)重點(diǎn)區(qū)域的全景感知，同時(shí)對(duì)所有視覺終端的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測，對(duì)視覺終端所運(yùn)行的算法模型進(jìn)行動(dòng)態(tài)管理。

3.3 算法的泛化和遷移能力弱

基于深度學(xué)習(xí)的機(jī)器視覺技術(shù)在泛化能力和遷移能力上較傳統(tǒng)方法有了大幅提升，然而場景或需求的變化在一定程度上同樣能影響深度方法的實(shí)際表現(xiàn)，甚至可能導(dǎo)致方法失效。這是由于深度方法對(duì)于樣本集的強(qiáng)依賴性使得其在碎片化和專業(yè)化應(yīng)用場景中的泛化能力和遷移能力取決于樣本集的數(shù)量和質(zhì)量。場景或需求的變化最終都會(huì)反映到樣本集的變化上，樣本集的變化則直接導(dǎo)致算法需要重新訓(xùn)練甚至重新設(shè)計(jì)。

為了提升機(jī)器視覺算法在實(shí)際應(yīng)用中的泛化能力和適配能力，除了提升樣本集數(shù)量和質(zhì)量之外，還需要對(duì)算法模型進(jìn)行兩方面優(yōu)化。一方面，在訓(xùn)練方式上進(jìn)行優(yōu)化，采用支持樣本類別和數(shù)量增加的增量學(xué)習(xí)方式，減少模型迭代更新的成本，提高易用性。另一方面，根據(jù)業(yè)務(wù)場景特點(diǎn)，明確深度方法在場景中的用途，同時(shí)借鑒傳統(tǒng)的特征構(gòu)造思路，選取物理含義明確的特征，增強(qiáng)算法的整體可解釋性，提升算法的泛化能力。

4 結(jié)語

隨著近年人工智能技術(shù)的突破發(fā)展，機(jī)器視覺技術(shù)也由傳統(tǒng)數(shù)字圖像處理方式轉(zhuǎn)入深度學(xué)習(xí)方式，這對(duì)電力安全監(jiān)控領(lǐng)域帶來了顛覆性的影響。智能化視覺系統(tǒng)將成為未來電力系統(tǒng)的眼睛，在保障電網(wǎng)輸變電設(shè)備、作業(yè)人員及重點(diǎn)區(qū)域環(huán)境安全方面發(fā)揮越來越重要的作用。本文綜述了機(jī)器視覺技術(shù)的概念及其在電力安全監(jiān)控領(lǐng)域的典型應(yīng)用場景與研究進(jìn)展，對(duì)目前存在的問題進(jìn)行分析并提出了相關(guān)建議。