李東賓，翟登輝，劉睿丹，張亞浩，李昭陽(yáng)

（許繼電氣股份有限公司，河南 許昌 461000）

0 引 言

近年來(lái)，隨著國(guó)家智能電網(wǎng)建設(shè)的穩(wěn)步推進(jìn)和對(duì)供電穩(wěn)定性的要求提高，傳統(tǒng)配電網(wǎng)維護(hù)手段因存在工作強(qiáng)度大、安全風(fēng)險(xiǎn)高以及作業(yè)效率低等缺點(diǎn)越來(lái)越難以滿足實(shí)際需求。為遵循配網(wǎng)檢修作業(yè)“能帶不停”的原則，各地供電企業(yè)單位正在不斷加強(qiáng)配網(wǎng)不停電作業(yè)能力建設(shè)，不停電作業(yè)已成為設(shè)備檢修維護(hù)的重要手段。

帶電作業(yè)機(jī)器人系統(tǒng)依托機(jī)械臂控制技術(shù)、人工智能算法、視覺(jué)傳感器等已成為一種較常見(jiàn)的電力維護(hù)運(yùn)維手段，成為替換人工作業(yè)的一種重要作業(yè)方式。目前，國(guó)外以日本、美國(guó)為代表的發(fā)達(dá)國(guó)家已經(jīng)開(kāi)發(fā)出了較為成熟的產(chǎn)品，并進(jìn)行了實(shí)驗(yàn)和應(yīng)用[1,2]。國(guó)內(nèi)山東魯能、億嘉和等公司同樣提出了自己的帶電作業(yè)機(jī)器人系統(tǒng)，并進(jìn)行了初步驗(yàn)證，國(guó)網(wǎng)天津電力公司劉召等通過(guò)對(duì)特征提取骨干網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入跳轉(zhuǎn)連接并調(diào)整激活層、卷積層的順序等，提出了基于改進(jìn)的Faster R-CNN線纜目標(biāo)檢測(cè)方法[3]。廣東電電力科學(xué)研究院謝龍光等人針對(duì)傳統(tǒng)帶電作業(yè)機(jī)器人路徑跟蹤方法穩(wěn)定性差和路徑跟蹤效率低的問(wèn)題提出了基于糊算法的路徑跟蹤方法，能夠在短時(shí)間內(nèi)實(shí)現(xiàn)高穩(wěn)定性的跟蹤[4]。云南電力科學(xué)研究院蔡曉斌等人在架空線路帶電作業(yè)機(jī)器人的基礎(chǔ)上提出了一種基于支持向量機(jī)的防震錘和螺栓識(shí)別方法[5]。由此可以看出，發(fā)展半自主、全自主的帶電作業(yè)機(jī)器人已逐漸成為電力場(chǎng)景檢修和維護(hù)的必然趨勢(shì)。然而帶電作業(yè)機(jī)器人在實(shí)際應(yīng)用中還存在各種各樣的問(wèn)題，有待進(jìn)一步研究。

高壓線纜目標(biāo)識(shí)別技術(shù)作為帶電作業(yè)機(jī)器人工作流程中的重要步驟，其識(shí)別在不同背景下仍存在定位不準(zhǔn)確的問(wèn)題。本文在此基礎(chǔ)上提出一種基于目標(biāo)檢測(cè)和HSV顏色空間變換的智能高壓線纜識(shí)別定位方法，利用優(yōu)化后的YOLO目標(biāo)檢測(cè)技術(shù)和色彩追蹤技術(shù)，結(jié)合深度相機(jī)，實(shí)現(xiàn)對(duì)高壓線纜三維坐標(biāo)的提取，進(jìn)而為機(jī)械臂動(dòng)作提供目標(biāo)空間信息。

1 YOLO v4目標(biāo)檢測(cè)算法

1.1 YOLO系列算法

YOLO系列算法作為目標(biāo)檢測(cè)領(lǐng)域的典型代表，從REDMON J等人在2016年首次提出就獲得了廣泛關(guān)注，其將特征圖分為S×S個(gè)單元格，每個(gè)單元格負(fù)責(zé)預(yù)測(cè)中心點(diǎn)落在該單元格內(nèi)的目標(biāo)，并且首次將候選框提取和目標(biāo)預(yù)測(cè)合并為一步，將目標(biāo)檢測(cè)任務(wù)作為回歸任務(wù)來(lái)解決，加快了目標(biāo)檢測(cè)的速度[6]。2018年，REDMON J等人再次提出了YOLO v3算法，該算法采用Darknet53作為主干特征提取網(wǎng)絡(luò)，借鑒復(fù)用了ResNet結(jié)構(gòu)，加強(qiáng)了網(wǎng)絡(luò)特征學(xué)習(xí)能力，在增加網(wǎng)絡(luò)深度的同時(shí)減小了梯度消失的影響[7]。

YOLO系列算法由Input、Backbone、Neck以及Head共4個(gè)部分組成。其中，Input代表輸入；Backbone代表特征提取骨干網(wǎng)絡(luò)，通?？捎煞诸悢?shù)據(jù)集預(yù)訓(xùn)練得到；Head代表檢測(cè)輸出頭，輸出信息為預(yù)測(cè)得到的目標(biāo)類別、置信度和坐標(biāo)信息；Neck通常介于Backbone和Head之間，主要作用為融合不同尺度的Backbone特征圖信息，通常有多個(gè)上采樣層和下采樣層組成。如圖1所示，Res-block是組成Darknet53的重要組成部分，由一個(gè)下采樣模塊（Con-down）與若干個(gè)殘差單元（Res-unit）組成。其中Con-down模塊由stride=2，卷積核為3*3，激活函數(shù)為leaky的卷積組成。Res-unit由卷積核1*1、3*3，stride均為1的兩個(gè)卷積組成。

圖1 Darknet53結(jié)構(gòu)示意圖

1.2 YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)

2020年，Bochkovskiy A等人提出了YOLO v4，相比YOLO v3，其主要在Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)以及訓(xùn)練策略等方面進(jìn)行了優(yōu)化[8]。在Backbone上由Darknet53提升為CSPDarknet53，引入了跨階段部分網(wǎng)絡(luò)（Cross Stage Partial Network，CSPNet），其可以減小網(wǎng)絡(luò)訓(xùn)練中的重復(fù)梯度信息，有效提升了卷積神經(jīng)網(wǎng)絡(luò)提取特征時(shí)的效率[9]。Neck網(wǎng)絡(luò)由SP和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）構(gòu)成[10,11]。SPP由多個(gè)不同尺度的最大池化層進(jìn)行采樣，且輸出特征圖尺度相同，然后對(duì)多個(gè)池化層進(jìn)行特征融合。PAN在FPN基礎(chǔ)上添加一條自底向上的路徑，從而縮短了較低層與最高特征之間的信息路徑。Darknet53和CSPDarknet53網(wǎng)絡(luò)連接示意如圖2所示。

圖2 Darknet53和CSPdarknet53骨干網(wǎng)絡(luò)對(duì)比圖

圖2（a）為Darknet53結(jié)構(gòu)示意圖，每個(gè)下采樣階段由n個(gè)Res-unit構(gòu)成，每次Con-dowd下采樣后，特征圖尺度縮小1倍。圖2（b）為CSPDarknet53結(jié)構(gòu)圖，其增加了一個(gè)梯度傳播通道，由兩個(gè)數(shù)據(jù)分支組成，左側(cè)分支由一個(gè)下采樣模塊和n個(gè)Res-unit組成，和Darknet53不同的是在最后面加了一個(gè)1*1卷積層。右側(cè)分支CSP結(jié)構(gòu)在下采樣后僅通過(guò)一個(gè)1*1卷積操作和左側(cè)分支進(jìn)行Concate連接。

1.3 YOLO v4網(wǎng)絡(luò)改進(jìn)

YOLO v4的設(shè)計(jì)是面向大規(guī)模數(shù)據(jù)及多類別識(shí)別目標(biāo)，如COCO數(shù)據(jù)集，擁有80類目標(biāo)，然而在帶電作業(yè)環(huán)境中，需要識(shí)別的目標(biāo)數(shù)量較少且對(duì)速度要求較高，因此本文對(duì)骨干特征提取網(wǎng)絡(luò)進(jìn)行精簡(jiǎn)，并改進(jìn)SPP網(wǎng)絡(luò)[12]。改進(jìn)后的網(wǎng)絡(luò)仍使用YOLO v4檢測(cè)頭進(jìn)行目標(biāo)類別、置信度以及坐標(biāo)框回歸。

1.3.1 骨干網(wǎng)絡(luò)簡(jiǎn)化

CSPDarknet53網(wǎng)絡(luò)共擁有5個(gè)Con-down模塊和5個(gè)CSPNet結(jié)構(gòu)，CSPNet結(jié)構(gòu)內(nèi)分別擁有1、2、8、8、4個(gè)殘差單元Res-unit。本文將CSPNet結(jié)構(gòu)內(nèi)殘差單元個(gè)數(shù)簡(jiǎn)化為1、2、4、4、2個(gè)殘差單元，并利用通道數(shù)量減半來(lái)進(jìn)一步縮小模型尺寸。

1.3.2 SPP網(wǎng)絡(luò)改進(jìn)

本文在SPP網(wǎng)絡(luò)的基礎(chǔ)上添加Shortcut層，形成一個(gè)類似CSP單元的結(jié)構(gòu)，即CSP-SPP模塊，如圖3所示。

圖3 CSP-SPP結(jié)構(gòu)圖

圖3（a）為YOLO v4的SPP結(jié)構(gòu)，利用不同尺度卷積核進(jìn)行最大池化操作，然后在通道上進(jìn)行Concate連接。圖3（b）為改進(jìn)后的SPP結(jié)構(gòu)，其引入了類似CSPNet結(jié)構(gòu)，最后在網(wǎng)絡(luò)通道上進(jìn)行Concate連接，即CSP-SPP模塊。

2 線纜識(shí)別定位方法

2.1 HSV變換原理

彩色模型是在某些標(biāo)準(zhǔn)下，用通?？梢越邮艿姆绞綄?duì)彩色加以說(shuō)明。本質(zhì)上，彩色模型是坐標(biāo)系統(tǒng)和子空間的說(shuō)明，其中位于系統(tǒng)中的每種顏色都由單個(gè)點(diǎn)來(lái)表示[13]。RGB彩色模型基于笛卡爾坐標(biāo)系，每種顏色出現(xiàn)在紅、綠、藍(lán)的原色光譜分量中，所考慮的彩色子空間如圖4（a）所示。HSV彩色模型用H、S、V三參數(shù)描述顏色特性，其中H定義顏色的波長(zhǎng)（色調(diào)）；S表示顏色的深淺程度（飽和度），V表示明亮度，如圖4（b）所示。

圖4 彩色模型圖

相比于RGB模型，HSV模型可以更好地反映人眼對(duì)色彩的感知。由RGB模型轉(zhuǎn)換到HSV模型的計(jì)算公式為：

式中，R、G、B分別表示RGB空間中各通道像素值；H、S、V表示HSV空間顏色色調(diào)、飽和度、明亮度；Tmax、Tmin分別為R、G、B中的最大值和最小值。

2.2 顏色追蹤原理

由于在RGB色彩空間中顏色有2563種可能，因此追蹤特定色彩目標(biāo)比較困難，但在HSV色彩空間中顏色僅跟H分量有關(guān)，更容易表示一個(gè)特定顏色，因此也更容易進(jìn)行特定顏色跟蹤。如表1所示是通用的不同顏色對(duì)應(yīng)的H、S、V三分量范圍。

表1 HSV顏色分量范圍

由表1可以看出，通過(guò)設(shè)置H、S、V各通道閾值，即可實(shí)現(xiàn)特定顏色的區(qū)分和追蹤。但值得注意的是，表中僅為一個(gè)模糊的閾值，在運(yùn)用HSV顏色追蹤算法時(shí)可通過(guò)統(tǒng)計(jì)待識(shí)別目標(biāo)顏色H、S、V空間分量，自設(shè)閾值以達(dá)到更好的效果。

2.3 空間三維坐標(biāo)計(jì)算顏色追蹤原理

利用深度相機(jī)獲得深度圖圖像和RGB圖像后，要想獲得彩色圖像中某一像素點(diǎn)的空間三維坐標(biāo)，首先必須以RGB圖像為基準(zhǔn)進(jìn)行對(duì)齊，然后計(jì)算相應(yīng)坐標(biāo)信息，計(jì)算公式為：

式中，depth_image為對(duì)齊后的深度圖；zz為深度圖像上像素坐標(biāo)點(diǎn)為(yy,xx)對(duì)應(yīng)的深度信息；ppx、ppy為相機(jī)標(biāo)定后的圖像坐標(biāo)系原點(diǎn)；fx、fy為標(biāo)定后相機(jī)焦距。

2.4 線纜識(shí)別定位流程

由于表1中的HSV閾值為通用閾值，并不能準(zhǔn)確地追蹤不同情況的線纜目標(biāo)，因此本文首先根據(jù)不同光照和角度線纜成像特點(diǎn)，統(tǒng)計(jì)1 300余個(gè)線纜目標(biāo)像素點(diǎn)HSV值，求得H、S、V變量分布如圖5所示。

圖5 線纜HSV變量分布示意圖

由圖5可以看出，線纜目標(biāo)V值主要位于80以下，H值和V值分布較廣。本文選取0≤H≤180、0≤S≤255、0≤V≤80作為線纜目標(biāo)閾值。

線纜識(shí)別定位整體流程定義如下，首先將從深度相機(jī)處獲得的RGB圖像和深度圖像以RGB圖像為基準(zhǔn)進(jìn)行對(duì)齊，然后通過(guò)改進(jìn)后的YOLO v4算法在RGB圖像中識(shí)別定位出線纜矩形框區(qū)域，并將該矩形區(qū)域作為感興趣區(qū)域（Region of Interest，ROI）。在ROI區(qū)域內(nèi)利用HSV色彩空間顏色追蹤算法，求取包圍線纜目標(biāo)的最小外接矩形，并在該最小包外接矩形較長(zhǎng)邊上進(jìn)行n等分，最后利用式（5）求出n等分點(diǎn)上的三維坐標(biāo)，即線纜上n個(gè)點(diǎn)的三維坐標(biāo)。具體識(shí)別流程如圖6所示。

圖6 線纜識(shí)別定位流程

3 實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出基于改進(jìn)的YOLO與HSV變換高壓線纜識(shí)別定位方法的有效性，使用Intel Realsense d435i深度相機(jī)采集了不同場(chǎng)景、不同光照條件下的線纜圖像，并利用LabelImg對(duì)目標(biāo)進(jìn)行了標(biāo)注，其中訓(xùn)練圖像3 000張，測(cè)試圖像300張。

3.1 模型訓(xùn)練和分析

實(shí)驗(yàn)采用的平臺(tái)為Ubuntu16.04、Cuda10.0和NVIDIA GTX2080Ti顯卡，使用Darknet框架進(jìn)行訓(xùn)練和測(cè)試。

為了驗(yàn)證改進(jìn)后網(wǎng)絡(luò)的性能，利用標(biāo)注后的訓(xùn)練集和測(cè)試集分別對(duì)只簡(jiǎn)化骨干網(wǎng)絡(luò)后的模型、簡(jiǎn)化骨干網(wǎng)絡(luò)+CSP-SPP和通道減半前后的模型進(jìn)行訓(xùn)練與測(cè)試。訓(xùn)練總迭代次數(shù)均為10 000次，初始學(xué)習(xí)率為0.001，在8 000和9 000迭代次數(shù)時(shí)調(diào)整0.1倍。

選擇常用的平均準(zhǔn)確率（Average Precision，AP）作為評(píng)價(jià)指標(biāo)，其值為準(zhǔn)確率P和召回率R圍成的面積，即P-R曲線圍成的面積，具體公式為：

式中，TP代表真正例，即正確識(shí)別為正例的個(gè)數(shù)；FP代表假正例，即錯(cuò)誤識(shí)別為正例的個(gè)數(shù)；FN代表假負(fù)例，即錯(cuò)誤識(shí)別為負(fù)例的個(gè)數(shù)。

統(tǒng)計(jì)不同模型的識(shí)別結(jié)果如表2所示，表中通道不變指該模型通道數(shù)和標(biāo)準(zhǔn)yolov4.cfg中通道數(shù)相同，通道減半指該模型通道數(shù)為標(biāo)準(zhǔn)yolov4.cfg中通道數(shù)的0.5倍。

表2 檢測(cè)模型測(cè)試結(jié)果

由表2可以看出，相同通道情況下，優(yōu)化后的CSP-SPP模型在AP值優(yōu)于SPP模型。通道減半的模型在各項(xiàng)評(píng)價(jià)指標(biāo)上優(yōu)于通道不變模型，并且推理時(shí)間縮短3倍左右。對(duì)比表中4個(gè)模型可以發(fā)現(xiàn)，通道減半的CSP-SPP模型在所有指標(biāo)中均獲得最佳識(shí)別結(jié)果且推理時(shí)間較短，僅為6.6 ms。綜上，經(jīng)過(guò)YOLO v4骨干模型簡(jiǎn)化及SPP改進(jìn)后的模型可以達(dá)到精度和速度的最佳平衡。

利用通道減半的CSP-SPP模型檢測(cè)線纜目標(biāo)效果如圖7所示，可以看出優(yōu)化后的模型能夠較好的識(shí)別不同情況下的線纜目標(biāo)。

圖7 改進(jìn)后YOLO檢測(cè)效果

3.2 線纜定位分析

利用深度相機(jī)采集RGB圖像和深度圖像，并基于RGB為基準(zhǔn)進(jìn)行對(duì)齊，對(duì)齊后效果如圖8所示。

圖8 以RGB為基準(zhǔn)對(duì)齊的效果

利用優(yōu)化后的訓(xùn)練模型對(duì)RGB圖像進(jìn)行識(shí)別，并在圖中框出目標(biāo)區(qū)域，如圖9（a）所示，結(jié)合自定義的線纜HSV閾值及色彩追蹤算法求得最小包圍輪廓如圖9（b）所示。

圖9 線纜目標(biāo)檢測(cè)效果

實(shí)驗(yàn)最后對(duì)線纜進(jìn)行了8等分，并利用空間三維坐標(biāo)求得7個(gè)等分點(diǎn)的三維坐標(biāo)，如圖10所示。

圖10 線纜等8等分效果圖效果圖

所求的線纜中7個(gè)等分點(diǎn)的三維坐標(biāo)信息如表3所示。

表3 線纜8等分點(diǎn)三維坐標(biāo)

利用線纜上7個(gè)等分點(diǎn)坐標(biāo)的三維信息，可以在帶電作業(yè)操作中任選一點(diǎn)作為帶電作業(yè)機(jī)器人抓取點(diǎn)，實(shí)驗(yàn)證明機(jī)械臂可以根據(jù)指定線纜點(diǎn)坐標(biāo)準(zhǔn)確運(yùn)動(dòng)到該位置，實(shí)驗(yàn)效果如圖11所示。

圖11 機(jī)械臂抓取線纜點(diǎn)效果圖

4 結(jié) 論

針對(duì)帶電作業(yè)機(jī)器人在實(shí)際作業(yè)中對(duì)高壓線纜目標(biāo)識(shí)別定位的需求，本文利用優(yōu)化改進(jìn)后的YOLO v4目標(biāo)檢測(cè)算法和HSV色彩追蹤算法，結(jié)合相機(jī)深度信息，對(duì)線纜進(jìn)行了n等分，并求得等分點(diǎn)的三維坐標(biāo)，為機(jī)械臂后續(xù)動(dòng)作提供三維坐標(biāo)信息。實(shí)驗(yàn)結(jié)果表明，基于通道減半和CSP-SPP改進(jìn)后的網(wǎng)絡(luò)在各項(xiàng)評(píng)價(jià)指標(biāo)中均獲得最優(yōu)，可以達(dá)到精度和速度的最佳平衡，能夠?yàn)閹щ娮鳂I(yè)機(jī)器人提供較好的視覺(jué)支撐。