朱佩佩

(中國(guó)西南電子技術(shù)研究所,成都 610036)

0 引 言

近年來(lái)，隨著技術(shù)的發(fā)展，直升機(jī)、無(wú)人機(jī)在各行各業(yè)發(fā)揮著不可替代的作用[1]。電力線作為一種特殊的直線目標(biāo)，是無(wú)人機(jī)、直升機(jī)等飛行器重點(diǎn)關(guān)注的障礙物目標(biāo)，也是電網(wǎng)巡檢過(guò)程中的主要目標(biāo)[2-3]。為了應(yīng)對(duì)實(shí)際飛行過(guò)程中的復(fù)雜惡劣環(huán)境和狀況，保障執(zhí)行任務(wù)的無(wú)人機(jī)、直升機(jī)的安全，需要對(duì)電力線目標(biāo)進(jìn)行準(zhǔn)確檢測(cè)與識(shí)別，該類目標(biāo)的檢測(cè)識(shí)別是機(jī)器視覺(jué)領(lǐng)域的經(jīng)典問(wèn)題之一[4-7]?？偟膩?lái)說(shuō)，現(xiàn)有電力線檢測(cè)識(shí)別算法可以分為傳統(tǒng)方法[8-12]和人工智能算法[13-14]兩大類。

現(xiàn)有的基于深度學(xué)習(xí)的電力線檢測(cè)識(shí)別算法采用常規(guī)目標(biāo)檢測(cè)識(shí)別算法，利用正矩形框的坐標(biāo)對(duì)其位置進(jìn)行描述。然而，電力線是一類形狀細(xì)長(zhǎng)、特征稀疏、隨著視角的變化容易混在大量背景信息中的特殊障礙物，常規(guī)電力線檢測(cè)識(shí)別算法得到的目標(biāo)框?qū)﹄娏€所在位置的估計(jì)不夠準(zhǔn)確，而電力線位置估計(jì)的準(zhǔn)確程度直接影響飛機(jī)成功避開(kāi)障礙物的概率。因此，本文通過(guò)估計(jì)電力線相對(duì)角度，提煉電力線位置范圍來(lái)提高電力線的位置準(zhǔn)確度。

電力線的絕對(duì)角度估計(jì)是一類回歸問(wèn)題。角度的回歸需要結(jié)合角度標(biāo)簽并設(shè)計(jì)相應(yīng)的分支對(duì)其進(jìn)行估計(jì)，計(jì)算量大，實(shí)時(shí)性不高，且電力線目標(biāo)長(zhǎng)寬比較大，其絕對(duì)角度的估計(jì)準(zhǔn)確度不高。通過(guò)觀察電力線目標(biāo)特征，將其連續(xù)的絕對(duì)角度轉(zhuǎn)化為不連續(xù)的相對(duì)角度，即可將絕對(duì)角度的回歸問(wèn)題轉(zhuǎn)化為相對(duì)角度的分類問(wèn)題。分類結(jié)果中的類別信息包含了電力線相對(duì)角度信息，無(wú)需重新設(shè)計(jì)網(wǎng)絡(luò)分類分支。將該角度信息提取出來(lái)調(diào)整水平矩形框，可以將電力線的大致走向表示出來(lái)，提高了電力線位置估計(jì)的準(zhǔn)確性。

1 電力線檢測(cè)識(shí)別方法

為了提高電力線目標(biāo)的檢測(cè)識(shí)別率，且對(duì)該類細(xì)長(zhǎng)目標(biāo)的位置信息進(jìn)行提煉，采用實(shí)時(shí)目標(biāo)檢測(cè)與識(shí)別網(wǎng)絡(luò)YOLO[15]對(duì)其進(jìn)行檢測(cè)。

1.1 電力線目標(biāo)特征分析

電力線是一類常見(jiàn)的線性目標(biāo)，線性目標(biāo)自身的長(zhǎng)寬比較大，且因路面高低差、拍攝視角的差異等因素而在光學(xué)圖像中存在不同的角度信息。對(duì)電力線進(jìn)行檢測(cè)與識(shí)別時(shí)，需制作標(biāo)簽用矩形框?qū)㈦娏€目標(biāo)框出來(lái)。觀察人工標(biāo)注的目標(biāo)矩形框真值(Ground Truth,GT)發(fā)現(xiàn)，矩形框囊括電力線頭尾時(shí)，因電力線自身直徑較小且長(zhǎng)度方向尺寸較長(zhǎng)，會(huì)帶入大量背景信息，導(dǎo)致飛行器遇到電力線目標(biāo)時(shí)警示區(qū)域過(guò)大。若直接對(duì)電力線進(jìn)行帶角度的傾斜框標(biāo)注，圖像進(jìn)行縮放后角度信息需重新變化計(jì)算，且算法實(shí)時(shí)性不高。

因電力線本身是近乎直線的線狀目標(biāo)，矩形標(biāo)注框中的目標(biāo)角度特征可以分為四種情況，即以矩形框左上角和右下角為電力線頭尾，以矩形框右上角和左下角為電力線頭尾，電力線呈90°絕對(duì)角度，電力線呈0°絕對(duì)角度。對(duì)圖像進(jìn)行尺寸變換，使電力線目標(biāo)框調(diào)整為正方形，則上述四種情況下的電力線角度分別為135°、45°、90°、0°。將這四種角度稱為相對(duì)電力線角度，用來(lái)表示電力線在標(biāo)注矩形框中相對(duì)位置，如圖1所示。因此，為了減少算法復(fù)雜度，減少不必要的計(jì)算，將電力線的絕對(duì)角度預(yù)測(cè)轉(zhuǎn)化為電力線的相對(duì)角度預(yù)測(cè)，即將一類電力線檢測(cè)識(shí)別轉(zhuǎn)化為四類電力線檢測(cè)識(shí)別。類別信息中包含了電力線相對(duì)角度信息，進(jìn)一步將該角度信息提取出來(lái)調(diào)整水平矩形框，使其可以表示電力線的走向。

圖1 電力線絕對(duì)角度和相對(duì)角度的對(duì)比

1.2 實(shí)時(shí)目標(biāo)檢測(cè)與識(shí)別網(wǎng)絡(luò)

利用飛行器光電傳感器獲得的圖像指導(dǎo)其躲避障礙物時(shí)，需要對(duì)圖像中的障礙物進(jìn)行實(shí)時(shí)檢測(cè)與識(shí)別。實(shí)時(shí)目標(biāo)檢測(cè)與識(shí)別網(wǎng)絡(luò)中，YOLO網(wǎng)絡(luò)系列是一類端到端、可以較好平衡速度和精度的實(shí)時(shí)目標(biāo)檢測(cè)識(shí)別模型。本文采用YOLO系列中較新的YOLOv4[15]作為電力線目標(biāo)檢測(cè)識(shí)別網(wǎng)絡(luò)。YOLOv4系列中主要包含YOLOv4和YOLOv4_tiny兩類模型，因目標(biāo)類型及數(shù)量不多，本文采用YOLOv4_tiny作為障礙物檢測(cè)識(shí)別網(wǎng)絡(luò)。YOLOv4_tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示[15]，主要包含主干網(wǎng)絡(luò)、檢測(cè)頭等部分。

圖2 YOLOv4_tiny結(jié)構(gòu)示意圖

不同于YOLOv3_tiny，YOLOv4_tiny訓(xùn)練時(shí)采用的IOU損失函數(shù)為CIoU損失，定義如下：

(1)

(2)

(3)

式中：v是真值框和預(yù)測(cè)框長(zhǎng)寬比的相似性，c是兩個(gè)矩形框最遠(yuǎn)角點(diǎn)的距離，α是權(quán)重參數(shù)，IOU表示預(yù)測(cè)框b和真值框bGT之間的交并比。CIoU損失綜合考慮了檢測(cè)框預(yù)測(cè)值和真值之間的重疊面積以及中心點(diǎn)距離和長(zhǎng)寬比，可改善復(fù)雜檢測(cè)場(chǎng)景中目標(biāo)框預(yù)測(cè)值的準(zhǔn)確度。網(wǎng)絡(luò)訓(xùn)練時(shí)，將誤差函數(shù)計(jì)算得到的誤差反向傳播至各個(gè)節(jié)點(diǎn)，對(duì)可調(diào)參數(shù)進(jìn)行調(diào)節(jié)，利用訓(xùn)練完成的模型實(shí)現(xiàn)對(duì)電力線目標(biāo)框坐標(biāo)及電力線相對(duì)角度的估計(jì)。

1.3 目標(biāo)框提煉

將包含在類別信息中的相對(duì)角度和目標(biāo)框坐標(biāo)結(jié)合起來(lái)，可達(dá)到提煉目標(biāo)所在區(qū)域范圍的效果。網(wǎng)絡(luò)輸出的目標(biāo)框坐標(biāo)為不含角度的正矩形框。假設(shè)原始目標(biāo)框的中心點(diǎn)坐標(biāo)為x、y，高為h，寬為w，當(dāng)模型輸出目標(biāo)框的類別后，可以根據(jù)類別獲得電力線相對(duì)角度，按照以下規(guī)則計(jì)算電力線提煉框四個(gè)點(diǎn)的坐標(biāo)。

(1)電力線相對(duì)角度為135°

提煉出來(lái)的電力線目標(biāo)框坐標(biāo)為

(4)

(5)

(6)

(7)

(2)電力線相對(duì)角度為90°

提煉出來(lái)的電力線目標(biāo)框坐標(biāo)保持原坐標(biāo)不變，即

(8)

(9)

(10)

(11)

(3)電力線相對(duì)角度為45°

提煉出來(lái)的電力線目標(biāo)框坐標(biāo)為

(12)

(13)

(14)

(15)

(4)電力線相對(duì)角度為0°

提煉出來(lái)的電力線目標(biāo)框坐標(biāo)保持原坐標(biāo)：

(16)

(17)

(18)

(19)

當(dāng)提煉后的電力線目標(biāo)框超出圖像邊界時(shí)，則丟棄提煉框的超出部分，始終保持提煉框在圖像范圍內(nèi)。

圖3給出了電力線目標(biāo)框提煉示意圖。

圖3 電力線目標(biāo)框提煉示意圖

2 實(shí)驗(yàn)結(jié)果

被檢目標(biāo)的精確率P和召回率R分別為

(20)

(21)

式中：TP為模型正確檢測(cè)出來(lái)的目標(biāo)個(gè)數(shù)，F(xiàn)P為模型誤檢的目標(biāo)個(gè)數(shù)，F(xiàn)N為模型漏檢的目標(biāo)個(gè)數(shù)。

以精確率P和召回率R為橫縱坐標(biāo)，繪制出PR曲線p(r)，計(jì)算PR曲線下的面積，可以得到平均精確率

(22)

多個(gè)類別的AP的均值即為mAP(mean Average Precision)：

(23)

將包含電力線電力塔的圖像整理制作成數(shù)據(jù)集，并將其劃分為訓(xùn)練集和驗(yàn)證集。其中，訓(xùn)練集有796個(gè)圖像樣本，驗(yàn)證集89張。利用Mosaic數(shù)據(jù)增強(qiáng)擴(kuò)充訓(xùn)練集，擴(kuò)充后的數(shù)據(jù)集用于網(wǎng)絡(luò)訓(xùn)練。模型訓(xùn)練在具有兩塊P40(12T)GPU的服務(wù)器上進(jìn)行，訓(xùn)練網(wǎng)絡(luò)大小為512×384，共訓(xùn)練30 000次，批量大小(batch size)設(shè)為64，初始學(xué)習(xí)率為0.001。網(wǎng)絡(luò)訓(xùn)練過(guò)程中，記錄的模型誤差和mAP變化如圖4所示。

圖4 訓(xùn)練誤差變化及mAP

經(jīng)過(guò)多次訓(xùn)練，模型可以達(dá)到的最佳mAP(@0.50)為62.50%。其中，單個(gè)類別的AP分別為

AP(power_line_0) =38.04%，AP(power_line_45) =54.90%，AP(66.67%) =66.67%，AP(57.22%) =57.22%，AP(power_tower)=95.68%。

模型檢測(cè)結(jié)果如圖5所示。電力線目標(biāo)根據(jù)角度信息又分為了四類，根據(jù)矩形框提煉方法將這四類目標(biāo)的矩形框調(diào)整為范圍更小的旋轉(zhuǎn)框，提煉框效果如圖6所示。對(duì)比圖5和圖6可以看出，相比于原始正矩形框(虛線框)，提煉后的目標(biāo)框(實(shí)線框)可以明顯減少背景區(qū)域，更加準(zhǔn)確地表示電力線所在位置，且YOLOv4-tiny算法的實(shí)時(shí)性高，可實(shí)現(xiàn)電力線的實(shí)時(shí)檢測(cè)。

圖5 初始電力線檢測(cè)識(shí)別結(jié)果

將本文中利用深度學(xué)習(xí)和目標(biāo)框提煉的電力線檢測(cè)結(jié)果(見(jiàn)圖6)和傳統(tǒng)Hough變換算法得到的電力線檢測(cè)結(jié)果(見(jiàn)圖7)進(jìn)行對(duì)比?；贖ough變換的電力線檢測(cè)方法首先通過(guò)Sobel算子對(duì)原圖中進(jìn)行邊緣檢測(cè)，然后通過(guò)Hough變換對(duì)邊緣檢測(cè)結(jié)果進(jìn)行直線檢測(cè)，最后將直線檢測(cè)結(jié)果作為電力線檢測(cè)結(jié)果。從圖6和圖7的檢測(cè)結(jié)果可以看出，本文采用的人工智能的方法能夠準(zhǔn)確地檢測(cè)到更多的電力線，且本文的相對(duì)角度分類方法對(duì)電力線所在范圍進(jìn)行了進(jìn)一步確定，對(duì)背景區(qū)域進(jìn)行了抑制；而傳統(tǒng)方法難以區(qū)分背景直線和電力線直線，且直線檢測(cè)不完整、不連續(xù)。因此，相比于傳統(tǒng)方法，本文方法在電力線檢測(cè)中效果更好。

圖7 基于Hough變換的電力線檢測(cè)結(jié)果

3 結(jié)束語(yǔ)

本文針對(duì)形狀細(xì)長(zhǎng)、特征稀疏的電力線目標(biāo)檢測(cè)與識(shí)別的位置精度不夠的問(wèn)題，提出估計(jì)電力線相對(duì)角度、提煉電力線位置范圍來(lái)提高電力線的位置準(zhǔn)確度，進(jìn)而提高飛機(jī)避開(kāi)障礙物的成功率。首先通過(guò)分析電力線特征將其絕對(duì)角度的回歸轉(zhuǎn)化為相對(duì)角度的分類問(wèn)題，進(jìn)而采用實(shí)時(shí)目標(biāo)檢測(cè)與識(shí)別模型YOLOv4_tiny對(duì)電力線的位置及角度進(jìn)行估計(jì)，估計(jì)完成后通過(guò)提出的矩形框提煉方法對(duì)電力線的準(zhǔn)確位置進(jìn)行描述。通過(guò)實(shí)驗(yàn)結(jié)果可看出，該檢測(cè)估計(jì)方案可以實(shí)時(shí)對(duì)電力線進(jìn)行檢測(cè)，且明顯縮小了電力線目標(biāo)框的背景區(qū)域，提高了電力線的位置估計(jì)準(zhǔn)確度。

如何結(jié)合相對(duì)角度估計(jì)和高性能模型來(lái)提高電力線識(shí)別召回率是下一步需要重點(diǎn)研究的內(nèi)容。