鄔才斌，范榮全，劉友波，謝 偉，李海龍，胡 勇，劉俊勇

（1.國網(wǎng)南充供電公司，四川 南充 637003；2.國網(wǎng)四川省電力公司建設(shè)部，四川 成都 610041；3. 四川大學(xué) 電氣工程學(xué)院，四川 成都 610065）

0 引 言

螺栓作為輸電鐵塔連接的關(guān)鍵部件，其松動(dòng)與否直接關(guān)系到鐵塔的安全質(zhì)量評(píng)估，因此對(duì)其連接結(jié)構(gòu)的持續(xù)健康檢測(cè)具有重要意義。輸電鐵塔上螺栓檢測(cè)的對(duì)象主要為螺帽、螺尾及空洞，對(duì)三者的準(zhǔn)確識(shí)別能及時(shí)反映鐵塔上存在安全隱患的未安裝部件。

目前，在螺栓的識(shí)別檢測(cè)領(lǐng)域，研究人員多采用機(jī)器視覺相關(guān)方法對(duì)螺栓的安全狀態(tài)進(jìn)行檢測(cè)。深度學(xué)習(xí)的方法在螺栓的識(shí)別檢測(cè)領(lǐng)域頗受歡迎。例如，王振針對(duì)鐵路鋼軌螺栓故障問題提出了一種改進(jìn)的YOLOv4網(wǎng)絡(luò)，用于檢測(cè)螺栓是否松動(dòng)，其平均準(zhǔn)確率達(dá)到84.8%。為達(dá)到螺栓扣件定位識(shí)別的目的，饒家義將Mobilnetv3-TL網(wǎng)絡(luò)應(yīng)用到鋼軌螺栓檢測(cè)中，其識(shí)別準(zhǔn)確率高達(dá)93%。張洪源等結(jié)合SPP-Net及ResNet，通過NMS算法得到螺栓檢測(cè)結(jié)果，其測(cè)試精度達(dá)到91.67%。還有研究者們提出了一些傳統(tǒng)圖像處理方法。例如，Singh等人使用多尺度Canupo分類器，結(jié)合隨機(jī)樣本一致性（RANSAC）形狀檢測(cè)算法，提出了一種魯棒性較好的螺栓識(shí)別算法，其總體質(zhì)量指標(biāo)為78.54%；Kong等人對(duì)螺栓使用前后的圖像加以比較，并對(duì)前后兩幅圖片做像素減法，從而達(dá)到定位松動(dòng)螺栓的目的。Koike等人針對(duì)固定區(qū)域內(nèi)螺栓的空間位置特點(diǎn)，提出了一種顏色對(duì)比與模板匹配的方法。林永鵬提出了一種采用模板匹配的故障識(shí)別算法，其對(duì)螺栓識(shí)別率接近94%。

目前已有的基于視覺的螺栓識(shí)別定位系統(tǒng)大多針對(duì)鐵路鋼軌、貨車制動(dòng)配件等領(lǐng)域，針對(duì)鐵塔上螺栓識(shí)別的研究很少，且多是通過量化螺栓預(yù)緊力、振動(dòng)信號(hào)檢測(cè)等方法對(duì)已投入應(yīng)用的鐵塔進(jìn)行螺栓的松動(dòng)檢測(cè)，而針對(duì)剛搭建完成仍未投入使用的鐵塔螺栓安裝狀態(tài)的計(jì)算機(jī)自動(dòng)檢測(cè)方法的研究相對(duì)空白；目前的工程實(shí)踐中仍采用人工檢測(cè)的方式，不僅耗時(shí)耗力且容易出現(xiàn)漏檢誤檢情況。針對(duì)以上問題，本文提出了一種針對(duì)輸電鐵塔上螺栓安裝狀態(tài)的自動(dòng)檢測(cè)算法，基于對(duì)螺栓（包括螺帽和螺尾）及空洞的目標(biāo)檢測(cè)實(shí)現(xiàn)對(duì)螺栓安裝狀態(tài)的自動(dòng)檢測(cè)，以便及時(shí)識(shí)別鐵塔上存在安全隱患的未安裝部件。由于此應(yīng)用場(chǎng)景中拍攝到的目標(biāo)較小，深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)到的目標(biāo)特征有限，易出現(xiàn)錯(cuò)檢情況。為得到更準(zhǔn)確的目標(biāo)檢測(cè)結(jié)果，本文在深度學(xué)習(xí)目標(biāo)定位的基礎(chǔ)上進(jìn)一步提出了基于顏色差異特征與邊緣復(fù)雜度的螺栓、空洞目標(biāo)檢測(cè)方法，以實(shí)現(xiàn)對(duì)鐵塔目標(biāo)的精確識(shí)別。

1 基于顏色差異特征與邊緣復(fù)雜度的螺栓安裝狀態(tài)自動(dòng)檢測(cè)算法

本文提出的基于顏色差異特征與邊緣復(fù)雜度的螺栓安裝狀態(tài)自動(dòng)檢測(cè)算法總體流程如圖1所示。首先，應(yīng)用Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)螺栓（包括螺尾和螺帽）及空洞的ROI區(qū)域分割。在ROI區(qū)域內(nèi)進(jìn)行顏色差異特征提取，并根據(jù)該特征將目標(biāo)圖像分為兩類：將顏色差異較大的目標(biāo)圖像認(rèn)為是空洞、螺尾或其他類，并按照目標(biāo)尺寸及邊緣特征繼續(xù)實(shí)現(xiàn)三種類別的分類；對(duì)顏色差異較小的目標(biāo)圖像進(jìn)行邊緣復(fù)雜度計(jì)算，邊緣復(fù)雜度較高的目標(biāo)圖像判別為螺尾，邊緣復(fù)雜度較低的目標(biāo)圖像判別為螺帽或空洞，并基于圓檢測(cè)算法，進(jìn)一步實(shí)現(xiàn)螺帽與空洞兩種類型的分類。

圖1 基于顏色差異特征與邊緣復(fù)雜度的螺栓安裝狀態(tài)自動(dòng)檢測(cè)算法的總體流程

1.1 基于改進(jìn)Faster-RCNN網(wǎng)絡(luò)的螺栓及空洞ROI區(qū)域自動(dòng)分割

本文采用目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster-RCNN實(shí)現(xiàn)對(duì)螺栓及空洞ROI區(qū)域的自動(dòng)分割。由于本文是多目標(biāo)檢測(cè)，在網(wǎng)絡(luò)模型對(duì)目標(biāo)擬合不夠好的情況下，容易出現(xiàn)同一個(gè)目標(biāo)被檢測(cè)成多種不同結(jié)果，即同一個(gè)目標(biāo)上出現(xiàn)多個(gè)重疊檢測(cè)框的情況。因此，本文在原網(wǎng)絡(luò)模型的基礎(chǔ)上，加入了檢測(cè)框IOU判別機(jī)制，避免了多個(gè)檢測(cè)框重疊的情況，實(shí)現(xiàn)螺栓及空洞ROI區(qū)域的自動(dòng)分割。

1.1.1 Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)

Faster-RCNN目標(biāo)檢測(cè)網(wǎng)絡(luò)采用兩階段算法，先生成候選框，再進(jìn)行分類，使得其準(zhǔn)確率相比一階段算法更高；同時(shí)，其結(jié)構(gòu)中使用RPN網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)目標(biāo)檢測(cè)網(wǎng)絡(luò)中的選擇性搜索算法完成產(chǎn)生候選區(qū)域的功能，目標(biāo)檢測(cè)時(shí)間大大縮短，檢測(cè)速度更快，被廣泛應(yīng)用于著裝規(guī)范檢測(cè)、行人追蹤、小尺度目標(biāo)識(shí)別、字體識(shí)別等領(lǐng)域。Faster-RCNN網(wǎng)絡(luò)由四大模塊組成：卷積層、區(qū)域提案網(wǎng)絡(luò)RPN（Region Proposal Networks）、ROI池化層和分類層。其中，卷積層通過多層卷積池化深度挖掘圖片特征信息，得到輸入圖片的特征圖用于后續(xù)定位識(shí)別；RPN網(wǎng)絡(luò)分為兩條路，一條通過softmax層將特征圖中的候選錨框分為前景或背景兩類（前景即為檢測(cè)目標(biāo)），另一條利用邊界框回歸算法對(duì)錨框進(jìn)行修正，得到精確的候選區(qū)域；ROI池化層將前面層得到的特征圖和候選區(qū)域信息進(jìn)行綜合計(jì)算得到候選特征圖用于后續(xù)分類；分類層利用已獲得的候選特征圖對(duì)每個(gè)候選目標(biāo)進(jìn)行具體分類，并再次利用邊界框回歸算法獲得每個(gè)候選目標(biāo)的位置偏移量，回歸得到更加精確的目標(biāo)檢測(cè)框。本實(shí)驗(yàn)選擇ResNet101作為Faster-RCNN網(wǎng)絡(luò)的卷積層部分，ResNet101的殘差結(jié)構(gòu)使得其同時(shí)兼顧了網(wǎng)絡(luò)的深度和準(zhǔn)確率，從而具有較強(qiáng)的圖片信息提取能力。Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)

1.1.2 本文提出的檢測(cè)框IOU判別機(jī)制

應(yīng)用Faster-RCNN網(wǎng)絡(luò)目標(biāo)檢測(cè)后會(huì)出現(xiàn)一個(gè)目標(biāo)檢測(cè)出多個(gè)重疊框的情況，為解決這一問題，本文在原Faster-RCNN網(wǎng)絡(luò)的基礎(chǔ)上增加了檢測(cè)框IOU判別機(jī)制，通過計(jì)算各個(gè)檢測(cè)框之間的交并比將重疊框中分類概率較小的框去除。

Faster-RCNN網(wǎng)絡(luò)在對(duì)目標(biāo)進(jìn)行定位及分類識(shí)別時(shí)，會(huì)對(duì)候選區(qū)域?qū)儆诟黝悇e的概率分?jǐn)?shù)進(jìn)行計(jì)算，本文將網(wǎng)絡(luò)檢測(cè)到的各類別概率分?jǐn)?shù)均小于0.5的框?yàn)V除，對(duì)剩下的檢測(cè)框進(jìn)行兩兩交并比計(jì)算，判斷其是否重疊，并刪除其中概率分?jǐn)?shù)更低的一類，使用的交并比計(jì)算公式如下：

其中：IOU為兩檢測(cè)框交并比；為兩檢測(cè)框相交部分的面積；down、up、right、left分別代表兩檢測(cè)框并集所在位置的最小行數(shù)、最大行數(shù)、最小列數(shù)、最大列數(shù)；、分別為原矩形框面積。

將IOU的判別閾值設(shè)為80%，即當(dāng)兩檢測(cè)框重疊部分面積超過其面積和的80%時(shí)，認(rèn)為其檢測(cè)對(duì)象為同一個(gè)目標(biāo)，對(duì)其中概率分?jǐn)?shù)更低的檢測(cè)框執(zhí)行濾除操作，使得同一個(gè)目標(biāo)處只保留一個(gè)概率分?jǐn)?shù)最高的檢測(cè)框。圖3顯示了增加檢測(cè)框IOU判別機(jī)制后目標(biāo)檢測(cè)的結(jié)果變化。由圖3可以看出，檢測(cè)框IOU判別機(jī)制的設(shè)置可有效去除目標(biāo)檢測(cè)的冗余框，解決了對(duì)同一目標(biāo)檢測(cè)出多個(gè)重疊框的情況。

圖3 增加檢測(cè)框IOU判別機(jī)制后目標(biāo)檢測(cè)的結(jié)果對(duì)比

1.1.3 基于Faster-RCNN網(wǎng)絡(luò)的螺栓及空洞ROI區(qū)域自動(dòng)分割

本文基于改進(jìn)的Faster-RCNN網(wǎng)絡(luò)實(shí)現(xiàn)螺栓及空洞的目標(biāo)檢測(cè)，將檢測(cè)到的目標(biāo)矩形框作為螺栓及空洞的ROI區(qū)域，流程如圖4所示。

圖4 基于Faster-RCNN網(wǎng)絡(luò)的螺栓及空洞ROI區(qū)域自動(dòng)分割流程

由圖4可得，經(jīng)過基于Faster-RCNN網(wǎng)絡(luò)的螺栓及空洞ROI區(qū)域自動(dòng)分割步驟后，輸入圖片中的每一個(gè)目標(biāo)ROI區(qū)域均被單獨(dú)分割出來，作為下一步識(shí)別的輸入。

1.2 本文提出的基于HSV顏色空間的顏色差異特征算子

由于受拍攝環(huán)境、光照條件及檢測(cè)目標(biāo)自身結(jié)構(gòu)的影響，拍攝到的螺栓及空洞的目標(biāo)ROI區(qū)域顏色差異有所不同，因此本文針對(duì)待檢測(cè)目標(biāo)的顏色差異，提出了基于HSV顏色空間的顏色差異特征算子，以實(shí)現(xiàn)對(duì)目標(biāo)內(nèi)外部顏色差異的量化提取，并基于該顏色差異將目標(biāo)分為顏色差異較大和顏色差異較小兩大類。

顏色差異較大的一類包括：

（1）背景為其他的空洞：空洞的內(nèi)部顏色取決于拍攝過程中其后部背景的顏色，所以其類型可分為背景為鐵塔和背景為其他兩類，對(duì)于背景為其他的空洞，其內(nèi)外部顏色差異較大。

（2）光照較強(qiáng)環(huán)境下拍攝的螺尾：螺尾具有復(fù)雜的多螺旋結(jié)構(gòu)，在光照較強(qiáng)的環(huán)境下拍攝時(shí)，目標(biāo)圖像的整體顏色差異也會(huì)較大。

（3）其他錯(cuò)檢目標(biāo)：在深度學(xué)習(xí)目標(biāo)檢測(cè)過程中也會(huì)檢測(cè)到一些與周圍環(huán)境顏色差異較大的錯(cuò)檢目標(biāo)。

對(duì)應(yīng)的顏色差異較小的一類包括：（1）背景為鐵塔的空洞；（2）光照較弱條件下拍攝的螺尾；（3）螺帽。

各類目標(biāo)的顏色差異對(duì)比如圖5所示。

圖5 顏色差異較大和較小類目標(biāo)對(duì)比

HSV顏色空間中、、三個(gè)顏色向量分別代表色調(diào)、飽和度和明度，由于色調(diào)、飽和度、明度差異受光照等環(huán)境因素的影響依次遞增，因此本文對(duì)上述三個(gè)顏色向量分別設(shè)置了橫縱兩個(gè)方向的差異特征算子，并按照色調(diào)、飽和度、明度依次遞減的規(guī)則設(shè)置了算子權(quán)重，以減少環(huán)境因素對(duì)顏色差異提取的影響。各算子結(jié)構(gòu)如圖6所示。

圖6 本文提出的基于HSV顏色空間的顏色差異特征算子結(jié)構(gòu)

用上述算子分別遍歷圖像除最外圈外每一個(gè)像素對(duì)應(yīng)的顏色向量值，并將求得的三個(gè)向量的值求和以獲得圖像上每個(gè)像素與周圍像素的顏色差異，對(duì)該差異值求取方差來進(jìn)一步量化表征整幅圖像的顏色差異變化，具體計(jì)算公式如下：

經(jīng)大量圖片實(shí)驗(yàn)驗(yàn)證后，將判別閾值設(shè)定為30，若針對(duì)當(dāng)前目標(biāo)圖片求得的顏色差異特征值大于該閾值，則認(rèn)為其是空洞、螺尾或其他類。通過提取目標(biāo)尺寸與邊緣特征，實(shí)現(xiàn)進(jìn)一步的分類，其具體步驟為：（1）提取目標(biāo)ROI區(qū)域的大?。河捎谏疃葘W(xué)習(xí)網(wǎng)絡(luò)的錯(cuò)檢目標(biāo)多為塔座上的大型固定用螺栓，所以將ROI區(qū)域過大的認(rèn)為是其他類（錯(cuò)檢目標(biāo)），結(jié)束分類，其余目標(biāo)進(jìn)入下一步；（2）邊緣提?。焊鶕?jù)邊緣連通域個(gè)數(shù)，將邊緣連通域多且更為復(fù)雜的判別為螺尾，邊緣連通域少且較為簡(jiǎn)單的判別為空洞。

1.3 基于輪廓差異性提出的邊緣復(fù)雜度提取算法

作為本文的檢測(cè)目標(biāo)，空洞、螺帽及螺尾之間的形狀存在較大差異，其中螺尾的多層螺旋結(jié)構(gòu)的輪廓與空洞的近圓形和螺帽的近六邊形相比更為復(fù)雜。因此，本文基于各目標(biāo)種類之間的輪廓差異提出了邊緣復(fù)雜度提取算法，實(shí)現(xiàn)對(duì)上一步驟中顏色差異特征值小于設(shè)定閾值目標(biāo)的進(jìn)一步判別。

螺尾的多層螺旋結(jié)構(gòu)使得其邊緣的連通域個(gè)數(shù)相比螺帽和空洞更多、邊緣連通域質(zhì)心更為分散，且在整體圖像中的分布范圍更廣?；谏鲜鎏攸c(diǎn)，本文提出的邊緣復(fù)雜度包括三個(gè)特征：邊緣連通域個(gè)數(shù)、邊緣連通域質(zhì)心分散度、邊緣連通域質(zhì)心區(qū)域分布比，其具體提取步驟如下：

（1）邊緣連通域個(gè)數(shù)提取

本實(shí)驗(yàn)利用Canny算子對(duì)目標(biāo)定位框圖片進(jìn)行邊緣提取，對(duì)提取后的邊緣進(jìn)行連通域檢測(cè)，檢測(cè)到的連通域個(gè)數(shù)即為邊緣連通域個(gè)數(shù)。

（2）本文提出的邊緣連通域質(zhì)心分散度計(jì)算

邊緣連通域質(zhì)心分散度由各連通域質(zhì)心到其總質(zhì)心歐氏距離的離散系數(shù)表征，其計(jì)算公式如下：

其中：(,)表示求得的總質(zhì)心坐標(biāo)；d表示第個(gè)連通域質(zhì)心到總質(zhì)心的歐式距離；(x,y)表示第個(gè)連通域質(zhì)心的坐標(biāo)；、分別表示目標(biāo)圖像的行數(shù)、列數(shù)；、分別表示各連通域質(zhì)心到總質(zhì)心歐式距離的均值與方差；num表示連通域的個(gè)數(shù)；為各連通域質(zhì)心到其總質(zhì)心歐氏距離的離散系數(shù)，即求得的邊緣連通域質(zhì)心分散度。

（3）本文提出的邊緣連通域質(zhì)心區(qū)域分布比提取

連接圖像的兩組對(duì)角頂點(diǎn)，將圖像分為4個(gè)區(qū)域，分別統(tǒng)計(jì)4個(gè)區(qū)域的邊緣連通域質(zhì)心數(shù)量，將連通域質(zhì)心數(shù)量最高的區(qū)域?qū)?yīng)的質(zhì)心數(shù)量值的一半設(shè)為閾值，計(jì)算不小于該閾值的區(qū)域數(shù)占總區(qū)域數(shù)的比例，即為邊緣連通域質(zhì)心區(qū)域分布比，該特征可量化表征連通域質(zhì)心的分布廣泛度。圖7為邊緣連通域質(zhì)心區(qū)域分布比提取算法示意圖。

圖7 邊緣連通域質(zhì)心區(qū)域分布比提取算法示意圖

圖7中三個(gè)特征共同組成表征邊緣復(fù)雜度的特征集，當(dāng)且僅當(dāng)目標(biāo)圖像的三個(gè)特征均超過設(shè)定閾值時(shí)，認(rèn)為其邊緣復(fù)雜度較高，分類為螺尾；否則，認(rèn)為當(dāng)前目標(biāo)為螺帽或空洞類（背景為鐵塔）。經(jīng)過大量圖片實(shí)驗(yàn)后將邊緣連通域個(gè)數(shù)閾值設(shè)為10，邊緣連通域質(zhì)心分散度閾值設(shè)為0.3，邊緣連通域質(zhì)心區(qū)域分布比閾值設(shè)置為0.5。圖8展示了螺尾、螺帽、空洞三種不同類型目標(biāo)的邊緣連通域質(zhì)心分布對(duì)比。

圖8 螺尾、螺帽、空洞的邊緣連通域質(zhì)心分布對(duì)比

由圖8可得，螺尾本身邊緣較為復(fù)雜，邊緣連通域質(zhì)心數(shù)量多、分散度高且分布廣；螺帽邊緣較為簡(jiǎn)單，邊緣連通域質(zhì)心數(shù)量少，相應(yīng)的分散度及分布范圍也??；空洞自身邊緣簡(jiǎn)單，但由于其面積較小、相對(duì)于定位矩形框的面積也較小，使得其受周圍環(huán)境的影響較大，在邊緣檢測(cè)時(shí)易檢測(cè)出多余的干擾線條，但連通域質(zhì)點(diǎn)往往分布較為集中，且數(shù)量仍與螺尾有差距。由以上信息可得，本文提出的邊緣復(fù)雜度特征集對(duì)于鐵塔上的螺尾、螺帽及空洞具有一定的區(qū)分度，可作為識(shí)別上述各類型目標(biāo)的可行特征之一。

1.4 本文提出的目標(biāo)輪廓類圓度量化算法

根據(jù)上述分析，邊緣復(fù)雜度較低的目標(biāo)被認(rèn)為是螺帽或空洞類，而螺帽的邊緣呈近六邊形，空洞的邊緣呈近圓形。雖然受光照等環(huán)境影響，目標(biāo)圖像在邊緣提取過程中易產(chǎn)生不屬于真實(shí)邊緣的干擾線條，但是提取出的邊緣仍可反映目標(biāo)輪廓的大致形狀。因此，本文基于空洞和螺帽的輪廓形狀差異特征，利用對(duì)提取邊緣的圓檢測(cè)及檢測(cè)圓到真實(shí)邊緣距離計(jì)算方法，量化反映目標(biāo)輪廓的類圓度，從而實(shí)現(xiàn)對(duì)螺帽和空洞的分類識(shí)別。具體步驟如下：

（1）邊緣提取及預(yù)處理

首先利用Canny算子對(duì)目標(biāo)輪廓進(jìn)行邊緣提取，為減少邊緣提取過程中干擾線條的影響，對(duì)提取后結(jié)果進(jìn)行連通域檢測(cè)，并去除其中連通域較小的部分。

（2）霍夫圓檢測(cè)

利用霍夫圓檢測(cè)方法，對(duì)上一步邊緣檢測(cè)及預(yù)處理后的結(jié)果進(jìn)行圓檢測(cè)，將最多能檢測(cè)到圓的個(gè)數(shù)設(shè)置為1，即每個(gè)目標(biāo)圖像中只有一個(gè)目標(biāo)。若檢測(cè)不到圓，則直接認(rèn)為其為螺帽，結(jié)束分類步驟；否則，進(jìn)入第3步檢測(cè)圓到真實(shí)邊緣距離的計(jì)算。圖9顯示了在條件設(shè)置下利用霍夫圓檢測(cè)空洞的圓檢測(cè)結(jié)果。

圖9 在條件設(shè)置下利用霍夫圓檢測(cè)對(duì)空洞的圓檢測(cè)結(jié)果

由圖9可以看出，將檢測(cè)圓個(gè)數(shù)設(shè)置為1后，霍夫圓檢測(cè)對(duì)于空洞類型的目標(biāo)取得了較好的檢測(cè)效果。由于空洞本身邊緣形狀圓度較高，其真實(shí)邊緣與檢測(cè)圓基本擬合，兩者之間距離較小。

（3）檢測(cè)圓到真實(shí)邊緣距離的計(jì)算

由于邊緣檢測(cè)受光照等環(huán)境條件影響會(huì)出現(xiàn)多余干擾線條，經(jīng)上一步預(yù)處理也無法完全去除，因此，最終在邊緣會(huì)檢測(cè)出多個(gè)連通域。分別計(jì)算每個(gè)連通域到檢測(cè)圓的距離，計(jì)算公式如式（15）和（16）所示，將所有連通域中的最小距離作為檢測(cè)圓到真實(shí)邊緣的距離，該距離可表征目標(biāo)輪廓的圓度，圓度越高，距離越小。

其中：d表示連通域上第個(gè)點(diǎn)到檢測(cè)圓的距離；(x,y)表示連通域上第個(gè)點(diǎn)的坐標(biāo)；(,)表示檢測(cè)圓圓心的坐標(biāo)；表示檢測(cè)圓半徑；num表示當(dāng)前連通域上點(diǎn)的個(gè)數(shù)；即為求得的當(dāng)前連通域與檢測(cè)圓距離。

（4）目標(biāo)分類識(shí)別

在本實(shí)驗(yàn)中，將距離判斷閾值設(shè)為8個(gè)像素點(diǎn)，若超過該閾值，則認(rèn)為其圓度較低，判別為螺帽類；若不超過該閾值，則認(rèn)為其圓度較高，判別為空洞類。

2 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)針對(duì)鐵塔上的螺栓及空洞提出了一種新的螺栓安裝狀態(tài)自動(dòng)檢測(cè)算法，該方法將深度學(xué)習(xí)與數(shù)字圖像處理方法相結(jié)合，在Faster-RCNN目標(biāo)定位的基礎(chǔ)上提出了一種基于顏色差異特征與邊緣復(fù)雜度的螺栓、空洞目標(biāo)檢測(cè)算法，與單一的深度學(xué)習(xí)目標(biāo)檢測(cè)方法相比實(shí)現(xiàn)了目標(biāo)識(shí)別準(zhǔn)確率的提高，為及時(shí)識(shí)別鐵塔上存在安全隱患的未安裝部件提出了一種可行的解決方案。

2.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)視頻數(shù)據(jù)由雙目相機(jī)在國家電網(wǎng)施工現(xiàn)場(chǎng)鐵塔底部實(shí)地拍攝所得。其中，雙目相機(jī)選取的是Stereolab開發(fā)的ZED 2系列相機(jī)，該相機(jī)基線距離為12 cm，視場(chǎng)110°，深度檢測(cè)范圍可達(dá)0.3～20 m，采集視頻分辨率為2 K，幀率為15 fps。該設(shè)備小巧便攜，可佩戴于鐵塔施工工人頭部進(jìn)行實(shí)時(shí)拍攝檢測(cè)。

本實(shí)驗(yàn)數(shù)據(jù)包括兩個(gè)供電鐵塔拍攝的371張圖像，其中100張圖片用于Faster-RCNN網(wǎng)絡(luò)訓(xùn)練，200張圖片用于算法測(cè)試，測(cè)試用圖片包含目標(biāo)2 304個(gè)。

2.2 基于顏色差異特征與邊緣復(fù)雜度的螺栓安裝狀態(tài)自動(dòng)檢測(cè)算法實(shí)驗(yàn)結(jié)果

基于本文識(shí)別未安裝部件的實(shí)驗(yàn)?zāi)康?，本?shí)驗(yàn)對(duì)空洞和螺栓目標(biāo)的檢測(cè)結(jié)果分別進(jìn)行了統(tǒng)計(jì)，并用準(zhǔn)確率、錯(cuò)檢率和漏檢率三個(gè)指標(biāo)對(duì)檢測(cè)結(jié)果進(jìn)行了量化評(píng)估，檢測(cè)結(jié)果見表1所列。

表1 螺栓及空洞自動(dòng)檢測(cè)結(jié)果

由表1結(jié)果可得，本實(shí)驗(yàn)整體的識(shí)別準(zhǔn)確率可達(dá)86.24%，其中錯(cuò)檢率為12.72%，漏檢率為1.04%；而從空洞和非空洞兩種類型結(jié)果對(duì)比來看，漏檢情況主要存在于空洞中。觀察實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)，漏檢的空洞主要是背景為鐵塔的空洞，漏檢原因可能是該類型目標(biāo)的顏色特征不明顯且邊緣較為簡(jiǎn)單，深度學(xué)習(xí)網(wǎng)絡(luò)難以辨別；而兩種類型的錯(cuò)檢率較為相近，說明本文所提出的算法對(duì)于不同類型的目標(biāo)均能達(dá)到較高的準(zhǔn)確率，魯棒性較好。

2.3 本實(shí)驗(yàn)算法與Faster-RCNN網(wǎng)絡(luò)目標(biāo)檢測(cè)結(jié)果對(duì)比

Faster-RCNN作為深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)的經(jīng)典代表性網(wǎng)絡(luò)之一，其本身即可實(shí)現(xiàn)對(duì)目標(biāo)的定位及識(shí)別，但由于深度學(xué)習(xí)方法對(duì)訓(xùn)練集數(shù)據(jù)具有高度依賴性，并不適合本實(shí)驗(yàn)中對(duì)情況多樣的鐵塔上螺栓及空洞此類小目標(biāo)的檢測(cè)需求。圖10顯示了改進(jìn)后的Faster-RCNN網(wǎng)絡(luò)的目標(biāo)檢測(cè)結(jié)果。

圖10 改進(jìn)后的Faster-RCNN網(wǎng)絡(luò)的目標(biāo)檢測(cè)結(jié)果

由圖10可得，改進(jìn)后的Faster-RCNN網(wǎng)絡(luò)對(duì)目標(biāo)的漏檢率較低且定位框位置較為準(zhǔn)確，但存在錯(cuò)檢情況，因此在深度學(xué)習(xí)目標(biāo)定位基礎(chǔ)上進(jìn)行后續(xù)的識(shí)別優(yōu)化操作是必要的。本文在Faster-RCNN定位基礎(chǔ)上利用數(shù)字圖像處理技術(shù)提出了基于顏色差異特征與邊緣復(fù)雜度的螺栓、空洞目標(biāo)檢測(cè)算法，有效地提高了目標(biāo)檢測(cè)準(zhǔn)確率，本實(shí)驗(yàn)算法與Faster-RCNN網(wǎng)絡(luò)目標(biāo)檢測(cè)算法的檢測(cè)結(jié)果對(duì)比情況見表2所列。

表2 本實(shí)驗(yàn)算法與Faster-RCNN網(wǎng)絡(luò)目標(biāo)檢測(cè)算法結(jié)果對(duì)比

由表2可得，F(xiàn)aster-RCNN網(wǎng)絡(luò)的目標(biāo)檢測(cè)準(zhǔn)確率為67.75%，而本文所提出的基于顏色差異特征與邊緣復(fù)雜度的螺栓安裝狀態(tài)自動(dòng)檢測(cè)算法的準(zhǔn)確率為86.24%。這一對(duì)比結(jié)果說明，與單一的深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)比，本算法有效提高了目標(biāo)識(shí)別的準(zhǔn)確度。

3 結(jié) 語

本文將深度學(xué)習(xí)與數(shù)字圖像處理方法相結(jié)合，在Faster-RCNN網(wǎng)絡(luò)目標(biāo)定位的基礎(chǔ)上，提出了一種基于顏色差異特征與邊緣復(fù)雜度的螺栓安裝狀態(tài)自動(dòng)檢測(cè)算法。在該算法中提出了一種基于HSV顏色空間的顏色差異特征算子，可以量化反映圖片的整體顏色變化。同時(shí)，還提出了包含邊緣連通域個(gè)數(shù)、邊緣連通域質(zhì)心分散度及邊緣連通域質(zhì)心區(qū)域分布比的邊緣復(fù)雜度特征集，可量化表征圖片中目標(biāo)的邊緣復(fù)雜度。經(jīng)在國家電網(wǎng)施工現(xiàn)場(chǎng)鐵塔底部實(shí)地拍攝的271張圖像（包含2 304個(gè)目標(biāo)）驗(yàn)證，本文所提出算法準(zhǔn)確率可達(dá)86.24%；與單一的深度學(xué)習(xí)目標(biāo)檢測(cè)方法相比，有效提高了目標(biāo)識(shí)別準(zhǔn)確率，有望成為及時(shí)識(shí)別鐵塔上存在安全隱患的未安裝部件的一種新的解決方案。