基于卷積神經(jīng)網(wǎng)絡(luò)的架空鐵塔護(hù)坡提?。?/h1>
2018-10-13 02:45陳城史芙蓉許海源林華盛江萬壽
科技與創(chuàng)新 2018年19期
陳城，史芙蓉，許海源，林華盛，江萬壽
?
基于卷積神經(jīng)網(wǎng)絡(luò)的架空鐵塔護(hù)坡提?。?/p>
陳城1，史芙蓉2，許海源1，林華盛1，江萬壽2
（1.深圳供電局有限公司，廣東 深圳 518000；2.武漢大學(xué)測(cè)繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079）
以深圳電力線巡線時(shí)所獲得的高分辨率航空影像為例，提出了基于集成卷積神經(jīng)網(wǎng)絡(luò)的架空鐵塔護(hù)坡自動(dòng)提取方法。該方法首先通過Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)在多幅航空影像中框取護(hù)坡目標(biāo)，然后通過SegNet語義分割網(wǎng)絡(luò)進(jìn)一步分割目標(biāo)框中的護(hù)坡與背景，獲取精確的護(hù)坡掩膜信息。與直接應(yīng)用SegNet模型的“一步式”護(hù)坡提取方法相比，“先定位后分割”的方法在2個(gè)實(shí)驗(yàn)數(shù)據(jù)上的虛警率下降超過38.1%；與基于Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)提取方法相比，該方法在2個(gè)數(shù)據(jù)上的正確率均高于98%，優(yōu)于Mask R-CNN所達(dá)到的95.96%.
架空鐵塔護(hù)坡；卷積神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測(cè)；語義分割
護(hù)坡是為防止邊坡受沖刷，在坡面上建設(shè)的各種鋪砌和栽植的統(tǒng)稱，被廣泛應(yīng)用于電力工程中，是電力設(shè)施數(shù)據(jù)庫的一類基本要素，在對(duì)輸電線路塔基邊坡狀態(tài)進(jìn)行檢測(cè)防護(hù)、確保輸電線路安全運(yùn)行的過程中發(fā)揮重要作用[1-2]。極端天氣、工程活動(dòng)等因素會(huì)對(duì)護(hù)坡的穩(wěn)定性造成影響，誘發(fā)邊坡災(zāi)害，架空輸電塔基周圍的邊坡災(zāi)害則危及輸電線路傳輸，傳統(tǒng)的護(hù)坡監(jiān)測(cè)方法通過傳感器數(shù)據(jù)分析護(hù)坡狀態(tài)[3]。隨著遙感技術(shù)手段的發(fā)展，通過攝影測(cè)量技術(shù)手段，能夠恢復(fù)電力走廊的三維信息[4]，從而對(duì)邊坡的面積、坡度和狀態(tài)進(jìn)行探測(cè)，為輸電線路塔基邊坡監(jiān)測(cè)提供了新思路，而基于航空影像的架空鐵塔護(hù)坡提取是護(hù)坡重建和監(jiān)測(cè)的基礎(chǔ)。
遙感領(lǐng)域常用監(jiān)督式的機(jī)器學(xué)習(xí)方法進(jìn)行目標(biāo)提取，葛廣英[5]將幀差法與支持向量機(jī)相結(jié)合，從視頻圖像序列中檢測(cè)和分割運(yùn)動(dòng)車輛；Mo G等[6]提出了一種基于SIFT特征和Boosting分類器的車輛檢測(cè)方法，來減弱背景差異對(duì)目標(biāo)提取的影響。傳統(tǒng)的監(jiān)督訓(xùn)練方法通過多種特征的設(shè)計(jì)和組合描述對(duì)象的結(jié)構(gòu)信息，對(duì)簡(jiǎn)單場(chǎng)景能取得較好的效果，然而，特征的設(shè)計(jì)和選擇需要依賴于操作人員，且淺層特征難以準(zhǔn)確表達(dá)目標(biāo)的深層結(jié)構(gòu)，難以處理復(fù)雜的多場(chǎng)景任務(wù)。深度學(xué)習(xí)突破傳統(tǒng)監(jiān)督方法的局限，能自動(dòng)學(xué)習(xí)不同層次的抽象特征，當(dāng)前深度學(xué)習(xí)方法逐漸應(yīng)用于基于圖像的船只、飛機(jī)等目標(biāo)識(shí)別領(lǐng)域，并在多類場(chǎng)景下取得了較好的效果[7-8]。但是，基于航空影像的電力線、塔附近的邊坡提取，由于應(yīng)用場(chǎng)景和提取目標(biāo)特殊尚未受到廣泛關(guān)注，因此，本文提取出了集成卷積神經(jīng)網(wǎng)絡(luò)的方法，先后建立護(hù)坡定位、分割模型，實(shí)驗(yàn)結(jié)果表明該方法能夠準(zhǔn)確地提取出影像中的護(hù)坡，為護(hù)坡智能提取問題提供了一種行之有效的解決方案。
1 關(guān)鍵技術(shù)與流程
1.1 總體技術(shù)流程
架空鐵塔護(hù)坡提取流程如圖1所示。
圖1 架空鐵塔護(hù)坡提取流程
本文的架空鐵塔護(hù)坡提取總體技術(shù)流程如圖1所示，主要包括模型訓(xùn)練和模型應(yīng)用兩部分，模型訓(xùn)練包括護(hù)坡檢測(cè)模型訓(xùn)練以及護(hù)坡分割模型訓(xùn)練，模型應(yīng)用時(shí)對(duì)航空影像先后加載訓(xùn)練好的檢測(cè)模型和分割模型，精確地提取出架空鐵塔護(hù)坡這一目標(biāo)。
1.2 架空鐵塔護(hù)坡檢測(cè)模型
本文采用Faster R-CNN卷積網(wǎng)絡(luò)[9]訓(xùn)練護(hù)坡檢測(cè)模型。Faster R-CNN處理過程如圖2所示，F(xiàn)aster R-CNN由區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）和Fast R-CNN[10]兩個(gè)子網(wǎng)絡(luò)構(gòu)成，RPN根據(jù)訓(xùn)練數(shù)據(jù)集產(chǎn)生可能包含目標(biāo)的候選框，F(xiàn)ast R-CNN對(duì)候選框進(jìn)行分類和回歸得到目標(biāo)所在準(zhǔn)確位置。
圖2 Faster R-CNN處理過程
1.2.1 特征提取
卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種輸入到輸出的映射，能夠?qū)W習(xí)大量輸入與輸出之間的映射關(guān)系，采用局部權(quán)值共享的特殊結(jié)構(gòu)降低了網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，在圖像處理方面有著獨(dú)特的優(yōu)越性。
本文的Faster R-CNN采用VGG16網(wǎng)絡(luò)提取特征，相比于LeNet、AlexNet、ZFNet網(wǎng)絡(luò)，VGG16網(wǎng)絡(luò)層次更深，能獲取更好的特征。
1.2.2 RNP
RNP網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
圖3 RNP網(wǎng)絡(luò)結(jié)構(gòu)
用一個(gè)大小為3×3的卷積核作為滑動(dòng)窗口在特征圖上進(jìn)行卷積，每個(gè)滑動(dòng)窗口的中心對(duì)應(yīng)9個(gè)錨點(diǎn)，每個(gè)錨點(diǎn)對(duì)應(yīng)不同的尺度和長寬比，即在每個(gè)位置都會(huì)預(yù)測(cè)9個(gè)候選框；將卷積后得到的512維特征向量輸入2個(gè)全連接層，得到每個(gè)候選框的類別（目標(biāo)或背景）和位置信息，保留與真實(shí)目標(biāo)框重疊度大于0.7（正樣本）和小于0.3（負(fù)樣本）的候選框，并用非極大值抑制法將候選框的數(shù)量控制在300個(gè)。
1.2.3 Fast R-CNN
在RNP階段，產(chǎn)生沒有類別信息的候選框，通過Fast R-CNN中的ROI池化層為每個(gè)候選框提取特征，即用每個(gè)候選框裁剪卷積特征映射，然后用雙線性插值將裁剪后的映射調(diào)整14×14的固定大小，并用最大池得到最終7×7的特征映射；Fast R-CNN最后用全連接輸出每個(gè)對(duì)象可能的類別的分?jǐn)?shù)，賦予候選框類別信息。
1.2.4 模型訓(xùn)練
Faster R-CNN包括了RNP和Fast R-CNN兩個(gè)網(wǎng)絡(luò)，通過共享卷積層減少網(wǎng)絡(luò)參數(shù)，采用了交替訓(xùn)練的方式，訓(xùn)練步驟如下：①利用在ImageNet目標(biāo)分類數(shù)據(jù)庫上進(jìn)行訓(xùn)練得到的模型初始化RPN參數(shù)，在架空鐵塔護(hù)坡訓(xùn)練數(shù)據(jù)集上獨(dú)立訓(xùn)練RPN，訓(xùn)練80 000次。②同樣用ImageNet模型初始化Fast R-CNN參數(shù)，利用上述得到的候選框作為輸入訓(xùn)練Fast R-CNN，訓(xùn)練40 000次。③用上述步驟得到的參數(shù)初始化RPN的網(wǎng)絡(luò)，把RPN與Fast R-CNN共享的卷積層的學(xué)習(xí)率設(shè)為0，僅更新RPN特有的網(wǎng)絡(luò)層，重新訓(xùn)練，訓(xùn)練80 000次。④用上述步驟得到的參數(shù)初始化Fast R-CNN的網(wǎng)絡(luò)，不改變共享層，微調(diào)其全連接層，訓(xùn)練40 000次，建立Faster R-CNN模型。
1.3 架空鐵塔護(hù)坡語義分割模型
SegNet網(wǎng)絡(luò)是一種具有編解碼結(jié)構(gòu)的圖像語義分割深度卷積神經(jīng)網(wǎng)絡(luò)[11]，SegNet的總體結(jié)構(gòu)如圖4所示，它擁有一個(gè)編碼網(wǎng)絡(luò)和與之對(duì)應(yīng)的解碼網(wǎng)絡(luò)，將最后一個(gè)解碼器的輸出送入像素分類器中，每個(gè)像素產(chǎn)生類概率得到分割結(jié)果圖。
圖4 SegNet網(wǎng)絡(luò)結(jié)構(gòu)
1.3.1 編碼器
SegNet的編碼器包括卷積層、批歸一化層、激活層以及池化層，每組編碼器產(chǎn)生一組特征圖及對(duì)應(yīng)最大池化層的索引值。
1.3.2 解碼器
在解碼器中，根據(jù)保存的索引值信息，對(duì)輸入的特征圖進(jìn)行采樣，得到稀疏的特征圖，然后用一組可訓(xùn)練的解碼濾波器組對(duì)這些稀疏的特征圖進(jìn)行卷積操作，從而得到稠密的特征圖；最后一層解碼器輸出一組與輸入圖像相同維度的特征圖，這些特征圖最終被送進(jìn)一個(gè)為像素點(diǎn)分類而設(shè)計(jì)的Softmax分類器中，Softmax分類器輸出具有個(gè)通道，并輸入圖像尺寸相同的概率圖，值為類別個(gè)數(shù)，概率值最大的類別即為該像素點(diǎn)的類別，從而實(shí)現(xiàn)像素級(jí)別的語義分割。
1.3.3 模型訓(xùn)練
利用在ImageNet模型初始化SegNet中編碼器及解碼器網(wǎng)絡(luò)參數(shù)，采用隨機(jī)梯度下降的參數(shù)訓(xùn)練策略，學(xué)習(xí)率固定為0.001，卷積核大小為7×7，迭代次數(shù)設(shè)置40 000次。根據(jù)Faster R-CNN模型檢測(cè)出的架空鐵塔護(hù)坡圖像，制作語義分割樣本庫，語義分割樣本庫由裁剪后的檢測(cè)圖像及其對(duì)應(yīng)的標(biāo)注圖像組成，標(biāo)注結(jié)果為二值化灰度圖像，0為背景，1為護(hù)坡。由于檢測(cè)圖像較大，為了解決顯卡顯存不足的問題，需要將其及對(duì)應(yīng)的灰度圖像裁剪，將該樣本庫輸入SegNet網(wǎng)絡(luò)，建立護(hù)坡語義分割模型。
2 實(shí)驗(yàn)結(jié)果及分析
2.1 實(shí)驗(yàn)準(zhǔn)備
本文實(shí)驗(yàn)在Ubuntu下用GPU進(jìn)行加速計(jì)算，F(xiàn)aster R-CNN和SegNet在Caffe這一主流深度學(xué)習(xí)框架下運(yùn)行。實(shí)驗(yàn)中的實(shí)驗(yàn)數(shù)據(jù)通過無人機(jī)低空遙感技術(shù)獲取，包括不同光照、不同拍攝角度、不同背景等情況下的護(hù)坡無人機(jī)高分辨遙感影像，影像地面采樣距離約為0.5 m，影像大小為6 000×4 000或者4 000×6 000，影像中的護(hù)坡與架空鐵塔相鄰，周圍地區(qū)主要被植被、道路、裸土、田地等覆蓋。
2.2 護(hù)坡定位與分割
用已完成訓(xùn)練的Faster R-CNN模型檢測(cè)護(hù)坡，確定護(hù)坡位置，將候選區(qū)域集滿足以下2個(gè)條件的區(qū)域確定為護(hù)坡：①分類概率大于0.8；②該區(qū)域分類概率比所有有重疊部分取得的分類概率都高，即該區(qū)域分類概率是一個(gè)局部最大值。護(hù)坡檢測(cè)結(jié)果如圖5所示，黑色框?yàn)樽o(hù)坡的檢測(cè)框，可以看出該檢測(cè)框完整包含了護(hù)坡，且大大降低了背景的干擾。
圖5 護(hù)坡定位結(jié)果
完成檢測(cè)后，根據(jù)檢測(cè)框得到檢測(cè)影像，用已完成訓(xùn)練的SegNet模型對(duì)該影像進(jìn)行分割，并根據(jù)檢測(cè)框坐標(biāo)將分割影像定位至原圖像中，分割結(jié)果的掩模結(jié)果如圖6所示。
圖6 護(hù)坡分割掩模結(jié)果
2.3 實(shí)驗(yàn)對(duì)比與分析
本文與SegNet網(wǎng)絡(luò)直接對(duì)原始影像分割的方法進(jìn)行對(duì)比，驗(yàn)證了“先定位后分割”的優(yōu)越性，并與文獻(xiàn)[12]中的Mask R-CNN方法進(jìn)行實(shí)驗(yàn)對(duì)比，Mask R-CNN方法與本文方法相似之處在于都遵循“先定位后分割”的思路，不同之處在于本文方法采用串聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，檢測(cè)模型在原始圖像提取的特征上訓(xùn)練，分割模型在檢測(cè)圖像提取的特征上訓(xùn)練，而Mask R-CNN采用并行的卷積網(wǎng)絡(luò)訓(xùn)練方法，檢測(cè)模型和分割模型同時(shí)在原始圖像提取的特征進(jìn)行訓(xùn)練。護(hù)坡提取結(jié)果對(duì)比如圖7所示。
實(shí)驗(yàn)結(jié)果的評(píng)價(jià)分為定性評(píng)價(jià)和定量評(píng)價(jià)。為了度量護(hù)坡提取精度，本文采用基于像素?cái)?shù)量誤差的定量精度評(píng)價(jià)方法，將正確率d和虛警率f作為評(píng)價(jià)標(biāo)準(zhǔn)，定量評(píng)價(jià)指標(biāo)計(jì)算公式如下[13]：
式（1）（2）中：t為提取的理想護(hù)坡像素總數(shù)；C為采用深度卷積神經(jīng)網(wǎng)絡(luò)方法被正確提取的護(hù)坡像素?cái)?shù)量；f為采用深度卷積神經(jīng)網(wǎng)絡(luò)方法被誤分為護(hù)坡的像素?cái)?shù)量。評(píng)價(jià)結(jié)果如表1所示。
表1的統(tǒng)計(jì)數(shù)據(jù)表明，直接對(duì)原始影像進(jìn)行分割的方法虛警率非常高，而本文提出的方法明顯降低了虛警率，且正確率和虛警率均優(yōu)于Mask R-CNN的方法，平均正確率比Mask R-CNN的高出3.00%，平均虛警率低了0.38%，說明該方法能更加準(zhǔn)確地提取出護(hù)坡。
3 結(jié)束語
針對(duì)無人機(jī)影像護(hù)坡提取這一需求，本文利用卷積神經(jīng)網(wǎng)絡(luò)能自動(dòng)學(xué)習(xí)圖像本質(zhì)特征的優(yōu)勢(shì)，提出了基于Faster R-CNN+SegNet集成卷積網(wǎng)絡(luò)的架空鐵塔護(hù)坡提取方法，該方法遵循“先定位后分割”的路線。定位后的護(hù)坡圖像降低了護(hù)坡背景的復(fù)雜度，使護(hù)坡在圖像中占據(jù)主要地位，有利于進(jìn)行后續(xù)護(hù)坡的提取工作。與Mask R-CNN相比，重新訓(xùn)練定位后的圖像特征，能更加準(zhǔn)確地對(duì)護(hù)坡本質(zhì)進(jìn)行表達(dá)。實(shí)驗(yàn)表明采用本文提出的方法能準(zhǔn)確地從復(fù)雜場(chǎng)景中提取出護(hù)坡，這為護(hù)坡以及其他本身具有一定規(guī)律特征而所在背景復(fù)雜多樣的地物（比如居民地）的提取提供了一個(gè)參照方法。
注：（a）（b）兩組圖中的第一幅圖都為人工標(biāo)注提取結(jié)果，第二幅圖都為只用SegNet提取結(jié)果，第三幅圖都為Mask R-CNN提取結(jié)果，第四幅圖都為本文采取的Faster R-CNN+SegNet提取結(jié)果。
表1 精度對(duì)比
實(shí)驗(yàn)數(shù)據(jù)方法正確率/（%）虛警率/（%） 數(shù)據(jù)1SegNet98.6659.34 Mask R-CNN95.812.10 Faster R-CNN+SegNet98.431.53 數(shù)據(jù)2SegNet99.1439.28 Mask R-CNN95.961.30 Faster R-CNN+SegNet99.341.10
［1］裴慧坤，周偉才，周榮林，等.架空鐵塔邊坡狀態(tài)監(jiān)測(cè)技術(shù)的研究［J］.中國新技術(shù)新產(chǎn)品，2013（24）：37-38.
［2］曾川峰.山區(qū)高壓電力鐵塔基礎(chǔ)邊坡治理［J］.低碳世界，2015（35）：23-24.
［3］辛紅園. 爆破對(duì)鄰近高邊坡頂鐵塔的影響研究［D］.重慶：重慶交通大學(xué)，2016.
［4］裴慧坤，姜三，林國安，等.依托無人機(jī)傾斜攝影的電力走廊三維重建［J］.測(cè)繪科學(xué)，2016，41（12）：292-296.
［5］葛廣英.基于SVM的車型檢測(cè)和識(shí)別算法［J］.計(jì)算機(jī)工程，2007（06）：6-8，11.
［6］Mo G，Zhang Y，Zhang S，et al. A Method of Vehicle Detection Based on SIFT Features and Boosting Classifier［J］.Journal of Convergence Information Technology，2012，7（12）：328-334.
［7］歐陽穎卉，林翬，李樹濤.基于卷積神經(jīng)網(wǎng)絡(luò)的光學(xué)遙感圖像船只檢測(cè)［J］.包裝工程，2016，37（15）：1-6.
［8］戴陳卡，李毅.基于Faster RCNN以及多部件結(jié)合的機(jī)場(chǎng)場(chǎng)面靜態(tài)飛機(jī)檢測(cè)［J］.計(jì)算機(jī)應(yīng)用，2017，37（S2）：85-88.
［9］Ren S，He K，Girshick R，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks［J］.IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，39（06）：1137-1149.
［10］Girshick，Ross.“Fast r-cnn.”［J］.Proceedings of the IEEE International Conference on Computer Vision，2015.
［11］Badrinarayanan V，Handa A，Cipolla R.SegNet：A Deep Convolutional Encoder-Decoder Architecture for Robust Semantic Pixel-Wise Labelling［J］.Computer Science，2015.
［12］He K，Gkioxari G，Dollár P，et al.Mask R-CNN［C］//IEEE International Conference on Computer Vision. IEEE，2017：2980-2988.
［13］曹建農(nóng)，王平祿，董昱威.高分辨率遙感影像上居民地自動(dòng)提取方法［J］.武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2014，39（07）：831-837.
〔編輯：張思楠〕
深圳供電局科技項(xiàng)目（編號(hào)：090000KK52160017）
2095－6835（2018）19－0038－04
TM753
A
10.15913/j.cnki.kjycx.2018.19.038
陳城（1989—），男，湖南湘潭人，工程師，主要從事架空輸電線路技術(shù)研究。
猜你喜歡
基于全卷積神經(jīng)網(wǎng)絡(luò)的豬背膘厚快速準(zhǔn)確測(cè)定農(nóng)業(yè)工程學(xué)報(bào)(2022年12期)2022-09-09 水利工程中河道生態(tài)護(hù)坡施工技術(shù)科海故事博覽·中旬刊(2022年4期)2022-04-23 水利工程河道生態(tài)護(hù)坡施工要點(diǎn)分析科海故事博覽·中旬刊(2022年4期)2022-04-23 水利防洪工程中生態(tài)護(hù)坡建設(shè)的探討珠江水運(yùn)(2021年13期)2021-11-24 一種基于卷積神經(jīng)網(wǎng)絡(luò)的地磁基準(zhǔn)圖構(gòu)建方法北京航空航天大學(xué)學(xué)報(bào)(2021年9期)2021-11-02 基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)北京航空航天大學(xué)學(xué)報(bào)(2021年9期)2021-11-02 一種并行不對(duì)稱空洞卷積模塊①計(jì)算機(jī)系統(tǒng)應(yīng)用(2021年9期)2021-10-11 磁與鐵的故事閱讀與作文（小學(xué)低年級(jí)版）(2020年2期)2020-05-25 鐵塔公司將承建10萬個(gè)4G鐵塔 出租或年入400億移動(dòng)通信(2014年17期)2014-10-16 傳染病興趣英語(2013年5期)2013-09-24
陳城，史芙蓉，許海源，林華盛，江萬壽
?
基于卷積神經(jīng)網(wǎng)絡(luò)的架空鐵塔護(hù)坡提?。?/p>
陳城1，史芙蓉2，許海源1，林華盛1，江萬壽2
（1.深圳供電局有限公司，廣東 深圳 518000；2.武漢大學(xué)測(cè)繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079）
以深圳電力線巡線時(shí)所獲得的高分辨率航空影像為例，提出了基于集成卷積神經(jīng)網(wǎng)絡(luò)的架空鐵塔護(hù)坡自動(dòng)提取方法。該方法首先通過Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)在多幅航空影像中框取護(hù)坡目標(biāo)，然后通過SegNet語義分割網(wǎng)絡(luò)進(jìn)一步分割目標(biāo)框中的護(hù)坡與背景，獲取精確的護(hù)坡掩膜信息。與直接應(yīng)用SegNet模型的“一步式”護(hù)坡提取方法相比，“先定位后分割”的方法在2個(gè)實(shí)驗(yàn)數(shù)據(jù)上的虛警率下降超過38.1%；與基于Mask R-CNN卷積神經(jīng)網(wǎng)絡(luò)提取方法相比，該方法在2個(gè)數(shù)據(jù)上的正確率均高于98%，優(yōu)于Mask R-CNN所達(dá)到的95.96%.
架空鐵塔護(hù)坡；卷積神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測(cè)；語義分割
護(hù)坡是為防止邊坡受沖刷，在坡面上建設(shè)的各種鋪砌和栽植的統(tǒng)稱，被廣泛應(yīng)用于電力工程中，是電力設(shè)施數(shù)據(jù)庫的一類基本要素，在對(duì)輸電線路塔基邊坡狀態(tài)進(jìn)行檢測(cè)防護(hù)、確保輸電線路安全運(yùn)行的過程中發(fā)揮重要作用[1-2]。極端天氣、工程活動(dòng)等因素會(huì)對(duì)護(hù)坡的穩(wěn)定性造成影響，誘發(fā)邊坡災(zāi)害，架空輸電塔基周圍的邊坡災(zāi)害則危及輸電線路傳輸，傳統(tǒng)的護(hù)坡監(jiān)測(cè)方法通過傳感器數(shù)據(jù)分析護(hù)坡狀態(tài)[3]。隨著遙感技術(shù)手段的發(fā)展，通過攝影測(cè)量技術(shù)手段，能夠恢復(fù)電力走廊的三維信息[4]，從而對(duì)邊坡的面積、坡度和狀態(tài)進(jìn)行探測(cè)，為輸電線路塔基邊坡監(jiān)測(cè)提供了新思路，而基于航空影像的架空鐵塔護(hù)坡提取是護(hù)坡重建和監(jiān)測(cè)的基礎(chǔ)。
遙感領(lǐng)域常用監(jiān)督式的機(jī)器學(xué)習(xí)方法進(jìn)行目標(biāo)提取，葛廣英[5]將幀差法與支持向量機(jī)相結(jié)合，從視頻圖像序列中檢測(cè)和分割運(yùn)動(dòng)車輛；Mo G等[6]提出了一種基于SIFT特征和Boosting分類器的車輛檢測(cè)方法，來減弱背景差異對(duì)目標(biāo)提取的影響。傳統(tǒng)的監(jiān)督訓(xùn)練方法通過多種特征的設(shè)計(jì)和組合描述對(duì)象的結(jié)構(gòu)信息，對(duì)簡(jiǎn)單場(chǎng)景能取得較好的效果，然而，特征的設(shè)計(jì)和選擇需要依賴于操作人員，且淺層特征難以準(zhǔn)確表達(dá)目標(biāo)的深層結(jié)構(gòu)，難以處理復(fù)雜的多場(chǎng)景任務(wù)。深度學(xué)習(xí)突破傳統(tǒng)監(jiān)督方法的局限，能自動(dòng)學(xué)習(xí)不同層次的抽象特征，當(dāng)前深度學(xué)習(xí)方法逐漸應(yīng)用于基于圖像的船只、飛機(jī)等目標(biāo)識(shí)別領(lǐng)域，并在多類場(chǎng)景下取得了較好的效果[7-8]。但是，基于航空影像的電力線、塔附近的邊坡提取，由于應(yīng)用場(chǎng)景和提取目標(biāo)特殊尚未受到廣泛關(guān)注，因此，本文提取出了集成卷積神經(jīng)網(wǎng)絡(luò)的方法，先后建立護(hù)坡定位、分割模型，實(shí)驗(yàn)結(jié)果表明該方法能夠準(zhǔn)確地提取出影像中的護(hù)坡，為護(hù)坡智能提取問題提供了一種行之有效的解決方案。
1 關(guān)鍵技術(shù)與流程
1.1 總體技術(shù)流程
架空鐵塔護(hù)坡提取流程如圖1所示。
圖1 架空鐵塔護(hù)坡提取流程
本文的架空鐵塔護(hù)坡提取總體技術(shù)流程如圖1所示，主要包括模型訓(xùn)練和模型應(yīng)用兩部分，模型訓(xùn)練包括護(hù)坡檢測(cè)模型訓(xùn)練以及護(hù)坡分割模型訓(xùn)練，模型應(yīng)用時(shí)對(duì)航空影像先后加載訓(xùn)練好的檢測(cè)模型和分割模型，精確地提取出架空鐵塔護(hù)坡這一目標(biāo)。
1.2 架空鐵塔護(hù)坡檢測(cè)模型
本文采用Faster R-CNN卷積網(wǎng)絡(luò)[9]訓(xùn)練護(hù)坡檢測(cè)模型。Faster R-CNN處理過程如圖2所示，F(xiàn)aster R-CNN由區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）和Fast R-CNN[10]兩個(gè)子網(wǎng)絡(luò)構(gòu)成，RPN根據(jù)訓(xùn)練數(shù)據(jù)集產(chǎn)生可能包含目標(biāo)的候選框，F(xiàn)ast R-CNN對(duì)候選框進(jìn)行分類和回歸得到目標(biāo)所在準(zhǔn)確位置。
圖2 Faster R-CNN處理過程
1.2.1 特征提取
卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種輸入到輸出的映射，能夠?qū)W習(xí)大量輸入與輸出之間的映射關(guān)系，采用局部權(quán)值共享的特殊結(jié)構(gòu)降低了網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，在圖像處理方面有著獨(dú)特的優(yōu)越性。
本文的Faster R-CNN采用VGG16網(wǎng)絡(luò)提取特征，相比于LeNet、AlexNet、ZFNet網(wǎng)絡(luò)，VGG16網(wǎng)絡(luò)層次更深，能獲取更好的特征。
1.2.2 RNP
RNP網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
圖3 RNP網(wǎng)絡(luò)結(jié)構(gòu)
用一個(gè)大小為3×3的卷積核作為滑動(dòng)窗口在特征圖上進(jìn)行卷積，每個(gè)滑動(dòng)窗口的中心對(duì)應(yīng)9個(gè)錨點(diǎn)，每個(gè)錨點(diǎn)對(duì)應(yīng)不同的尺度和長寬比，即在每個(gè)位置都會(huì)預(yù)測(cè)9個(gè)候選框；將卷積后得到的512維特征向量輸入2個(gè)全連接層，得到每個(gè)候選框的類別（目標(biāo)或背景）和位置信息，保留與真實(shí)目標(biāo)框重疊度大于0.7（正樣本）和小于0.3（負(fù)樣本）的候選框，并用非極大值抑制法將候選框的數(shù)量控制在300個(gè)。
1.2.3 Fast R-CNN
在RNP階段，產(chǎn)生沒有類別信息的候選框，通過Fast R-CNN中的ROI池化層為每個(gè)候選框提取特征，即用每個(gè)候選框裁剪卷積特征映射，然后用雙線性插值將裁剪后的映射調(diào)整14×14的固定大小，并用最大池得到最終7×7的特征映射；Fast R-CNN最后用全連接輸出每個(gè)對(duì)象可能的類別的分?jǐn)?shù)，賦予候選框類別信息。
1.2.4 模型訓(xùn)練
Faster R-CNN包括了RNP和Fast R-CNN兩個(gè)網(wǎng)絡(luò)，通過共享卷積層減少網(wǎng)絡(luò)參數(shù)，采用了交替訓(xùn)練的方式，訓(xùn)練步驟如下：①利用在ImageNet目標(biāo)分類數(shù)據(jù)庫上進(jìn)行訓(xùn)練得到的模型初始化RPN參數(shù)，在架空鐵塔護(hù)坡訓(xùn)練數(shù)據(jù)集上獨(dú)立訓(xùn)練RPN，訓(xùn)練80 000次。②同樣用ImageNet模型初始化Fast R-CNN參數(shù)，利用上述得到的候選框作為輸入訓(xùn)練Fast R-CNN，訓(xùn)練40 000次。③用上述步驟得到的參數(shù)初始化RPN的網(wǎng)絡(luò)，把RPN與Fast R-CNN共享的卷積層的學(xué)習(xí)率設(shè)為0，僅更新RPN特有的網(wǎng)絡(luò)層，重新訓(xùn)練，訓(xùn)練80 000次。④用上述步驟得到的參數(shù)初始化Fast R-CNN的網(wǎng)絡(luò)，不改變共享層，微調(diào)其全連接層，訓(xùn)練40 000次，建立Faster R-CNN模型。
1.3 架空鐵塔護(hù)坡語義分割模型
SegNet網(wǎng)絡(luò)是一種具有編解碼結(jié)構(gòu)的圖像語義分割深度卷積神經(jīng)網(wǎng)絡(luò)[11]，SegNet的總體結(jié)構(gòu)如圖4所示，它擁有一個(gè)編碼網(wǎng)絡(luò)和與之對(duì)應(yīng)的解碼網(wǎng)絡(luò)，將最后一個(gè)解碼器的輸出送入像素分類器中，每個(gè)像素產(chǎn)生類概率得到分割結(jié)果圖。
圖4 SegNet網(wǎng)絡(luò)結(jié)構(gòu)
1.3.1 編碼器
SegNet的編碼器包括卷積層、批歸一化層、激活層以及池化層，每組編碼器產(chǎn)生一組特征圖及對(duì)應(yīng)最大池化層的索引值。
1.3.2 解碼器
在解碼器中，根據(jù)保存的索引值信息，對(duì)輸入的特征圖進(jìn)行采樣，得到稀疏的特征圖，然后用一組可訓(xùn)練的解碼濾波器組對(duì)這些稀疏的特征圖進(jìn)行卷積操作，從而得到稠密的特征圖；最后一層解碼器輸出一組與輸入圖像相同維度的特征圖，這些特征圖最終被送進(jìn)一個(gè)為像素點(diǎn)分類而設(shè)計(jì)的Softmax分類器中，Softmax分類器輸出具有個(gè)通道，并輸入圖像尺寸相同的概率圖，值為類別個(gè)數(shù)，概率值最大的類別即為該像素點(diǎn)的類別，從而實(shí)現(xiàn)像素級(jí)別的語義分割。
1.3.3 模型訓(xùn)練
利用在ImageNet模型初始化SegNet中編碼器及解碼器網(wǎng)絡(luò)參數(shù)，采用隨機(jī)梯度下降的參數(shù)訓(xùn)練策略，學(xué)習(xí)率固定為0.001，卷積核大小為7×7，迭代次數(shù)設(shè)置40 000次。根據(jù)Faster R-CNN模型檢測(cè)出的架空鐵塔護(hù)坡圖像，制作語義分割樣本庫，語義分割樣本庫由裁剪后的檢測(cè)圖像及其對(duì)應(yīng)的標(biāo)注圖像組成，標(biāo)注結(jié)果為二值化灰度圖像，0為背景，1為護(hù)坡。由于檢測(cè)圖像較大，為了解決顯卡顯存不足的問題，需要將其及對(duì)應(yīng)的灰度圖像裁剪，將該樣本庫輸入SegNet網(wǎng)絡(luò)，建立護(hù)坡語義分割模型。
2 實(shí)驗(yàn)結(jié)果及分析
2.1 實(shí)驗(yàn)準(zhǔn)備
本文實(shí)驗(yàn)在Ubuntu下用GPU進(jìn)行加速計(jì)算，F(xiàn)aster R-CNN和SegNet在Caffe這一主流深度學(xué)習(xí)框架下運(yùn)行。實(shí)驗(yàn)中的實(shí)驗(yàn)數(shù)據(jù)通過無人機(jī)低空遙感技術(shù)獲取，包括不同光照、不同拍攝角度、不同背景等情況下的護(hù)坡無人機(jī)高分辨遙感影像，影像地面采樣距離約為0.5 m，影像大小為6 000×4 000或者4 000×6 000，影像中的護(hù)坡與架空鐵塔相鄰，周圍地區(qū)主要被植被、道路、裸土、田地等覆蓋。
2.2 護(hù)坡定位與分割
用已完成訓(xùn)練的Faster R-CNN模型檢測(cè)護(hù)坡，確定護(hù)坡位置，將候選區(qū)域集滿足以下2個(gè)條件的區(qū)域確定為護(hù)坡：①分類概率大于0.8；②該區(qū)域分類概率比所有有重疊部分取得的分類概率都高，即該區(qū)域分類概率是一個(gè)局部最大值。護(hù)坡檢測(cè)結(jié)果如圖5所示，黑色框?yàn)樽o(hù)坡的檢測(cè)框，可以看出該檢測(cè)框完整包含了護(hù)坡，且大大降低了背景的干擾。
圖5 護(hù)坡定位結(jié)果
完成檢測(cè)后，根據(jù)檢測(cè)框得到檢測(cè)影像，用已完成訓(xùn)練的SegNet模型對(duì)該影像進(jìn)行分割，并根據(jù)檢測(cè)框坐標(biāo)將分割影像定位至原圖像中，分割結(jié)果的掩模結(jié)果如圖6所示。
圖6 護(hù)坡分割掩模結(jié)果
2.3 實(shí)驗(yàn)對(duì)比與分析
本文與SegNet網(wǎng)絡(luò)直接對(duì)原始影像分割的方法進(jìn)行對(duì)比，驗(yàn)證了“先定位后分割”的優(yōu)越性，并與文獻(xiàn)[12]中的Mask R-CNN方法進(jìn)行實(shí)驗(yàn)對(duì)比，Mask R-CNN方法與本文方法相似之處在于都遵循“先定位后分割”的思路，不同之處在于本文方法采用串聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，檢測(cè)模型在原始圖像提取的特征上訓(xùn)練，分割模型在檢測(cè)圖像提取的特征上訓(xùn)練，而Mask R-CNN采用并行的卷積網(wǎng)絡(luò)訓(xùn)練方法，檢測(cè)模型和分割模型同時(shí)在原始圖像提取的特征進(jìn)行訓(xùn)練。護(hù)坡提取結(jié)果對(duì)比如圖7所示。
實(shí)驗(yàn)結(jié)果的評(píng)價(jià)分為定性評(píng)價(jià)和定量評(píng)價(jià)。為了度量護(hù)坡提取精度，本文采用基于像素?cái)?shù)量誤差的定量精度評(píng)價(jià)方法，將正確率d和虛警率f作為評(píng)價(jià)標(biāo)準(zhǔn)，定量評(píng)價(jià)指標(biāo)計(jì)算公式如下[13]：
式（1）（2）中：t為提取的理想護(hù)坡像素總數(shù)；C為采用深度卷積神經(jīng)網(wǎng)絡(luò)方法被正確提取的護(hù)坡像素?cái)?shù)量；f為采用深度卷積神經(jīng)網(wǎng)絡(luò)方法被誤分為護(hù)坡的像素?cái)?shù)量。評(píng)價(jià)結(jié)果如表1所示。
表1的統(tǒng)計(jì)數(shù)據(jù)表明，直接對(duì)原始影像進(jìn)行分割的方法虛警率非常高，而本文提出的方法明顯降低了虛警率，且正確率和虛警率均優(yōu)于Mask R-CNN的方法，平均正確率比Mask R-CNN的高出3.00%，平均虛警率低了0.38%，說明該方法能更加準(zhǔn)確地提取出護(hù)坡。
3 結(jié)束語
針對(duì)無人機(jī)影像護(hù)坡提取這一需求，本文利用卷積神經(jīng)網(wǎng)絡(luò)能自動(dòng)學(xué)習(xí)圖像本質(zhì)特征的優(yōu)勢(shì)，提出了基于Faster R-CNN+SegNet集成卷積網(wǎng)絡(luò)的架空鐵塔護(hù)坡提取方法，該方法遵循“先定位后分割”的路線。定位后的護(hù)坡圖像降低了護(hù)坡背景的復(fù)雜度，使護(hù)坡在圖像中占據(jù)主要地位，有利于進(jìn)行后續(xù)護(hù)坡的提取工作。與Mask R-CNN相比，重新訓(xùn)練定位后的圖像特征，能更加準(zhǔn)確地對(duì)護(hù)坡本質(zhì)進(jìn)行表達(dá)。實(shí)驗(yàn)表明采用本文提出的方法能準(zhǔn)確地從復(fù)雜場(chǎng)景中提取出護(hù)坡，這為護(hù)坡以及其他本身具有一定規(guī)律特征而所在背景復(fù)雜多樣的地物（比如居民地）的提取提供了一個(gè)參照方法。
注：（a）（b）兩組圖中的第一幅圖都為人工標(biāo)注提取結(jié)果，第二幅圖都為只用SegNet提取結(jié)果，第三幅圖都為Mask R-CNN提取結(jié)果，第四幅圖都為本文采取的Faster R-CNN+SegNet提取結(jié)果。
表1 精度對(duì)比
實(shí)驗(yàn)數(shù)據(jù)方法正確率/（%）虛警率/（%） 數(shù)據(jù)1SegNet98.6659.34 Mask R-CNN95.812.10 Faster R-CNN+SegNet98.431.53 數(shù)據(jù)2SegNet99.1439.28 Mask R-CNN95.961.30 Faster R-CNN+SegNet99.341.10
［1］裴慧坤，周偉才，周榮林，等.架空鐵塔邊坡狀態(tài)監(jiān)測(cè)技術(shù)的研究［J］.中國新技術(shù)新產(chǎn)品，2013（24）：37-38.
［2］曾川峰.山區(qū)高壓電力鐵塔基礎(chǔ)邊坡治理［J］.低碳世界，2015（35）：23-24.
［3］辛紅園. 爆破對(duì)鄰近高邊坡頂鐵塔的影響研究［D］.重慶：重慶交通大學(xué)，2016.
［4］裴慧坤，姜三，林國安，等.依托無人機(jī)傾斜攝影的電力走廊三維重建［J］.測(cè)繪科學(xué)，2016，41（12）：292-296.
［5］葛廣英.基于SVM的車型檢測(cè)和識(shí)別算法［J］.計(jì)算機(jī)工程，2007（06）：6-8，11.
［6］Mo G，Zhang Y，Zhang S，et al. A Method of Vehicle Detection Based on SIFT Features and Boosting Classifier［J］.Journal of Convergence Information Technology，2012，7（12）：328-334.
［7］歐陽穎卉，林翬，李樹濤.基于卷積神經(jīng)網(wǎng)絡(luò)的光學(xué)遙感圖像船只檢測(cè)［J］.包裝工程，2016，37（15）：1-6.
［8］戴陳卡，李毅.基于Faster RCNN以及多部件結(jié)合的機(jī)場(chǎng)場(chǎng)面靜態(tài)飛機(jī)檢測(cè)［J］.計(jì)算機(jī)應(yīng)用，2017，37（S2）：85-88.
［9］Ren S，He K，Girshick R，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks［J］.IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，39（06）：1137-1149.
［10］Girshick，Ross.“Fast r-cnn.”［J］.Proceedings of the IEEE International Conference on Computer Vision，2015.
［11］Badrinarayanan V，Handa A，Cipolla R.SegNet：A Deep Convolutional Encoder-Decoder Architecture for Robust Semantic Pixel-Wise Labelling［J］.Computer Science，2015.
［12］He K，Gkioxari G，Dollár P，et al.Mask R-CNN［C］//IEEE International Conference on Computer Vision. IEEE，2017：2980-2988.
［13］曹建農(nóng)，王平祿，董昱威.高分辨率遙感影像上居民地自動(dòng)提取方法［J］.武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2014，39（07）：831-837.
〔編輯：張思楠〕
深圳供電局科技項(xiàng)目（編號(hào)：090000KK52160017）
2095－6835（2018）19－0038－04
TM753
A
10.15913/j.cnki.kjycx.2018.19.038
陳城（1989—），男，湖南湘潭人，工程師，主要從事架空輸電線路技術(shù)研究。
猜你喜歡
農(nóng)業(yè)工程學(xué)報(bào)(2022年12期)2022-09-09
科海故事博覽·中旬刊(2022年4期)2022-04-23
科海故事博覽·中旬刊(2022年4期)2022-04-23
珠江水運(yùn)(2021年13期)2021-11-24
北京航空航天大學(xué)學(xué)報(bào)(2021年9期)2021-11-02
北京航空航天大學(xué)學(xué)報(bào)(2021年9期)2021-11-02
計(jì)算機(jī)系統(tǒng)應(yīng)用(2021年9期)2021-10-11
閱讀與作文（小學(xué)低年級(jí)版）(2020年2期)2020-05-25
移動(dòng)通信(2014年17期)2014-10-16
興趣英語(2013年5期)2013-09-24
