唐法帥 高 琦 杜宗展
1(山東大學(xué)機(jī)械工程學(xué)院 山東 濟(jì)南 250061) 2(高效潔凈機(jī)械制造教育部重點實驗室 山東 濟(jì)南 250061) 3(山東大學(xué)電氣工程學(xué)院 山東 濟(jì)南 250061)
高壓輸電線路是現(xiàn)代工業(yè)社會和國民生活的生命線,正常與否事關(guān)國民生計和社會安定[1]。然而,遠(yuǎn)距離輸電的方式和特殊環(huán)境不可避免地會引起線路故障,造成極大的生命財產(chǎn)損失。因此,對輸電線路進(jìn)行定期巡檢成為輸電部門的一項必要工作[2]。
線路巡檢的方式多種多樣,先后經(jīng)歷了人工巡檢、直升機(jī)巡檢和無人機(jī)巡檢的發(fā)展過程[3]。近年來,隨著機(jī)器人技術(shù)的進(jìn)步,采用機(jī)器人來代替或協(xié)作人來完成輸電線路巡檢作業(yè)成為可能,輸電線路巡檢機(jī)器人迅速成為國內(nèi)外機(jī)器人領(lǐng)域的研究熱點之一[4]。前期巡檢機(jī)器人的導(dǎo)航方式主要是多傳感器電磁導(dǎo)航。如文獻(xiàn)[5]在機(jī)器人本體上安裝了34個測距傳感器,組成傳感器陣列,先通過自身攜帶的超聲波傳感器檢測輸電線直徑,通過直徑有無變化判斷線路上是否存在障礙物,然后利用機(jī)載GPS和輪組里程讀數(shù)確定與障礙物的距離,機(jī)器人停止運動后,將傳感器陣列采集到的障礙物的距離信息輸入到基于粗糙集的障礙物分類器中,根據(jù)分類器輸出判斷障礙物的尺寸范圍,進(jìn)而確定采用哪種越障方式。
隨著人工智能與機(jī)器學(xué)習(xí)理論的迅速發(fā)展,基于視覺導(dǎo)航的巡檢機(jī)器人成為線路巡檢的主要研究方向之一[6]。視覺導(dǎo)航以其重量輕、結(jié)構(gòu)簡單、采集信息量大的特點成為研究熱點[7]。視覺導(dǎo)航在線上完成的任務(wù)主要包括兩個:識別定位障礙和識別定位故障。其中識別定位障礙用于指導(dǎo)自主越障,是機(jī)器人自主巡檢的基礎(chǔ),而機(jī)器人只有具備了自主越障的能力,才有可能繼續(xù)完成識別定位故障等巡檢工作。
國內(nèi)外學(xué)者在高壓巡檢機(jī)器人基于視覺導(dǎo)航進(jìn)行障礙識別檢測方面開展了大量研究。文獻(xiàn)[8]設(shè)計了基于結(jié)構(gòu)約束的障礙物識別算法,利用圖像的邊緣信息,采用改進(jìn)的基于存在概率圖的圓、橢圓檢測方法和分層決策機(jī)制來減少干擾,實驗結(jié)果表明,算法能可靠地識別出復(fù)雜背景中的障礙物,但是對環(huán)境噪聲的抑制能力弱,結(jié)構(gòu)約束還不完整。文獻(xiàn)[9]提出了基于輪廓視圖合成的障礙物檢測方法,實驗證明輪廓視圖可比較理想地達(dá)到識別障礙物的目的,絕緣子和防震錘識別準(zhǔn)確率分別達(dá)到92%和80%。文獻(xiàn)[10]通過Otsu算法對Canny算子進(jìn)行改良,提取圖像邊緣,并對邊緣圖中的某些基元添加約束,實現(xiàn)障礙物識別,實驗結(jié)果表明,算法能夠有效地檢測出相線、防震錘、懸垂絕緣子和耐張絕緣子,但是當(dāng)光線強烈時,很容易發(fā)生誤檢。文獻(xiàn)[11]提出一種基于小波矩的障礙物智能視覺識別方法,通過提取障礙物邊緣圖像的小波矩,得到一組局部最優(yōu)的小波矩特征,然后利用小波神經(jīng)網(wǎng)絡(luò)進(jìn)行分類,實驗表明算法對耐張線夾、防震錘和懸垂線夾的識別準(zhǔn)確率分別達(dá)到93.2%、95.6%和89.2%。文獻(xiàn)[12]對弱光條件下的障礙物進(jìn)行識別,首先對圖像進(jìn)行自適應(yīng)同態(tài)濾波,然后將圖像劃分為小區(qū)域,用改進(jìn)的局部二進(jìn)制模式提取特征,最后用卡方距離進(jìn)行類別判斷,實驗結(jié)果表明,算法具有很高的抗光照干擾的效果,防震錘、耐張線夾和絕緣子的識別正確率分別達(dá)到87%、85%和88%。文獻(xiàn)[13]設(shè)計了一套障礙物自動識別系統(tǒng),利用灰度垂直投影進(jìn)行目標(biāo)定位,提取出目標(biāo)的輪廓圖,根據(jù)輪廓特征進(jìn)行識別,實驗結(jié)果表明,算法可以較準(zhǔn)確地提取出懸垂線夾、左轉(zhuǎn)彎跳線和右轉(zhuǎn)彎跳線,但是文章列出的五種輪廓走向圖只適用于本實驗室的線路走向。文獻(xiàn)[14]提出了一種同步障礙物識別和距離估計方法,建立多尺度障礙物模型,通過檢測相線確定候選ROI,然后將相同尺度的障礙物模型和ROI進(jìn)行FAST和SURF特征匹配,實驗結(jié)果表明,算法可以有效地識別出線路中的間隔棒。文獻(xiàn)[15]提出基于粒子群優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)障礙物識別方法,用粒子群算法取代傳統(tǒng)的梯度下降法,并改進(jìn)了權(quán)重因子,實驗結(jié)果表明,算法可以有效地識別出防震錘、懸垂線夾和耐張線夾,但是算法主要是為了解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的輸出誤差,并沒有解決小目標(biāo)障礙物的提取問題。文獻(xiàn)[16]基于幀差圖像和閾值圖像提取出了運動目標(biāo),實驗結(jié)果表明,算法能比較準(zhǔn)確地提取出目標(biāo)ROI,但是文中并沒有提出針對單幅圖像的處理方法。
由上可知,現(xiàn)有研究仍存在以下問題:目標(biāo)檢測準(zhǔn)確率較低;抗干擾能力弱,難以適應(yīng)復(fù)雜的環(huán)境變化;部分研究采用的數(shù)據(jù)集中目標(biāo)幾乎占據(jù)整幅圖像,沒有考慮小目標(biāo)識別問題。
為此,本文提出了一種基于最近鄰加權(quán)灰度均值算法的高壓線目標(biāo)檢測算法,實現(xiàn)目標(biāo)ROI的精確提取,依據(jù)機(jī)器學(xué)習(xí)實現(xiàn)分類,可準(zhǔn)確地識別出線路障礙物。
最近鄰加權(quán)灰度均值算法原理如圖1所示。以某一目標(biāo)為例,定義了3種ROI類型,分別為標(biāo)準(zhǔn)ROI(sROI)、非標(biāo)準(zhǔn)ROI(nsROI)和非ROI(nROI)。令:
(1)
式中:D表示ROI;p(i,j)為(i,j)處的像素值;S定義為ROI的面積,可用ROI內(nèi)部包含的像素總數(shù)表示;g視為窗口內(nèi)的灰度均值。顯然,在sROI內(nèi)求g值,與在nROI中相比,g值相差較大,表明sROI和nROI能很好地區(qū)分;而在sROI與nsROI內(nèi)求g值,數(shù)值相差較小,兩者不能很好地區(qū)分,但是,隨著nsROI向sROI的靠近,兩者g值相差會越來越小,直至相等。算法的主要思想就是在獲知sROI的基礎(chǔ)上,在所有nsROI中找到一個與sROI的g值最接近的,即視為ROI的提取結(jié)果。
一般在拍攝角度固定的情況下,對于同一目標(biāo),ROI內(nèi)的g值是比較穩(wěn)定的。但是,高壓巡檢機(jī)器人作業(yè)環(huán)境中存在的光照、鏡頭抖動等干擾因素會對g值產(chǎn)生一定的影響。為了保證g值的穩(wěn)定性,本文對圖像進(jìn)行不同方式的預(yù)處理,將所獲得的不同圖像的加權(quán)平均g值作為ROI內(nèi)的g值,從而提高本算法的抗干擾性。
據(jù)此,本文首先對目標(biāo)ROI進(jìn)行人工標(biāo)注,獲得標(biāo)準(zhǔn)圖中待識別目標(biāo)sROI所對應(yīng)的g值,當(dāng)作窗口的篩選依據(jù),然后在待測圖中,通過窗口的滑動,求取每個窗口的g值,并與sROI內(nèi)的g值進(jìn)行比較,取差值最小所對應(yīng)的窗口區(qū)域作為ROI的提取結(jié)果。
整個檢測流程分為四步:(1) 由訓(xùn)練集生成窗口的篩選依據(jù);(2) 根據(jù)篩選依據(jù)對測試集進(jìn)行目標(biāo)ROI的提??;(3) 對ROI提取結(jié)果進(jìn)行精細(xì)調(diào)整;(4) 用獲得的ROI進(jìn)行特征提取和分類器訓(xùn)練,從而完成目標(biāo)ROI的分類。具體流程如圖2所示。其中:w、h、x、y分別表示待測圖中窗口的寬度、高度、橫坐標(biāo)、縱坐標(biāo);W、H、Y分別表示標(biāo)準(zhǔn)圖標(biāo)準(zhǔn)ROI的寬度、高度、縱坐標(biāo),且坐標(biāo)原點選擇圖像左上角;ea、ta、ha、la、ls分別表示待測圖中待檢ROI內(nèi)的邊緣圖灰度均值、閾值圖灰度均值、直方圖均衡圖灰度均值、邏輯圖灰度均值和邏輯圖灰度總值;Ea、Ta、Ha、La、Ls分別表示標(biāo)準(zhǔn)圖中標(biāo)準(zhǔn)ROI內(nèi)的邊緣圖灰度均值、閾值圖灰度均值、直方圖均衡圖灰度均值、邏輯圖灰度均值和邏輯圖灰度總值。
(1) 基于曲線擬合獲取窗口篩選依據(jù)。在訓(xùn)練集圖像中,人工標(biāo)注出目標(biāo)sROI,并映射到邊緣圖、直方圖均衡圖、閾值圖和邏輯圖中,分別計算sROI內(nèi)的W、H、Y、Ea、Ta、Ha、La、Ls的值,以w為自變量,將各值擬合成關(guān)于w的多項式函數(shù),并與相線中軸線定位得到的x坐標(biāo)合并,綜合成篩選依據(jù)。
(2) 基于最近鄰加權(quán)灰度均值進(jìn)行ROI提取。對測試集圖像進(jìn)行同樣的預(yù)處理,根據(jù)獲得的篩選依據(jù)遍歷所有的w,篩選出若干滿足篩選依據(jù)的候選ROI,并求出所有候選ROI與sROI的加權(quán)灰度均值距離,距離最小值所對應(yīng)的窗口,即視為ROI的提取結(jié)果。
(3) 基于相線直徑匹配進(jìn)行ROI調(diào)整。將目標(biāo)當(dāng)作相線的一部分,在上下邊界的特定范圍內(nèi),檢測每行相線直徑與標(biāo)準(zhǔn)直徑的差值是否在允許的范圍內(nèi),在所有差值超過范圍的行中,取行號最小的當(dāng)作新的上邊界,取行號最大的當(dāng)作新的下邊界,依據(jù)曲線擬合結(jié)果h(w),對左右邊界以相線中軸線為基準(zhǔn)進(jìn)行調(diào)整,獲得最終的精確ROI。
(4) ROI分類。對獲得的目標(biāo)ROI進(jìn)行HOG、GLCM和LBP特征提取,并分別訓(xùn)練RT、SVM和ANN分類器,實現(xiàn)分類。
預(yù)處理的目的是獲得穩(wěn)定的圖像,盡量降低光照不均、曝光不均和鏡頭抖動等因素的影響,并且盡可能擴(kuò)大目標(biāo)與背景的灰度差值,使ROI內(nèi)的g值足夠穩(wěn)定。訓(xùn)練集與測試集要進(jìn)行完全一樣的預(yù)處理,以保證訓(xùn)練集獲取的篩選依據(jù)可以應(yīng)用到測試集中。為了提高算法對ROI的提取精度,本文通過預(yù)處理得到四種圖像,分別為邊緣圖(E)、閾值圖(T)、直方圖均衡圖(H)和邏輯圖(L),其中邏輯圖由本文首次提出,相對于閾值圖和直方圖均衡圖,其抗干擾能力更強。
對于邊緣圖的獲取,本文選擇了Canny邊緣檢測,其中高閾值取80,低閾值取20,大的高閾值可以保證只檢測到特別明顯的邊緣,小的低閾值是為了讓所有不明顯的邊緣都等可能地連接到主干上去。
對于閾值圖的獲取,本文采用了自適應(yīng)閾值,閾值窗口的大小是隨搜索窗口大小的變化而變化的,并且閾值化之后,又進(jìn)行了形態(tài)學(xué)開運算,核的大小也隨窗口大小的變化而變化。
對于直方圖均衡圖的獲取,本文首先進(jìn)行Gamma校正,然后基于亮度均衡進(jìn)行光照補償[17],最后進(jìn)行形態(tài)學(xué)開運算,參數(shù)選擇與閾值化時的形態(tài)學(xué)類似,采用自適應(yīng)參數(shù)。
對于邏輯圖的獲取,本文通過對閾值圖和直方圖均衡圖對應(yīng)像素求邏輯。這樣可以保證目標(biāo)輪廓以內(nèi)的主體部分像素值不易受光照影響,且始終穩(wěn)定為0;而目標(biāo)輪廓以外且靠近輪廓的部分不會像閾值圖一樣存在0到255的突變,因此邏輯圖的穩(wěn)定性最強。
篩選依據(jù)由搜索窗口和篩選條件兩部分組成,其中搜索窗口是指一系列尺寸和位置不同的窗口,在測試集圖片上進(jìn)行滑動,篩選條件用于判斷每一搜索窗口是否為候選ROI。兩者都是在訓(xùn)練集圖片上經(jīng)過訓(xùn)練得到。
1) 搜索窗口。搜索窗口包括窗口位置和窗口尺寸,窗口位置用左上頂點坐標(biāo)(x,y)表示,窗口尺寸用寬度和高度(w,h)表示。為了減少搜索窗口的數(shù)量,本文將窗口位置和窗口尺寸聯(lián)系起來,即窗口位置(x,y)與窗口尺寸(w,h)一一對應(yīng),每一搜索窗口位置都有獨一無二的搜索窗口尺寸,特定尺寸的搜索窗口只會在對應(yīng)位置進(jìn)行搜索,可極大地提高搜索速度。
搜索窗口的4個參數(shù)(x,y,w,h),除x坐標(biāo)外,都是通過多項式函數(shù)曲線擬合獲得,擬合的通式如下:
f(x)=anxn+an-1xn-1+…+a1x+a0
(2)
擬合函數(shù)以w為自變量,范圍為wmin~wmax且為整數(shù)。擬合所需數(shù)據(jù)是通過計算每一訓(xùn)練集圖片中目標(biāo)sROI內(nèi)的W、H、Y的值獲得。擬合函數(shù)結(jié)果可表示為:
(3)
對于窗口x坐標(biāo)的確定,考慮到鏡頭安裝(斜向上)和機(jī)器人移動方式(沿相線),鏡頭視野中的相線縱穿圖像,所有障礙目標(biāo)位于相線上,因此窗口x坐標(biāo)可由相線中軸線x坐標(biāo)與窗口寬度w計算得到。其中窗口寬度w已通過曲線擬合獲得,故只需確定相線中軸線x坐標(biāo)。本文對于相線中軸線x坐標(biāo)的確定采用圖像投影的方式,具體如下:
(1) 對預(yù)處理結(jié)果中的閾值圖做垂直投影,獲得投影圖;(2) 在投影圖上的220行到480行之間的區(qū)域,記錄每一行最左端的黑色像素和最右端的黑色像素的x坐標(biāo)值,并求平均;(3) 對所有行的平均再求均值,即可獲得相線中軸線的x坐標(biāo)。相線中軸線檢測結(jié)果如圖3所示。
搜索窗口的搜索過程可具體表述為:
(1) 對于wmin~wmax范圍內(nèi)的某一窗口寬度w,根據(jù)式(3)計算搜索窗口的高度h和左上頂點的y坐標(biāo);(2) 定位出相線中軸線,并根據(jù)寬度w計算出窗口左上頂點的x坐標(biāo);(3) 將得到的w、h、x、y組成一個完整的搜索窗口,進(jìn)行搜索;(4) 遍歷所有w即可獲得所有的搜索窗口。
由于w數(shù)量有限,每一個w只對應(yīng)一個搜索窗口,因此搜索速度快??紤]到搜索窗口的位置精度,給窗口位置(x,y)稍許波動,即每一窗口尺寸(w,h)在與其對應(yīng)的窗口位置(x,y)附近的鄰域內(nèi)進(jìn)行搜索。
2) 篩選條件。篩選條件的作用是從所有的搜索窗口中篩選出sROI或與sROI比較接近的若干候選ROI。根據(jù)前面的原理介紹,要想達(dá)到篩選效果,必須同時獲得標(biāo)準(zhǔn)圖和待測圖的對應(yīng)g值,然后將它們進(jìn)行比較。篩選條件構(gòu)造的具體過程如下:
(1) 對訓(xùn)練集進(jìn)行預(yù)處理,分別獲得E、T、H和L圖;(2) 人工在訓(xùn)練集圖像中標(biāo)注出目標(biāo)的sROI,在sROI內(nèi)分別計算W、Ea、Ta、Ha、La、Ls的值;(3) 以w為自變量,通過多項式函數(shù)曲線擬合,分別獲得Ea、Ta、Ha、La、Ls關(guān)于w的多項式函數(shù):
(4)
(4) 對于測試集中的圖像,在每一搜索窗口內(nèi),用同樣的方式計算出搜索窗口的各g值,并規(guī)定如下的篩選條件:
(5)
式中:pE(i,j)、pT(i,j)、pH(i,j)、pL(i,j)分別表示4幅預(yù)處理圖像中(i,j)處的像素值;D為搜索窗口;w為窗口寬度;h為窗口高度;δ1、δ2、δ3、δ4、δ為各差值的允許波動范圍,也是關(guān)于w的函數(shù),具體值由實驗獲得。
式(5)篩選出的候選ROI一般會在目標(biāo)sROI附近波動,并且數(shù)量大于1,因此需要設(shè)法從所有候選ROI中獲得一個最佳ROI。令:
p=w1p1+w2p2+w3p3
(6)
其中:
(7)
式中:p1、p2和p3表示測試集和訓(xùn)練集對應(yīng)窗口內(nèi)三種g值的偏差大小,即灰度均值距離。(p1,p2,p3)乘以對應(yīng)的權(quán)重系數(shù)(w1,w2,w3),得到p,即可視為加權(quán)灰度均值距離。
在權(quán)重大小的選擇上,由2.2節(jié)的圖像預(yù)處理論述可知,邏輯圖的魯棒性最大,閾值圖次之,直方圖均衡圖最小,故得出權(quán)重的大小關(guān)系為w3>w1>w2,具體數(shù)字由實驗獲得。
對于每個候選ROI,p值越小表示與訓(xùn)練集sROI的加權(quán)灰度均值距離越小。因此只需在所有式(5)篩選出的候選ROI內(nèi),根據(jù)式(6)及式(7)計算出各ROI的p值,然后挑選出最小p值所對應(yīng)的ROI,即為目標(biāo)ROI的初步提取結(jié)果。
以上獲得的ROI并不能保證恰好為目標(biāo)的sROI,而是有更大的可能會在sROI附近波動,需要進(jìn)一步調(diào)整,以提高精度。
由于左右邊界是根據(jù)相線中軸線定位得到的,比較穩(wěn)定,因此調(diào)整的對象主要集中在ROI的上下界。在新的上下界確定之后,根據(jù)w和h的擬合函數(shù)關(guān)系計算出w值,即可求得左右界的位置。其中,上界的具體調(diào)整步驟如下:
步驟一確定初始ROI上界的波動大小,即判斷其是僅在目標(biāo)上界附近波動,還是在目標(biāo)上界下方H/2附近波動。若僅在上界附近波動,則只需在原ROI上界所在行上下各H/2的范圍內(nèi)進(jìn)行調(diào)整;若在目標(biāo)上界下方H/2處波動,則需在原ROI上界所在行到向上H的范圍進(jìn)行調(diào)整。
步驟二在步驟一確定的調(diào)整區(qū)域內(nèi),由下到上,檢測圖像每一行是否僅穿過相線。僅穿過相線代表本行不存在目標(biāo),否則代表存在目標(biāo)。在所有存在目標(biāo)的行里面選擇行號最小的作為新的上邊界。對于如何判斷每一行是否僅穿過相線,采取的步驟如下:
(1) 求無目標(biāo)圖像的相線直徑d。注意到圖像中相線的直徑大小是隨行號變化的,相線在圖像中具有兩個近似直線的邊緣,定位這兩條直線邊緣,然后求它們與特定水平線的交點,兩交點x坐標(biāo)之差的絕對值即為此水平線所在行對應(yīng)的相線直徑(單位是像素)。由于在每幅圖像中,相線幾乎不發(fā)生變化,因此一幅圖像的結(jié)果可推廣到其他所有圖像。相線兩直線邊緣的定位方式采用霍夫變換[18],定位結(jié)果如圖4所示。
圖4 Hough變換相線邊緣檢測
OpenCV中Hough變換得到的是直線的極坐標(biāo)參數(shù)ρ和θ,為了計算方便,轉(zhuǎn)換為直角坐標(biāo)。根據(jù)極坐標(biāo)和直角坐標(biāo)的關(guān)系,得到對應(yīng)直角坐標(biāo)中直線的斜率和截距為:
(8)
b=ρsinθ-ρkcosθ
(9)
設(shè)相線兩邊緣的直線方程為:
y1=k1x1+b1
(10)
y2=k2x2+b2
(11)
對于圖中的每一行,令:
y=row
(12)
聯(lián)立式(10)-式(12)得到相線直徑d為:
(13)
(2) 求當(dāng)前測試集圖像對應(yīng)的二值圖像中每一行穿過的黑色像素數(shù)量之和s。為了降低圖像中除相線與待識別目標(biāo)以外像素的影響,s的計算范圍規(guī)定在以相線中軸線為中心的4d長度的線段內(nèi)。
(3) 對于每一行,將步驟(1)求出的參數(shù)d和步驟(2)求出的參數(shù)s做差。若兩者之差在允許的范圍內(nèi)(實驗中取12 pixels),則可認(rèn)為當(dāng)前行僅穿過相線,并無其他目標(biāo);反之,若s遠(yuǎn)大于d,那么當(dāng)前行除了穿過相線之外,還穿過其他目標(biāo)。
下界調(diào)整的原理與上界相同,只是在步驟二中相應(yīng)地取行號最小值當(dāng)作新ROI的下界。
在所有邊界調(diào)整完成之后,為了再次保證目標(biāo)全部包含于ROI內(nèi),將ROI的上下左右四個邊界又向外擴(kuò)大了若干像素。
對于ROI分類,本文將3種特征與3種分類器進(jìn)行了組合,獲得了一種適用于不同障礙物特征與分類器的最佳方案。
提取的3種特征分別為梯度方向直方圖(HOG)、灰度共生矩陣(GLCM)和局部二進(jìn)制(LBP)。對于HOG特征,由于提取出的ROI尺寸不統(tǒng)一,所以特征的維數(shù)也不確定,而分類器要求輸入維數(shù)固定,采取的措施為將尺寸進(jìn)行微小縮放。對于GLCM特征,維數(shù)固定,選擇了32個灰度級,組成1 024維特征向量。對于LBP特征,其處理方式與HOG類似。
訓(xùn)練的3種分類器分別為人工神經(jīng)網(wǎng)絡(luò)(ANN)、支持向量機(jī)(SVM)和隨機(jī)森林(RF)。對于ANN,設(shè)計了一個4層的網(wǎng)絡(luò),第一層神經(jīng)元數(shù)量與輸入特征維數(shù)對應(yīng),輸出層含2個神經(jīng)元,分別對應(yīng)是目標(biāo)和不是目標(biāo)的概率,根據(jù)經(jīng)驗公式,第二層取第一層和輸出層之積的算術(shù)平方根,第三層與第二層相同,訓(xùn)練終止條件為10 000次迭代或者誤差小于0.001;對于SVM,核函數(shù)選擇多項式核函數(shù),參數(shù)C為1,Gamma為1,訓(xùn)練終止條件為1 000次迭代或者誤差小于0.01;對于RF,設(shè)置樹的最大深度為30,葉子節(jié)點最小數(shù)量為20,隨機(jī)選擇特征數(shù)量,訓(xùn)練終止條件為1 000次迭代或者誤差小于0.01。
高壓巡檢機(jī)器人的圖像采集環(huán)境如圖5所示,機(jī)器人靠掛在相線上的兩個行走輪沿相線前進(jìn)。攝像頭放置在機(jī)器人頭部,斜向上30度,置于相線正下方,型號為OV7620,采集圖像分辨率為640×480,采集處理器為TMS320DM642 DSP。原始圖像存在畸變,需通過相機(jī)標(biāo)定進(jìn)行校正[19],校正前后的效果如圖6所示。
圖5 巡檢機(jī)器人工作環(huán)境
(a) 校正前(b) 校正后圖6 圖像校正
實驗中以防震錘為例,進(jìn)行算法驗證,實驗在PC上進(jìn)行,主要硬件配置為8 GB內(nèi)存、i5-7300HQ CPU、GTX1050 GPU,主要軟件配置為Windows 10系統(tǒng)、OpenCV 3.4.1、VS2017、C++語言。
在ROI提取之前,首先通過曲線擬合方式構(gòu)造篩選依據(jù),對測試集中的56幅含有防震錘的圖像進(jìn)行人工標(biāo)注sROI,進(jìn)行圖像預(yù)處理,如圖7所示。
(a) 邊緣圖 (b) 閾值圖
計算擬合需要的各統(tǒng)計值,并按照式(2)擬合成以w為自變量的多項式函數(shù)。定義擬合誤差為:
(14)
式中:N為樣本點總數(shù);每一樣本點用(xi,yi)表示;函數(shù)f(x)為擬合結(jié)果。
每一個被擬合變量都是從最高次數(shù)為1開始進(jìn)行擬合,最高次數(shù)依次遞增。每一次擬合完成之后,根據(jù)式(14)計算擬合誤差ε2,直到ε2滿足:
ε2 (15) 式中:E2表示擬合允許誤差,針對不同的擬合變量,取不同的值。計算方式為: (16) 此時對應(yīng)的擬合結(jié)果為所需結(jié)果,它是在所有滿足式(15)的多項式中,最高次數(shù)最小的一個。擬合結(jié)果如圖8所示,其中白色點集為標(biāo)準(zhǔn)多項式曲線,灰色點集為樣本點。各多項式為: y(w)=-6.112 2w+552.96 h(w)=0.014 5w2+2.788w-20.610 ea(w)=-0.000 162w3+0.033 44w2-2.465 4w+ 74.802 ta(w)=0.506 2w+38.968 ha(w)=-0.013 98w2+2.522 7w+11.09 la(w)=-8.192 7e-5w3+0.007 485w2+0.485 3w+ 29.75 ls(w)=449.277w2-16 578w+197 993.6 (a) h(w)(b) y(w)(c) ea(w)(d) ta(w) (e) ha(w) (f) la(w) (g) ls(w)圖8 曲線擬合 本文選擇了不同日期不同時段拍攝的2 000幅含有防震錘的正樣本和300幅不含有防震錘的負(fù)樣本進(jìn)行了ROI提取實驗。提取結(jié)果顯示,對于負(fù)樣本,提取器可以保證100%不會提取出ROI;對于正樣本,規(guī)定提取出的上下界誤差絕對值之和不超過H/8為提取成功,結(jié)果顯示有1 972幅提取成功,正樣本的提取正確率達(dá)到98.6%。 圖9為單幅圖像的ROI提取效果,最里層窗口為初步提取結(jié)果,中間窗口為精細(xì)調(diào)整的結(jié)果,最外層窗口為調(diào)整后進(jìn)一步擴(kuò)大邊界范圍的結(jié)果。 3.1節(jié)提取出的ROI尺寸一般不同,但是分類器輸入特征向量的維數(shù)是固定的,那么為了得到相同維數(shù)的特征向量,必須通過圖像縮放以統(tǒng)一ROI的尺寸。然而,通過觀察防震錘的提取結(jié)果,發(fā)現(xiàn)不同距離采集的圖像,提取出的防震錘不只在尺寸方面有差別,而且形狀也存在差別。這是由于在對目標(biāo)由遠(yuǎn)到近采集的過程中,目標(biāo)相對于鏡頭的角度發(fā)生了變化,導(dǎo)致采集到的目標(biāo)隨距離遠(yuǎn)近而發(fā)生了形狀改變,如果不加以處理,分類器的識別正確率就有可能受到影響。理想的處理方式為每一個固定距離對應(yīng)一個特定的分類器,但這樣會導(dǎo)致分類器的數(shù)量非常龐大。因此,本文將提取到的防震錘ROI按H的范圍分為4個部分,在每個部分內(nèi)部統(tǒng)一尺寸,并對應(yīng)訓(xùn)練一個分類器,以盡可能地降低這種影響。具體如表1所示,其中N表示未提取出ROI的情況。 分類器訓(xùn)練集的正樣本來自表1中4個部分的提取結(jié)果,共1 972幅;對于負(fù)樣本,采用隨機(jī)裁剪的方式獲得,具體方式是在3.1節(jié)的300幅不含防震錘的每一幅圖像中,用每一部分對應(yīng)尺寸的窗口隨機(jī)裁剪相線附近區(qū)域,共獲得4 200幅。訓(xùn)練集正負(fù)樣本的具體分布情況見表2。 表2 訓(xùn)練集樣本分布 用同樣的方式獲得573幅正樣本和50幅負(fù)樣本,組成測試集。由3.1節(jié)對ROI提取的實驗可知,對于不包括目標(biāo)的原始圖像,提取器100%不會提取出ROI。因此在一般情況下,負(fù)樣本沒有機(jī)會輸入到分類器當(dāng)中,它們在分類器之前就已經(jīng)被提取器正確剔除了。此處只統(tǒng)計了正樣本的預(yù)測情況,如表3所示。 實驗結(jié)果表明:(1) 對于相線上不存在障礙物的情況,算法發(fā)生誤檢的可能性為0;(2) 對于相線上存在障礙物的情況,算法中的提取器對目標(biāo)的提取正確率為98.60%;(3) 對提取出的ROI進(jìn)行分類,GLCM特征與ANN分類器的組合可以達(dá)到99.83%的召回率;(4) 總的目標(biāo)檢測正確率約為98.60%×99.83%≈98.43%。 本文提出了一種最近鄰加權(quán)灰度均值算法,可精確地從圖像視野中提取出目標(biāo)ROI;并且對目標(biāo)ROI進(jìn)行特征提取及機(jī)器學(xué)習(xí)分類,獲得了一種特征與分類器的最佳組合方案;最后以防震錘為例進(jìn)行了實例驗證,證明了算法的有效性,可用于指導(dǎo)高壓巡檢機(jī)器人進(jìn)行線路自主巡檢工作。 未來研究將對算法檢測出的目標(biāo)進(jìn)行三維重建,并將算法移植到嵌入式微處理器中,對機(jī)器人的越障動作進(jìn)行實時指導(dǎo)。3.2 ROI分類
4 結(jié) 語