張強(qiáng)
摘 ?要:輸電線路中的桿塔部件因長(zhǎng)期經(jīng)受自然環(huán)境的影響,易產(chǎn)生銹蝕、磨損、自爆等損壞,會(huì)對(duì)電力系統(tǒng)的穩(wěn)定運(yùn)行造成極大威脅。對(duì)于桿塔部件背景復(fù)雜、目標(biāo)不易識(shí)別且多角度拍攝操作危險(xiǎn)性高等情況下,傳統(tǒng)的區(qū)域分割算法已不能滿(mǎn)足需求,故本文提出了基于深度分層背景去除的桿塔區(qū)域分割算法,利用雙目立體匹配算法構(gòu)建場(chǎng)景深度分層模型,獲取場(chǎng)景各目標(biāo)的三維層次信息,從而準(zhǔn)確去除背景,提取并鎖定待檢測(cè)桿塔區(qū)域。
關(guān)鍵詞:桿塔區(qū)域檢測(cè);雙目立體匹配算法;深度分層;區(qū)域分割
0 引言
近年來(lái),我國(guó)電網(wǎng)建設(shè)高速發(fā)展階段,為電網(wǎng)巡檢帶來(lái)了更多困難與挑戰(zhàn)。利用無(wú)人機(jī)進(jìn)行輸電線路巡檢有望成為一種常態(tài)化作業(yè)趨勢(shì)[1]。其中輸電線路的桿塔檢測(cè)尤為關(guān)鍵,對(duì)電力系統(tǒng)穩(wěn)定運(yùn)行有著重要的影響。然而桿塔部件因長(zhǎng)期經(jīng)受自然環(huán)境的影響,易產(chǎn)生銹蝕、磨損、自爆等損壞,為巡檢造成極大困難。
為解決桿塔部件檢測(cè)過(guò)程中背景復(fù)雜,目標(biāo)不易識(shí)別,且多角度拍攝操作危險(xiǎn)性高、效率低等問(wèn)題,本文提出利用雙目立體匹配算法構(gòu)建場(chǎng)景深度分層模型,獲取場(chǎng)景各目標(biāo)的三維層次信息,從而準(zhǔn)確去除背景,提取待檢測(cè)輸電線路桿塔區(qū)域。
1 基于場(chǎng)景深度分層模型的背景去除
(1)雙目立體匹配算法
首先對(duì)原始圖像進(jìn)行2D卷積特征提取操作[2],利用共享權(quán)值的雙通道網(wǎng)絡(luò)分別對(duì)左右目圖像進(jìn)行特征提取,保證特征提取的一致。其次使用空間金字塔池化提取層次化上下文信息,利用反卷積操作將四個(gè)不同大小的特征圖恢復(fù)到原來(lái)的尺度,再和2D卷積提取的特征圖堆疊起來(lái),最終得到包含層次化上下文信息的特征圖;然后利用堆疊的方式構(gòu)建匹配代價(jià)容器,在堆疊過(guò)程中加入雙目立體幾何約束。最后,結(jié)合雙目視覺(jué)標(biāo)定的參數(shù)求得真實(shí)深度圖。
(2)深度圖分層
本文采用了擴(kuò)展的大津法[3]對(duì)深度圖進(jìn)行分割,算法假設(shè)圖像中僅含有前景和背景兩類(lèi)像素點(diǎn),通過(guò)最大化這兩類(lèi)的類(lèi)間方差以尋找將這兩類(lèi)像素點(diǎn)分割開(kāi)的最佳閾值。具體的最優(yōu)分割閾值集合如下公式所示:
通過(guò)大律法進(jìn)行深度分層,需要不同的N值來(lái)分割,本文直接利用 之間的所有整數(shù)作為輸入值對(duì)深度圖像進(jìn)行分割,得到一個(gè) 張的深度分層合集 ,從中自動(dòng)選取出合適的深度分層。利用算法自動(dòng)選取合適深度分層的具體步驟如下:
① 深度圖像是灰度圖像,灰度值越小距離越遠(yuǎn),灰度值越大距離越近,選取深度圖中灰度值最小的點(diǎn)集合作為種子點(diǎn)。
② 設(shè)深度分層中白色前景像素值為1,黒色背景為0,則遍歷深度分層合集 ,從中尋找滿(mǎn)足以下條件的深度分層形成候選深度分層合集 :種子點(diǎn)的坐標(biāo)信息集合 包含的所有坐標(biāo)在深度圖層中的像素值全為0。
③ 計(jì)算候選深度分層合集 中每一分層的背景(像素值為0)和前景(像素值為1)面積之比,按照比例對(duì)深度分層進(jìn)行非遞減排序得到序列 。
④ 去除序列 中的面積之比小于1的深度分層,在剩余的深度分層集合中選取序列中中間的一張。
(3)基于平面法向圖對(duì)深度分層優(yōu)化
通過(guò)利用法向圖[4]找到場(chǎng)景中大的平面即背景,進(jìn)而去除其在深度分層中殘余的部分來(lái)優(yōu)化深度分層。具體實(shí)現(xiàn)步驟如下:
① 對(duì)于深度圖中的每一個(gè)像素點(diǎn)選取其 的鄰域中的兩個(gè)像素點(diǎn)組成兩個(gè)向量 和 。計(jì)算向量的叉積得到與兩者垂直的向量 ,即該點(diǎn)的法向。通過(guò)遍歷選取所有的鄰域像素點(diǎn)與該點(diǎn)構(gòu)成不同的向量,并計(jì)算得到該點(diǎn)的法向,最后取平均值進(jìn)行平滑,得到最終的法向圖。
② 將法向圖中灰度值相似的像素點(diǎn)合并成區(qū)域,并統(tǒng)計(jì)各區(qū)域的面積大小,選出面積最大的區(qū)域 。
③ 由于物體邊緣上深度的急劇變化,地方法向也會(huì)急劇變化,所以物體輪廓上會(huì)產(chǎn)生一條邊界,因而兩者之間的連接并不穩(wěn)固,通過(guò)形態(tài)學(xué)上的開(kāi)操作消除此類(lèi)連接,得到新的平面區(qū)域 。
④ 將深度分層中屬于 的殘余部分去除得到新的深度分層,基于深度分層結(jié)果對(duì)可見(jiàn)光圖像進(jìn)行分割,獲得去除背景的目標(biāo)圖像。
2 實(shí)驗(yàn)結(jié)果與分析
本文采用無(wú)人機(jī)拍攝的輸電線路桿塔區(qū)域圖像作為實(shí)驗(yàn)對(duì)象,部分輸電線路桿塔區(qū)域背景去除效果如圖1所示,由結(jié)果可以看出,該方法可以準(zhǔn)確地完成輸電線路桿塔區(qū)域的背景去除,可以為無(wú)人機(jī)輸電線路巡檢電力配件識(shí)別與缺陷檢測(cè)、異常發(fā)熱檢測(cè)等功能標(biāo)注待處理區(qū)域。
3 結(jié)論
本文針對(duì)桿塔部件檢測(cè)過(guò)程中背景復(fù)雜,目標(biāo)不易識(shí)別,且多角度拍攝操作危險(xiǎn)性高、效率低等問(wèn)題,提出利用雙目立體匹配算法構(gòu)建場(chǎng)景深度分層模型,獲取場(chǎng)景各目標(biāo)的三維層次信息,從而準(zhǔn)確去除背景,提取待檢測(cè)輸電線路桿塔區(qū)域。
參考文獻(xiàn)
[1]楊喆,鄧超怡. 無(wú)人機(jī)在特高壓輸電線路巡檢中的應(yīng)用研究[J].南方能源建設(shè),2016,3(S1):135-138.
[2] Zeng X, Li Y, Chen Z and Zhu L. A Hybrid 2D and 3D Convolution Neural Network for Stereo Matching[C]. 2018 IEEE International Conference on Computational Science and Engineering (CSE), Bucharest, 2018, pp. 152-156.
[3]張洪超. 基于大津法和區(qū)域生長(zhǎng)法結(jié)合的彩色圖像分割方法研究[D]. 2016.
[4]肖志光. 基于圖和深度分層的前景物體提取研究[D]. 2017.
電力與能源系統(tǒng)學(xué)報(bào)·上旬刊2020年4期