陳 亮 楊賢昭 劉惠康

(武漢科技大學冶金自動化與檢測技術(shù)教育部工程研究中心 武漢430081)

0 引言

近年來,我國智能機器人、通訊、智能家居等行業(yè)迅速發(fā)展,電纜作為一種傳輸電(磁)能、信息和實現(xiàn)電磁能轉(zhuǎn)換的重要線材產(chǎn)品,是這些行業(yè)發(fā)展的必需品。線纜的發(fā)展成為這些行業(yè)的鋪墊,其使用頻率逐漸增加,這需要嚴格把關(guān)線纜質(zhì)量。由于線纜外表主要起絕緣、防水、防潮等作用,所以線纜外表檢測尤為重要,同時線纜外表也是線纜質(zhì)量的一個重要指標。它的缺陷主要由于生產(chǎn)設(shè)備、生產(chǎn)方式、安裝方式、人為因素等原因產(chǎn)生,這些缺陷會造成產(chǎn)品質(zhì)量得不到保障、施工人員人身安全受到影響、商業(yè)經(jīng)濟受到損失等危害。線纜表面缺陷相比墻面和瀝青地面產(chǎn)生的裂紋縫隙更小,采用同樣方式采集的圖像信息更少,得到的分割結(jié)果相對較差,這將需要獲取更多的圖像信息。線纜表面后期檢測一般情況下處于高空中,相比于布匹、軌道缺陷的檢測,線纜表面的圖像信息不易獲取。

目前線纜表面缺陷的主要檢測方式為人工檢測,但這樣的方式誤檢率太高,不能滿足一些特殊行業(yè)的要求。而且如果針對處于高空中的線纜,采用人工檢測將會存在安全隱患,因此,為了降低檢測目標的誤檢率和保證安全性,利用機器視覺對圖像進行判斷是十分重要的。

國內(nèi)外已有部分學者基于機器視覺對線纜缺陷進行研究,其中喬湘洋等人[1]利用改進的灰度均值和改進的雙邊濾波與原缺陷圖像進行差分,實現(xiàn)圖像分割,使其在復雜環(huán)境也能被很好地處理。王海芳等人[2]通過改進高斯濾波算法來建立自適應模板,比較原圖和模板的Pearson 相關(guān)系數(shù)來判斷缺陷。張俊[3]運用線纜圖像的灰度均值垂直投影曲線與其二次擬合曲線方差均值來對圖像進行判斷。Gao 等人[4]利用數(shù)學幾何和線性插值法將電纜轉(zhuǎn)換為平面,再根據(jù)圖中針孔灰度特征用灰度閾值和梯度幅度來進行判斷。同時也有學者使用深度學習的方式來處理裂紋,其中Song 等人[5]用YOLO 算法來檢測具體的缺陷位置,后期對具體位置做出量化,但這是針對混凝土裂紋來進行處理。以上處理方式一部分是基于非學習型圖像算法,其檢測速度上較好,但在某些復雜情況下其準確性相對較低;另一部分是基于深度學習算法處理混凝土裂紋,混凝土裂紋相較于本文線纜表面缺陷更容易被識別,有更顯著的裂紋缺陷?；谶@種情況本文考慮采用改進Deeplabv3 +網(wǎng)絡對線纜表面缺陷進行識別,目前有很多學者對Deeplabv3 +進行研究,Deeplap3 +的原型是Deeplabv1。Deeplabv1 是采用深度卷積神經(jīng)網(wǎng)絡(deep convolutional neural networks,DCNNs)實現(xiàn)對圖像的分割。Chen 等人[6]在Deeplabv1 的基礎(chǔ)上進行多尺度的采樣,形成了空間金字塔結(jié)構(gòu)(atrous spatial pyramid pooling,ASPP),產(chǎn)生了Deeplabv2。薛飛等人[7]指出,相比于Deeplabv2,Deeplabv3 改進了串聯(lián)結(jié)構(gòu),形成更深結(jié)構(gòu)的空洞卷積,從而進一步提升平均交并比(mean intersection over union,MIOU)的值。Zhang 等人[8]在Deeplabv3 的編碼基礎(chǔ)上添加了一個解碼過程,形成Deeplabv3+,使更多的圖像信息被利用。其中有一些學者對Deeplabv3 +進行了改進,Bhakti 等人[9]改變空間金字塔結(jié)構(gòu)降低膨脹率,采用MoblieNetV2 輕量化架構(gòu),使處理圖像的速度加快。王亞剛等人[10]在解碼器部分采用3 層可分離卷積,結(jié)合對數(shù)據(jù)集做預處理,使其結(jié)果較好。劉致驛等人[11]將空間金字塔結(jié)構(gòu)中除空洞率為1 外的其他3 個空洞卷積兩兩連接,取得了較好的效果。

1 基于改進Deeplabv3 +網(wǎng)絡的線纜缺陷分割算法

1.1 Deeplabv3 +算法

Deeplabv3 +是圖像分割的一種算法,它能對圖像進行像素級分割,這使得它在圖像分類上效果較好,它比Deeplabv3、Deeplabv2、Deeplabv1 增加了解碼器結(jié)構(gòu),形成了編碼器-解碼器結(jié)構(gòu),這樣能收集更多的像素信息,使分割出來的圖像準確率更高。圖1 所示是Deeplabv3 +網(wǎng)絡對圖片識別的過程。

圖1 Deeplabv3 +網(wǎng)絡結(jié)構(gòu)圖

圖中首先經(jīng)過編碼器部分,這部分先經(jīng)過主干網(wǎng)絡Xception,其中主干網(wǎng)包括65 層,引用殘差網(wǎng)絡結(jié)構(gòu),將可分離卷積進行串聯(lián),形成深度可分離卷積,輸出信號進入空間金字塔結(jié)構(gòu)。具體的網(wǎng)絡層分布如圖2 所示。

圖2 Xception 網(wǎng)絡結(jié)構(gòu)圖

從圖1 中可以看出,這里是4 個空洞卷積,膨脹率分別是1、6、12、18,與池化層一起組合成空間金字塔結(jié)構(gòu)(ASPP)。假設(shè)表示卷積操作,其中下標k表示卷積核大小,上標r表示空洞率的大小,用G(x) 表示池化操作,那么ASPP 的輸出信息如式(1)所示。

ASPP輸出信息Y經(jīng)過1 ×1 的卷積核將通道變成一個,這是Deeplabv3 +的編碼部分。

解碼器部分從主干網(wǎng)絡Xception 里面提取低信息的圖片,這樣處理使分割出來的圖片邊緣效果更加清晰。在編碼器中出來的圖像信息進行4 倍雙線性插值上采樣來提高圖片的分辨率,然后將Xception 里面提取的信息和上采樣的圖像信息進行組合,輸出信號經(jīng)過3 ×3 的卷積核,最后將信息通過4 倍雙線性插值上采樣得出分割的圖像。

由于本文的數(shù)據(jù)集是線纜表面缺陷,有些線纜表面缺陷是小裂紋,原始Deeplabv3 +的ASPP 的空洞率間隔大會導致圖像分割斷層,且雙線性插值上采樣會造成信息量少,使圖像信息獲取不完整。

1.2 改進Deeplabv3 +算法

針對上一節(jié)提出的問題,本文在Deeplabv3 +的基礎(chǔ)上進行兩方面的改進。

首先,原始空洞卷積的卷積率間隔較大,使輸出的圖像變得很稀疏,導致一些局部信息丟失,為了解決這個問題本算法提高了ASPP 里面空洞卷積的卷積率密度,具體改進如圖3 所示。

圖3 本文算法結(jié)構(gòu)圖

從圖3 中可以看出,將ASPP 中的空洞卷積增加到8 個來獲取更多圖像信息,這樣能盡量減少信息的丟失,確保識別圖片的相對準確性。相比于Deeplabv3 +,ASPP 輸出信息如式(2)所示。

比較改進前和改進后ASPP 輸出的信號Y和Y1,不難看出Y1能獲取更多的圖像信息。一維情況下空洞卷積的具體操作如式(3)所示。

我們知道在無人機中有一個攝像機是搭載高清攝像機，若把其使用在飛行控制系統(tǒng)與地面控制系統(tǒng)之中的話，能夠取得較好的效果，其一，基于使用此種攝像機，能夠靈活轉(zhuǎn)動攝像頭完成拍攝工作，使拍攝數(shù)據(jù)圖片成像更加清晰，以及清楚看到地形的層次分面與色彩層級。基于此，促進土地整治項目工作順利完成。

其中,y[i] 是輸出信號,x[i] 是輸入信號,w[p] 是卷積核,r是空洞率,p是位置,P表示卷積核的大小?？斩绰蕿閞時,則像素為第一個位置、第r +1個位置以及依次加r的位置與對應的卷積核相乘后累加,相當于在卷積核中插入r -1 個零元素,當卷積核為k時,其感受野大小如式(4)所示。

當空洞率為2 且卷積核為3 ×3 時,則其感受野為5。此處的感受野擴張和Deeplabv3+是相同的運算。

在ASPP 中本實驗采用平均池化,取周圍像素點的均值,這樣可以表達所有像素點的信息。同時在卷積后面加1 ×1 的卷積是為了增加整個系統(tǒng)處理非線性對象的能力,使整個系統(tǒng)在面臨較復雜的環(huán)境時仍然有較高的準確率。具體計算卷積輸出的形狀大小如式(5)和式(6)所示。

其中H、W是輸入信號的大小,FH、FW是濾波器的大小,OH、OW為輸出信號的大小,P是填充,S是步幅,依據(jù)以上公式,當有輸入信號的大小、濾波器大小、填充和步幅時就能知道輸出信號大小。

其次,在Deeplabv3 +網(wǎng)絡中采用兩次雙線性插值上采樣,雙線性插值的具體矩陣如式(7)所示,以(0,0)、(1,0)、(0,1)、(1,1)為例,在這個正方形里面進行x軸和y軸方向上的插值。

假設(shè)x,y分別是目標點的x軸坐標和y軸坐標,當在(0,0)、(1,0)、(0,1)、(1,1)中間進行插值為(x,y) 時,這個點與(0,0)之間的關(guān)系為f(0,0)×(1-x)×(1-y),與(1,0)的關(guān)系為f(1,0)× x ×(1-y),與(0,1)的關(guān)系為f(0,1)×(1-x)×y,與(1,1)的關(guān)系為f(1,1)× x × y。

從公式中可以得出,目標點的灰度值是由周圍4 個像素灰度值取平均得到的,這種方式考慮了周圍像素值大小,但是沒有考慮相鄰點變化率影響,會使放大后部分細節(jié)信息丟失。針對這一問題,本文采用圖2所示的方式,串聯(lián)兩個3 ×3 的卷積和一個1 ×1 的卷積然后并聯(lián)一個同樣的結(jié)構(gòu),這樣能減少信息丟失。

圖4 分割結(jié)果圖

依據(jù)分割結(jié)果可以看出,Deeplabv3 +能分辨出大致的缺陷,但相對較淺的地方并沒有本文改進的算法好。再將兩種方法的精確度和MIOU 進行對比,具體的實驗數(shù)據(jù)如表1 所示。

表1 網(wǎng)絡結(jié)構(gòu)數(shù)據(jù)對比

從上述的結(jié)果可以看出,改進的Deeplabv3 +相比原始Deeplabv3 +網(wǎng)絡有更好的準確性和MIOU,更符合工業(yè)的需求,在線纜安全方面也有了更高的保障。

1.3 本文算法流程

圖5 所示是本文算法流程圖。

圖5 本文算法流程圖

從圖中可以看出,先將線纜圖片用Labelme 軟件制作成VOC 的格式標簽,里面包含了訓練集、測試集和驗證集,這樣做是為了使Deeplabv3 +網(wǎng)絡能通過這些標簽來識別圖片信息。在讀取信息后,需要做訓練前的準備,調(diào)節(jié)具體的參數(shù),用訓練集訓練出網(wǎng)絡模型,之后用驗證集通過MIOU 和精確度P的數(shù)據(jù)找到此時相對最優(yōu)模型。如果驗證出MIOU和精確度P相對原始Deeplabv3 +相差較大,則需要返回,繼續(xù)調(diào)節(jié)參數(shù),當達到理論標準值后保存此時的最優(yōu)模型,最后運用最優(yōu)的模型對測試集進行測試并獲得結(jié)果。其中具體的MIOU 和精確度P公式如式(8)和式(9)所示。

式中TP是被正確分割的線纜缺陷像素數(shù)目,FP是被錯誤分割為缺陷背景的像素數(shù)目,FN是錯誤標記為背景的像素數(shù)目。MIOU 可以用圖6 表示,真實值與預測值的交集比上真實值預測值的并集減去交集累加求平均,精確度P就是預測正確的占整個預測樣本的值。

圖6 真實值與預測值圖示

2 實驗分析

本實驗共采集實際線纜表面缺陷圖300 張,通過Labelme 將數(shù)據(jù)制作成可識別的標簽,數(shù)據(jù)的類別分為凹槽、鼓包、裂縫和背景4 類。本文實驗圖片由智能機采集,經(jīng)過程序處理后圖片大小為513 ×513 像素,本文改進Deeplabv3 +網(wǎng)絡算法程序是在Windows10 系統(tǒng)、顯卡8 GB 下使用Pytorch 框架實現(xiàn)的。

實驗利用本文提出的改進Deeplabv3 +算法模型來識別線纜表面缺陷圖,并將其與Canny 算子、Sobel 算子、OTSU 閾值割、最大熵閾值分割算法分析結(jié)果進行對比,5 種算法分析結(jié)果如圖7 所示。

圖7(b)表明使用傳統(tǒng)的Canny 算子[12]分割能夠識別簡單的缺陷,如單個凹槽、鼓包等,但線纜表面缺陷較淺時很難正確地識別。對比圖7(b)和(c)可以看出,雖然Sobel 算子[13]效果比Canny 算子要清晰,但對于線纜上比較淺的缺陷依然無法清晰識別。圖7(d)中OTSU[14]閾值分割的結(jié)果信息量很少,只有鼓包這種狀態(tài)能被清晰識別,其狀態(tài)的缺陷都不能被有效地識別。從圖7(e)中可以看出,最大熵閾值分割[15]效果得到的信息量也很少,只能識別鼓包。圖7 (f)是本文算法分析結(jié)果,相比其他方法,凹槽、鼓包、裂縫和復合的環(huán)境都能被清晰有效地識別出來。從以上對比實驗可以看出,改進算法面對各種缺陷情況都能準確地識別目標,相對于其他算法有更好的準確性。

圖7 算法對比

3 結(jié)論

本文針對線纜缺陷檢測精度問題提出了改進的Deeplabv3 +算法,數(shù)據(jù)處理部分采用Labelme 進行數(shù)據(jù)集的標注。在網(wǎng)絡結(jié)構(gòu)部分將ASPP 中的空洞卷積數(shù)量翻倍并在其后增加一個1 ×1 的卷積處理環(huán)節(jié)解決了輸出圖像可能斷層問題和增加系統(tǒng)處理非線性對象的能力。在解碼過程中引入并聯(lián)多層3×3 的卷積解決了上采樣部分信息丟失問題。實驗結(jié)果表明,改進算法在精確度、平均交并比方面比原始Deeplabv3 +效果更好。相較于其他傳統(tǒng)算法,改進Deeplabv3 +算法雖然在檢測精度上表現(xiàn)更好,但是仍然有很多問題需要解決,如本實驗相機像素相對較低會影響識別的結(jié)果,同時本文算法相對復雜且運算量大,在圖片反光或者惡劣環(huán)境時分割效果不是很突出。未來的研究將關(guān)注如何優(yōu)化數(shù)據(jù)以及算法來進一步提高線纜缺陷的檢測效果。