張云佐，宋洲臣，楊攀亮

(石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 石家莊 050043)

鐵路的移動通信系統(tǒng)是保障列車安全運行的關(guān)鍵部分，山區(qū)隧道段主要通過鋪設(shè)泄漏電纜來搭建通信網(wǎng)絡(luò)，一般需將泄漏電纜懸掛在隧道壁上，用專門的漏纜卡扣將其固定[1].目前檢測漏纜卡扣仍舊停留在人工定點定期逐一排查的階段，該方法不僅受到環(huán)境因素和人為因素的影響[2]，檢測效率也十分低下.特別是隨著近些年鐵路事業(yè)的高速發(fā)展，隧道里程不斷增加，定點定期排查法很難再滿足實際的需求，結(jié)合計算機視覺的自動化檢測技術(shù)將是該領(lǐng)域發(fā)展的主要趨勢.在采集隧道漏纜卡扣圖像數(shù)據(jù)集時，需要先在列車窗口處安置一臺高速攝像機，以便收集列車在隧道運行過程中拍攝到的全部畫面，即便能省去了大量現(xiàn)場勘察工作，倘若由人工逐一篩選，工作量也十分龐大.深度學(xué)習(xí)在圖像處理方面有著十分出色的表現(xiàn)，但故障卡扣的圖像數(shù)據(jù)量非常有限，達不到模型訓(xùn)練的最低標(biāo)準(zhǔn)，于是采用基于統(tǒng)計學(xué)習(xí)的特征提取算法進行故障卡扣的篩選，能有效規(guī)避數(shù)據(jù)集不平衡帶來的檢測問題，提高故障卡扣的識別準(zhǔn)確率.

基于統(tǒng)計學(xué)習(xí)的故障檢測算法仍是通過特征提取和特征分類這兩步來實現(xiàn)，并且主要通過特征融合[3-4]以及改變分類決策[5]來提升檢測的準(zhǔn)確率.LBP[6]能側(cè)重把握待檢測物體的紋理特征，因此被廣泛運用于人臉識別和紋理分類領(lǐng)域.在保證描述子旋轉(zhuǎn)不變性和光照不變性的前提下，CS-LBP[7]彌補了LBP算子徑向特征獲取不充分的問題，而完備的二值模式CLBP[8]又?jǐn)U充了幅值差分信息，這使得特征的描述能力進一步得到提升.HOG[9]特征作為另一種從局部過渡到全局的描述子，能細(xì)致捕捉鄰域像素的梯度分量，是刻畫目標(biāo)輪廓的最佳描述子之一.于是文獻[10]采用了HOG和LBP的融合特征進行特征描述，但也出現(xiàn)了特征維度過高的情況.為了減少運算量文獻[11-13]均采用了PCA[14]主成分分析法分別對HOG-LBP的融合特征、HOG-LBP的分層融合特征以及HOG-CLBP的融合特征進行降維處理，即便文獻[14]還采用Selective Search[15]只針對候選區(qū)域進行特征提取以實現(xiàn)降維的目的，但這類描述子的本質(zhì)還是通過大量擴充特征維度來提升檢測能力，一方面描述子的特征維度會急劇增加且針對性并不強，另一方面擴充的特征也僅局限在采樣圓域內(nèi)，單靠對圖像分塊獲取到的位置信息也十分有限，這使得漏纜卡扣的檢測準(zhǔn)確率不夠理想.盡管近些年深度學(xué)習(xí)[16]在圖像處理領(lǐng)域有相當(dāng)不錯的發(fā)展，也取得很多的學(xué)術(shù)成就，但模型的訓(xùn)練過程對數(shù)據(jù)集的依賴程度非常嚴(yán)重，尤其是在故障卡扣圖像數(shù)據(jù)量不夠充足的情況下，模型的訓(xùn)練結(jié)果往往不夠理想.

本文作者提出MD-LBP(Multiple Direction Local Binary Pattern)三層圖結(jié)構(gòu)，在Block特征圖上提取關(guān)聯(lián)方向特征，不僅同時兼顧了采樣圓域內(nèi)的多元梯度差值分量和采樣圓域間多元梯度方向的關(guān)聯(lián)相似性.通過對比該系列算法，發(fā)現(xiàn)MD-LBP能在更大尺度上獲取漏纜卡扣的輪廓特征，有效解決了圖像分塊和多特征融合帶來的高維計算問題，同時對故障卡扣數(shù)據(jù)量要求低，模型訓(xùn)練簡單.在對比實驗結(jié)果中也展現(xiàn)出較強的檢測性能.

1 漏纜卡扣檢測流程

本文所提方法實現(xiàn)漏纜卡扣檢測的完整流程如圖1所示，提取關(guān)聯(lián)方向特征主要通過以下兩個關(guān)鍵步驟實現(xiàn).

圖1 漏纜卡扣檢測流程圖Fig.1 Flow chart of detection of leaky cable fixture buckle

1) 計算MD-LBP特征圖. 首先對輸入圖像進行高斯濾波預(yù)處理，目的是盡可能減少一部分噪聲干擾；再根據(jù)預(yù)處理后圖像的全局灰度均值得到相應(yīng)的閾值T；然后依次計算出Pixel特征圖、Cell特征圖和Block特征圖，得到完整的MD-LBP特征圖.

2)計算關(guān)聯(lián)方向特征. 在上一個環(huán)節(jié)得到的MD-LBP特征圖中，以3×3的Block為處理窗口統(tǒng)計關(guān)聯(lián)方向特征[17]，并以此特征作為描述子，完成故障卡扣的檢測工作.

1.1 LBP及CS-LBP算法

Ojala等[6]提出的LBP特征描述子具有灰度不變性和旋轉(zhuǎn)不變性，即便在光照不均的圖像中也能表現(xiàn)出較好的魯棒性.該算法的核心思想是比較中心像素與鄰域采樣點之間灰度值的大小，利用布爾函數(shù)計算出相應(yīng)的二進制編碼，按統(tǒng)一順序轉(zhuǎn)換成十進制的編碼值.為了增強LBP描述子的方向性，Heikkila等[7]提出了CS-LBP特征提取算法，該算法關(guān)注的重點是圓形鄰域內(nèi)每組中心對稱的采樣像素對，同樣需將所得的二進制編碼按統(tǒng)一順序轉(zhuǎn)換成十進制的編碼值，以此作為特征描述子.

LBP和CS-LBP的采樣差異如圖2所示，nc表示中心采樣點；n1～n8分別表示鄰域采樣點.在采樣個數(shù)P=8和采樣半徑R=1的條件下，CS-LBP描述子的特征維度要遠低于LBP描述子的特征維度，具有更高的特征提取效率.由于CS-LBP著重于徑向梯度差分信息，減弱了中心像素對鄰域采樣點的影響，使特征在提取的過程對中光照變化的敏感度更低，表現(xiàn)出更強的抗噪能力.

圖2 LBP和CS-LBP的采樣差異Fig.2 Sampling difference between LBP and CS-LBP

2 MD-LBP特征圖結(jié)構(gòu)

本文在CS-LBP模型的基礎(chǔ)之上進行拓展，保留了關(guān)于比較中心對稱采樣點灰度差值的計算方式，提出一種MD-LBP三層特征圖結(jié)構(gòu).在圖3中將尺寸為256×256的輸入圖像經(jīng)過3層圖結(jié)構(gòu)中的后兩層連續(xù)降維，最終能夠以更大的尺度在64×64的第3層Block特征圖上提取關(guān)聯(lián)方向特征，并以此作為描述子完成故障卡扣的檢測工作.

圖3 MD-LBP特征圖結(jié)構(gòu)Fig.3 MD-LBP feature map structure

2.1 Pixel特征圖

不改變CS-LBP現(xiàn)有的徑向灰度差分計算方式，此外還必須標(biāo)出每組像素對的具體梯度方向.MD-LBP算法將每組像素對中灰度值大的那一側(cè)對應(yīng)的方向位標(biāo)1，灰度值小的那一側(cè)對應(yīng)的方向位標(biāo)0.相較于CS-LBP算法，雖然二進制計數(shù)位由 原先的4位拓展到8位，但每組中心對稱像素對都只有00、10、01這三種存在形式，所以在圖2的采樣條件下二進制排布方式的總數(shù)為81種，相應(yīng)的計算公式為

X=[x1,x2,…，xi，…,xp],i∈{0,1,…,P}

(1)

(2)

(3)

(4)

式中：X是長度為8的一維數(shù)組，xi∈{0,1} ,T為閾值.對輸入圖像采用MD-LBP算法得到的第1層Pixel特征圖是一副8通道的圖像，每個像素的像素值將由8位二進制數(shù)字0或1構(gòu)成，并且不用再進行十進制轉(zhuǎn)換，8個通道分別對應(yīng)了采樣圓域的8個梯度方向.為了維持第1層Pixel特征圖的尺寸與輸入圖像一致，可以將最外邊的一圈像素用0填充.

2.2 Cell特征圖

在上一個環(huán)節(jié)得到的第1層Pixel特征圖中，以2×2的像素為一個Cell，2個像素為步長，依次計算所有的Cell單元編碼值，圖4為第2層Cell特征圖的計算過程.

圖4 Cell主方向的計算過程Fig.4 Calculation process of Cell main direction

Pixel特征圖中的a、b、c、d四個像素組成一個像素塊，通過計算像素塊的主方向得到Cell特征圖在對應(yīng)位置處的特征值.首先要分別計算出這四個像素對應(yīng)的徑向二進制編碼值，這8個方向分別與數(shù)字1～8對應(yīng).例如以計算a像素的二進制編碼值為例，取采樣個數(shù)P=8，采樣半徑R=1，用雙線性插值法確定圓形鄰域內(nèi)所有采樣點的灰度值，通過式(1)～式(4)計算出每組中心對稱像素對的差值分量，若差值大于閾值T，則將灰度值大的采樣點對應(yīng)的方向標(biāo)為1，灰度值小的采樣點對應(yīng)的方向標(biāo)為0，若絕對值不大于閾值T，則兩個采樣點的對應(yīng)方向都標(biāo)為0.經(jīng)計算得出像素點a只在135°、270°這兩個方向標(biāo)為1，其余方向均標(biāo)為0，于是從0°開始以逆時針方向編碼，01001000即為所求二進制編碼值.

依次計算出a、b、c、d四個像素的二進制編碼值，再將4個編碼值按對應(yīng)的編碼計數(shù)位累加，計數(shù)和最高的計數(shù)位就是該Cell的主方向特征，即為該Cell單元的輸出編碼值.圖4得到90°方向的計數(shù)最多出現(xiàn)了4次，所以該Cell單元的對應(yīng)編碼值為6.對整幅Pixel特征圖重復(fù)以上步驟得到完整的Cell特征圖，此時每個Cell單元的取值范圍為1～8.為了保證輸出Cell的編碼值唯一，規(guī)定當(dāng)多個方向的計數(shù)和同時最多時，優(yōu)先輸出水平方向和豎直方向的編碼值，如果水平和豎直方向的計數(shù)同時最多時，則輸出兩者中編碼數(shù)值小的計數(shù)位.

2.3 Block特征圖

在Cell特征圖上取2×2的Cell為一個整體，2個Cell為步長，根據(jù)Cell塊的整體主方向特性進行下采樣，分別計算Block特征圖中每個Block單元在對應(yīng)位置處的取值情況.以計算圖5中的6個Block主方向過程為例，均在2×2的Cell窗口內(nèi)完成，并滿足以下三項基本要點.

圖5 Block主方向計算過程Fig.5 Calculation process of Block main direction

1)若某一主方向出現(xiàn)次數(shù)超過兩次，對應(yīng)的Block主方向?qū)⒅苯訛樵揅ell塊內(nèi)出現(xiàn)次數(shù)最多的主方向.若沒有一個主方向出現(xiàn)次數(shù)超過一次，則對應(yīng)的Block主方向?qū)⒅苯訛?.

2) 水平方向和豎直方向具有優(yōu)先級，當(dāng)與其它斜向主方向的出現(xiàn)次數(shù)同時最多時，該Block主方向為水平或者豎直主方向.當(dāng)水平和豎直主方向的出現(xiàn)次數(shù)同時出現(xiàn)最多時，則該Block主方向為兩者中編碼數(shù)值小的方向.

3) Cell塊內(nèi)某個主方向出現(xiàn)的次數(shù)為兩次時，若使對應(yīng)的Block主方向也為該方向，則其余Cell的方向都必須與該主方向相鄰.

3 關(guān)聯(lián)方向特征

經(jīng)過MD-LBP特征圖結(jié)構(gòu)的一、二層下采樣，最后需要在第3層Block特征圖上提取關(guān)聯(lián)方向特征.采用3×3的窗口提取像素塊之間的關(guān)聯(lián)方向特征，一方面能減少信息損失，另一方面能減少基礎(chǔ)編碼單位的數(shù)量.每個Block單元的有效取值范圍變?yōu)?～8，圖像尺寸也縮小為64×64.

以中心Block的主方向特征為基準(zhǔn)，在鄰域8個采樣Block中分別統(tǒng)計主方向取值滿足條件的Block，并編碼它們的排列方式.例如圖6窗口內(nèi)的中心Block主方向為2，先按照逆時針方向排序，分別列出與中心主方向相同和中心主方向相鄰的Block的排列情況，再統(tǒng)計每種排列方式對應(yīng)的基礎(chǔ)編碼的計數(shù)值.

圖6 關(guān)聯(lián)方向特征提取過程Fig.6 Extraction process of correlated directional features

在編碼的過程中，如果基礎(chǔ)編碼涉及到的有效采樣Block的數(shù)量太少，關(guān)聯(lián)方向特征就會失去針對性，而如果涉及到的有效采樣Block數(shù)量太多，相應(yīng)編碼單位的計數(shù)就會普遍偏低.所以為了保證編碼的基礎(chǔ)單位具有代表性，同時描述子的特征維度也不能過高.規(guī)定用圖7所示的28種基礎(chǔ)編碼單位記錄每種排列方式，每種基礎(chǔ)編碼單位都只有兩個有效采樣Block參與排列，于是圖6中的2→2型排列方式將用3個基礎(chǔ)編碼單位表示.

00000011 : 0110000001 : 0801000001 : 1500100001 : 2200000110 : 0200000101 : 0910000010 : 1601000010 : 2300001100 : 0300001010 : 1000001001 : 1710000100 : 2400011000 : 0400010100 : 1100010010 : 1800010001 : 2500110000 : 0500101000 : 1200100100 : 1900100010 : 2601100000 : 0601010000 : 1301001000 : 2001000100 : 2711000000 : 0710100000 : 1410010000 : 2110001000 : 28

4 實驗過程及結(jié)果分析

將高速雙線CMOS相機全程跟車拍攝的原始數(shù)據(jù)切分成尺寸為256×256的圖像，并以此作為輸入圖像數(shù)據(jù)集.其中故障卡扣圖像195張，正?？蹐D像900張.將圖像數(shù)據(jù)集的70%劃分為訓(xùn)練集，剩下的30%作為測試集.

4.1 計算Block特征圖

在輸入圖像數(shù)據(jù)集中分別選擇4～5張全局灰度均值分布在不同區(qū)間的圖像，經(jīng)過9×9的高斯濾波處理后，依次比較它們在不同閾值下Cell特征圖的成像效果.表1列出了部分灰度均值分布在不同區(qū)間內(nèi)，并根據(jù)不同閾值等級計算得到的效果圖.閾值的評價標(biāo)準(zhǔn)是必須確保特征圖能完整地表示漏纜卡扣的輪廓，還能在一定程度上過濾掉背景噪聲.于是將全局灰度均值分成8個區(qū)間，分別對應(yīng)8個閾值等級，具體的計算公式為

(5)

當(dāng)全局灰度均值處于80～220之間時，將采用取整函數(shù)得到相應(yīng)的閾值T.

表1 不同閾值的效果圖Tab. 1 Images of different thresholds

4.2 提取關(guān)聯(lián)方向特征

在計算MD-LBP圖結(jié)構(gòu)的主方向特征時，規(guī)定了水平和豎直方向具有優(yōu)先級，因此為了提取到更全面的關(guān)聯(lián)方向特征，采用雙層特征的融合算子作為描述子，以提高漏纜卡扣的檢測能力.提取過程見圖8.

圖8 融合特征提取過程Fig.8 Extracting process of extracting fusion feature

在圖8所示的特征提取環(huán)節(jié)中，所有取值結(jié)果都代表了一個主方向，n的取值范圍為1～8，表示將提取所有Block的關(guān)聯(lián)方向特征，共有672(28×3×8)種排列情況.而m的取值范圍為2、4、6、8，表示單獨提取這4個優(yōu)先主方向Block的關(guān)聯(lián)方向特征，共有336(28×3×4)種排列情況.然后再將這兩層特征進行串聯(lián)，得到最終的描述子.

4.3 結(jié)果及分析

采用召回率R和精準(zhǔn)度P作為檢測結(jié)果的評價指標(biāo)，具體計算公式分別為

(6)

(7)

式中:TP為被正確判斷為故障的卡扣;FP為被判斷為故障的正?？?FN為判斷為正常的故障卡扣.

為了證明本文所提的MD-LBP算法提取漏纜卡扣特征具有優(yōu)越性，與LBP、CS-LBP、HOG等多種變體算法的檢測情況做比較，得到表2的實驗結(jié)果，Bin表示對應(yīng)描述子的特征維度.同時還繪制了如圖9的ROC曲線，其中假正率是指被錯誤判斷為正常的卡扣占所有正?？鄣谋戎兀唧w計算公式為

(8)

AUC評價指標(biāo)是指ROC曲線與x軸所圍的面積，越接近1說明該模型的效果越好，另外這幾種對比算法的具體參數(shù)設(shè)定情況如下：

表2 檢測結(jié)果對比Tab.2 Comparison of test results

3) HOG描述子先采用最近鄰插值法，將輸入圖像的尺寸縮小為128×128，再進行特征提取，其中像素塊Cell為8×8，像素塊Block為16×16，移動步長Stride為16，每個提取窗口梯度分量的維度bins為9.

4) HOG_LBP和HOG_CLBP是指將先前得到的HOG描述子分別與4×4劃分的LBP描述子和4×4劃分CLBP描述子連接起來，得到二者的融合特征.

表2中的Bin指標(biāo)是描述子的特征維度，可以看到本文所提MD-LBP算法在漏纜卡扣的檢測結(jié)果上能夠表現(xiàn)出顯著優(yōu)勢，特別是召回率和準(zhǔn)確度均能達到較高水準(zhǔn).即便HOG_LBP(4×4)的融合特征使召回率達到0.889，但準(zhǔn)確度卻只有0.615，這說明有大量正常的卡扣被誤判為故障卡扣.而MD-LBP沒有對圖像進行分塊處理，經(jīng)過降維后Block特征圖的尺寸與其他傳統(tǒng)方法4×4劃分圖像后的最小分區(qū)子圖像尺寸一致，不僅包含了待檢測目標(biāo)的關(guān)鍵特征，還在尺度上將特征進行放大，能對漏纜卡扣的輪廓有更好的表達，而且所得到的描述子特征維度也遠遠低于傳統(tǒng)方法劃分圖像后的維度.圖像4×4分塊的檢測結(jié)果相較于2×2分塊的檢測結(jié)果略有提升，但整體的召回率和準(zhǔn)確度仍舊偏低，同時還存在隨著分塊數(shù)量變多，描述子特征維度急劇增加的弊端.再從檢測結(jié)果上分析，不論怎樣進行圖像分塊，這幾組該系列的對比算法都對大量正常卡扣進行了誤判，檢測漏纜卡扣的能力均不如本文所提算法.

(a)MD-LBP、HOG與2×2劃分圖像的算法對比

(b)MD-LBP、HOG與4×4劃分圖像的算法對比圖9 ROC曲線圖Fig.9 ROC curve

5 結(jié)論

1)所提MD-LBP關(guān)聯(lián)方向特征提取算法相比于該系列LBP衍生算法的顯著優(yōu)勢是通過MD-LBP三層圖結(jié)構(gòu)解決了特征圖尺度單一、特征融合以及圖像分塊造成的描述子維度過高的問題，同時對故障卡扣樣本數(shù)據(jù)量要求低，模型訓(xùn)練過程簡單.

2)在隧道場景中用像素塊整體的梯度方向描述漏纜卡扣的輪廓特征，還能有效減少背景噪聲的干擾，通過多組實驗對比表明了本文所提算法具有較好的檢測性能.