朱力強，許力之，周 鑫，王耀東

(1.北京交通大學 機械與電子控制工程學院,北京 100044 2.北京交通大學 載運工具先進制造與測控技術(shù)教育部重點實驗室,北京 100044)

基于視頻圖像的智能分析技術(shù)能有效檢測出侵入鐵路周界內(nèi)的異物，是鐵路安全防災系統(tǒng)的重要一環(huán)[1]。判斷異物是否侵限需要獲取精確的鐵路周界即軌道區(qū)域的邊界及位置。傳統(tǒng)的處理算法大多針對監(jiān)控區(qū)域固定的相機采集的圖像進行處理，并需要手動標記報警區(qū)域。隨著我國高速鐵路的快速發(fā)展，鐵路沿線的監(jiān)控相機數(shù)目激增，對所有相機內(nèi)的場景進行標注需要耗費大量的時間和人力成本。同時大量布置在鐵路沿線的可變焦的云臺相機，隨時可能因不同的需求而改變拍攝角度、焦距等，導致監(jiān)控場景改變，使得報警區(qū)域需要手動的重新標定。故把能學習特征后自動識別目標的深度學習算法應用到周界識別中，實現(xiàn)不同場景內(nèi)周界區(qū)域的劃分，將大幅度提升檢測系統(tǒng)的工作效率和精確度。在實際工程應用中，需要將算法移植進沿線不同配置的數(shù)據(jù)處理平臺，即要求設計的檢測算法具備良好的識別精準度，同時算法的計算量要足夠小。

周界識別可歸為分割問題，目前分割算法主要有傳統(tǒng)算法和基于深度學習兩種。傳統(tǒng)算法基于閾值、區(qū)域和目標紋理等信息劃分出不同目標區(qū)域，如Achanta等[2]基于簡單線性迭代聚類的超像素算法，該方法將圖像由RGB顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，并和X、Y坐標組成5維特征向量，然后通過K-means算法進行局部聚類獲取目標邊界。文獻[3-4]提出一種多尺度組合聚合(MCG)算法，在多尺度融合的基礎(chǔ)上，引入隨機森林回歸器提升區(qū)域組合以及目標生成的方式。房澤平等[5]提出基于特征顏色和SNCC的交通標志識別與跟蹤方案，基于圖像的YCbCr顏色空間進行閾值分割，并設計標準的匹配模板來定位和識別交通標志。Verbeek等[6]提出一種基于馬爾科夫隨機場的區(qū)域分類算法，并結(jié)合基于方面的空間模型，提高了區(qū)域級分類的精度。文獻[7-9]基于K-means聚類算法，設定基于場景的顏色聚類規(guī)則，對所有碎片化區(qū)域中的連通域進行分析后進行組合與聚類。以上傳統(tǒng)分割算法計算耗時較長，在不同的場景運用需要進行調(diào)整，且無法獲得目標的語義信息。

深度學習算法可根據(jù)任務分為目標檢測和語義分割兩大類，目標檢測網(wǎng)絡有基于單階段檢測和基于兩階段檢測兩種，兩階段檢測算法如R-CNN系列[10-13]，首先生成大量的候選區(qū)域，再對各候選區(qū)域進行分類。單階段檢測算法如YOLO系列則略過了生成候選區(qū)域階段[14-18]，但在圖像的不同尺度特征圖的每一個像素位置預設了大量不同尺度的先驗框，最后直接預測產(chǎn)生物體的類別和位置。然而無論是單階段還是兩階段的目標檢測算法，依賴的錨框均不能精確地適配周界區(qū)域，無法直接應用于周界識別。語義分割網(wǎng)絡如FCN等[19-22]對圖像中所有像素進行分類，所以網(wǎng)絡需要的尺寸較大，其中包含的上采樣的結(jié)構(gòu)導致計算量比目標識別網(wǎng)絡大。以上問題使得分割網(wǎng)絡依賴于高性能GPU顯卡，為獲取區(qū)域的精準度需要較長的計算時間不利于將算法移植進在鐵路沿線的端側(cè)數(shù)據(jù)處理平臺層。

因此，結(jié)合目標檢測算法和語義分割算法的優(yōu)點，提出一種基于特征點識別的目標檢測網(wǎng)絡算法，實現(xiàn)鐵路周界區(qū)域的實時識別。該算法在保證網(wǎng)絡精確識別周界的前提下，壓縮網(wǎng)絡參數(shù)進一步優(yōu)化模型，提升網(wǎng)絡速度。

1 基于特征點的周界識別網(wǎng)絡

提出算法方案不同于傳統(tǒng)目標檢測算法需要依賴檢測目標錨框，而是直接對鐵軌、護欄的特征點進行識別。算法整體方案見圖 1，首先對圖像中的鐵軌、護欄等邊界上的特征點進行標注，然后設計深度神經(jīng)網(wǎng)絡實現(xiàn)對特征點的識別，最后利用識別的特征點集進行曲線擬合從而獲取精確的周界區(qū)域。

圖1 基于特征點的周界識別方案

1.1 數(shù)據(jù)標注方式

傳統(tǒng)的目標檢測標注方式見圖2(a)，該標注方案同時包含軌道區(qū)域和軌道周圍的無關(guān)區(qū)域。當物體侵入該部分區(qū)域時，無論物體在軌道內(nèi)還是軌道外，視頻監(jiān)控系統(tǒng)都會進行報警，導致容易出現(xiàn)大量誤報為入侵的情況。語義分割網(wǎng)絡雖然能精準的識別出鐵路周界區(qū)域，但是網(wǎng)絡尺寸大，計算量高，不適用于鐵路沿線數(shù)據(jù)處理設備。因此，需要在傳統(tǒng)目標檢測基于邊界框的方案上進行改進，通過小計算量的網(wǎng)絡模型，劃分出更為精準的報警區(qū)域。

圖2 周界不同的標注方式

提出基于特征點的周界識別算法，通過識別鐵軌和護欄的特征點后再擬合出精確的周界。該方案的標注方式見圖2(b)，首先將護欄按照左右兩側(cè)的不同特征分別標記為主護欄Fm和側(cè)護欄Fs，然后周界內(nèi)四條鐵軌分別標記為四類R1、R2、R3、R4，最后將周界內(nèi)區(qū)域劃分成兩部分：護欄區(qū)域和軌道區(qū)域。其中兩側(cè)的護欄區(qū)域由最外側(cè)兩條鐵軌R1、R4和護欄Fm、Fs分別連接而成，軌道區(qū)域由最外側(cè)兩條鐵軌R1和R4連接而成。

手動標記的特征點并不能包含周界上的所有特征點，因此需要將標注的數(shù)據(jù)概率化生成熱圖。首先將六類特征點(左右側(cè)護欄、四條軌道)分開單獨進行處理，再將手動標注的特征點在該類熱圖上的位置值設為1，通過圖3所示高斯核，將特征點位置附近的區(qū)域都置為0～1之間的數(shù)代表真值，最后將每類特征點的真值圖轉(zhuǎn)為熱圖。圖4為數(shù)據(jù)集中單幅圖像的熱圖，六張圖片分別代表R1、R2、R3、R4、Fm、Fs六類特征點的熱圖。

圖3 高斯核熱圖

圖4 熱圖數(shù)據(jù)集

1.2 特征點提取網(wǎng)絡LDNet

為了兼顧準確率和模型大小，選用VGG16網(wǎng)絡模型作為基礎(chǔ)網(wǎng)絡。卷積神經(jīng)網(wǎng)絡中不同尺度的特征圖提取的是網(wǎng)絡不同的圖像信息，因此需要針對周界特征點的識別任務改進VGG16網(wǎng)絡模型。改進的網(wǎng)絡模型為LDNet，其結(jié)構(gòu)見圖5。

圖5 多尺度信息融合網(wǎng)絡結(jié)構(gòu)LDNet

網(wǎng)絡結(jié)構(gòu)的改進步驟如下：

Step1全連接層改進

使用卷積層替代VGG16中的全連接層，網(wǎng)絡最后直接生成熱圖與真值比對進行損失計算。使用卷積層替換后三層全連接層后，網(wǎng)絡參數(shù)減小了2～5個數(shù)量級，有效地減小了原網(wǎng)絡模型的規(guī)模。

Step2多尺度信息融合

淺層網(wǎng)絡輸出的特征圖包含豐富的幾何細節(jié)信息，如點和線的位置信息，但語義信息表征能力較弱；深層網(wǎng)絡輸出特征圖中含有更多的語義信息，但缺乏對空間幾何細節(jié)信息的感知能力。網(wǎng)絡模型實現(xiàn)精確的鐵路周界特征點識別，既需要鐵路周界特征點在圖像上的空間細節(jié)信息，也需要通過豐富的語義信息識別不同的周界線。因此需要融合計算的多尺度特征信息提升模型特征點識別能力。在全連接層改進后的VGG16網(wǎng)絡基礎(chǔ)上，加入池化層和卷積層Conv7增大模型的感受野。

模型中同一尺度的特征由相同序列不同的卷積核計算得到，圖5中Conv6下兩個藍色的特征圖(尺寸為：19×19×1 024)是Conv6-1和Conv6-2計算所得，其他序列類推。

選用Conv2-2、Conv3-3、Conv4-3、Conv6-2、Conv7五個卷積層的輸出(分辨率分別為：150×150、75×75、38×38、19×19、10×10)分別代表了五個不同尺度的信息進行融合。信息融合方式為首先對低分辨率的特征進行Squeeze層壓縮，然后對壓縮后的特征反卷積到與高分辨率特征同一尺度，最后再與高分辨率特征進行像素級點乘。在訓練過程中，每一尺度的信息經(jīng)過Squeeze層壓縮后的特征，都會與熱圖標簽計算損失進行反向傳播，即圖5中四個綠色的Squeeze層與最后兩個藍色的預測層，總共計算6個尺度信息的損失。以圖5網(wǎng)絡模型最后一層Conv7輸出的1 024個通道的10×10尺度特征為例。首先將該特征圖輸入到Squeeze7層通過1×1卷積核壓縮成6個通道做檢測(與標簽計算損失)；再將6個通道信息輸入到反卷積層Deconv7，得到19×19×1的特征信息；最后與模型Conv6-2輸出的19×19×1 024特征的每個通道信息進行點乘。后續(xù)計算以此類推，直至與模型Conv2-2輸出的150×150×128特征相乘后，通過Conf_layer和Loc_layer分別計算得到置信度預測結(jié)果(150×150×6)和位置偏差預測結(jié)果(150×150×2)。其中置信度預測結(jié)果的像素點值表示為該點屬于六類特征點的概率值，置信度預測結(jié)果每個像素點值代表該點與真值的位置偏差，兩個通道分別預測X、Y兩個方向上的位置偏差。

以上搭建的網(wǎng)絡模型稱為LDNet，由圖5可以看出，LDNet可分為三大模塊，包括由VGG16改進的基礎(chǔ)特征提取模塊(白色網(wǎng)絡層)；多尺度特征融合模塊的Squeeze層和Deconv層(綠色網(wǎng)絡層和黃色網(wǎng)絡層)；以及最終用于周界特征點預測的Conf_layer和Loc_layer(藍色網(wǎng)絡層)。LDNet網(wǎng)絡每層配置如表1所示，其中Conv1代表Conv1-1、Conv1-2，其他層以此類推。

表1 LDNet網(wǎng)絡配置

1.3 網(wǎng)絡損失函數(shù)

網(wǎng)絡損失Λdet分為置信度損失Λconf和位置損失Λloc，計算式為

Λdet=Λconf+λlocΛloc

( 1 )

式中：λloc為位置損失權(quán)重，取1。

使用Focal Loss計算置信度損失

( 2 )

( 3 )

( 4 )

式中：Lk為每k個尺度的Focal Loss;N為圖像中關(guān)鍵點的數(shù)量;訓練過程中，γ設為2，β設為4。

訓練過程中，LDNet中共有五個尺度的信息參與了置信度損失的計算，即圖5中綠色網(wǎng)絡層輸出的特征和Conf_layer藍色網(wǎng)絡層輸出的特征。因此總置信度損失計算式為

( 5 )

式中：n代表一共有n個尺度的信息；Λi是根據(jù)式( 2 )計算的當前尺度的置信度損失；αi為當前尺度置信度損失的權(quán)重因子，對150×150的尺度置信度損失取2，其他尺度取1。

網(wǎng)絡位置損失基于L1 loss，L1 loss計算式為兩數(shù)差值的絕對值，具體如下

( 6 )

1.4 網(wǎng)絡訓練與數(shù)據(jù)后處理

選用Adam優(yōu)化器，可大幅度提升網(wǎng)絡的學習收斂速度，并容易獲得更優(yōu)的模型參數(shù)。網(wǎng)絡訓練超參數(shù)設置如下：學習率基于迭代次數(shù)進行階梯狀變化，初始學習率設置為0.000 1，在迭代8 000、10 000、12 000次后學習率依次減小10倍。設置每次輸入的數(shù)據(jù)Batch size為2，Batch Normalization的權(quán)重衰減系數(shù)設置為0.000 1，動量參數(shù)為0.9。訓練經(jīng)過30 000次后完全收斂，收斂后網(wǎng)絡輸出的熱圖見圖6，每個尺度的熱圖從左至右依次代表R1、R2、R3、R4、Fm、Fs。

圖6 網(wǎng)絡輸出不同尺度熱圖

使用Conf_layer輸出150×150的熱圖用于擬合周界曲線。見圖7(a)，首先將熱圖的每一行搜索一個概率最大值標記在原始圖像上。然后對于每一個概率大于0.4的行最大值，加上Loc_layer預測的位置偏置值變換至原圖像的真實坐標位置。最終將每一類篩選出的值做多項式擬合并連接，得到四條邊界線fm、fs、r1、r2。其中r1、r2兩條線組合形成軌道區(qū)域，fm和fs根據(jù)邊界線的起始點位置排序決定分別與哪一條鐵軌組合形成對應的護欄區(qū)域，當fm起始點在r1左側(cè)時，fm和r1組合而成的區(qū)域作為主護欄區(qū)域。最終排序后四條邊界線組合成的周界區(qū)域，見圖7(b)，其中包括軌道區(qū)域(紅色區(qū)域)、護欄區(qū)域(藍色區(qū)域和綠色區(qū)域)。

由圖7可以看出，LDNet能在多場景、白天黑夜、霧天雨天等多張狀況有效識別周界上的特征點，并對特征點擬合合成精準的周界。

圖7 算法最終輸出結(jié)果

2 基于特征相似度的LDNet網(wǎng)絡裁剪

( 7 )

對于LDNet識別鐵路周界的特征點過程，雖然各通道特征圖的l1范數(shù)值能有效代表對應的卷積核是否有用，但不能判斷該卷積核是否為冗余的卷積核(即其他卷積和與其貢獻相近)，同樣不能代表當該卷積核與模型最終輸出結(jié)果的相關(guān)程度。由于LDNet每一尺度反卷積生成的特征的六個通道均包含了需要識別的六類特征點的信息，故利用LDNet網(wǎng)絡結(jié)構(gòu)中的反卷積層輸出的特征信息能有效判斷卷積核是否冗余，LDNet各尺度反卷積結(jié)果見圖8。

圖8 LDNet各尺度反卷積結(jié)果

將LDNet中每個卷積核輸出的特征圖與其尺度相同的反卷積結(jié)果進行比較，當卷積核與反卷積輸出的特征越相似，說明該卷積和對最終輸出的影響越大，該卷積核對最終結(jié)果是否精確越重要。將圖8的這四種尺度反卷積特征圖作為模板，然后把模型每個卷積核與對應相同尺度的模板的差值計算l1范數(shù)。l1范數(shù)越大，說明該卷積核與模板匹配度越小，對結(jié)果的貢獻度也越小。在實施裁剪過程中，通過計算卷積核在訓練集中結(jié)果的l1均值后進行排序，l1均值越大，則該卷積核序列越靠后，對應的通道則為可以裁剪的通道。特別的，LDNet中Conv1-1和Conv1-2輸出的為300×300特征圖，Conv7輸出為10×10特征圖，按特征圖l1范數(shù)準則裁剪，則最終裁剪準則如下

( 8 )

式中：size為當前卷積核輸出的特征圖尺寸；Sxi為第i張圖片xi輸入網(wǎng)絡后生成的對應尺度的特征圖模板。

為了對比本文裁剪準則(基于特征相似度)與其余兩種裁剪準則(基于特征圖l1范數(shù)，基于卷積核l1范數(shù))，把數(shù)據(jù)集中每個場景的50個圖像用于計算卷積核與輸出的相似度-‖F(xiàn)xi-Sxi‖，并按升序進行排序可視化。圖9為三種裁剪準則排序結(jié)果，基于特征相似度和基于特征圖l1范數(shù)變化趨勢相近，這二者與基于卷積核l1范數(shù)變化趨勢差異較大。雖然前兩種裁剪準則的曲線走勢大致相同，但對卷積和的排序結(jié)果有區(qū)別的。以第20個卷積核的特征相似度和特征圖l1范數(shù)作為基準線為例，前20個卷積核對應的特征圖l1范數(shù)有一部分是低于基準線的，而基于特征相似度的沒有這種情況，后續(xù)將通過實驗討論這三種裁剪方式對檢測結(jié)果的影響。

圖9 特征相似度、特征圖l1范數(shù)與核l1范數(shù)準則排序結(jié)果

3 分析與討論

為了驗證算法的可行性，從鐵路視頻監(jiān)控系統(tǒng)收集了多場景多狀況的圖像數(shù)據(jù)，包含白天、夜晚、直道、彎道、公鐵跨橋、無護欄等多種鐵路場景圖像數(shù)據(jù)3 816張，并以6∶2∶2的比例劃分成訓練集(2 288張)、驗證集(764張)和測試集(764張)。由于監(jiān)控系統(tǒng)中采用的相機不同，采集的原圖尺寸大小有1 920×1 080和1 280×720兩種，為了保證輸入圖像尺寸統(tǒng)一和減少深度學習算法的計算量，統(tǒng)一將圖像縮放至300×300。使用LDNet進行計算，并進行裁剪實驗，將裁剪前后網(wǎng)絡性能與其他算法作對比，實驗平臺為采用統(tǒng)一配置，Intel i7處理器，16 GB內(nèi)存，不使用GPU 顯卡。

3.1 性能評價指標

基于提出的周界識別算法方案，本章基于運行速度和對樣本是否分類正確的判斷進行評價。按分類是否正確將最終的預測值分為四類：真正例TP、真負例TN、假真例FP、假負例FN。

語義分割的性能評價指標采用mPA、mIoU，根據(jù)置信度閾值判斷像素點是否分類正確，計算式為

( 9 )

(10)

(11)

式中：PA為像素精確率，mPA為所有類別的平均像素精確率；mIoU為所有類別的平均交并比；k為除去背景的k個類別目標；pij為屬于第i類但被預測為第j類的像素點的總數(shù)目，即pii為TP，pij為FN，pji為FP。

3.2 裁剪準則有效性驗證

在應用中，通常根據(jù)實際任務所需的處理速度和內(nèi)存大小來確定對模型的壓縮比。一次性將模型裁剪成所需的大小容易裁去一些潛在有用的卷積核，破壞了模型的結(jié)構(gòu)，導致很大的精度損失以及大幅度識別準確度降低。因此采用多次裁剪的策略，選取每次最合適的裁剪比例，逐步的將原始模型壓縮到目標結(jié)構(gòu)。通過對LDNet不同裁剪次數(shù)形成相同的最終裁剪結(jié)果實驗出最佳裁剪策略。不同裁剪策略結(jié)果如表2所示，不同裁剪策略性能結(jié)果如表3所示。

表2 不同裁剪策略相關(guān)參數(shù)對比

表3 不同裁剪策略的性能比較 %

由表3可知，裁剪策略1采用少量多次的方式最佳，故后續(xù)將統(tǒng)一采用四次裁剪次數(shù)。為了比較本文所提出的裁剪方法與特征圖l1范數(shù)、卷積核l1范數(shù)的性能差異，基于鐵路數(shù)據(jù)集訓練，將這三種準則在LDNet上分別進行四次裁剪實驗，實驗的性能對比和裁剪壓縮率如表4所示。

表4 不同裁剪準則的性能比較 %

由表4可以看出，在對LDNet進行四次裁剪到相同參數(shù)壓縮率后，基于特征相似度的裁剪準則的結(jié)果在mPA和mIoU指標上均優(yōu)于其余兩種裁剪準則，且最終識別精度優(yōu)于原始模型。故本文提出的裁剪準則得到的模型識別精度更好，能更有效的識別出模型中無用和冗余的卷積核。

為了探索更優(yōu)的模型壓縮后的結(jié)構(gòu)，對LDNet按表2策略1所示的裁剪壓縮比基礎(chǔ)上增加裁剪次數(shù)，直至裁剪后模型精度不能恢復為止。裁剪次數(shù)增加過程中模型的性能變化見圖10。

圖10 網(wǎng)絡識別精度變化曲線

由圖10可知，使用特征相似度的裁剪準則在小裁剪比例的基礎(chǔ)上，對LDNet裁剪8次后精度損失較大，且進行微調(diào)也無法恢復原有精度，故以第7次裁剪后得到的模型結(jié)構(gòu)作為最終裁剪結(jié)果，在保證精度的情況下盡可能減少網(wǎng)絡參數(shù)量。

3.3 LDNet有效性驗證

使用圖10中7次裁剪后得到的LDNet進行計算，并與FCN、MCG算法以及裁剪前原始結(jié)構(gòu)作對比。其中可視化區(qū)域分別為主護欄區(qū)域、側(cè)護欄區(qū)域、軌道區(qū)域。不同算法的性能比較如表5所示。

表5 使用所提算法裁剪前后模型與不同算法性能參數(shù)比較

由表5可知，LDNet裁剪后模型尺寸壓縮至僅2.99 MB，壓縮了原始LDNet尺寸的97.4%。裁剪后的LDNet在mPA上達到最高為96.37%，相比原始LDNet增加0.26%，而mIoU僅下降0.08%，幾乎保持不變。LDNet裁剪后計算耗時降低61.5%，相比其他算法運行時間大幅度縮短。綜上可得將LDNet用提出裁剪準則進行7次裁剪最終可以實現(xiàn)2.99 MB的參數(shù)占用空間，且精度幾乎無損失。最終識別精度上優(yōu)于其他的算法，不同算法對鐵路周界的識別結(jié)果見圖11。

圖11 不同算法識別結(jié)果

由表5和圖11可知，F(xiàn)CN識別結(jié)果中,護欄區(qū)域存在漏識別，也有部分非周界區(qū)域識別成鐵軌區(qū)域；MCG算法計算過程中需要對大量的區(qū)域進行迭代聚合，所以計算速度和效率遠低于算法，并且MCG識別結(jié)果中鐵軌和護欄聚合區(qū)域均存在缺少的情況。本文提出的識別模型LDNet對周界各個區(qū)域的識別精度更高，誤識別也更少，裁剪后單張圖片計算耗時最短，能夠滿足鐵路視頻監(jiān)控系統(tǒng)實時性要求和低內(nèi)存占用要求，不再依賴GPU的加速，容易搭載在鐵路沿線不同配置的處理平臺上，實現(xiàn)自動快速的識別出鐵路周界中的護欄和鐵軌區(qū)域。

4 結(jié)論

提出一種基于多尺度信息融合的鐵路周界識別深度神經(jīng)網(wǎng)絡模型LDNet，實現(xiàn)各種線路場景的周界自動快速精確識別。該算法拋棄了目標檢測網(wǎng)絡依賴的錨框，直接識別周界線特征點，使用目標檢測網(wǎng)絡實現(xiàn)了分割式的結(jié)果；對于實際運用中的配置問題，設計了基于特征相似度的裁剪準則，選用網(wǎng)絡裁剪的方式壓縮網(wǎng)絡，進一步的對模型優(yōu)化。通過對比實驗，裁剪后的LDNet單張圖像處理耗時0.60 s，識別mPA達到96.37%，模型尺寸僅2.99 MB，均優(yōu)于FCN和MCG算法，能滿足在精度要求的前提下達到實時性識別鐵路周界的要求。