国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進YOLOv3的高鐵異物入侵檢測算法

2022-03-16 03:36王等準莫光健謝本亮
計算機技術(shù)與發(fā)展 2022年2期
關(guān)鍵詞:異物卷積尺度

張 劍,王等準,莫光健,謝本亮*

(1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院 半導(dǎo)體功率器件可靠性教育部工程研究中心 微納電子與軟件技術(shù)重點實驗室,貴州 貴陽 550025;2.成都鐵路公安局貴陽公安處,貴州 貴陽 550025)

0 引 言

高速鐵路的運行速度很快,一旦在運行的過程中發(fā)生碰撞,必然導(dǎo)致嚴重的鐵路事故,造成巨大的生命財產(chǎn)損失。針對這一問題,中國已在高鐵沿線搭建了一套綜合視頻檢測系統(tǒng),通過沿線安裝防護網(wǎng),設(shè)置各種傳感器檢測裝置配合沿路監(jiān)控攝像頭對高鐵線路進行監(jiān)控。這種傳統(tǒng)的“防護網(wǎng)+視頻監(jiān)控”的方法能夠較大地提升高鐵行駛時的安全性,但是其主體仍是依靠人工進行監(jiān)控和巡查。這種檢測方式耗費了大量的人力資源且效果欠佳,不符合當(dāng)前智慧交通的理念。

近年來,深度學(xué)習(xí)模型由于使用多個處理層來學(xué)習(xí)原始數(shù)據(jù)的多級抽象表示,在圖像識別、語音識別等領(lǐng)域取得了重大進展。不少學(xué)者也將深度學(xué)習(xí)應(yīng)用在鐵路檢測中。同時在目標檢測算法方面新的算法不斷涌現(xiàn),如RCNN、Fast-RCNN、Faster-RCNN、YOLO、SDD等算法在檢測目標時都取得了較好的效果。目標檢測主要分為兩類算法:兩階段檢測算法,如Faster-RCNN、DCNv2、M2Det等,首先產(chǎn)生目標候選區(qū)域,然后對候選區(qū)域進行分類和回歸。該類算法在檢測速度上較慢,達不到實時檢測需求;單階段算法,如SSD、DSSD、RetinaNet、FCOS等,則是直接對目標的種類和位置進行預(yù)測,故檢測速度較快,但是精度與兩階段檢測算法相比較低。

為滿足高鐵異物檢測的實時性需求,該文以單階段檢測網(wǎng)絡(luò)中的YOLOv3網(wǎng)絡(luò)為主網(wǎng)絡(luò),提出一種改進的YOLOv3網(wǎng)絡(luò)來實現(xiàn)高鐵線路異物的檢測。首先使用可切換空洞卷積替換原YOLOv3特征提取網(wǎng)絡(luò)中的前四個3×3卷積,SAC以不同的膨脹率對輸入進行卷積,自適應(yīng)選擇更有效的卷積結(jié)果。其次,將Darknet-53中第二次下采樣得到的特征圖,與Darknet-53中第三個尺度得到的特征圖上采樣后的特征層進行融合,然后輸入到檢測層,輸出尺度為104×104的預(yù)測特征層,加上原來的三個預(yù)測特征層,共輸出四個尺度的預(yù)測結(jié)果。最后使用自制的數(shù)據(jù)集對不同改進的網(wǎng)絡(luò)進行對比。

1 YOLOv3算法

YOLO(you only look once)是由Redmon等在2016年提出的一種目標檢測算法。YOLO系列算法將目標檢測重新定義為回歸問題,檢測時首先將圖像劃分為大小不同的網(wǎng)格,當(dāng)物體的中心落在網(wǎng)格內(nèi),這個網(wǎng)格便負責(zé)這個物體的檢測。2018年Joseph等人為改善YOLO算法中的缺陷提出YOLOv3目標檢測算法。為獲得更好的檢測效果,其骨干網(wǎng)絡(luò)由YOLOv2的Darknet-19替換為Darknet-53,包含53個卷積層。主要特點是在網(wǎng)絡(luò)中添加了殘差網(wǎng)絡(luò)Residual,殘差網(wǎng)絡(luò)內(nèi)部的殘差塊使用跳躍鏈接,能夠有效緩解深度神經(jīng)網(wǎng)絡(luò)中由于增加深度帶來的梯度消失問題。同時,Darknet-53中每一個卷積使用DarknetConv2D結(jié)構(gòu),在每次卷積時進行L2正則化,卷積完成后進行標準化和激活函數(shù)(leaky ReLU)激活。卷積、標準化和激活函數(shù)構(gòu)成了YOLOv3骨干網(wǎng)絡(luò)中的最小網(wǎng)絡(luò)單元DBL。在特征利用方面,YOLOv3共提取三個特征層,分別位于Darknet-53中間層,中下層和底層。中間層提取的特征圖感受野較小,主要負責(zé)小目標的檢測。而中下層和底層得到的特征圖感受野較大,主要負責(zé)大目標的檢測。三個特征層在經(jīng)過采樣和張量拼接后最終輸出13×13,26×26,52×52三種尺度的預(yù)測結(jié)果。YOLOv3網(wǎng)絡(luò)框架如圖1所示。

圖1 YOLOv3網(wǎng)絡(luò)模型及DBL模塊

由于YOLOv3網(wǎng)絡(luò)檢測速度快,對于不同尺度的目標都能有效檢測,故該文將YOLOv3網(wǎng)絡(luò)應(yīng)用于高鐵異物入侵檢測場景。

2 基于改進的YOLOv3的高鐵異物入侵檢測算法

2.1 先驗框參數(shù)的優(yōu)化

YOLOv3網(wǎng)絡(luò)中,預(yù)測層分為三個特征層,對應(yīng)每個特征層有大、中、小三個不同的先驗框。先驗框由數(shù)據(jù)集聚類而來,能夠加快檢測模型的收斂速度。而YOLOv3模型原始先驗框是由coco數(shù)據(jù)集聚類得到,并不適合高鐵異物檢測數(shù)據(jù)集。因此,該文使用k-means聚類算法對高鐵異物數(shù)據(jù)集進行聚類分析,重新調(diào)整先驗框的寬和高。在目標檢測任務(wù)中,當(dāng)先驗框(anchor box)與真實框(ground truth)的交并比IOU越大時,模型收斂速度越快,因此以交并比IOU為度量標準,定義下面的距離函數(shù):

d

(box,centroid)=1-IOU(box,centroid)

(1)

式中,box表示先驗框的坐標,centroid表示聚類的中心點。最終得到適用于文中數(shù)據(jù)集的先驗框,針對輸入尺寸為416×416的圖片設(shè)置寬和高[8×31,17×66,23×23,51×47,65×135,112×90,153×210,275×280]。

2.2 用SAC替換骨干網(wǎng)絡(luò)中的3×3卷積

空洞卷積(atrous convolution)是在標準卷積中以添加空洞的方式來有效提高卷積的感受野,DR(dilation rate)膨脹率是控制空洞卷積中空洞數(shù)量的超參數(shù)。但是特征圖中不同的位置可能需要不同的DR從而獲得合適感受野來完成檢測任務(wù),可切換空洞卷積,通過訓(xùn)練一個轉(zhuǎn)換函數(shù),自適應(yīng)輸出具有合適感受野的卷積結(jié)果,從而提升檢測精度。SAC結(jié)構(gòu)如圖2所示。

圖2 可切換卷積SAC

SAC由上下文全局模塊和核心SAC組件組成,將輸入定義為

x

,輸出定義為

y

,SAC運算表示為:

(2)

其中,Δ

w

為可訓(xùn)練的權(quán)重,

S

(

x

)為轉(zhuǎn)換函數(shù),由一個5×5內(nèi)核的平均池化層和一個1×1的卷積組成。輸入

x

首先通過全局平均池化,再送到SAC中進行DR分別為1和3的空洞卷積,并與轉(zhuǎn)換函數(shù)相乘,最后再經(jīng)過一個全局平均池化進行輸出。該文采用SAC來替代YOLOv3骨干網(wǎng)絡(luò)中前四個3×3卷積,通過對轉(zhuǎn)換函數(shù)進行訓(xùn)練,SAC能夠輸出特征圖不同位置自適應(yīng)的空洞卷積結(jié)果,特征圖每個位置都獲得了合適的感受野,從而有效提升了檢測模型的性能。

2.3 改進的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

文中高鐵異物檢測數(shù)據(jù)集由高鐵路線沿路高清攝像頭拍攝視頻得來,包含行人、車輛和動物多種小目標。為充分利用YOLOv3骨干網(wǎng)絡(luò)中淺層所包含的小目標信息,提升對小目標檢測的精度,將Darknet-53中第二次下采樣得到的特征圖,與Darknet-53中第三個尺度得到的特征圖上采樣后的特征層進行融合,輸出第四個尺度為104×104的預(yù)測特征層。

原YOLOv3網(wǎng)絡(luò)中輸出大、中、小三個預(yù)測特征層,其尺寸分別為13×13,26×26,52×52,其中52×52的特征層用來預(yù)測圖片中的小目標。YOLOv3模型輸入圖片尺寸為416×416,當(dāng)圖片劃分為52×52個網(wǎng)格時,每個網(wǎng)格單元的尺寸為8×8。而高鐵沿路攝像頭往往高架于鐵路兩邊的高桿上,當(dāng)有行人、動物和車輛侵入高鐵線路時,拍攝于攝像頭內(nèi)往往尺寸小于8×8。同時淺層骨干網(wǎng)絡(luò)中由于沒有經(jīng)過更多的下采樣,往往包含很多未被利用的小目標信息,于是利用Darknet-53中第二次下采樣得到的特征圖,與原52×52尺度的特征圖進行融合,輸出尺寸104×104尺度的預(yù)測特征層。此特征層包含更多小目標信息,對小目標有更好的檢測效果。改進后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進YOLOv3網(wǎng)絡(luò)模型

3 實驗設(shè)計及結(jié)果分析

為驗證提出的改進YOLOv3高鐵異物入侵檢測算法的正確性與有效性,利用自制的高鐵異物檢測數(shù)據(jù)集進行兩個實驗,一是對不同改進策略的YOLOv3算法進行對比;二是使用其他目標檢測算法與文中改進算法進行對比。

3.1 實驗平臺

算法于深度學(xué)習(xí)服務(wù)器上進行訓(xùn)練和測試,訓(xùn)練和測試環(huán)境見表1。

表1 網(wǎng)絡(luò)模型訓(xùn)練與測試環(huán)境

3.2 高鐵異物檢測數(shù)據(jù)集

為保證改進YOLOv3高鐵異物入侵檢測算法的有效性,利用貴陽高鐵監(jiān)控視頻為素材,使用Labelimg標注工具按照YOLO網(wǎng)絡(luò)所需格式進行標注,得到2 774張異物入侵檢測圖片。由于高鐵異物侵限視頻資料較少,于是挑選UA-DETRAC,Animals-10數(shù)據(jù)集中的合適圖片對數(shù)據(jù)集進行補充,其中Animals-10數(shù)據(jù)集1 500張,UA-DETRAC數(shù)據(jù)集800張,最終獲得的數(shù)據(jù)集包含人、車、火車、狗、牛、羊,共5 074張圖片,其中3 552張圖片用于訓(xùn)練,1 522張圖片用于測試。

3.3 模型訓(xùn)練及評價標準

對不同改進策略的YOLOv3算法及其他目標檢測算法,均使用相同的訓(xùn)練設(shè)置進行訓(xùn)練。設(shè)置初始學(xué)習(xí)率為0.001,batch_size為8,迭代次數(shù)最大為300 epoch。當(dāng)?shù)螖?shù)達到75 epoch,150 epoch,225 epoch時衰減為上一學(xué)習(xí)率的十分之一。訓(xùn)練過程中采用翻轉(zhuǎn)、平移變化等方法對輸入圖片進行數(shù)據(jù)增強。

目標檢測中通常使用每秒檢測幀數(shù)(FPS)、平均檢測精度(mAP)作為評價標準。其中mAP的計算需要計算精確度(precision)和召回率(recall),利用這兩個參數(shù)構(gòu)建準確率-召回率曲線,從而計算出mAP,mAP越大表示整體檢測精度越高。精確度與召回率的計算公式分別為:

(3)

(4)

式中,TP為檢測網(wǎng)絡(luò)分類正確的正樣本,FP為分類錯誤的正樣本,FN為分類錯誤的負樣本。

3.4 實驗結(jié)果與分析

3.4.1 改進YOLOv3網(wǎng)絡(luò)對比實驗

分別對使用SAC替換骨干網(wǎng)絡(luò)中前四個3×3卷積的YOLOv3網(wǎng)絡(luò)(命名YOLOv3-1),改進FPN結(jié)構(gòu)的YOLOv3網(wǎng)絡(luò)(YOLOv3-2),及同時加入以上兩個改進的YOLOv3網(wǎng)絡(luò)(YOLOv3-3),在圖片尺寸416×416的高鐵異物檢測數(shù)據(jù)集上進行訓(xùn)練和測試,與YOLOv3原網(wǎng)絡(luò)訓(xùn)練結(jié)果進行對比,實驗結(jié)果如表2所示。

表2 改進YOLOv3和YOLOv3檢測結(jié)果

如表2所示,改進的YOLOv3網(wǎng)絡(luò)相比于原YOLOv3網(wǎng)絡(luò)提升了檢測效果。其中YOLOv3-1網(wǎng)絡(luò)相比于未改進的YOLOv3網(wǎng)絡(luò)mAP有所提升,表明通過將可切換空洞卷積替換原骨干網(wǎng)絡(luò)中的前四個3×3卷積能夠有效地提升卷積時的感受野,從而提高檢測精度。而YOLOv3-2網(wǎng)絡(luò)相比于原YOLOv3網(wǎng)絡(luò)mAP提升更多,表明改進的FPN結(jié)構(gòu)由于融合了來自淺層網(wǎng)絡(luò)生成的特征層,獲得了更多的小目標信息,通過對這些信息的利用,使得網(wǎng)絡(luò)對小目標的檢測精度有所提升。最后,加入兩種改進的YOLOv3-3網(wǎng)絡(luò)平均檢測精度達到79.1%,相較于原YOLOv3網(wǎng)絡(luò)mAP增加了4.3%。同時可以看到,三種改進網(wǎng)絡(luò)的FPS相較于原YOLOv3網(wǎng)絡(luò)都有所下降,分別下降5.5 FPS,7.2 FPS和8.8 FPS。這是由于改進網(wǎng)絡(luò)在原網(wǎng)絡(luò)上添加了額外的參數(shù),從而導(dǎo)致檢測速度的下降,但是達到最高精度的YOLOv3-3網(wǎng)絡(luò)仍有30.9 FPS的檢測速度,能夠滿足實時性的需求。

3.4.2 不同尺度檢測結(jié)果分析

為進一步體現(xiàn)改進YOLOv3網(wǎng)絡(luò)中可切換空洞卷積SAC和改進FPN結(jié)構(gòu)在提升檢測精度中的作用,挑選大、中、小三種尺度目標train、car、person的AP值進行對比分析,如圖4所示。

圖4 不同尺度目標檢測精度對比

其中A代表未改進的YOLOv3網(wǎng)絡(luò),而B、C、D分別代表YOLOv3-1網(wǎng)絡(luò)、YOLOv3-2網(wǎng)絡(luò)和YOLOv3-3網(wǎng)絡(luò)。通過對比可以看出,B網(wǎng)絡(luò)相較于A網(wǎng)絡(luò)在train和car上的檢測精度均有提升,表明SAC由于能夠自適應(yīng)擴大卷積的感受野,可提高網(wǎng)絡(luò)對大、中型目標的檢測精度。C網(wǎng)絡(luò)與A網(wǎng)絡(luò)相比,三種尺度目標的檢測精度均有提升,對小尺度目標person尤為明顯,AP值增加了14%。表明改進FPN結(jié)構(gòu)的YOLOV3網(wǎng)絡(luò)更能夠利用網(wǎng)絡(luò)中的小目標信息,極大地提升對小目標的檢測效果。而最后加入兩種改進的D網(wǎng)絡(luò)相比于A網(wǎng)絡(luò),對大、中、小三種尺度的目標檢測精度均有較大提升,證明了改進YOLOv3的高鐵異物檢測網(wǎng)絡(luò)的有效性。

3.4.3 改進YOLOv3算法與其他算法對比

為驗證改進YOLOv3算法的有效性,在相同的實驗環(huán)境下利用高鐵異物檢測數(shù)據(jù)集對DSSD、Faster-RCNN、RetinaNet和CornerNet四種目標檢測算法進行訓(xùn)練、測試。實驗結(jié)果對比如表3所示。

表3 不同算法檢測結(jié)果對比

由表3可知,在檢測精度方面,提出的改進YOLOv3高鐵異物檢測網(wǎng)絡(luò)模型最高為79.1%。而在檢測速度方面,與其他目標檢測網(wǎng)絡(luò)相比,YOLOv3-3網(wǎng)絡(luò)同樣有優(yōu)秀的表現(xiàn)。綜上所述,改進YOLOv3高鐵異物檢測網(wǎng)絡(luò)模型擁有更好的檢測精度,雖然檢測速度相對原YOLOv3網(wǎng)絡(luò)有所降低,但是仍達到了30.9 FPS,可以滿足實時性檢測的需求。

3.4.4 圖片檢測結(jié)果

從數(shù)據(jù)集中隨機抽取一張圖片驗證改進YOLOv3高鐵異物檢測網(wǎng)絡(luò)的有效性,檢測效果如圖5所示。

圖5 改進YOLOv3網(wǎng)絡(luò)檢測效果

圖5中(a)、(b)、(c)、(d)分別表示原YOLOv3網(wǎng)絡(luò)、YOLOv3-1網(wǎng)絡(luò)、YOLOv3-2網(wǎng)絡(luò)及YOLOv3-3網(wǎng)絡(luò)對同一輸入圖片的檢測結(jié)果。其中圖5(a)中誤將右下角的目標train識別為目標dog。圖5(b)相較于圖5(a),三個大目標train的種類預(yù)測及位置預(yù)測都更為準確,但是對于小目標person的位置預(yù)測卻有偏差,體現(xiàn)了SAC增大卷積感受野從而提升檢測性能。圖5(c)中對小目標person的檢測精度較圖5(a)更準確,表明改進FPN提升了對小目標的檢測性能。圖5(d)中對四種目標的種類及位置都預(yù)測很準確,證明了改進YOLOv3高鐵異物檢測網(wǎng)絡(luò)模型的正確性和有效性。

4 結(jié)束語

該文提出一種基于YOLOv3網(wǎng)絡(luò)的改進高鐵異物入侵檢測算法,利用可切換空洞卷積替換骨干網(wǎng)絡(luò)中的前四個3×3卷積,自適應(yīng)增加卷積的感受野,提高了對中、大型目標的檢測精度。同時改進FPN結(jié)構(gòu),利用淺網(wǎng)絡(luò)層中的小目標信息,融合輸出尺度為104×104的小尺度預(yù)測,提高了小目標的檢測精度。改進YOLOv3高鐵異物檢測網(wǎng)絡(luò)在滿足實時性檢測的要求下,平均檢測精度有較大提升,如何提升檢測速度將是后續(xù)研究的方向。同時高鐵異物侵限相關(guān)數(shù)據(jù)缺乏也阻礙了高鐵異物入侵檢測的發(fā)展,加快相關(guān)數(shù)據(jù)集的建立,也將有效提升目標檢測算法對于高鐵異物入侵的檢測效果。

猜你喜歡
異物卷積尺度
基于全卷積神經(jīng)網(wǎng)絡(luò)的豬背膘厚快速準確測定
環(huán)境史衰敗論敘事的正誤及其評判尺度
基于圖像處理與卷積神經(jīng)網(wǎng)絡(luò)的零件識別
如何處理異物進入眼睛
基于深度卷積網(wǎng)絡(luò)與空洞卷積融合的人群計數(shù)
眼耳鼻進異物咋處理
卷積神經(jīng)網(wǎng)絡(luò)概述
以長時間尺度看世界
9
超聲定位診治非金屬微小異物嵌入傷的臨床評價