基于視頻的移動(dòng)車輛實(shí)時(shí)測(cè)距研究
2020-11-17 12:24:38周永華
北京交通大學(xué)學(xué)報(bào) 2020年5期
桑 振，周永華
(北京交通大學(xué) 電子信息工程學(xué)院，北京 100044)
隨著車輛數(shù)量的增多，交通事故發(fā)生率也逐年劇增，造成人員傷亡和經(jīng)濟(jì)損失，車輛的安全駕駛是智能交通系統(tǒng)重要的研究?jī)?nèi)容.駕駛員高級(jí)輔助駕駛系統(tǒng)(Advanced Driver Assistance Systems, ADAS)可獲得道路上車輛周圍的信息，為駕駛員提供行車環(huán)境和預(yù)警信息，輔助駕駛員安全行駛.汽車輔助駕駛系統(tǒng)的主要任務(wù)包括對(duì)前方車輛的跟蹤測(cè)距，在車輛行駛的過(guò)程中需要準(zhǔn)確、快速地為駕駛員提供前方車輛距離信息.文獻(xiàn)[1]利用車輛底部的陰影特征以及圖像的紋理特征來(lái)識(shí)別車輛，再通過(guò)投影變換進(jìn)行車輛測(cè)距.文獻(xiàn)[2]利用幀間差分法提取圖像中目標(biāo)，通過(guò)交比不變性以及消失點(diǎn)的定義進(jìn)行測(cè)距.文獻(xiàn)[3]采用Haar-like特征的Adaboost算法對(duì)車輛識(shí)別，并根據(jù)紋理特征等對(duì)車牌定位，然后利用圖像中車牌的像素尺寸和實(shí)際車牌的尺寸比例關(guān)系獲得車輛距離，該方法在遮擋情況下檢測(cè)效果差，只適用于固定的場(chǎng)景.文獻(xiàn)[4]利用深度信念網(wǎng)絡(luò)和支持向量機(jī)相結(jié)合的方法對(duì)車輛檢測(cè)，通過(guò)Boyer-Moore算法得出圖像視差進(jìn)而測(cè)得前車距離，但其實(shí)時(shí)性檢測(cè)有待提高.文獻(xiàn)[5]采用單次多框檢測(cè)(Single Shot multibox Detector,SSD)深度學(xué)習(xí)模型進(jìn)行車輛和行人識(shí)別，基于目標(biāo)平面特性U-V視差圖信息，利用三角測(cè)量完成測(cè)距，該方法在車流量大、光線條件差的環(huán)境下檢測(cè)效果不好.文獻(xiàn)[6]利用改進(jìn)的Fast-RCNN[7]算法進(jìn)行車輛檢測(cè)，利用加速穩(wěn)健特征匹配算法進(jìn)行左右圖像的立體匹配和三維場(chǎng)景重建，進(jìn)而測(cè)量出車輛距離，該方法所用雙目相機(jī)立體匹配與三維重建過(guò)程復(fù)雜，檢測(cè)速度較慢.文獻(xiàn)[8]將Faster R-CNN[9]中的Anchor思想引入YOLO[10]網(wǎng)絡(luò)對(duì)車輛進(jìn)行檢測(cè)，通過(guò)三維空間坐標(biāo)映射到攝像機(jī)二維成像平面，根據(jù)小孔成像原理建立測(cè)距模型，該方法受標(biāo)定板精度影響測(cè)距模型精度，且無(wú)法進(jìn)行連續(xù)視頻幀的在線檢測(cè).文獻(xiàn)[11]提出R-CNN在預(yù)先提取的候選區(qū)域上進(jìn)行特征提取，很大程度上減少了計(jì)算量，加快了檢測(cè)速度，之后以R-CNN為基礎(chǔ)提出了許多用于目標(biāo)檢測(cè)的高效率算法，其中基于回歸的物體檢測(cè)算法SSD在目標(biāo)檢測(cè)精度和速度上具有優(yōu)勢(shì).
針對(duì)檢測(cè)環(huán)境復(fù)雜以及車輛高速條件下實(shí)時(shí)檢測(cè)的要求，本文作者建立一種新的基于視頻的移動(dòng)車輛實(shí)時(shí)檢測(cè)與測(cè)距模型.采用基于MobileNet-V2的SSD車輛檢測(cè)與識(shí)別方法，大幅度減少利用神經(jīng)網(wǎng)絡(luò)檢測(cè)的計(jì)算復(fù)雜度，提高檢測(cè)速度.訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，利用視頻設(shè)備拍攝真實(shí)道路車輛行駛數(shù)據(jù)，在PASCAL VOC數(shù)據(jù)集的基礎(chǔ)上，額外加入大量在環(huán)境惡劣、嚴(yán)重遮擋條件下的車輛數(shù)據(jù)，充分學(xué)習(xí)車輛局部特征，提高復(fù)雜環(huán)境下車輛檢測(cè)精度.利用卷積神經(jīng)網(wǎng)絡(luò)充分學(xué)習(xí)車輛底部的陰影特征實(shí)現(xiàn)對(duì)前方車輛的測(cè)距，提高車輛檢測(cè)特征點(diǎn)的魯棒性，同時(shí)提高車輛測(cè)距的精度.采用基于數(shù)據(jù)回歸的測(cè)距建模方法，對(duì)攝像機(jī)成像誤差、透鏡畸變?cè)谶M(jìn)行擬合時(shí)隱含的加以解決.基于視覺(jué)的車輛檢測(cè)與測(cè)距模仿了人眼獲取信息的方法，符合人類的行為方式.視覺(jué)檢測(cè)系統(tǒng)所用攝像機(jī)不僅可以用于對(duì)目標(biāo)進(jìn)行檢測(cè)，而且還可以判斷車輛行駛的安全距離，具備行車記錄儀的功能，實(shí)時(shí)記錄車輛前方影像，可以作為交通事故判定的證據(jù).
1 基于MobileNet-V2的SSD檢測(cè)
1.1 SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)
SSD是一種單次檢測(cè)深度神經(jīng)網(wǎng)絡(luò)，同時(shí)結(jié)合了YOLO的回歸思想和Faster R-CNN的Anchors機(jī)制[12].采用回歸的思想，可以簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度，提高算法的實(shí)時(shí)性；采用Anchors機(jī)制，可以提取不同寬高比尺寸的特征.SSD算法均勻地在圖片每個(gè)位置根據(jù)不同的尺度和長(zhǎng)寬比生成6個(gè)先驗(yàn)框進(jìn)行采樣，每個(gè)先驗(yàn)框大小定義為
k∈[1,m]
(1)
L(x,c,l,g)=
(2)
式中：N為匹配默認(rèn)框個(gè)數(shù);α為平衡損失系數(shù);x表示用于定位損失和分類損失輸入的特征向量;c為類別置信度預(yù)測(cè)值;l為預(yù)測(cè)框;g為真實(shí)目標(biāo)框，網(wǎng)絡(luò)最后通過(guò)非極大值抑制(Non-Maximum Suppression,NMS)算法獲取檢測(cè)結(jié)果.
1.2 MobileNet-V2結(jié)構(gòu)
經(jīng)典的SSD算法是采用VGG[13]作為基礎(chǔ)網(wǎng)絡(luò)搭建目標(biāo)檢測(cè)網(wǎng)絡(luò)，本文選擇MobileNet-V2[14](簡(jiǎn)稱V2)替換VGG作為SSD檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，MobileNet-V1[15](簡(jiǎn)稱V1)是一種使用深度可分離卷積的輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，V2借鑒ResNet[16]的殘差結(jié)構(gòu)對(duì)V1進(jìn)行改進(jìn)，同樣是一個(gè)輕量化卷積神經(jīng)網(wǎng)絡(luò).如圖1為殘差模塊和倒置殘差模塊的區(qū)別.
圖1中每個(gè)塊層數(shù)的厚度表示相對(duì)的通道數(shù)，黃色塊代表不帶非線性激活函數(shù)的線性瓶頸層，淺藍(lán)色塊代表上一卷積模塊輸出層，同時(shí)也是下一個(gè)卷積模塊的輸入層，帶有陰影的紅色塊代表標(biāo)準(zhǔn)卷積操作，無(wú)陰影的紅色塊代表深度可分離卷積操作.由圖1可以看出殘差模塊采取先降維再升維的結(jié)構(gòu)，且都采用標(biāo)準(zhǔn)卷積，shortcut連接通道數(shù)多的擴(kuò)張層，而倒置殘差結(jié)構(gòu)正好相反，先升維，接著提取卷積特征，然后再降維，shortcut連接線性瓶頸層，這樣能防止非線性激活函數(shù)破壞太多信息，保證卷積操作提取特征的數(shù)量，同時(shí)減少對(duì)內(nèi)存的占用.本文擴(kuò)張層擴(kuò)張系數(shù)δ=6，每一個(gè)卷積操作后都是用Batch Normalization，非線性激活函數(shù)選用ReLU6，如下
f(x)=min(max(x,0),6)
(3)
V2采用和V1相同的深度可分離卷積結(jié)構(gòu)(Depth-wise separable convolution).深度可分離卷積可分為深度卷積(Depth-wise convolution,Dwise)和點(diǎn)卷積(Point-wise convolution,Pwise).深度卷積作用于每個(gè)通道，而點(diǎn)卷積用來(lái)組合各個(gè)通道輸出[17].該方法在保證檢測(cè)精度的前提下，可以成倍地減少模型訓(xùn)練的參數(shù)，降低卷積層的時(shí)間復(fù)雜度、空間復(fù)雜度.對(duì)于大小為n*n的卷積核，深度可分離卷積比標(biāo)準(zhǔn)卷積計(jì)算量可降低約n2倍，大幅度降低計(jì)算復(fù)雜度，提高運(yùn)算速度.V2相對(duì)于V1在Dwise之前加上一個(gè)Pwise，通過(guò)定義升維系數(shù)可以保證之后的Dwise層在更高維度的特征進(jìn)行提取，可以獲得更多的高維特征.另外V2由于V1的激活函數(shù)ReLU在低維空間會(huì)破壞提取的卷積特征.因此，去掉了第2個(gè)Pwise的激活函數(shù)，替換為L(zhǎng)inear激活函數(shù).圖2描述了標(biāo)準(zhǔn)卷積和V1、V2的結(jié)構(gòu)差異.
1.3 測(cè)距模型
基于本文所采用的檢測(cè)算法，可以得到被檢測(cè)目標(biāo)所屬類別、置信度，以及檢測(cè)框的左上角、右下角像素坐標(biāo)值.本文選取車輛檢測(cè)框的下邊框中點(diǎn)B′(u,v)作為車輛的特征點(diǎn)，圖3為對(duì)道路上車輛識(shí)別的示意圖.
定義特征點(diǎn)坐標(biāo)表示如下
(4)
本文測(cè)距模型采用單目測(cè)距，如圖4為單目攝像機(jī)成像幾何模型，其原理是應(yīng)用小孔成像，通過(guò)相機(jī)參數(shù)和成像幾何關(guān)系推導(dǎo)攝像機(jī)與目標(biāo)的距離.其中O為世界坐標(biāo)系的原點(diǎn);C為攝像機(jī)安裝位置;A為攝像機(jī)光軸與路面的交點(diǎn);A′(u0,v0)為攝像機(jī)光軸與像平面的交點(diǎn);B為被拍攝目標(biāo)質(zhì)心位置;B′(u,v)為目標(biāo)投影與像平面的交點(diǎn);f為相機(jī)焦距;h為攝像機(jī)安裝高度;d為目標(biāo)與攝像機(jī)之間的距離;α為攝像機(jī)俯仰角;β為攝像機(jī)光軸與目標(biāo)投影軸之間的夾角，分析幾何模型，可得
β=arctan(v0-v)/f
(5)
d=h/[tan(α+β)]
(6)
式中：v為目標(biāo)在像平面上投影的豎直方向分量大小;A′(u0,v0)通常位于圖像中心處，其值取圖像分辨率的一半;h與α由相機(jī)安裝位置和角度決定，f為定值.可見(jiàn)，測(cè)距方程里v值對(duì)于前方目標(biāo)的距離起著決定性作用.
2 模型的搭建
2.1 數(shù)據(jù)集準(zhǔn)備及預(yù)處理
本文選用PASCAL VOC2007數(shù)據(jù)集為基礎(chǔ)，從中選取713張與車輛相關(guān)的圖片.為保證車輛檢測(cè)的有效性，通過(guò)固定于車內(nèi)的工業(yè)級(jí)TC410HD USB攝像頭獲取某省道道路上的車輛行駛視頻數(shù)據(jù)，包括中午光線強(qiáng)烈時(shí)(12：00—13:00)和傍晚光線昏暗時(shí)(18:00-19:00)兩種情況，用OpenCV對(duì)視頻流分幀處理，為避免過(guò)擬合，選取331張相關(guān)性弱的圖片，同時(shí)通過(guò)網(wǎng)絡(luò)獲取1 956張存在嚴(yán)重遮擋、天氣惡劣條件下(雨、雪、霧天等)的車輛圖片數(shù)據(jù)，組成3 000張多種場(chǎng)景下包含汽車、公交車、貨車等道路上常見(jiàn)行駛對(duì)象的數(shù)據(jù)集.對(duì)圖片預(yù)處理，轉(zhuǎn)換為標(biāo)準(zhǔn)的PASCAL VOC數(shù)據(jù)集格式，利用LabelImg打標(biāo)工具，生成的每個(gè)xml文件包含每張圖片的標(biāo)注信息，如下