文 奴，郭仁忠，賀 彪, 3

1)深圳大學(xué)建筑與城市規(guī)劃學(xué)院，深圳大學(xué)智慧城市研究院，廣東深圳518061；2)粵港澳智慧城市聯(lián)合實驗室，廣東深圳518061；3)國土資源部城市土地資源監(jiān)測與仿真重點實驗室，廣東深圳518034

目標計數(shù)方法按照技術(shù)路線可分為基于傳統(tǒng)特征提取的方法[1-3]和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的方法[4-6]．傳統(tǒng)特征提取方法有基于哈爾(Haar-like, Haar)特征、局部二值模式(local binary pattern, LBP)特征和方向梯度直方圖(histogram of oriented gradient, HOG)特征等，這類算法通常以邊緣特征提取為主實現(xiàn)對目標個體的檢測和計數(shù)，因而對邊緣檢測的精確度要求很高，不適合目標間有重疊或密集目標的計數(shù)．隨著深度學(xué)習(xí)的發(fā)展，基于CNN提取目標特征進而實現(xiàn)目標檢測和計數(shù)逐步成為目標計數(shù)的主流算法．基于CNN的目標檢測算法通常分為單極檢測器(one-stage detection)和二級檢測器(two-stage detection)，一般來說，前者在速度上占優(yōu)，后者在準確率和定位精度上占優(yōu)．YOLO(you only look once)系列是單級檢測器的代表，不僅推理速度快且檢測和定位精度高．YOLO v4[7]是基于YOLO v3的目標檢測架構(gòu)，在數(shù)據(jù)處理與增強、主干網(wǎng)絡(luò)、網(wǎng)絡(luò)訓(xùn)練、激活函數(shù)和損失函數(shù)等方面都進行了優(yōu)化，在保證運行效率的同時極大提高了目標檢測的精度．其中，在主干網(wǎng)絡(luò)部分，YOLO v4借鑒了殘差網(wǎng)絡(luò)(如ResNet[8])提取深層特征信息的優(yōu)點，提出空間金字塔池化網(wǎng)絡(luò)(如spatial pyramid pooling-net, SSP-Net[9]和atrous spatial pyramid pooling-net, ASSP-Net[10])的設(shè)計思路，通過拼接任意大小的特征圖并轉(zhuǎn)換成固定輸出大小的特征向量，實現(xiàn)一次性輸出多尺度目標檢測的結(jié)果．若直接使用CNNs方法對圖像目標進行計數(shù)，可能存在檢測漏檢與重復(fù)計數(shù)的問題．DeepSORT方法[11]是一種基于檢測的跟蹤(tracking-by-detection)方法，是SORT(simple online and realtime tracking)方法[12]的升級版，算法結(jié)合傳統(tǒng)的卡爾曼濾波(Kalman filter, KF)和匈牙利算法(Hungarian algorithm)實現(xiàn)檢測目標的跟蹤，通過加入特征提取網(wǎng)絡(luò)(如重識別模塊ReID[13])實現(xiàn)對特征的匹配和更新．該方法在一定程度上解決了單獨使用目標檢測方法存在的漏檢和重復(fù)計數(shù)問題．

本研究采用YOLO v4作為目標檢測算法的基本框架，以DeepSORT方法實現(xiàn)檢測目標的跟蹤和計數(shù)．針對YOLO v4主干網(wǎng)絡(luò)CSPDarkNet參數(shù)量大無法適用于移動端進行實時處理的問題，引入深度可分離卷積[14]，實現(xiàn)網(wǎng)絡(luò)輕量化．同時，使用可變形卷積[15]代替常規(guī)卷積增強感興趣區(qū)域(region of interest, ROI)的范圍，提高目標定位的精度．

1 相關(guān)工作

1.1 傳統(tǒng)特征提取方法

傳統(tǒng)特征提取包括基于梯度信息[1]、顏色特征[2]和幀間差異等[3]特征信息方法．其中，基于梯度信息包括Haar特征、LBP特征和HOG特征等，它們利用方向梯度算子對圖像邊緣特征進行提取以實現(xiàn)目標的檢測與計數(shù)．這類方法普適性較差且檢測精度受目標個體和背景差異影響明顯，對重疊目標的檢測效果受限．基于顏色特征的提取方法，對圖像尺寸、旋轉(zhuǎn)和平移等因素影響較小，可以提高特征提取的魯棒性，但光照變化容易導(dǎo)致顏色空間分布信息混亂，影響目標檢測和計數(shù)的準確性．基于幀間差異的特征提取方法有光流法[16]和背景差分法[17]．光流法無法對單幀圖像進行建模和目標檢測；背景差分法計算過程簡單，計算量小，可滿足實時性的要求，解決幀差法提取目標存在內(nèi)部空洞問題，但是對外部環(huán)境和場景具有高度敏感性．

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的方法

現(xiàn)有的基于深度學(xué)習(xí)的目標檢測與識別算法大致分為兩大類：① 基于區(qū)域建議的目標檢測與識別算法，如Faster R-CNN[18]和Mask R-CNN[19]；② 基于回歸的目標檢測與識別算法，如SSD[20]和YOLO[21]．前者是由算法生成一系列樣本候選框，再通過CNN進行樣本分類，屬于二級檢測器；后者則直接將目標邊框定位的問題轉(zhuǎn)化為回歸問題處理，屬于單級檢測器．兩種方法各有優(yōu)勢，前者在檢測準確率和定位精度上占優(yōu)，后者在算法速度上占優(yōu)．因此，研究準確率與速度同步提升的目標檢測方法，是研究學(xué)者關(guān)注的重要方向．

YOLO v4是一個能夠應(yīng)用于實際工作環(huán)境中的快速目標檢測系統(tǒng)，且能夠被并行優(yōu)化，它在識別精度和效率之間取得平衡．YOLO系列算法是最接近工程應(yīng)用的目標檢測算法，被廣泛用于交通標志識別與檢測[22]、行人與車輛檢測[23]、工業(yè)零件識別和缺陷檢測[24]等研究領(lǐng)域．

以上方法在不同方面的應(yīng)用都取得較好的結(jié)果，但由于神經(jīng)網(wǎng)絡(luò)算法的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜與且參數(shù)量大，需強大的圖形處理器(graphics processing unit, GPU)運算能力方能實現(xiàn)實時檢測和計數(shù)，這對于移動設(shè)備或嵌入式設(shè)備的移植應(yīng)用與實時計數(shù)帶來較大挑戰(zhàn)．對于多車道的目標檢測，目前的目標檢測方法容易出現(xiàn)漏檢和重復(fù)檢測的問題，無法確定目標計數(shù)的唯一性．因此，本研究提出一種輕量化DCN-Mobile-YOLO網(wǎng)絡(luò)模型，并結(jié)合DeepSORT進行視頻多目標跟蹤，進而實現(xiàn)城市道路交叉口潮汐車道的車輛計數(shù)．

2 DCN-Mobile-YOLO多目標跟蹤算法

本研究基于YOLO v4目標檢測方法，通過修改主干網(wǎng)絡(luò)框架，并使用可變形卷積網(wǎng)絡(luò)(deformable convolutional networks, DCN)v2卷積以擴展特征層的ROI，從而增強目標檢測的精度．同時，為解決單一目標檢測框架在視頻檢測中存在的漏檢與誤檢問題，結(jié)合DeepSORT追蹤技術(shù)與目標檢測，進一步提升視頻檢測的召回率．采用MobileNet主干網(wǎng)絡(luò)實現(xiàn)算法在移動端的移植，提升多目標跟蹤算法的檢測效率．

2.1 網(wǎng)絡(luò)基本框架

DCN-Mobile-YOLO模型的網(wǎng)絡(luò)框架可分為主干網(wǎng)絡(luò)DCN-MobileNet、特征增強的瓶頸neck和檢測輸出head三個部分，如圖1．其中，neck主要包括空間金字塔池化深度卷積網(wǎng)絡(luò)(spatial pyramid pooling in deep convolutional networks, SPP-Net)和金字塔注意力網(wǎng)絡(luò)(pyramid attention network, PANet)．

圖1 DCN-Mobile-YOLO模型的網(wǎng)絡(luò)框架Fig.1 Network Architecture of DCN-Mobile-YOLO model

DCN-MobileNet沿用YOLO v4中的DarkNet網(wǎng)絡(luò)，為減少網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)量，采用MobileNet主體結(jié)構(gòu)作為主干網(wǎng)絡(luò)的核心卷積層．為避免可分離卷積導(dǎo)致的網(wǎng)絡(luò)精度下降問題，用可變形卷積代替網(wǎng)絡(luò)框架中的所有常規(guī)卷積．通過引入跨階段局部網(wǎng)絡(luò)(cross stage partial network, CSPNet)，將梯度的變化集成到特征圖中，既保證了準確率又減少了計算量．激活函數(shù)則用更加平滑的mish()函數(shù)代替relu()函數(shù)．同時，為實現(xiàn)對不同尺度的目標都有較好的檢測效果，根據(jù)數(shù)據(jù)集真實(ground-truth, GT)邊界框的數(shù)據(jù)對錨定框進行聚類，設(shè)計出最接近真實框的3類錨定框．網(wǎng)絡(luò)的特征輸出采用大、中和小3個尺度的特征圖，根據(jù)輸入圖像尺寸416×416×3像素，輸出尺寸為52×52、26×26和13×13像素的3種網(wǎng)格．

瓶頸塊neck旨在增強網(wǎng)絡(luò)特征提取的能力．SPP-Net采用了3個不同尺寸的卷積，以增加特征圖對上層輸出的感受野，增強網(wǎng)絡(luò)的目標識別能力．通過引入差異化池化策略，使這類多尺度訓(xùn)練方法，不僅避免了網(wǎng)絡(luò)過擬合的風(fēng)險還可以實現(xiàn)固定尺寸的圖像特征輸出．PANet在特征金字塔網(wǎng)絡(luò)(feature pyramid networks, FPN)的基礎(chǔ)上，采用降采樣和上采樣方法同時對不同尺度特征圖進行融合，使映射和融合后的輸出層特征更豐富，提高網(wǎng)絡(luò)對淺層特征信息和深層語義信息的表達能力．

輸出特征圖head對應(yīng)主干網(wǎng)絡(luò)最后3個特征層，具有多特征層目標檢測能力，3個特征層尺寸分別為(52, 52, 75)、(38, 38, 75)和(19, 19, 75)．其中，前2個維度表示特征圖網(wǎng)格的大小，可實現(xiàn)對不同大小的待檢目標的提?。坏?個維度為所使用的網(wǎng)絡(luò)訓(xùn)練VOC2007+2012數(shù)據(jù)集的類別，本研究設(shè)為20；位置信息([x,y,h,w])加上類別信息(class)的維度合計為5．由于不同尺寸的錨定框(anchor)都有3種，故共有3×(20+5)=75 個錨定框．

2.2 DeepSORT目標跟蹤

DeepSORT算法的核心內(nèi)容包括匈牙利算法和KF算法．使用DCN-MobileNet檢測可獲得當前幀目標檢測的結(jié)果；使用匈牙利算法判斷當前幀的某個目標與前一幀某個目標是否相同；KF則可以修正目標檢測算法邊界框的位置．KF基于目標前一時刻的位置信息預(yù)測當前時刻的位置，因此可獲得比檢測器更準確的估計目標位置．目標跟蹤的處理流程如下：

1)采用DCN-Mobile-YOLO讀取當前幀目標檢測框位置，根據(jù)各檢測框圖像塊的深度特征定義唯一的追蹤身份證標識號(identity document, ID)；

2)采用DeepSORT對檢測框的置信度進行排序，將不符合閾值的檢測框及特征刪除；

3) 采用非極大值抑制(non-maximum suppression, NMS)方法對同一目標的多個檢測框進行交并比(intersection-over-union, IoU)，使目標具有唯一邊界框；

4)獲取當前檢測框的狀態(tài)參量(邊界框面積、長寬比、中心點橫坐標和縱坐標)，并使用KF預(yù)測目標在當前幀的位置；

5) 使用匈牙利算法將預(yù)測后的追蹤器和當前幀中的檢測器進行匹配(級聯(lián)匹配和IoU匹配)；

6)更新Kalman追蹤器參數(shù)及特征集，并進行目標消失和新目標出現(xiàn)的判斷．

2.3 自適應(yīng)車道檢測規(guī)則

常見的車道車輛總數(shù)統(tǒng)計方法有虛擬檢測線法和虛擬線框法，前者計算量小且實時性高，但在車速較慢時的統(tǒng)計誤差大，后者采用固定檢測區(qū)域與檢測框重疊面積的比值來判定車道車輛數(shù)，準確性更高．但是虛擬線框法僅適用于拍攝傳感器正對車道線的情況，否則將會出現(xiàn)車道檢測的誤判．

車道線劃分的目的是檢測出車道線，并判定當前車道目標檢測的車輛流量．車輛目標檢測邊界框與車道劃分區(qū)域的重疊面積(即IoU)是判定目標屬于某個車道的前提條件，因此選擇合適的車道檢測規(guī)則對多車道目標檢測意義重大．本研究的車道線檢測采用人工標定的方法判別車道劃分是否準確，在車道上設(shè)置計數(shù)檢測區(qū)域，根據(jù)車輛行駛規(guī)律、車輛與車道長寬比和道路視頻拍攝角度與位置，提出自適應(yīng)的車道檢測規(guī)則．

以圖2所示的車道檢測示意圖為例，共有4種檢測規(guī)則：① 若以車輛檢測邊界框(Box_A， 紅色實線框)與車道檢測框(Box_B， 黑色虛線框)的IoU計算，則當車道寬度過大(>3.5 m)或車輛高度過高(>2.5 m)會出現(xiàn)IoU<0.5，導(dǎo)致漏檢；② 若以判定車輛檢測邊界框的中心點(Center_A)是否落在車道檢測框(Box_B， 黑色)中為檢測規(guī)則，則當車輛高度過高或車輛行駛偏兩側(cè)時，中心點會落在鄰近車道中，導(dǎo)致誤檢；③ 若以車輛投影中心點(Center_C)是否落在車道檢測框(Box_B)中為檢測規(guī)則，當車輛行駛靠近兩側(cè)(由于拍攝位置原因，圖2中是偏右側(cè))時，中心點會落在右側(cè)鄰近車道導(dǎo)致誤檢；④ 以車輛投影中心點(Center_C， 考慮車輛高度、 實際檢測框高度與車道關(guān)系)為基礎(chǔ)，判定其是否落在車道實際檢測區(qū)域(Box_D， 黃色實線框)作為檢測計數(shù)規(guī)則．根據(jù)實驗設(shè)計要求和道路視頻拍攝情況，本研究選定規(guī)則4作為車道統(tǒng)計計數(shù)的規(guī)則．

圖2 車道檢測區(qū)域與車輛目標檢測框Fig.2 Vehicle detection area and vehicle object detection bounding box

3 實驗結(jié)果和分析

實驗硬件配置為：計算機CPU為Intel(R) Core(TM) i9-9900K，頻率為3.60 GHz，內(nèi)存為64 Gbyte，顯卡型號為NVIDIA GeForce GTX 2080Ti，顯存11 Gbyte×2．軟件環(huán)境為Ubuntu 16.04，64 bit．深度學(xué)習(xí)框架為TensorFlow1.13.1 & Keras 2.3.1，并行計算框架為CUDA 10．

為驗證本研究提出的移動端潮汐車道車輛計數(shù)方法的運行速度和檢測效果，選取早高峰潮汐車道拍攝視頻作為驗證集驗證算法的時效性，同時在VOC2007+2012數(shù)據(jù)集中分析算法的檢測性能．

3.1 檢測性能分析

1)精度(P)與召回率(R)： 精度是衡量目標檢測模型正樣本檢出量占總檢出樣本的比例，召回率代表檢測出的正樣本占所有正樣本的比例，計算公式如式(1)和式(2)．

P=TP/(TP+FP)

(1)

R=TP/(TP+FN)

(2)

其中，TP為正樣本被正確檢索的概率；FP為負樣本被誤檢成正樣本的概率；FN為正樣本被誤檢成負樣本的概率．

2)平均精度(average precision, AP)：AP是某個類在P-R曲線上的平均精度值，常用式(3)計得．好的目標檢測模型意味著召回率增加的同時精度也增加．

(3)

其中，r為取值在0～1的召回率；p(r)為精度．

3)平均精度均值(mean average precision, mAP)：mAP是計算所有類別P-R曲線下面積的平均值，即

(4)

其中，n為類別數(shù)．

為驗證DCN-Mobile-YOLO模型的檢測效果，分別采用MobileNet、CSPDarkNet和DCN-MobileNet 三個不同主干網(wǎng)絡(luò)的YOLO v4模型，計算對VOC2007+2012數(shù)據(jù)集中所有類別檢測后的AP值，結(jié)果如圖3．由圖3可見，DCN-Mobile-YOLO相對于主干網(wǎng)絡(luò)為MobileNet和CSPDarkNet的YOLO v4網(wǎng)絡(luò)，mAP值分別提升了13.19%和6.63%．

圖3 不同主干網(wǎng)絡(luò)的YOLO模型AP值Fig.3 AP values of YOLO models with different backbone networks

4)參數(shù)量．DCN-MobileNet借鑒了MobileNet的可分離卷積思想，將標準卷積分解為depthwise卷積和pointwise卷積各1個，分別起到濾波和線性組合的作用，大量減少了參數(shù)量和計算量．同時，在常規(guī)卷積操作中，以輕微犧牲參數(shù)量的代價，采用DCN v2卷積擴張ROI進而提高目標檢測模型的精度．表1列舉了不同主干網(wǎng)絡(luò)模型的參數(shù)量．由表1可見，DCN-MobileNet的參數(shù)量比MobileNet 僅多0.48%，是CSPDarknet參數(shù)量的17%．設(shè)訓(xùn)練批次(batchsize)為32，總訓(xùn)練周期(epoch)為200，對比算法的訓(xùn)練時間發(fā)現(xiàn)，當MobileNet作為主干網(wǎng)絡(luò)時，單個訓(xùn)練周期可以節(jié)省1/2的訓(xùn)練時間．

表1 不同主干網(wǎng)絡(luò)的YOLO v4模型參數(shù)量

5)檢測效率與精度．圖4為不同模型目標檢測和車道車輛計數(shù)的結(jié)果．需要特別說明的是，檢測幀率與當前檢測出的數(shù)量和模型相關(guān)，相同模型下檢測數(shù)量越多檢測幀率越低．由圖4可見，DCN-Mobile-YOLO模型的當前幀檢測數(shù)量和總檢測數(shù)量計數(shù)比MobileNet-YOLO和CSPDarknet-YOLO模型都要多，且實時幀率速度更快．

圖4 不同主干網(wǎng)絡(luò)的YOLO v4模型檢測結(jié)果Fig.4 Model test results of YOLO v4 models with different backbone networks

3.2 潮汐車道流量分析

為研究潮汐車道的通行能力和各車道流量數(shù)據(jù)，利用GoPro運動攝像機采集2020-01-09中國深圳市深南-北環(huán)立交早高峰時間段(07∶05-09∶00)的視頻數(shù)據(jù)(07∶00-07∶05的數(shù)據(jù)因安裝設(shè)備，未采集)．以5 min為一個時間周期，將早高峰時間段劃分為23個時段，得到不同車道目標檢測和車流量結(jié)果分別見表2和圖5．其中，1～23為時段序號；車道1為潮汐車道；車道2為左轉(zhuǎn)車道；車道3～7為直行車道；車道8為右轉(zhuǎn)車道．

表2 2020-01-09深南-北環(huán)立交早高峰各時段各車道車輛計數(shù)統(tǒng)計

圖 5 2020-01-09深南-北環(huán)立交早高峰各時段不同車道流量數(shù)據(jù)Fig.5 Traffic flow data of different lanes at Shennan-Beihuan interchange on 2020-01-09

由表2可知，潮汐車道和左轉(zhuǎn)車道23個時段內(nèi)單個車道的平均車流量分別為26輛和17輛，兩者差異不大，直行車道的平均車流量為55輛．

將車道按照潮汐+左轉(zhuǎn)(車道1和2)、直行(車道3～7)和右轉(zhuǎn)(車道8)劃分為3類，根據(jù)表2的數(shù)據(jù)統(tǒng)計對應(yīng)類型車道在每個時段的平均流量(時段內(nèi)總車流量除以車道數(shù))，結(jié)果如圖5．再統(tǒng)計3種類型的車道在整各早高峰時間段(07∶05-09∶00)內(nèi)每5 min內(nèi)的平均流量，結(jié)果表明，潮汐+左轉(zhuǎn)、直行和右轉(zhuǎn)車道每5 min的車流量分別是43、274和22輛，占比分別為2∶10∶1．可見，若將左轉(zhuǎn)車道設(shè)置為直行，潮汐車道設(shè)置為左轉(zhuǎn)，可進一步優(yōu)化車道通行效率，緩解直行車道的通行壓力．

結(jié) 語

提出一種針對移動端的多車道目標追蹤和計數(shù)模型DCN-Mobile-YOLO．為解決MobileNet-YOLO模型檢測精度有限的問題，在YOLO v4主干網(wǎng)絡(luò)中引入DCN v2卷積并替換原來的CSPDarknet網(wǎng)絡(luò)．以VOC2007+2012數(shù)據(jù)集作為訓(xùn)練集和驗證集，根據(jù)AP指標分析YOLO框架下MobileNet、CSPDarknet和DCN-MobileNet3種主干網(wǎng)絡(luò)在驗證集中的表現(xiàn)．結(jié)果表明，在所有類別的AP值實驗比較中，DCN-Mobile-YOLO模型比MobileNet-YOLO和CSPDarknet-YOLO模型分別提升了13.19%和6.63%．采集早高峰交通視頻數(shù)據(jù)，使用DCN-Mobile-YOLO模型統(tǒng)計左轉(zhuǎn)(含潮汐車道)、直行和右轉(zhuǎn)的流量數(shù)據(jù)，通過分析潮汐車道對交通流量的影響，發(fā)現(xiàn)早高峰車流量瓶頸在直行方向，提出將左轉(zhuǎn)車道改為可變車道，將潮汐車道設(shè)計為左轉(zhuǎn)車道的建議．