文浩彬 張國(guó)輝

摘 要：運(yùn)用YOLO（You Only Look Once）實(shí)時(shí)目標(biāo)檢測(cè)算法解決了駕駛視頻目標(biāo)檢測(cè)問題。針對(duì)目標(biāo)檢測(cè)算法受環(huán)境條件影響魯棒性差、小目標(biāo)識(shí)別能力不高的問題，建立了涵蓋多種天氣環(huán)境、包含疑難目標(biāo)的駕駛視頻樣本數(shù)據(jù)庫(kù)，提出了疑難樣本訓(xùn)練方法，訓(xùn)練出可在多種天氣環(huán)境中良好識(shí)別小型汽車、行人、公交車及貨車的YOLO檢測(cè)模型。實(shí)驗(yàn)結(jié)果表明，該訓(xùn)練方法可有效提升目標(biāo)檢測(cè)性能；所得檢測(cè)模型具有較高的召回率和精確度，可初步應(yīng)用于實(shí)時(shí)駕駛視頻的目標(biāo)檢測(cè)。

關(guān)鍵詞：駕駛視頻；目標(biāo)檢測(cè)；YOLO；碰撞預(yù)警

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1005-2550（2019）01-0073-04

Abstract： Applying YOLO （You Only Look Once） real-time object detection network to detection tasks in vehicle camera videos. Aiming at the low robustness due to environmental impact， and low performance of small object detection of present algorithms， a dataset containing multiple weather condition samples and Difficult Samples is established. The method of training Difficult Label is proposed. A YOLO model capable of well recognizing small cars， pedestrians， buses， and trucks in complex driving environment is trained， with high Recall rate and Precision， which can effectively improve detection performance and be primarily applied to real-time detection in vehicle camera videos.

Key Words： Vehicle camera video； Object detection； YOLO； Collision Warning System

前言

在各類引起交通事故的因素中，人類因素占90%，駕駛員違法占74% [1]。交通環(huán)境復(fù)雜性是造成駕駛員疲勞、疏忽的主要原因。通過實(shí)時(shí)檢測(cè)交通環(huán)境中的行人和車輛，必要時(shí)向駕駛員提供預(yù)警，可有效避免交通事故發(fā)生。

在目標(biāo)檢測(cè)領(lǐng)域中深度神經(jīng)網(wǎng)絡(luò)應(yīng)用廣泛。從2014年RCNN[2]提出至今，領(lǐng)域內(nèi)涌現(xiàn)出SPP-NET、SSD、Fast RCNN、RFCN、Faster RCNN、YOLO（You Only Look Once）系列算法等，檢測(cè)精度、速度不斷提高。其中，Joseph Redmon等在2018年3月提出YOLO v3[3]，因快速、準(zhǔn)確的檢測(cè)性能成為關(guān)注焦點(diǎn)。

本文借鑒YOLO系列算法的最新研究成果，將YOLO v3用于駕駛視頻的目標(biāo)檢測(cè)。建立了涵蓋多種天氣環(huán)境的駕駛視頻樣本數(shù)據(jù)庫(kù)；提出了疑難樣本訓(xùn)練方法。實(shí)驗(yàn)獲得的檢測(cè)系統(tǒng)在文中測(cè)試數(shù)據(jù)集上的平均精確度達(dá)78.06%，目標(biāo)召回率高，可初步應(yīng)用于汽車前向防碰撞系統(tǒng)中的實(shí)時(shí)駕駛視頻目標(biāo)檢測(cè)。

1 前向防撞預(yù)警系統(tǒng)技術(shù)路線

使用單目視覺方法實(shí)現(xiàn)汽車前向碰撞預(yù)警的研究較為成熟，常見方案由五部分組成：攝像機(jī)采集圖像；目標(biāo)檢測(cè)；目標(biāo)距離估算；形成防碰撞策略；執(zhí)行預(yù)警。目標(biāo)檢測(cè)作為該技術(shù)的重要環(huán)節(jié)，其檢測(cè)精度、檢測(cè)速度對(duì)汽車行駛安全性影響大。運(yùn)用YOLO檢測(cè)算法對(duì)行駛環(huán)境中的目標(biāo)進(jìn)行識(shí)別，有助于實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)檢測(cè)。圖1為前向防碰撞預(yù)警系統(tǒng)技術(shù)路線。

2 YOLO網(wǎng)絡(luò)模型的訓(xùn)練

2.1 YOLO v3檢測(cè)系統(tǒng)

YOLO v3檢測(cè)系統(tǒng)的預(yù)測(cè)任務(wù)主要為兩部分：分類預(yù)測(cè)和位置預(yù)測(cè)。

輸入圖片首先經(jīng)尺寸調(diào)整并被劃為N×N的正方形柵格，包含目標(biāo)中心的柵格單元負(fù)責(zé)檢測(cè)該目標(biāo)[4]。輸入圖片通過YOLO神經(jīng)網(wǎng)絡(luò)計(jì)算后輸出含有分類信息的特征柵格圖。YOLO v3的核心網(wǎng)絡(luò)框架為具有53層卷積層的特征提取網(wǎng)絡(luò)Darknet-53[3]。

目標(biāo)位置預(yù)測(cè)運(yùn)用K-means聚類方法獲得錨點(diǎn)框（Anchor Box）尺寸，通過對(duì)錨點(diǎn)框尺寸進(jìn)行數(shù)學(xué)變換獲得預(yù)測(cè)框（Bounding Box）尺寸。YOLO v3使用跨尺度預(yù)測(cè)機(jī)制（Predictions Across Scales）——在三種尺度的特征圖上執(zhí)行預(yù)測(cè)，融合多尺度采樣特征。

2.2 建立駕駛視頻樣本數(shù)據(jù)庫(kù)

車輛行駛環(huán)境的開放性增加了目標(biāo)檢測(cè)的難度，亮度變化、天氣狀況（雷雨天氣等）、交通路況（并道合流、轉(zhuǎn)彎、上下坡等）等對(duì)檢測(cè)性能影響大。通過行車記錄儀獲取駕駛視頻樣本圖片，涵蓋上述復(fù)雜環(huán)境及路況。

檢測(cè)目標(biāo)類別為4類：行人（Pedestrian）、小型汽車（Car）、公交車（Bus）和貨車（Truck）。使用LabelImg工具添加樣本標(biāo)簽，建立基礎(chǔ)數(shù)據(jù)庫(kù)。詳細(xì)參數(shù)如表1所示。訓(xùn)練樣本選取具有良好特征的目標(biāo)進(jìn)行標(biāo)記，測(cè)試數(shù)據(jù)則需對(duì)樣本圖片中的所有目標(biāo)進(jìn)行標(biāo)記。將XML標(biāo)簽轉(zhuǎn)化為可供YOLO識(shí)別的TXT文本標(biāo)簽，完成基礎(chǔ)樣本數(shù)據(jù)庫(kù)的建立。

2.3 網(wǎng)絡(luò)模型訓(xùn)練

以Darknet53為網(wǎng)絡(luò)框架，YOLO v3為檢測(cè)模型，訓(xùn)練駕駛視頻目標(biāo)檢測(cè)系統(tǒng)。

為提高訓(xùn)練效率，選擇開源的預(yù)訓(xùn)練權(quán)重darknet53.conv.74.weights初始化卷積層。此預(yù)訓(xùn)練權(quán)重通過Darknet53網(wǎng)絡(luò)模型在ImageNet數(shù)據(jù)集上訓(xùn)練多個(gè)循環(huán)后獲得。設(shè)置沖量系數(shù)為0.9，權(quán)值衰減系數(shù)為0.0005，最大訓(xùn)練批次為50000步。學(xué)習(xí)率使用分步調(diào)整策略（由10-4至10-6），避免訓(xùn)練出現(xiàn)過擬合。

2.4 訓(xùn)練技巧

批樣本數(shù)量（Batch）與樣本分支數(shù)量（Subdivisions）之比為單個(gè)分支中含有的數(shù)據(jù)量（Subdivision Size），該數(shù)據(jù)量大小受到硬件計(jì)算能力的限制。適當(dāng)減小批樣本數(shù)量和樣本分支數(shù)量可減少硬件計(jì)算負(fù)擔(dān)，同時(shí)仍可獲得良好的模型檢測(cè)性能。

為提升模型檢測(cè)精度，更改輸入圖像分辨率適應(yīng)大尺寸圖像的目標(biāo)識(shí)別。駕駛視頻中圖像的尺寸普遍較大，將輸入圖像尺寸由默認(rèn)的416×416像素調(diào)整為544×544像素。文獻(xiàn)[5]指出，檢測(cè)系統(tǒng)對(duì)大輸入圖片尺寸的檢測(cè)速度低但精度高。執(zhí)行跨尺度預(yù)測(cè)時(shí)，本文模型得到密度更高的特征柵格圖。

采用疑難樣本訓(xùn)練方法提高系統(tǒng)檢測(cè)精確度（mAP）。本文定義下的疑難樣本為小尺寸、輪廓不完整以及特征模糊的目標(biāo)。樣本圖片添加標(biāo)記時(shí)設(shè)置疑難標(biāo)簽（Difficult Label），獲得包含疑難樣本的訓(xùn)練數(shù)據(jù)集。根據(jù)表2試驗(yàn)數(shù)據(jù)，該技巧使mAP提升9%。

3 試驗(yàn)及結(jié)果分析

3.1 試驗(yàn)環(huán)境

本文試驗(yàn)環(huán)境如表3所示，該運(yùn)行環(huán)境下的YOLO駕駛視頻目標(biāo)檢測(cè)系統(tǒng)檢測(cè)速度可達(dá)20FPS。

3.2 檢測(cè)結(jié)果分析

網(wǎng)絡(luò)模型訓(xùn)練收斂后，對(duì)模型檢測(cè)性能進(jìn)行測(cè)試。檢測(cè)器在測(cè)試數(shù)據(jù)集上進(jìn)行測(cè)試并統(tǒng)計(jì)給定閾值下的預(yù)測(cè)結(jié)果，計(jì)算精確度、召回率等指標(biāo)。表4給出分類概率閾值（Thresh）為0.25時(shí)的各類評(píng)價(jià)指標(biāo)。

其中，檢測(cè)系統(tǒng)平均精確度（mean Average Precision， mAP）是單類目標(biāo)平均精確度（Average Precision for each class， Ap）的算術(shù)平均值。目標(biāo)預(yù)

.測(cè)正確與否的判斷依據(jù)為IOU值——預(yù)測(cè)框與真實(shí)矩形框（Ground Truth Box）的交集與并集之比，IOU值大于50%屬正確目標(biāo)。

統(tǒng)計(jì)結(jié)果繪制成精確度召回率曲線，分析檢測(cè)系統(tǒng)對(duì)各類目標(biāo)的檢測(cè)性能。X軸為召回率（Recall）、Y軸為精確度（Precision），若兩者同時(shí)趨于1則表明檢測(cè)系統(tǒng)性能越好。

根據(jù)圖2分析可知，小型汽車的檢測(cè)效果最優(yōu)，行人最差。使用疑難樣本數(shù)據(jù)庫(kù)訓(xùn)練的YOLO v3網(wǎng)絡(luò)模型中，小型汽車的單類目標(biāo)平均精確度達(dá)87.76%，行人僅71.09%。

對(duì)比同在基礎(chǔ)數(shù)據(jù)庫(kù)上訓(xùn)練得到的YOLO v2與v3網(wǎng)絡(luò)模型。（圖2c）說明，YOLO v3網(wǎng)絡(luò)的應(yīng)用給行人類的平均精確度帶來了17.5%的提升，其余類別精度均有提升，充分說明新網(wǎng)絡(luò)框架優(yōu)化了小尺寸目標(biāo)的識(shí)別能力。

此外，疑難樣本訓(xùn)練方法進(jìn)一步提升了YOLO v3網(wǎng)絡(luò)對(duì)各個(gè)類別的檢測(cè)精度。據(jù)圖2b，相比基礎(chǔ)樣本數(shù)據(jù)庫(kù)的訓(xùn)練結(jié)果，小型汽車類AP提升約17%，召回率達(dá)90%。

3.3 駕駛視頻檢測(cè)結(jié)果

選取具有代表性的行駛場(chǎng)景圖片進(jìn)行測(cè)試，直觀對(duì)比YOLO駕駛視頻目標(biāo)檢測(cè)系統(tǒng)的性能。檢測(cè)結(jié)果包含預(yù)測(cè)矩形框、目標(biāo)類別和目標(biāo)分類概率，如圖3所示。預(yù)測(cè)矩形框上方的分類概率為后期添加。

根據(jù)圖3測(cè)試結(jié)果，各種天氣環(huán)境下的目標(biāo)均得到了合理的分類和定位。從分類預(yù)測(cè)角度分析，大部分目標(biāo)的分類概率大于80%，未出現(xiàn)類別誤判；從定位預(yù)測(cè)角度分析，圖3c右側(cè)摩托車騎行人位置預(yù)測(cè)誤差大，其余目標(biāo)定位準(zhǔn)確。

疑難目標(biāo)也獲得了較好的預(yù)測(cè)效果。圖3a中較遠(yuǎn)處的小汽車、圖b中受白色車輛遮擋的摩托車騎行人以及圖d分類概率為29%的前排車輛，均屬本文定義下的疑難目標(biāo)，其分類概率較低，但能成功預(yù)測(cè)。

總體上，該駕駛視頻檢測(cè)系統(tǒng)在測(cè)試數(shù)據(jù)集上的平均精確度達(dá)到78.06%，各類目標(biāo)召回率較高，在日間、夜間和晴天、雨天環(huán)境下保持較好的檢測(cè)性能。

4 結(jié)論

將YOLO v3網(wǎng)絡(luò)框架用于實(shí)時(shí)的駕駛視頻目標(biāo)檢測(cè)，可作為汽車前向防碰撞預(yù)警系統(tǒng)技術(shù)中目標(biāo)檢測(cè)環(huán)節(jié)的新解決方案。提出了疑難樣本訓(xùn)練方法，解決了YOLO系列檢測(cè)算法在小尺寸目標(biāo)及相鄰目標(biāo)檢測(cè)上的不足，在檢測(cè)精度上表現(xiàn)出優(yōu)異的性能。

由于行人目標(biāo)的特征分布表現(xiàn)為水平方向密集、豎直方向相對(duì)稀疏，與YOLO檢測(cè)模型對(duì)輸入圖片統(tǒng)一劃為正方形柵格的機(jī)制不符，導(dǎo)致對(duì)行人的檢測(cè)效果不夠理想，這是后續(xù)工作需要改進(jìn)的重點(diǎn)。

參考文獻(xiàn)：

[1]畢建彬.道路交通事故的人因分析與駕駛員可靠性研究[D].北京：北京交通大學(xué)，2012.

[2]R. Girshick， J. Donahue， and T. Darrel. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Conference on Computer Vision and Pattern Recognition （CVPR）， 2014：119-135.

[3]J.Redmon， and A. Farhadi. YOLOv3： An Incremental Improvement[J]. arXiv preprint arXiv：1804.02767，2018.

[4] J.Redmon， S Divvala， and R Girshick. You only look once： unified， real-time object detection [C]. Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2016：779-788.

[5]J.Redmon， and A.Farhadi. YOLO9000： better， faster， stronger[J]. arXiv preprint， arXiv：1612.08242， 2016.