徐向前 孫濤

摘要：為了提高行人檢測的準確性和魯棒性，針對現(xiàn)有行人檢測方法準確率低且實時性不佳等問題，參考目標檢測算法中快速區(qū)域卷積神經網絡Faster RCNN算法，首先采用K-means聚類算法得到合適的寬高比，然后優(yōu)化區(qū)域建議網絡（ RPN）結構，降低計算量，并通過比較MobileNet、VGG16、ResNet50特征提取網絡效果優(yōu)劣，提出改進Faster RCNN的交通場景下行人檢測方法，在Caltech-NEW數(shù)據(jù)集上進行訓練與測試。實驗結果表明，該方法大幅提高交通場景下行人檢測的實時性和準確性，在測試集上檢測準確度達到87.5%，單張圖片檢測耗時為0.187s，相比現(xiàn)有其它方法，其檢測效果更好。

關鍵詞：卷積神經網絡;行人檢測;K-means算法;區(qū)域建議網絡

DOI： 10. 11907/rjdk.192692

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP306

文獻標識碼：A

文章編號：1672-7800（ 2020）004-0067-04

Pedestrian Detection Method in Traffic Scene Based on Faster RCNN

XU Xiang-qian， SUN Tao

（kSchool of Mech.an ical Engi，zeering ，Univer.sity of Sh.angh.aifor Science and Tech.nology，Sharzgh.ai 200093，China ）Abstract ： In order to iiuprove the accuracy and robustness of pedestrian detection ， aiming at the problems of' low accu racy and poor re-al-time perforruance of existing pedestrian detection methods. fast neural network of fast region convolution in target detection algo-rithm is ref'erred. Firstly， K-means algorithru is used to obtain the appropriate aspect ratio. then the structure of region proposal net-work （ RPN） is improved to reduce the amount of calculations. By conlparing the performance of MobileNet. VGG16. and ResNet50feature extraction networks. an improved detection method of traffic scene based on Faster RCNN is proposed. and the improved algo-rithm is trained and tested on the Caltech-NEW dataset. The experimenfal results shouw that the method greatly improves the real-timeand accuracy of detection in traffic scenes. The mAP （mean Average Precision） on the test set is 87.5% . and the detection speed of asingle picture is 0.187 seconds. Compared with other methods.this method is better.Key Words ： convolutional neural network ; pedestrian detection ; K-means algorithm ; RPN

O 引言

交通場景下行人檢測是指在交通場景下，判斷圖像或者視頻序列中是否包含行人目標并準確判斷出行人位置。行人檢測是目標檢測中非常重要的課題，基于卷積神經網絡的行人目標檢測方法是國內外學者的研究熱點，行人檢測算法在高級駕駛輔助系統(tǒng)（ADAS）、智能駕駛系統(tǒng)、智能機器人、行人數(shù)據(jù)分析等領域有著重要應用“。

傳統(tǒng)的目標檢測方法將SIFT[2]（Scale-Invariant Fea-ture Transform）、HOG[3]（histogram of oriented gradient）等傳統(tǒng)人工提取的特征算子傳人SVM[4]。（Support Vector Ma-chine）、AdaBoost等分類器進行分類并完成目標檢測。在現(xiàn)實生活中，人類是一個剛性和柔性相結合的物體，在受到光照、姿態(tài)、尺寸等因素v影響時，傳統(tǒng)人工提取的特征算子往往不能滿足行人檢測要求，存在泛化能力弱、準確度低等缺點[5]。

近年來，以卷積神經網絡為代表的深度學習算法在圖片分類、目標檢測等領域取得了巨大成功?；诰矸e神經網絡的深度學習目標檢測方法相比于人工設計特征算子的傳統(tǒng)方法，其能夠自主學習圖片不同層級的不同特征，提取圖片中更加豐富、更加抽象的特征[6]。目前，深度學習算法中最有代表性的算法有RCNN[7]、Fast RCNN.sJ、FasterRCNN[9]。、YOLO[10]等。在這些算法中，整體可以歸為兩類，第一類是以R-CNN為代表的卷積神經網絡，其采用兩步式（ Two-Stage）[11].首先會找出圖片中目標可能出現(xiàn)的位置，即區(qū)域提議（Region Proposal），然后利用特征層提取的特征信息對目標作分類，這類檢測器的優(yōu)點是檢測準確率高，問題是無法達到實時性要求;第二類是以YOLO為代表的卷積神經網絡，采用端到端（End-to-End）的方式[12]，將目標檢測任務轉化為回歸問題，這類檢測器的實時性顯著提高，但是準確率不如Faster RCNN等兩步式檢測器[13]。

本文基于Faster RCNN目標檢測算法，使用K-means聚類算法得出適合交通場景下的行人錨框寬高比，優(yōu)化區(qū)域提議網絡RPN），然后將MobileNet[14]、VGG16[15]、ResNet50分別作為特征提取網絡，對比3種特征提取網絡對行人檢測模型準確率的影響。在此基礎上，提出改進的Faster RCNN的交通場景下行人檢測方法，并研究對比不同模型在不同行人數(shù)據(jù)集上的行人檢測能力。

1 基于Faster RCNN的行人檢測方法

Faster RCNN目標檢測算法流程如圖1所示。整個過程分為輸入原始圖像、通過特征提取網絡提取特征，利用區(qū)域建議網絡生成初步候選區(qū)域、利用檢測網絡進行行人分類和回歸計算得到行人位置框等過程[16]。

Faster RCNN為了得到初步候選區(qū)域，運用區(qū)域建議網絡自動生成候選區(qū)域，將特征網絡提取的特征圖作為區(qū)域建議網絡的輸入，區(qū)域建議網絡將輸出初步的目標候選矩形框。為了生成候選區(qū)域，在特征網絡提取的特征圖上使用一個nXn的滑動窗口（卷積核）以一定的步長滑動。區(qū)域建議網絡是一個全卷積網絡，由分類和窗口回歸兩部分組成，在分類層輸出2xh個得分，主要用于判斷候選區(qū)域中的目標所屬類別（行人或者背景）。候選區(qū)域與真實值（ ground truth）重疊部分面積超過閾值0.7，則被判定為存在行人目標，此時被判定為背景，其余忽略不計。在回歸層會根據(jù)輸入的候選區(qū)域得到4xk個坐標位置，用于微調候選框。

Faster RCNN引入錨框機制（Anchors），F(xiàn)aster RCNN的錨框具有不同的尺度和比例，3種尺度大小分別為128、256、512以及3種寬高比分別為1：1、1：2、2：1。

2 改進的行人檢測方法

2.1 區(qū)域建議網絡（RPN）改進

Faster RCNN網絡能夠白動提取訓練集樣本的特征信息，對位移、尺度等具有一定的不變性，在檢測目標時有較好的檢測精度和較快的檢測速度[17]。但Faster RCNN網絡在檢測行人目標時存在眾多影響網絡檢測實時性和識別準確率的因素，F(xiàn)aster RCNN網絡并不能完全滿足交通場景下行人檢測任務實時性和準確率的要求[18]。其存在如下缺點：①交通場景下，行人檢測需要較高的實時性，F(xiàn)ast-er RCNN檢測行人目標的實時性不足;②Faster RCNN檢測行人目標的檢測精度較差。本文利用K-means算法計算出合適的錨框寬高比，優(yōu)化區(qū)域建議網絡結構，提高準確率與實時性。建立Caltech-NEW行人數(shù)據(jù)集用于訓練模型，提高模型準確率和泛化能力。

區(qū)域建議網絡的錨框參數(shù)設置忽略了行人目標的特殊性。在絕大多數(shù)交通場景下，行人目標都是高度大于寬度，因此設置不同寬高比的錨框對交通場景下的行人目標而言是一種干擾，錨框寬高比應該根據(jù)實際情況確定。

2.2錨框聚類分析

通過K-means聚類算法統(tǒng)計Caltech-NEW行人數(shù)據(jù)集中全部行人目標位置框的真實值（Ground Truth）。將行人目標框真實值的寬高比作為樣本i，聚類目標是找到每個樣本潛在的類別v，并將同類v的樣本i放在一起。算法具體步驟如下：

Stepl：隨機選取k=2、3，聚類中心點為：

Step2：對于每一個樣本i，計算其歷屬類別：

Step3：對于每一個類i，計算該類的中心：

Step4：重復以上過程直到收斂。

K-means聚類算法隨機計算K個類中心作為起始點。如圖2所示，聚類算法會將寬高比樣本i分配到離其最近的類中心，根據(jù)收斂結果移類中心，重復直至類中心不再改變或者達到限定迭代次數(shù)。

如圖3所示，聚類分析得出交通場景下行人目標寬高比為w - 0.4lh，本文將原Faster RCNN算法中區(qū)域建議網絡錨框的寬高比修改為（0.41：1），修改之后的每個位置就有3個Anchor，分類層輸出6個節(jié)點，回歸層輸出12個節(jié)點。

3 實驗分析

3.1實驗平臺

本文實驗以上海理工大學智能車為平臺，使用單目攝像頭在陰天、雨天、夜晚等多種天氣和環(huán)境下采集行人數(shù)據(jù)。

3.2 實驗數(shù)據(jù)集

實驗使用的數(shù)據(jù)集由兩個部分組成：①加州理T學院的Caltech Pedestrian Dataset公共數(shù)據(jù)集。[19];②上海理工大學智能車平臺采集的真實交通場景行人數(shù)據(jù)集。

本次實驗所用的數(shù)據(jù)集命名為Caltech-NEW數(shù)據(jù)集，數(shù)據(jù)集共包含約16000張圖片。為了提高泛化能力，在Caltech數(shù)據(jù)集的基礎上加入上海市區(qū)以及校園內采集的大量符合汽車行車視角的行人圖片，分別包含：晴天、雨天、陰天、雪天、夜晚。圖片尺寸為640x480，數(shù)據(jù)集圖像示例如圖4所示。

3.3 實驗評價方法

本文引進準確率和召回率以更好地評價模型，如式（3）、式（4）所示。

準確率=

召回率=

式中，TP代表正確地檢測出了行人，F(xiàn)P代表將其它目標當作行人，F(xiàn)N代表將行人當作其它目標，TN代表沒有檢測出行人目標。

假設Ⅳ個樣本，其中M個正例，可以得到M個召回率： ，對于每個召回率r，其最大準確率如式（5）所示。

（Average Precision）[20]用以衡量模型在每個類別上的好壞，衡量模型在所有類別上檢測性能的高低，計算如式（6）所示。

由于本文只對行人目標這一個類別進行檢測，因此m.AP和AP的值相等。

3.4訓練過程

本次實驗硬件配置是Inter Core i7處理器，內存8GB，GPU為英偉達Quadro P4000。采用的編程環(huán)境是Pvthon，基于深度學習框架Tensorflow，網絡架構分別以MobileNet、VGG16、ResNet50為基礎，最大迭代次數(shù)為70000次，學習率為0.001，權值衰減值設置為0.0005，訓練30000輪之后開始衰減學習率，動量值設置為0.9。將Caltech-NEW行人數(shù)據(jù)集的80%作為訓練集，20%作為測試集，通過迭代訓練調優(yōu)，得到最佳網絡模型。

4 實驗結果分析

錨框是區(qū)域建議網絡的核心，原Faster RCNN算法由于目標大小和寬高比不一致，需要多個尺度的錨框組合，但在本文算法中并不需要如此。本文采用對數(shù)據(jù)集目標框進行聚類分析得到更加適合行人目標檢測的錨框個數(shù)和寬高比，使得錨框數(shù)量變得較少，縮短了計算時間，加快了檢測速度。為了比較RPN網絡調整Anchor寬高比對訓練結果的影響，在PASCAL VOC2007數(shù)據(jù)集上訓練評估Faster RCNN算法和本文算法，分別訓練30000輪。如表1所示，本文改進算法檢測率優(yōu)于原Faster RCNN算法，準確率提高了4.1%。實驗結果表明，本文提出的改進算法對于行人檢測具有有效性，并提高了準確率。

表2為在Caltech-NEW交通場景數(shù)據(jù)集測試集上的單張圖片檢測耗時結果。可以看出，本文算法在改進Fast-er RCNN后，檢測所用時間優(yōu)于未改變的Faster RCNN檢測算法。使用改進的RPN使得初步矩形目標候選區(qū)域減少，這是一種簡單有效的解決方案，使用了GPU加速，減少了訓練時間。實驗結果表明，本文算法有效提高了行人檢測的實時性。

為了對比不同特征提取網絡對算法準確率的影響，分別采用MobileNet、ResNet50、VGG16特征提取網絡與本文改進算法相結合，在Caltech-NEW行人數(shù)據(jù)集上分別訓練行人目標檢測模型。如表3所示，在0- 30000輪迭代次數(shù)，本文算法訓練得出的檢測模型隨著迭代次數(shù)的增加，mAP值快速提升并趨于穩(wěn)定;在迭代次數(shù)為30000輪時，準確率達到0.85左右，之后隨著迭代次數(shù)的增加，準確率略有波動，但總體上保持不變。這表明本文算法所得出的3種模型在迭代30 000次時其檢測性能基本都達到了較好水平。繼續(xù)訓練達到70 000輪迭代后，各特征提取網絡都出現(xiàn)不同程度的準確率下降。綜上所述，采用VGG16、ResNet50為特征提取網絡時，本文算法得出的檢測模型效果較佳，當?shù)螖?shù)超過30 000輪時，采用MoblieNet為特征提取網絡效果最好。

本文算法得出的檢測模型Loss曲線隨著訓練迭代次數(shù)的增加，檢測模型性能基本保持不變，在超過70000迭代次數(shù)之后，模型沒有出現(xiàn)過擬合現(xiàn)象。

由圖5可知，本文的算法在召回率小于0.8時，模型準確率處于0.95左右。在Caltech-NEW數(shù)據(jù)集測試集上mAP值為0.860，相較于原Faster RCNN算法在行人目標的準確率0.702，采用改進后的Faster RCNN算法準確率大幅提高。

在不同的交通環(huán)境場景下，采用本文算法在Caltech-NEW數(shù)據(jù)集測試集中的部分檢測結果如圖6所示。

5 結語

隨著智能駕駛的不斷發(fā)展，保障行人安全一直是智能駕駛研究人員的共同目標，行人目標相較于交通場景下其它目標顯得尤為重要。針對已有的目標檢測算法在行人檢測中檢測準確率不佳、檢測速度較慢、區(qū)域建議網絡錨框設置不合理等缺點，以Faster RCNN為基礎，提出了交通場景下改進的行人檢測算法，根據(jù)行人目標在圖像中呈現(xiàn)寬高比相對固定的規(guī)律，通過K-means聚類算法優(yōu)化RPN區(qū)域建議網絡，設置合理的anchor數(shù)量和寬高比，綜合比較3種不同特征提取網絡對算法準確率的影響，白建Caltech-NEW數(shù)據(jù)集，提高模型在交通場景下檢測行人目標的泛化能力。通過實驗驗證，本算法準確率和實時性都較高，證明Anchor框對算法準確率有一定的積極影響。

[1]許言午。曹先杉，喬紅，行人檢測系統(tǒng)研究新進展及關鍵技術展望[j]，電子學報，2008.36（5）：368-376.

[2]BAY H ， ESS A， TLTYELAARS T. et al.Speeded-up rohust features（SURF） [J]. Computer Vision and Image Lnderstanding， 2008， 110（3）： 346-359.

[3]DALAL N，TRIGGS B. Histograms of oriented gradients for human de-tection[C]. 2005 IEEE Computer Society Conference on Computer Vi-sion and Pattern Recognition ， 2005 ： 886-893.

[4]]VIOLA P. JPNES M.Robust real-time object detectinn[j]. Interna-tional Journal of Computer Vision.2001，4 ： 34-47.測研究綜述[J]. 動化學報. 2007 33（I） ： 84 -90 .

[6]CERONIMO D， LOPEZ A. SAPPA A， et al.Survey of pedestrian de-tection for ad.anc.ed driver assistance systems [J]. IEEE Trans . onPattern Analysis and Machine Intelligence ， 2010 ， 32（7） ： 1239-1258.

[7GIRSHICK R . DONAHUE J. DARRELL T. et al. Rich feature hierar-chies for accurate object detection and semantic segmentation[c].Pro-ceeding of the IEEE Conference on Computer Vision and Pattern Rec- ognition， 2014 ： 580-587.

[8]GIRSHICK R. Fast R-CNW[c]. Santiago：2015 lEEE InternationalConference on Computer Vision，2015.

[9]REW S， HE K. CIRSHICK R. et al. Faster R-CNN ： towards real-timeohject detection with region proposal networks [j].IEEE Transactionson Pattern Analysis &- Machine Intelligenc.e ， 2017 ， 39（6） ： 1137-1 149

[10]REDMON J， DIVVALA S， GIRSHICK R， et al.You onlv look once ：unified ， real-time obj ect detection[c] . Prriceedings of the IEEE Con-ference on Computer Vision and Pattern Recognition， 2016 ： 779-788.

[11]杜友田 ，陳峰 ，徐文立，等 .基于視覺的的運動別綜述 .電子學報 ， 2007， 35（1）： 84-90.

[12]蘇松志 .行人檢測若干關鍵技術術研究 [D].廈門：廈門大學 ， 2011.

[13]REILLY V ， SOLMAZ B.SHAH M. Geometric constraints for humandetection in aerial imagery [C]. The llth European conferenc：e onComputer ，'ision， 2010 ： 252-265.

[14]HOWARD A C. ZHU M . CHEN B ， et al. Mobilenets efficient convn-lutional neural networks for mohile vision applications[DB/OL] . arX-iv preprint arXir ： 1704.04861.2017.

[15]SIMONYAhr K， ZISSERMAN A.Very deep convr）lutional networksfor large-scale image recongnition[R].Computer Research Reposito-rv.2014.

[16]DOLLAR P， BELOhrCIE S.PERONrA P.The fastest pedestrian detec-tor in the west [C]. Proceedings on British Machine Vision Cnnfer-ence（BMVC 2010） .2010： 1-11.

[17]WOJEK C ， B.SCHIELE. A performance evaluatinn of single andmulti -feature people detection [C] . Annual Symposium of theDeutsche-Arheitsgemeinschaft-fu r-Mustererkennung ， 2008 ： 82-91 .

[18]OJALA T， PIETIKAINEN M . HARWOOD D.A comparative study oftexture measures with classification based ON feature distributions[J]. Pattern Recognition ， 1996， 19（3） ： 51-59.

[19]DOLLAR P， WOJEK C . SCHIELE B . et al. Pedestrian detection ： anevaluatir）n of the state of the art [J]. IEEE Transactions on PatternAnalysis and Machine Intelligence ， 2012 ， 34（4） ： 743-761.

[20]HENDERSON P. FERRARI V. End-to-end training of ohject classdetectors for mean average precision[J]. Asian Conference on Com-puter Vision， 2016 （ 6） ： 198-213.

收稿日期：2019-12-02

作者簡介：徐向前（1995-），男，上海理工大學機械工程學院碩士研究生，研究方向為汽車系統(tǒng)動力學;孫濤（1974-），男，博士，上海理

工大學機械工程學院副教授、碩士生導師，研究方向為汽車系統(tǒng)動力學。本文通訊作者：徐向前。