陳政宏 李愛娟 邱緒云 袁文長 葛慶英

摘要：環(huán)境視覺感知技術是智能車獲取外界環(huán)境信息的主要手段，是智能車進行自主駕駛的前提條件。在綜合分析以不同檢測對象為目標的檢測技術方法的基礎上，給出了環(huán)境視覺感知研究的主要內容，討論了研究涉及的關鍵技術：車道檢測技術、車輛檢測技術、行人檢測技術、交通標志檢測技術，并對每種檢測技術各子技術的優(yōu)點和不足之處進行了分析。在總結全文的基礎上，提出未來智能駕駛中環(huán)境視覺感知技術的主要發(fā)展趨勢包括：基于多特征融合的環(huán)境視覺感知技術的發(fā)展;復雜環(huán)境下多種環(huán)境感知技術的融合應用;三維圖像在圖像處理方面的應用;改進的卷積神經網絡（CNN）方法在圖像處理方面的應用。

關鍵詞：車輛工程;視覺感知;車道檢測;行人檢測;車輛檢測;交通標志檢測

中圖分類號：U273文獻標志碼：A

CHEN Zhenghong， LI Aijuan， QIU Xuyun， et al.Survey of environment visual perception for intelligent vehicle and its supporting key technologies[J].Journal of Hebei University of Science and Technology，2019，40（1）：15-23.Survey of environment visual perception for intelligent

vehicle and its supporting key technologies

CHEN Zhenghong， LI Aijuan， QIU Xuyun， YUAN Wenchang， GE Qingying

（School of Automotive Engineering， Shan Dong Jiaotong University， Jinan， Shandong 250357， China）

Abstract：Environmental visual perception technology is one of the main means for intelligent vehicles to obtain external environmental information and the precondition for autonomous driving of intelligent vehicles. Based on the comprehensive analysis of the detection technology and methods targeted at different detection objects， the main contents of environmental visual perception research are provided， and the key technologies that the study involves including lane detection technology， vehicle detection technology， the pedestrian detection technology， and traffic signs detection technology are discussed. The advantages and disadvantages of each sub-technique of each technology are analyzed. Finally， on the basis of summarization of the paper， the prospect of unmanned environment of visual perception technology in the future development direction is given：the development of the multi-feature fusion based environment visual perception technology; the fusion application of several environment perception technologies under complicated conditions; the application of the three-dimensional image in picture processing; the application of the improved CNN method in picture processing.

Keywords：vehicle engineering; visual perception; lane detection; pedestrian detection; vehicle detection; traffic signs detection

智能車是自主實施任務決策，具備一定自適應和學習能力的智能設備[1]。智能車在自主運動時會涉及到環(huán)境感知問題[2]，若對環(huán)境感知沒有正確的認識，使用不準確的感知信息來指導任務決策、軌跡規(guī)劃、控制系統(tǒng)，智能車則會做出錯誤的判斷，降低駕駛效率。例如，交通標志檢測系統(tǒng)因錯過一個停車標志，就會發(fā)生交通事故。

目前，智能車輛的研究處于不成熟階段，本身又是非完整系統(tǒng)，復雜的環(huán)境使得智能車在自主行駛過程中的環(huán)境感知問題變得不再單一。車輛進行環(huán)境感知的主要目的是給車輛的自主導航和軌跡規(guī)劃提供最根本的基礎依據，保證車輛能夠自主、安全、可靠的行駛[3]。

本文主要分析智能車輛環(huán)境視覺感知的4種關鍵技術——車道檢測技術、車輛檢測技術、行人檢測技術、交通標志檢測技術的研究現(xiàn)狀以及各技術的適用性、優(yōu)缺點，并對視覺感知技術未來的發(fā)展趨勢進行展望。

1智能車輛視覺感知概況

隨著智能車的發(fā)展和普及，環(huán)境視覺感知技術受到了極大的關注[4]。視覺感知技術是從相機中獲取、解釋數據，執(zhí)行關鍵任務的，如對車輛、道路、行人檢測。自動駕駛系統(tǒng)通常會有其他傳感器的參與，但相機是必不可少的，因為它可以模擬人眼，獲得真實的環(huán)境信息，大多數交通規(guī)則是通過假定視覺感知能力來設計的。例如，許多交通標志有著相似的外形，它們的顏色模式只能通過視覺感知系統(tǒng)識別。

河北科技大學學報2019年第1期陳政宏，等：智能車環(huán)境視覺感知及其關鍵技術研究現(xiàn)狀視覺感知主要用于檢測動態(tài)（如車輛、行人）或靜態(tài)（如車道、交通標志）障礙物，不同的障礙物會使車輛面臨著不同的任務決策和駕駛規(guī)則。例如，一條道路對邊界進行了嚴格定義，車輛必須在保證不超過邊界的情況下安全行駛。近年來，研究者主要集中于車道、車輛、行人、交通標志的檢測與研究[5]。

2視覺感知的關鍵技術

綜合了研究者的部分文獻，本文的視覺感知技術主要以車道、車輛、行人和交通標志為檢測對象進行分類，視覺感知關鍵技術的分類圖如圖1所示。

2.1車道檢測技術

車道檢測[6]是智能車在道路上安全行駛不可或缺的重要技術，若不正確檢測車道，會危及車輛自身及道路上其他車輛的安全?，F(xiàn)階段，視覺感知技術中車道大多是由車道標記[7]來定義的，文獻[8]中研究了一種車道檢測算法，它能夠處理彎曲車道、磨損的車道標記、車道變化等，實現(xiàn)魯棒性、實時性檢測。

2.1.1基于Hough變換的車道檢測

針對光照和背景雜波問題，文獻[9]采用改進的Hough變換（HT）提取車道輪廓小線段，利用帶有噪聲的基于密度的聚類算法 （density-based spatial clustering of applications with noise，DBSCAN）將小線段進行聚類，通過曲線擬合來識別車道，實驗結果表明檢測效果優(yōu)于直線算法（line segment detector，LSD），比傳統(tǒng)的Hough變換更精確，對噪聲具有很強的魯棒性。為了適應復雜多變的車道環(huán)境，文獻[10]中提出了基于多約束條件下的Hough變換檢測方法：通過改變原始圖像（red green blue， RGB）的分量權重轉化為灰度化圖像，增加圖像約束條件后，利用Hough變換提取車道標記線，概率表決程序估計線段上的消失點，用消失點約束線段[11]，進而再對車道線K-means聚類，此方法優(yōu)于傳統(tǒng)Hough變換消失點約束方法，具有很好的魯棒性和實時性，而文獻[12]是在自由條件下先利用傳統(tǒng)的Hough變換提取道路標記線，再對原始灰度圖像進行操作，并在幾個概率最高的候選點附近識別地標特征，然后利用這些特征提取出更高精度的車道邊界。

2.1.2基于逆透視變換的車道檢測

逆透視變換是根據相機的標定信息對圖像進行自上而下的平行投影，得到車道線的俯視圖。文獻[13]的綜述中給出了一種基于逆透視變換的車道檢測方法，可濾除圖像中的透視效果和車道線不平行的干擾，但不適用于車輛上下坡。文獻[14]中根據逆透視變換得到車道線的俯視圖后，采用局部二值模式算子（local binary patterns， LBP）對圖像紋理進行分析，檢測出車道線邊緣，用貝賽爾曲線擬合出車道線，但僅適用于平面道路上行駛的車輛。

2.1.3基于卷積神經網絡的車道檢測

通過剔除噪聲和障礙物，卷積神經網絡[15]（convolutional neural networks， CNN）可以增強車道檢測前的輸入圖像。研究表明，傳統(tǒng)的CNN需要大量的計算和數據集，文獻[16]則提出了一種利用極端學習機進行CNNs學習的新算法，大大節(jié)省了計算和數據收集的時間。由于卷積特征無法清晰地檢測到微小物體，文獻[17]提出了一種基于改進的快速區(qū)域卷積神經網絡（fast regions with CNN features， Fast R-CNN）方法，對圖像中的小目標進行快速多層次組合、上下文線索和錨點生成方法檢測，實驗表明，準確率優(yōu)于R-CNN。為了提高車道檢測的準確性和魯棒性，文獻[18]提出了基于CNN和馬爾可夫隨機場（Markov random fields， MRF）結合的車道檢測方法，利用迭代聚類算法將圖像分割成大小均勻的超像素圖像，同時利用CNN訓練模型對道路和非道路區(qū)域進行分類，基于超像素鄰域之間的關系，利用MRF對CNN的分類結果進行優(yōu)化，該方法在光照和道路陰影變化時具有很好的魯棒性。彎道、車道線模糊、光線昏暗等復雜環(huán)境下，文獻[19]提出了基于全卷積神經網絡[20]的檢測算法，首先將圖像信息輸入到全卷積神經網絡中，然后利用條件隨機場[21]（conditional random fields， CRF）對圖像信息進行處理，得到的結果與原始圖像具有一致性，經過驗證，此方法在檢測精度、識別率和速度上都有很明顯的優(yōu)越性。

2.1.4基于改進蟻群算法的車道檢測

為了準確識別出車道線，并去除圖像噪聲，文獻[22]中先對道路圖像濾波，再利用基于改進蟻群算法[23]的二維Otsu算法[24]進行圖像分割，從而擬合并識別出車道線?；诟倪M的蟻群算法可以有效增加車道線的有效特征點。現(xiàn)階段，車道檢測技術已趨于自動化，文獻[25]結合各種空間、光譜和紋理對象等描述符，提出了一種利用模糊推理系統(tǒng)[26]（fuzzy inference system， FIS）對圖像進行分析的基于蟻群算法的改進高分辨率（very high resolution， VHR）遙感衛(wèi)星圖像路網檢測方法[27]，使用邊緣保持引導過濾器[28]平滑衛(wèi)星道路圖像，磁共振探測（magnetic resonance sounding， MRS）方法[29]生成圖像對象，該結果的平均完整性、正確性和質量都比較好，但僅適用于城市車道。

綜上所述，基于Hough特征變換的車道檢測技術可以克服光照、復雜多變的道路環(huán)境，但惡劣環(huán)境下（如雨天）車道線檢測模糊;基于逆透視變換的車道檢測技術僅適用于平面行駛的車輛;基于改進蟻群算法的車道檢測技術可以解決車輛、廣告牌等邊緣物體的干擾，增加有效車道線，較趨于自動化，但僅適用于城市車道檢測;基于卷積神經網絡（CNN）的車道檢測技術可得到與現(xiàn)實環(huán)境相似的信息，較前幾種方法環(huán)境適應性、魯棒性好。

2.2車輛檢測技術

正確的車輛目標檢測是安全駕駛的關鍵。目前采用的方法可分為基于知識的、基于特征的、基于學習的、基于立體的和基于運動的[30]。傳統(tǒng)的檢測方法主要由兩個步驟構成：從原圖像中提取可用的特征，利用合適的算法（AdaBoost算法[31]）構建高效分類器辨別圖像場景。傳統(tǒng)的基于邊緣的車輛檢測方法易受到噪聲和背景干擾，文獻[32]中利用邊緣信息可以幫助突出輪廓及投射物體陰影的原理，提出了一種基于高斯差分的多尺度邊緣融合的車輛檢測方法。

2.2.1基于梯度方向直方圖的車輛檢測

梯度方向直方圖[33]（histogram of gradient， HOG）是進行車輛目標檢測應用最廣泛的特征。文獻[34]中提出HOG和局部自相似（local self-similarity， LSS）特征結合的檢測方法，結合Adaboost、支持向量機[35]（support vector maching， SVM）分類器進行實驗，結果表明，組合特征的描述能力優(yōu)于單一特征。為了適應復雜的城市環(huán)境，文獻[36]提出了一種基于Harr特征和HOG特征結合的兩步算法，利用Harr特征提取出HOG特征的感興趣區(qū)域（region of interest， ROI），級聯(lián)結構Adaboost分類器對其特征和目標區(qū)域進行分類，從ROI區(qū)域中提取出HOG特征，該方法的檢測精度很高。

2.2.2基于卷積神經網絡的車輛檢測

文獻[37]中提出了一種快速車輛提議網絡（fast vehicle proposal network， FVPN）的淺度完全卷積神經網絡，可實時定位車輛對象。為了得到精細的顯著目標，文獻[38]中提出了一種可實現(xiàn)端到端的基于層次顯著性循環(huán)卷積神經網絡檢測方法，它首先是通過視覺幾何組（visual geometry group， VGGNet）對圖像中的車輛目標進行檢測得到粗略顯著性圖像，然后使用層次循環(huán)卷積神經網絡對目標逐層細化得到顯著性圖像，最后采用自適應分割閾值的方法提取目標區(qū)域，此方法更好解決了光照條件的影響。

2.2.3基于顏色的車輛檢測

為了對環(huán)境了解更全面，文獻[39]提出了基于三維激光雷達和彩色攝像機數據的車輛檢測體系，利用單目彩色相機校準激光雷達RGB圖像，以提高車輛檢測效率。文獻[40]提出了一種基于顏色強度分離的車輛檢測方法，利用強度信息濾波ROI的光照變化、陰影和雜亂背景，再對車輛進行檢測，該方法依賴于車輛與周圍環(huán)境之間的顏色強度差，適用于實施應用。文獻[41]是將RGB視頻幀轉換為色域圖像（hue saturation lightness， HSV），更準確地區(qū)分了車輛的顏色特征，實現(xiàn)對車輛的跟蹤，其每一幀的噪聲都可以降低或消除。

綜上所述，基于梯度方向直方圖（HOG特征）的車輛檢測技術在復雜環(huán)境下需與各分類器或特征結合;基于顏色的車輛檢測技術雖可以實現(xiàn)車輛識別和跟蹤，但依賴于顏色強度;基于卷積神經網絡（CNN）的車輛檢測技術可以解決光照條件的影響，較前兩種方法具有很好的魯棒性和運算效率。

2.3行人檢測技術

現(xiàn)階段，行人檢測是機器視覺研究的一個重要領域，智能車輛在行駛過程中面臨著行人的衣著、光線、姿態(tài)多變等因素，這就需要動態(tài)感應，發(fā)現(xiàn)行人的蹤跡，因此，行人檢測和規(guī)避行人的研究領域極具挑戰(zhàn)性。

2.3.1基于感興趣區(qū)域的行人檢測

在遮擋、旋轉、光照條件的影響下，文獻[42]提出基于感興趣區(qū)域和級聯(lián)分類器的檢測方法，識別、定位和提取包含行人的候選區(qū)，用分類器對目標信息進行提取。文獻[43]提出SVM提取ROI的行人檢測方法，而SVM的分類器特征較低，會導致部分行人劃分錯誤，影響檢測結果。針對復雜環(huán)境的行人檢測，文獻[44]提出了基于雙目視覺感興趣區(qū)域的行人檢測，利用相機標定的信息，獲取視差圖和深度圖，在去除干擾獲得感興趣區(qū)域后，與CNN訓練模型對比判定行人，此方法也適合逆光環(huán)境，但會出現(xiàn)錯檢或漏檢。

2.3.2基于卷積神經網絡的行人檢測

卷積神經網絡（CNN）已經被證明具有最先進的行人檢測精度，然而，在處理單個圖像時常需要數十億浮點運算的情況下，代價是昂貴的，為了解決這個復雜性問題，文獻[45]中提出Fast R-CNN和只需瞄一眼[46]（you only look once， YOLO）便可識別出圖像中的行人及位置信息，降低了計算成本?；贑NN的框架，文獻[47]提出了基于深度卷積神經網絡的多光譜行人檢測方法，采用不同于文獻[48]融合圖像的方法，為了更好地進行魯棒性行人檢測，文獻[49]給出了一種基于深度卷積神經網絡進行無監(jiān)督多光譜特征學習的行人檢測方法，利用自動標注框架與多光譜數據信息進行互補，在可見通道中進行迭代標注行人，此方法與最先進的基于深度神經網絡（deep neural networks， DNNs）的行人檢測性能相當，但它無法通過注釋正確識別一些微不足道的行人樣本。

2.3.3基于梯度方向直方圖的行人檢測

通過利用梯度方向直方圖來構成人體特征的方法，能夠很好地描述人體的邊緣，文獻[50]先提取出運動目標區(qū)域中的HOG特征作為描述符，再利用數據分析方法（principal component analysis， PCA）在HOG特征維度高處進行降維，因此得到HOG-PCA特征，為了更好地進行行人檢測，文獻[51]則是將基于PCA算法的特征與基于經典的字典訓練算法K-SVD的稀疏表示特征直接結合起來，在靜態(tài)圖像中快速實現(xiàn)行人檢測，其中K-SVD是K-means的擴展形式，實驗結果表明，該方法是一種有效的行人檢測方法。由于單一特征的信息不全面，文獻[52]和文獻[53]提出了基于HOG與LBP特征結合的檢測方法，將分別獲得的HOG特征向量和LBP特征向量進行合成，SVM再對新特征向量進行訓練和測試，結果表明該方法克服了單一特征的不足。

綜上所述，基于感興趣區(qū)域（ROI）的行人檢測技術雖可以縮減計算、提高檢測效率，但需要與分類器、CNN訓練模型結合實驗，具有一定的局限性;基于梯度方向直方圖（HOG特征）的行人檢測技術可以很好地描述人體邊緣，但要具體檢測行人須與PCA，LBP等特征算法相結合;基于卷積神經網絡（CNN）的行人檢測技術是最先進的，而多光譜行人檢測是計算機視覺應用中的一項重要功能，研究者證明CNN與它相結合會事半功倍，總的來說基于卷積神經網絡（CNN）的方法可以得到精確的行人信息。

2.4交通標志檢測技術

交通標志為智能交通系統(tǒng)（intelligent transportation systems， ITS）的運行提供了指向能力，文獻[54]、文獻[55]中實現(xiàn)了基于圖像預處理和交通標志定位算法的檢測技術，在提高交通標志檢測效率的同時，交通運行速率也會提升，降低交通事故率。

2.4.1基于卷積神經網絡的檢測方法

文獻[56]提出了一種訓練有素基于全卷積網絡（fully convolutional networks， FCN）的方法，可產生多個判別候選對象，有助于檢測系統(tǒng)快速、準確地完成作業(yè)。文獻[57]在Faster-RCNN中引入了一個AN（attention network）進行尋找潛在的感興趣區(qū)域，并根據交通標志的顏色特征將其大致分類，供車輛做出選擇，文獻[58]發(fā)現(xiàn)Faster-RCNN與Inception Resnet V2網絡模型結合應用可快速識別出最佳目標區(qū)域，提高檢測效率。在考慮交通標志牌表面特性和圖案屬性下，文獻[59]則是在圖像色彩（hue saturation value，HSV）的灰度圖上提取交通標志候選區(qū)域，然后通過CNN提取特征選擇出合適的交通標志區(qū)域，此方法能夠準確識別和確定交通標志和非交通標志區(qū)域。

2.4.2基于區(qū)域的檢測方法

文獻[60]給出基于區(qū)域顏色快速分割的檢測方法，基于顏色空間（hue saturation intensity， HSI），結合閾值處理，按顏色進行分層得到圖像中含有交通標志的ROI，用形態(tài)學識別區(qū)域形狀，最后進行內容的圖像檢索[61]，實驗結果顯示，其檢測的準確率在90%以上，但對白色交通標志的檢測有很大缺陷。文獻[62]通過創(chuàng)建矩形框標記標識所處的ROI，用這些區(qū)域的數據判斷不同類別交通標志的位置，但精度和優(yōu)化方面都不好，實驗結果表明若為感興趣區(qū)域添加更多的過濾會是一個很大的改進。

2.4.3基于圖像處理的檢測方法

文獻[63]中對圖像預處理后提取感興趣區(qū)域，進而再對交通標志進行檢測和識別，此方法提高了檢測效率。文獻[64]中經Hough變換利用點與線的對偶性[65]，將原始圖像中檢測曲線的問題轉換為尋找空間參數的峰值問題，經過線段檢測、形狀測量，計算面積比和周長比等數據信息后，與原數據庫模板進行比對，以此來實現(xiàn)對交通標志的智能識別，該方法可實現(xiàn)對不同交通標志的準確檢測和識別。

綜上所述，基于區(qū)域的檢測方法需要考慮交通標志的顏色，具有一定的局限性;基于圖像處理的檢測方法是計算ROI中交通標志的數據信息，與原數據庫對比直接選擇出交通標志，不需要考慮交通標志的顏色問題;基于卷積神經網絡（CNN）的檢測方法是應用最廣泛的，可識別出交通標志和非交通標志區(qū)域，提高檢測效率，其中Faster R-CNN 的表現(xiàn)最佳。

3結語

本文主要介紹了以檢測對象為目標的環(huán)境視覺感知關鍵技術，并對各個關鍵技術子技術的優(yōu)點和不足之處進行了歸納總結和分析?？偠灾F(xiàn)階段智能車環(huán)境視覺感知技術的研究已經取得了一定的成果，但智能車在行駛過程中的視覺感知系統(tǒng)需要對技術、算法、硬件等進行持續(xù)的完善和升級，且距離實際的應用還有一定的距離。對于智能車的環(huán)境視覺感知領域涉及眾多先進技術，尚需不斷地進行探索與創(chuàng)新。面對新的挑戰(zhàn)和領域，環(huán)境視覺感知技術的新發(fā)展趨勢如下。

1）不能僅局限于一種特征的探索，基于多特征融合的環(huán)境視覺感知技術會更好地描繪出物體的參數和屬性，大大提高精確度，因此新技術的發(fā)展應該趨向于融合。目前，這樣的新方法已有一些成果，例如：文獻[66]提出了在基于卷積神經網絡中引入通道金字塔特征和跨通道信息融合思想，解決了光照、天氣等影響，豐富了行人特征，提高了檢測效率。

2）復雜環(huán)境下應采用多種環(huán)境感知技術融合的方法，以彌補誤差和提高精度，更真實地反映出環(huán)境信息，真正做到像人一樣敏感，提高駕駛安全。例如：基于視覺-激光數據融合的檢測方法[67]，在視覺局限性的情況下，激光雷達彌補了其短板，可以更好地檢測出微小物體，為無人駕駛車輛的自主軌跡規(guī)劃與導航提供了一種精確的道路邊界模型。

3）圖像處理可以應用三維圖像。三維圖像層次分明，可模擬人眼反映真實信息，而不是僅局限于靜止狀態(tài)，可以顯著提高檢測效果。例如：文中提到的基于逆透視變換的車道檢測技術，車輛上下坡時其算法需要進一步分析，而立體視覺可以克服這一點;文獻[68]提出基于雙目視覺感知的無參考三維圖像視覺質量評價，即在預測生成三維圖像上，利用雙通道卷積神經網絡模型來模擬人類視覺系統(tǒng)具有一定的效果。

4）由于卷積神經網絡（CNN）的泛化能力優(yōu)于其他方法，可以避免復雜特征提取和數據重建過程[69]，因此圖像處理時可以采用改進的卷積神經網絡（CNN）方法來提高檢測效率。例如：文獻[70]提出基于卷積神經網絡（CNN）的全局車道線檢測算法研究，在彎道、車道線模糊、光線昏暗下具有魯棒性和實時性;文獻[71]提出基于Faster R-CNN深度學習框架的交通標志檢測方法，解決了光照、遮擋、模糊下的交通標志，檢測效率高。

參考文獻/References：

[1]閻巖， 唐振民. UGV 協(xié)同系統(tǒng)研究進展[J]. 計算機應用究， 2011， 28（10）： 3623-3628.

YAN Yan， TANG Zhenmin. Advances in unmanned ground vehicles coordination system[J]. Application Research of ?Computer， 2011， 28（10）： 3623-3628.

[2]王世峰， 戴祥， 徐寧， 等. 無人駕駛汽車環(huán)境感知技術綜述[J].長春理工大學學報（自然科學版）， 2017， 40（1）： 1-6.

WANG Shifeng， DAI Xiang， XU Ning， et al. Overview of environmental perception technology for unmanned ground vehicle[J]. Journal of Changchun University of Science and Technology（Natural Science Edition）， 2017， 40（1）： 1-6.

[3]劉嚴巖， 王進， 冒蓉. 無人地面車輛的環(huán)境感知技術[J].太赫茲科學與電子信息學報， 2015， 13（5）： 810-815.

LIU Yanyan，WANG Jin， MAO Rong. Environment perception awareness technology for unmanned ground vehicles[J]. Journal of Terahertz Science and Electronic Information Technology， 2015， 13（5）： 810-815.

[4]WANG Yue， SHEN Dinggang， TEOH E K. Lane detection using spline model [J]. Pattern Recognition Letters， 2003， 24（2）： 2301-2313.

[5]胡房武. 基于圖像采集的智能車系統(tǒng)設計[D].大連： 大連海事大學， 2011.

HU Fangwu. Design of Intelligent Vehicle System based on Image Acquisition[D]. Dalian： Dalian Maritime University， 2011.

[6]王春陽. 車道檢測方法綜述[J]. 科技視界， 2016（9）： 322-324.

WANG Chunyang. Review of lane detection[J]. Science & Technology Vision， 2016（9）： 322.

[7]XU H， WANG X， HUANG H， et al. A fast and stable lane detection method based on b-spline curve[C]// IEEE International Conference on Computer-aided Industrial Design & Conceptual Design. Wenzhou： IEEE， 2010： 1036-1040.

[8]KIM Z W . Robust lane detection and tracking in challenging scenarios[J]. IEEE Transactions on Intelligent Transportation Systems， 2008， 9（1）：16-26.

[9]NIU Jianwei， LU Jie， XU Mingliang， et al. Robust lane detection using two-stage feature extraction with curve fitting[J]. Pattern Recognition， 2016， 10（59）： 225-233.

[10]石林軍， 余粟. 基于多約束條件下的霍夫變換車道線檢測方法[J]. 計算機測量與控制， 2018， 26（9）： 9-12.

SHI Linjun， YU Su. Hough transform lane detection based on multiple constrains[J]. Computer Measurement and Control， 2018， 26（9）： 9-12.

[11]YUAN J， TANG S， PAN X， et al. A robust vanishing point estimation method for lane detection[C]// Control Conference. Nanjing： IEEE， 2014：4887-4893.

[12]SAHAR M， MAJID S. Design and FPGA implementation of dual-stage lane detection， based on Hough transform and localized stripe features[J]. Microprocessors and Microsystems， 2019， 64（2）： 12-22.

[13]方睿. 基于視覺的車道線檢測技術綜述[J]. 內江科技， 2018， 39（7）： 41-42.

[14]沈超. 微縮智能車及其視覺感知關鍵技術研究[D]. 西安： 長安大學， 2016.

SHEN Chao.Research on Microscale Intelligent Vehicle and Its Key Technologies of Visual Perception [D]. Xian： Changan University， 2016.

[15]LU H M， LI Y J， UEMURA T， et al. Filtering deep convolutional network for marine organism classification[J]. Multimedia Tools and Applications， 2017（2）： 1-14.

[16]KIM J，KIM J， JANG G， et al. Fast learning method for convolutional neural networks using extreme learning machine and its application to lane detection[J]. Neural Networks， 2017， 3（87）： 109-121.

[17] TIAN Y， GELEMTER J， WANG X， et al. Lane marking detection via deep convolutional neural network[J]. Neurocomputing， 2018， 280（3）： 46-55.

[18]GENG Lei， SUN Jiangdong， XIAO Zhitao， et al. Combining CNN and MRF for road detection[J]. Computers & Electrical Engineering， 2018， 70（8）： 895-903.

[19]洪名佳， 汪慧蘭， 黃娜君， 等. 一種基于FCN的車道線檢測算法[J].無線電通信技術， 2018， 44（6）： 587-592.

HONG Mingjia， WANG Huilan， HUANG Najun， et al.A lane detection algorithm based on FCN [J]. Radio Communication Technology， 2018， 44（6）： 587-592.

[20]施澤浩， 趙啟軍. 基于全卷積網絡的目標檢測算法[J]. 計算機技術與發(fā)展， 2018， 28（5）： 55-58.

SHI Zehao， ZHAO Qijun. Object detection algorithm based on fully convolutional neural ?network [J]. Computer Technology and Development， 2018， 28（5）： 55-58.

[21]LAFFERTYJ D， MCCALLUM A， PEREIRAF C N. Conditional random fields： Probabilistic models for segmenting and labeling sequence data[J]. Proceedings of Icml， 2001， 3（2）：282-289.

[22]侯利龍， 李讓軍. 基于改進蟻群算法的道路圖像分割算法研究[J]. 決策探索（中）， 2018， 9： 92-93.

[23]柳丹， 郭忠， 張樹麗. 基于無人機航路規(guī)劃問題的蟻群算法綜述[J]. 汽車實用技術， 2018， 1： 111-112.

LIU Dan， GUO Zhong， ZHANG Shuli. The review of ant colony algorithm based on UAV route planning [J]. Automobile Applied Technology， 2018， 1：111-112.

[24]郎咸朋， 朱楓， 都穎明，等. 基于積分圖像的快速二維 Otsu 算法[J]. 儀器儀表學報， 2009， 30（1）： 40-41.

LANG Xianpeng， ZHU Feng， DU Yingming，et al. Fast two-dimensional Otsu algorithm based on integral image [J].Chinese Journal of Scientific Instrument， 2009，30（1）：40-41.

[25]MEHDI M， JALAL A， SHIRIN M， et al. Integrating fuzzy object based image analysis and ant colony optimization for road extraction from remotely sensed images[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2018， 138（4）： 151-163.

[26]JALAL A. Road Identification from Satellite Images based on a Fuzzy Reasoning Model[D].Tehran：University of Tehran，2002.

[27]GROTE A， HEIPKE C， ROTTENSTEINER F. Road network extraction in suburban areas[J]. Photogram， 2012， 137（27）： 8-28.

[28]ZHANGY， ZHANG J， LI T. Road extraction and intersection detection based on tensor voting[J]. IEEE， International Geoscience and Remote Sensing Symposium （IGARSS）， 2016： 1587-1590.

[29]HADAVANDA， SAADATSERESHT M， HOMAYOUNI S. Segmentation parameter selection for object-based Land-cover mapping from ultra high resolution spectral and elevation data[J]. Int Remote Sens， 2017， 38 （12）： 3586-3607.

[30]YANG Zi， LILIAN S C， CHENG P. Vehicle Detection in transportation systems and its applications under varying environments： A review[J]. Image and Vision Computing， 2018， 69： 143-154.

[31]JEON D， DONG Q， KIM Y， et al. A 23-MW face recognition processor with mostly-read 5 T memory in 40-NM CMOS[J]. IEEE Solid-State Circuits， 2017， 52（6）： 1628-1642.

[32]MU Kenan， HUI Fei， ZHAO Xiangmo， et al. Multiscale edge fusion for vehicle detection based on difference of Gaussian[J]. Optik， 2016， 127（11）： 4794-4798.

[33]DALAL N， TRIGGS B. Histograms of oriented gradients for human detection[J]. IEEE CVPR， 2005， 1： 886-893.

[34]YAO S， WANG T， SHEN W， et al. A novel combination feature HOG-LSS for pedestrian detection[C]// Emerging Intelligent Computing Technology and Applications. Berlin： Springer， 2013： 177-181.

[35]HU Jiangsheng. Body Detection based on Adaboost and SVM[D]. Wuhan： South-Central University for Nationalities， 2011.

[36]WEI Yun， TIAN Qing， GUO Jianhua， et al. Multi-vehicle detection algorithm through combining Harr and HOG features[J]. Mathematics and Computers in Simulation， 2019， 155（1）： 130-145.

[37]ZHOU Y，LIU L，SHAO L，et al. A unified framework for fast vehicle detection and annotation[J]. European Conference on Computer Vision， 2016， 10：278-293.

[38]梁敏健. 智能車行車環(huán)境視覺感知關鍵技術研究[D]. 西安：長安大學， 2017.

LIANG Minjian. Research on Key Technologies of Visual Perception of Driving Environment of Intelligent Vehicles [D]. Xian： Changan University， 2017.

[39]ASVADI A， GARROTE L， PREMEVIDA C， et al. Multimodal vehicle detection： Fusing 3D-LIDAR and color camera data[J]. Pattern Recognition Letters， 2018， 115：20-29.

[40]SRAVANM S，NATARAJIAN S， KRISHNA E S， et al. Fast and accurate on-road vehicle detectionbased on color intensity segregation[J]. Procedia Computer Science，2018，133： 594-603.

[41]ANANDHALLI M， BALIGAR V P. A novel approach in real-time vehicle detection and tracking using raspberry Pi[J]. Alexandria Engineering Journal， 2018， 57（3）： 1597-1607.

[42]HALIDOU A， YOU X， HAMIDINE M， et al. Fast pedestrian detection based on region of interest and multi-block local binary pattern descriptors[J]. Computers & Electrical Engineering， 2014， 40（8）： 375-389.

[43]靳培飛， 周莉， 劉建，等.基于支持向量機提取感興趣區(qū)域的行人檢測[J]. 計算機工程與設計， 2017， 38（4）： 1098-1102.

JIN Peifei， ZHOU Li， LIU Jian， et al. Pedestrian detection based on region of interest extracted by support vector machine[J]. Computer Engineering and Design， 2017， 38（4）： 1098-1102.

[44]應光林. 基于雙目視覺感興趣區(qū)域的行人檢測[J]. 信息通信， 2018（3）： 48-50.

[45]SHI W J，BLAWIEH M B，LI X. Algorithm and hardware implementation for visual perception system in autonomous vehicle： A survey[J]. Integration Volume， 2017， 59： 148-156.

[46]REDMON J，F(xiàn)ARHADI A YOLO9000：Better，faster，stronger[C]//Conference on Computer Vision and Pattern Recognition.Honolulu：IEEE，2017：6517-6525.

[47]HOU Yali， SONG Yaoyao， HAO Xiaoli. Multispectral pedestrian detection based on deep convolutional neural networks[C]//Infrared Physics & Technology.Seoul：IEEE， 2018， 94： 69-77.

[48]CHOIE J， PARK D J. Human detection using image fusion of thermal and visible image with new joint bilateral filter[C]// International Conference on Computer Sciences and Convergence Information Technology.Seoul：IEEE， 2010： 882-885.

[49]CAO Yanpeng， GUAN Dayan， HUANG Weilin， et al. Pedestrian detection with unsupervised multispectral feature learning using deep neural networks[J]. Information Fusion， 2019， 46（3）： 206-217.

[50]劉文振. 基于HOG特征的行人檢測系統(tǒng)的研究[D]. 南京：南京郵電大學， 2016.

LIU Wenzhen. Research on HOG-based Pedestrian Detection System [D]. Nanjing： Nanjing University of Posts and Telecommunications， 2016.

[51]ZHENG Chunhou， PEI Wenjuan，YAN Qing， et al. Pedestrian Detection based on Gradient and Texture Feature Integration[J]. Neurocomputing， 2017， 228（8）： 71-78.

[52]PEI W J， ZHANG Y L， ZHANG Y， et al. Pedestrian detection based on HOG and LBP[M]. [S.l]：Springer International Pablishing， 2014.

[53]閆敬文， 江志東， 劉蕾. 基于HOG -多尺度LBP特征的人臉性別識別[J]. 揚州大學學報（自然科學版）， 2016， 19（3）： 58-62.

YAN Jingwei，JIANG Zhidong，LIU Lei，et al.Face gencler recognition based on HOG and LBP feature[J].Journal of Yangzhou Univeristy（Natural Science Edition），2016，19（3）：58-62.

[54]FURSOV V， BIBKOV S，YAKIMOV P. Localization of objects contours with different scales in images using Hough transform[J]. Computer Optics， 2013， 37（4）： 502-508.

[55]YAKIMOV P. Tracking traffic signs in video sequences based on a vehicle velocity[J]. Computer Optics， 2015， 39（5）： 795-800.

[56]ZHU Yingying， ZHANG Chengquan， ZHOU Duoyou， et al. Traffic sign detection and recognition using fully convolutional network guided proposals[J]. Neurocomputing， 2016， 214（19）： 758-766.

[57]YANG Tingting， LONG Xiang， ARUN K S， et al. Deep detection network for real-life traffic sign in vehicular networks[J]. Computer Networks， 2018， 136（8）： 95-104.

[58]ARCOS G ， LVAREZ G J A， SORIA M L M. Evaluation of deep neural networks for traffic sign detection systems[J]. Neurocomputing， 2018， 316（17）： 332-344.

[59]王方石， 王堅， 李兵， 等. 基于深度屬性學習的交通標志檢測[J]. 吉林大學學報（工學版）， 2018， 48（1）： 319-329.

WANG Fangshi， WANG Jian， LI Bing， et al. Deep attribute learning based traffic sign detection [J]. Journal of Jilin University（Engineering and Technology Edition）， 2018， 48（1）： 319-329.

[60]金旭暉. 基于區(qū)域顏色分割的交通標志檢測和識別[J]. 電氣自動化， 2016， 38（3）： 14-16.

JIN Xuhui. Traffic sign detection and recognition by block-based color segmentation [J]. Electrical Automation， 2016， 38（3）： 14-16.

[61]張華偉， 孫勁光. 基于顏色與形狀圖像檢索的研究[J]. 計算機仿真， 2009， 26（ 11）： 207-210.

ZHANG Huawei， SUN Jinguang. A research of image retrieval based on color and shape [J]. Computer Simulation， 2009， 26（11）： 207-210.

[62]KRYVINSKA N，PONISIEWSKA M A，GREGUS M. an approach towards service building for road traffic signs detection and recognition[J]. ?Procedia Computer Science， 2018， 141： 64-71.

[63]孫小霞. 基于視頻圖像的道路交通標志檢測與識別[D]. 武漢：華中科技大學， 2015.

SUN Xiaoxia. Detection and Recognition of Road Traffic Signs based on Video Image [D]. Wuhan： Huazhong University of Science and Technology， 2015.

[64]趙玉偉. 基于圖像處理的道路交通標志檢測與識別方法[J]. 交通世界， 2018， 3（9）： 42-43.

[65]滕今朝， 邱杰. 利用Hough變換實現(xiàn)直線的快速精確檢測[J]. 中國圖象圖形學報， 2008， 13（2）： 234-237.

TENG Jinchao， QIU Jie.Fas tand precise detection of straight lines with Hough transform[J]. Journal of Image and Graphics， 2008， 13（2）： 234-237.

[66]孫玲. 基于卷積神經網絡的行人與車輛檢測方法研究[D]. 成都：電子科技大學， 2018.

SUN Ling. Research on Pedestrian and Vehicle Detection Methods based on Convolutional Neural Network [D].Chengdu： University of Electronic Science and Technology， 2018.

[67]LIU Yisha， XU Wenhao. DOBAIA A M， et al. Autonomous road detection and modeling for UGVs using vision-laser data fusion[J]. Neurocomputing， 2017， 275：2752-2761.

[68]鄢杰斌. 基于雙目視覺感知的無參考三維圖像視覺質量評價[D]. 南昌：江西財經大學，2018.

YAN Binjie. Visual Quality Evaluation of Unreferenced 3d Images Based on Binocular Visual Perception[D]. Nanchang： Jiangxi Univer-sity of Finance and Economics， 2018.

[69]陳兵旗. 機器視覺技術[M]. 北京： 化學工業(yè)出版社， 2018.

[70]景輝. 基于卷積神經網絡的全局車道線檢測算法研究[D]. 北京：北京交通大學， 2018.

JING Hui. Research on Global Lane Line Detection Algorithm based on Convolutional Neural Network[D]. Beijing： Beijing Jiaotong University， 2018.

[71]武林秀， 李厚杰， 賀建軍， 等. 基于深度學習的交通標志檢測方法研究[J]. 大連民族大學學報， 2018， 20（5）： 460-463.

WU Linxiu， LI Wujie， HE Jianjun， et al. Research on traffic sign detection method based on deep learning[J]. Journal of Dalian Minzu University， 2018， 20（5）： 460-463.