劉宇，韓磊，王程慶，孫揚

基于視覺的車道線檢測算法研究綜述

劉宇，韓磊，王程慶，孫揚

（河北工程大學 機械與裝備工程學院，河北 邯鄲 056038）

在實現(xiàn)自動駕駛中，環(huán)境感知是其重要任務，而車道線檢測算法研究在環(huán)境感知中占據(jù)著主要位置。傳統(tǒng)的車道線檢測算法主要依賴于提取特征，而特征會隨著環(huán)境發(fā)生變化，因此易受到環(huán)境的影響。隨著國內(nèi)外深度學習的發(fā)展，研究者開始利用深度學習技術進行車道線檢測算法研究，以盡可能減輕環(huán)境因素的影響。文章綜述了近年來基于視覺的車道線檢測算法研究的進展，主要是基于模型、基于特征的傳統(tǒng)車道線檢測算法，以及基于深度學習的新興檢測算法，對具有代表性的實現(xiàn)方法進行了詳細分析。

車道線檢測；計算機視覺；特征；模型；深度學習；圖像分割

前言

在自動駕駛中，計算機視覺相較于激光雷達具有價格較低、魯棒性較好的優(yōu)勢，并且視覺模態(tài)可以用于環(huán)境理解的所有相關階段[1]。因此，本文將主要討論基于視覺的車道線檢測算法。而基于視覺的車道線檢測算法，主要分為兩類：一類是基于傳統(tǒng)方法的檢測算法，此類包括基于圖像特征和基于模型這兩種檢測方法；另一類是基于深度學習的新興車道線檢測算法。傳統(tǒng)的車道線檢測算法一般采用三個步驟處理：首先預處理，消除噪聲干擾或者進行逆透視變換，檢測感興趣區(qū)域（ROI），得到預處理圖像，然后在經(jīng)過預處理的圖像上進行特征提取，最后進行車道模型擬合從而識別出車道線。而深度學習方法下的車道線檢測一般是將預處理后的車道線圖像進行標記，然后在構建好的神經(jīng)網(wǎng)絡模型中進行訓練、測試以及驗證，模型不斷優(yōu)化，進而得到較為精確的車道線檢測模型。

1 基于傳統(tǒng)算法的車道線檢測

傳統(tǒng)的車道線檢測方法主要分為基于模型和基于特征兩種方法。基于模型的檢測方法，是根據(jù)提取到的特征對預先定義好的車道線模型進行匹配，將車道線的識別轉化為模型中參數(shù)的計算問題，其優(yōu)點是對噪聲不敏感，且圖像局部被遮蓋的情況較少；基于特征的檢測方法，是基于車道線的一些特征（如邊緣梯度、寬度、強度以及顏色等特征）將圖像所有的點標記為車道線點和非車道線點，這種方法要求道路的車道線邊緣較為清晰，顏色較為明顯，以得到準確的檢測結果[2]。常用的算法步驟如圖1所示。

1.1 基于模型的檢測算法

模型的假設主要有直線模型和曲線模型兩種，對于直車道線，一般通過Hough變換建立直線模型進行檢測；對于曲車道線，曲線模型則采用隨機采樣一致算法和高階曲線（如三階貝塞爾曲線）擬合的構建方式解決。而直線模型與曲線模型常常需要同時用于車道線檢測算法研究中。

對于車道線有直線和曲線可能交替出現(xiàn)的情況，部分研究人員將直線模型與曲線模型結合。隋靚等[3]提出一種高速公路車道線識別算法。該算法由Hough變換與二次曲線模型兩者相結合，首先對采集到的圖像進行ROI提??；然后在LOG算子對ROI邊緣檢測的基礎上進行Hough變換以檢測車道線；再由之前檢測出的車道線進一步提取動態(tài)ROI，檢測新的車道線；最后通過判斷兩車道線段的方向變化趨勢進行直線和二次曲線切換擬合車道線。部分研究者通過分段模型的方式來檢測車道線，Minchae Lee等[4]提出的級聯(lián)粒子濾波器將車道線模型分解為兩個子模型用以提高車道線檢測系統(tǒng)的實時性和魯棒性：直線模型和曲線模型。通過結合模型分解方法的級聯(lián)粒子濾波算法進行車道檢測和跟蹤，劃分車道線模型后，除了可以提高車道狀態(tài)估計系統(tǒng)的精度外，還可以減少計算時間，保證實時性。

針對曲線模型，段建民等人[5]提出一種改進的順序隨機抽樣一致性（RANSAC）的車道線檢測算法。首先，在圖像預處理階段，采用改進的SIS閾值算法對車道線圖像進行二值化；再構建車道線模型并將之簡化為雙曲線模型，其后利用改進的順序RANSAC算法來擬合車道線；最后依據(jù)兩邊的車道線模型進行模型配對，通過選取最多支持數(shù)據(jù)點的組合確定車道線。該研究利用實際采集的城市快速路視頻和加州理工學院的車道線圖像數(shù)據(jù)集，對該算法進行了實驗驗證。實驗結果表明，該算法魯棒性高，誤檢率低，能在復雜環(huán)境下實時準確地識別車道線。

對于直線模型，吳彥文[6]針對現(xiàn)有車道線檢測與跟蹤算法效率不高的難題，提出了一種基于視覺傳感器與車道線高精度地圖相融合的車道線檢測與跟蹤方法。該方法首先用改進的Hough變換提取邊緣線段；然后基于濾波預測與更新車道線模型狀態(tài)參數(shù)；最后結合高精度地圖中車道線先驗模型參數(shù)，跟蹤車道線軌跡。

有研究人員通過使用聚類算法和曲線模型結合的方法，楊金鑫等[7]提出一種基于動態(tài)搜索框及K-means聚類的三車道檢測算法。首先，根據(jù)逆透視變換（IPM）將感興趣區(qū)域內(nèi)部轉化成鳥瞰圖的形式，利用大津法（OTSU）將單幀圖像分成前景和背景兩部分區(qū)域，然后，在圖像底部規(guī)定區(qū)域內(nèi)進行直方圖分析，得到車道線基準點建立初始搜索框，并在其內(nèi)部使用K-means算法聚類得到車道線候選點，根據(jù)建立的車道線直線模型迭代生成搜索框；最后，將得到的車道線候選點根據(jù)貝塞爾曲線對其進行擬合得到檢測車道線。而Jitong Wang等[8]則提出了一種基于DBSCAN聚類算法和改進的RANSAC（隨機采樣一致算法）的快速車道線檢測算法。首先，在逆透視映射圖像中通過灰度化和二值化對圖像進行預處理。然后，通過在二值圖像中使用形態(tài)腐蝕和消除噪聲點進而平滑車道線邊緣，遍歷二值圖像并提取特征點，通過DBSCAN聚類算法對特征點進行聚類。最后，通過使用基于拋物線的改進的RANSAC算法，將每個類別中的點擬合為直線或曲線。

1.2 基于特征的檢測算法

車道線特征通常有顏色、邊緣梯度、寬度以及強度等。傳統(tǒng)特征方法從像素層面出發(fā)，依據(jù)此特征進行濾波處理，從圖像中提取出車道線候選區(qū)域。

從顏色特征出發(fā)，Chao Ma等[9]提出了一種基于CIELab顏色特征聚類的車道線檢測算法。色彩空間可以提供比灰度圖像更有價值的信息。該算法證明了通過顏色聚類識別車道線是可行的。再根據(jù)道路的幾何特征，采用二次曲線匹配車道，提出了最小二乘法來描述二次曲線的參數(shù)。而李超等[10]根據(jù)道路圖像的特征，將圖像灰度化后，采用中值濾波去除圖像采集過程中引入的噪聲，再根據(jù)自適應閾值邊緣提取檢測算法，在提取過程中對原圖像進行區(qū)域劃分，利用改進的Hough變換得到車道候選線，建立動態(tài)的ROI，通過幀間關聯(lián)方法實現(xiàn)對車道線模型的約束和更新。

部分學者著眼于邊緣梯度，劉源等[11]依據(jù)此方向，首先結合車道線邊緣的梯度分布和灰度分布提取邊緣特征點；然后依據(jù)車道線特征點的連續(xù)性和梯度方向的一致性進行特征點聚類得到離散區(qū)域，并通過衡量各區(qū)域之間的相似度進行區(qū)域聚類；最后選出最優(yōu)類內(nèi)的點進行擬合。

對于車道線圖像特征強度問題，Win等人[12]研究出一種基于Retinex算法的車道檢測算法，該算法可以在不同照明條件下進行特征收集以進行車道線檢測。此外，采用該算法可以有效減少計算時間并準確檢測左右邊界。

有研究者將車速和車道線寬度等作為輸入性特征，Danilo Cáceres Hernández等[13]提出一種融合車輛速度和車道邊緣、顏色、寬度等多個特征的算法提取車道信息。該算法首先基于行車速度提取ROI；然后使用融合車道線顏色、邊緣特征的方式，基于依賴距離的概率推測進行分層擬合模型；最后提取車輛兩側的車道的質(zhì)心、車道線段數(shù)量以及各自的擬合模型等信息，利用這些信息估計出車道線的幾何模型參數(shù)，從而達到檢測車道的目的。

針對夜間行駛，李亞娣等[14]實現(xiàn)了車輛所在車道內(nèi)側車道線的檢測算法。該算法首先采用Laplacian算子對預處理后的圖像進行邊緣增強，即二值化；然后通過OTSU算法對圖像閾值處理，結合Canny算子進行邊緣檢測；最后在處理后的圖像底部1/3區(qū)域中，基于斜率約束，利用Hough變換進行直線擬合。

2 基于深度學習的車道線檢測

傳統(tǒng)的車道線檢測方法需要根據(jù)不同的行車場景結合經(jīng)驗對參數(shù)進行手動調(diào)整，易受環(huán)境場景影響，如雨雪、大霧、夜晚等，近年來深度學習的發(fā)展為解決不同環(huán)境場景下的車道線檢測提供了新方向。而基于深度學習的計算機視覺領域，神經(jīng)網(wǎng)絡模型的層結構多由數(shù)據(jù)層、視覺層、激活層、全連接層以及目標函數(shù)等構成。隨著層數(shù)的加深，會出現(xiàn)車道線圖像的顏色信息、紋理信息以及輪廓信息等圖像高維信息，而位于底層的網(wǎng)絡層結構學習到的特征大多只是車道線圖像的一些邊緣信息。采用深度學習的算法步驟通常如圖2所示。本節(jié)將介紹主要基于深度學習技術的新興車道線檢測算法研究情況。

對于不同的駕駛場景，F(xiàn)abio Pizzati等研究人員[15]設計了一種車道線檢測算法，該算法基于ROS框架，在多任務CNN的訓練過程中使用均方差不確定性估計獲得了更好的性能。該算法首先利用兩個CNN以及數(shù)據(jù)融合算法從街道場景中提取信息，然后使用單個CNN處理信息，最后通過與圖像標簽比對來判定信息是否可用。該算法在獲取車道線圖像像素信息的同時，不會造成對空白部分檢測的失準而致使車道線信息變更。

圖2 基于深度學習的車道線檢測常見流程

X Zhou[16]提出了一種多任務場景車道線檢測算法，設計了同時輸出邊緣檢測圖和像素分割的網(wǎng)絡。該網(wǎng)絡基于FCN，兩個輸出的預測分支是并行的，每個分支使用多尺度特征級聯(lián)作為圖像表示。該方法使得邊緣檢測的信息可以有助于提取圖像特征以進行像素分割。用于多條道路車道標記檢測的現(xiàn)代方法面臨幾個問題。首先，數(shù)據(jù)庫不足使機器學習技術的相關解決方案難以訓練出健壯的應用模型。其次，目前的研究集中在單車道標志檢測上，而對單車道標志的關注則較少。為了解決問題，該算法建立了一個具有正確標記車道線的數(shù)據(jù)庫，并開發(fā)了一種使用極限學習機（ELM）檢測和分類整條道路的車道線標記的方法。

在雨天拍攝的圖像會受到低照度的影響，而潮濕的道路會導致光線反射并扭曲車道線標記的外觀。在夜間，有限的照明可能造成顏色失真。針對雨天和夜間等不利的駕駛環(huán)境，Seokju Lee研究團隊[17]提出了一個統(tǒng)一的端到端的可訓練多任務網(wǎng)絡VPGNet，該網(wǎng)絡可實時處理車道線的檢測和識別。與此同時，通過構建該網(wǎng)絡，此研究團隊建立了一個車道線標記基準數(shù)據(jù)集。在四種不同場景下：無雨、下雨、大雨和夜間，20 000張圖像被分為17種車道線標記類別，驗證每個任務的重要性，與此同時利用這些圖像訓練和評估多任務網(wǎng)絡的多個版本。

基于深度學習的圖像分割技術有兩種：語義分割和實例分割，這兩種方法均為基于像素級別的。語義分割即對于圖像的每個圖像都劃分出對應的類別，最終實現(xiàn)像素級別的分類。近年來隨著深度學習語義分割網(wǎng)絡的發(fā)展，有很多研究者將其應用于車道線檢測，Xingang Pan等[18]提出一種空間卷積（SCNN）方法對車道線進行檢測，SCNN比較適合于連續(xù)且形狀長的結構目標，如車道線和桿等，這類目標有較少的外表線索卻有很強的空間關系。車道線圖像信息能在像素的行和列之間傳遞，依賴于傳統(tǒng)特征圖像層到層的卷積轉為空間片到片的卷積。

也有研究團隊從實例分割著手，將車道線檢測問題作為實例分割問題進行建模，Davy Neven等研究人員[19]提出了一種以50fps運行的快速車道檢測算法，該算法可以處理可變數(shù)量的車道并應對車道變化，可以端對端地對其進行訓練，因為其中每個車道都形成自己的實例。為了在分割車道之前對分割的車道實例進行參數(shù)化，團隊進一步應用基于圖像的警報透視變換，而不是固定的“鳥瞰”變換，以此確保了對道路平面變化具有魯棒性的車道線擬合。

Qin Zou等[20]通過使用連續(xù)駕駛場景的多幀畫面來研究車道檢測，并結合卷積神經(jīng)網(wǎng)絡（CNN）和遞歸神經(jīng)網(wǎng)絡（RNN）提出了一種混合深度架構。具體而言，每幀的信息由CNN塊提取，然后將多個具有時間序列屬性的連續(xù)幀的CNN特征反饋入RNN塊，以進行特征學習和車道線預測。

3 結論

車道線檢測算法要求極好的魯棒性和實時性，使汽車能在各種行車環(huán)境中保持快速且精確的判斷?；谝曈X的車道線檢測算法中，包括基于模型和基于特征在內(nèi)的傳統(tǒng)算法已被逐漸放棄，當前研究人員逐漸轉向基于深度學習的方式進行車道線算法研究工作，而神經(jīng)網(wǎng)絡模型主要引入了RNN和CNN，以應對各種駕駛場景。DL對基于視覺的車道線檢測技術的發(fā)展產(chǎn)生了深遠的影響，而車道線檢測算法在深度學習方面需要大量的數(shù)據(jù)集作為支撐，且神經(jīng)網(wǎng)絡模型具有不可解釋性，使得車道線檢測技術在穩(wěn)定性上仍有待加強。即使如此，基于深度學習的檢測算法的效果仍然強于多數(shù)傳統(tǒng)算法，因此，個人認為車道線檢測的未來發(fā)展方向將仍需依托深度學習，通過不斷改善算法以解決實時性與準確性的問題，進而滿足汽車高速行駛時的魯棒性和實時性要求。

[1] Xue J,Wang D,Du S,et al.A vision-centered multi-sensor fusing approach to self-localization and obstacle perception for robotic cars[J].Frontiers of Information Technology & Electronic Engineer- ing,2017,18(1):122-138.

[2] 齊美彬,張銀霞,潘燕.一種快速的公交專用車道檢測方法[J].微型機與應用,2012,31(10):34-37+41.

[3] 隋靚,黨建武,王陽萍.基于分段切換模型的快速車道線檢測[J].計算機應用與軟件,2017,34(08):201-205.

[4] Lee M, Jang C, Sunwoo M. Probabilistic lane detection and lane tracking for autonomous vehicles using a cascade particle filter[J]. Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, 2015, 229(12): 1656-1671.

[5] 段建民,李岳,莊博陽.基于改進SIS算法和順序RANSAC的車道線檢測方法研究[J].計算機測量與控制,2018,26(08):280-284+289.

[6] 吳彥文,張楠,周濤,等.基于多傳感融合的車道線檢測與跟蹤方法的研究[J].計算機應用研究,2018,35(02):600-603+607.

[7] 楊金鑫,范英,樊祺超,等.基于動態(tài)區(qū)域搜索框及K-means聚類的三車道檢測算法[J].科學技術與工程,2019,19(27):253-257.

[8] Wang J,Hong W,Gong L.Lane detection algorithm based on density clustering and ransac[C]//2018 Chinese Control And Decision Con- ference (CCDC).IEEE,2018:919-924.

[9] Ma C,Xie M.A method for lane detection based on color clustering [C]//2010 Third International Conference on Knowledge Discovery and Data Mining.IEEE,2010:200-203.

[10] 李超,劉宏哲,袁家政,等.一種基于幀間關聯(lián)的實時車道線檢測算法[J].計算機科學,2017,44(02):317-323.

[11] 劉源,周聰玲,劉永才,等.基于邊緣特征點聚類的車道線檢測[J].科學技術與工程,2019,19(27):247-252.

[12] Win S Y, Lwin H H. Lane Boundaries Detection Algorithm based on Retinex with Line Segments Angles Computation[C]//2018 18th International Symposium on Communications and Information Technologies (ISCIT). IEEE, 2018: 160-164.

[13] Cáceres Hernández D,Kurnianggoro L,Filonenko A,et al. Real-time lane region detection using a combination of geometrical and image features[J]. Sensors, 2016, 16(11): 1935.

[14] 李亞娣,黃海波,李相鵬,等.基于Canny算子和Hough變換的夜間車道線檢測[J].科學技術與工程,2016,16(31):234-237+242.

[15] Pizzati F, García F. Enhanced free space detection in multiple lanes based on single CNN with scene identification[C]//2019 IEEE Intelligent Vehicles Symposium (IV). IEEE, 2019: 2536-2541.

[16] Zhou X. Experimental study on scene recognition and multiple road lane marks detection based on machine learning methods[D].Sin- gapore:Nanyang Technological University,2018.

[17] Lee S,Kim J,Shin Yoon J,et al.Vpgnet:Vanishing point guided network for lane and road marking detection and recognition[C]// Proceedings of the IEEE international conference on computer vision.2017:1947-1955.

[18] Pan X,Shi J,Luo P,et al.Spatial as deep: Spatial cnn for traffic scene understanding[C]//Thirty-Second AAAI Conference on Artificial Intelligence.2018.

[19] Neven D,De Brabandere B,Georgoulis S, et al. Towards end-to-end lane detection: an instance segmentation approach[C]//2018 IEEE intelligent vehicles symposium (IV). IEEE, 2018: 286-291.

[20] Zou Q,Jiang H,Dai Q,et al.Robust lane detection from continuous driving scenes using deep neural networks[J].IEEE transactions on vehicular technology,2019,69(1):41-54.

Overview of Research on Vision-based Lane Line Detection Algorithms

LIU Yu, HAN Lei, WANG Chengqing, SUN Yang

( School of Mechanical and Equipment Engineering, Hebei University of Engineering, Hebei Handan 056038 )

In the realization of automatic driving, environment perception is an important task, and the research of lane line detection algorithm occupies a major position in environment perception. Traditional lane line detection algorithms mainly rely on extracting features, and features will change with the environment, so they are easily affected by the environment. With the development of deep learning at home and abroad, researchers have begun to use deep learning technology to study lane line detection algorithms to minimize the impact of environmental factors. This article summarizes the research progress of vision-based lane line detection algorithms in recent years, mainly model-based, feature-based traditional lane line detection algorithms, and emerging detection algorithms based on deep learning, and detailed analysis of representative implementation methods.

Lane line detection;Computer vision;Features;Model;Deep learning;Image segmentation

A

1671-7988(2021)22-24-04

U495

A

1671-7988(2021)22-24-04

CLC NO.:U495

劉宇，就讀于河北工程大學機械與裝備工程學院，主要研究方向：無人駕駛車輛關鍵技術。

河北省自然基金項目（F2016402106）和河北省教育廳項目（QN215129）。

10.16638/j.cnki.1671-7988.2021.022.006