王超，王歡，趙春霞，任明武

(南京理工大學計算機科學與工程學院，江蘇南京210094)

車道線檢測是先進駕駛輔助系統(tǒng)(ADAS)的核心技術之一，是實現(xiàn)車輛輔助安全駕駛的重要前提。近年來，各大科研機構不斷深入研究車道線檢測方法，并實現(xiàn)了車輛在高速公路、城市道路等環(huán)境下的自動巡航行駛，然而在一些車道線不清晰的路面上還存在較高的漏檢率。在中國，很多公路上的車道線存在著老化、污損、遮擋等情況，從而導致模糊、弱化等問題，之間還夾雜著虛線的干擾，因而給基于機器視覺的車道線檢測帶來了挑戰(zhàn)，因而具有重要的研究意義。車道線檢測方法一般包括3個步驟:1)特征提取:常用的特征有顏色特征［1-4］，梯度特征［5-7］以及多種特征的融合［1］;2)模型擬合:如Spline 模型［8-9］、B 樣條［10-11］、Clothoid 模型［12-13］、Parabola模型［14］以及 Hyperbola 模型［15-16］等;3)車道線跟蹤［17-19］。在以上3個步驟中，特征提取是最重要的一步，也是解決弱線問題的關鍵。很多學者基于車道線與道路的顏色通道差異性來進行車道線檢測，如文獻［20］通過經驗性的設定R、G、B權重增大車道線與道路的亮度差異;文獻［1，4］中分別采用HSI與HSV顏色空間，增加飽和度圖像來補償亮度圖像的不足;文獻［21］利用直方圖均衡化增強車道線與道路區(qū)域的對比度。然而上述方法都是固定地選取亮度通道或對亮度通道做修正，難以適應光照多變的室外環(huán)境，而文獻［9］采用了一種基于線性鑒別分析的圖像自適應變換方法用于車道線的增強，通過提取車道線和道路樣本，結合線性鑒別分析可獲得RGB到灰度空間的最優(yōu)變換系數(shù)，從而有效實現(xiàn)車道線與道路的對比度增強，然而，該方法穩(wěn)定性較差，極大地依賴于樣本選取的好壞。

本文提出了一種基于梯度增強和逆透視驗證的車道線檢測方法，以解決高速公路和城市道路上復雜條件下的弱線漏檢問題。針對弱線特征不顯著問題，在梯度增強變換基礎上，利用車道線的結構特性提取車道線，在此基礎上進行車道線和道路樣本的選擇，基于模糊線性鑒別分析使得圖像在RGB空間到灰度空間變換后的車道線和道路像素間的灰度差異最大，有效突出了道路上的弱線，最后利用逆透視變換對候選車道線間的空間位置關系進一步驗證，以此找回漏檢的虛線。

1 基于結構特征的車道線提取

車道線的顏色、亮度、邊緣，梯度等信息被廣泛的用來提取車道線。本節(jié)利用車道線結構和對比度信息進行車道線提取，出發(fā)點是:車道線是線型結構，具有固定的線寬，經過透視投影后，由近至遠，車道線逐漸變細，且無論是黃線還是白線，亮度都比其兩側局部道路區(qū)域亮度大。

首先，將RGB彩色圖像轉化為灰度圖像，本文取R、G、B3個通道的等比例平均作為灰度圖像，即f=(R+G+B)/3。對灰度圖像的每一行使用如下的濾波算子計算每個點梯度，即計算每個像素與水平方向左右兩側與其相距d的像素點的灰度差值:

式中:f(x，y)、gl(x，y)和 gr(x，y)分別表示(x，y)處的灰度值、左側和右側灰度差值;(x±d，y)表示距離像素位置(x，y)左右距離為d的像素位置;d表示圖像某一行車道線最大寬度，是一個隨圖像行的不同而不同的常數(shù)，通過一個查找表記錄道路區(qū)域中每行車道線的可能最大寬度。實驗中，等間隔手工獲得車道線的最大寬度，然后，其他圖像行上的車道線的最大寬度通過線性插值計算得到。

前面提到的車道線像素特點可總結如下:

1)gl(x，y)＞0 且 gr(x，y)＞0。

3)圖像的每行中，會連續(xù)出現(xiàn)若干個車道線像素，令圖像每一行中出現(xiàn)的連續(xù)車道線像素集合稱為一個線段，記作RL。

4)在圖像相鄰的行中，會連續(xù)出現(xiàn)垂直方向相連的多個RL。

特點1、2是車道線與道路的亮度和對比度關系，即車道線必須比周圍的局部道路像素亮，且亮度差異越大越可能是車道線。特點3、4則反映的是車道線的結構特性。利用這4個特點，設計了如下車道線提取方法:

1)生成一幅全0圖像R，利用式(1)、(2)對圖像進行濾波，對于滿足特點1的像素，計算特點2中的，將賦予R中對應的像素;

2)設定車道線與道路的最小灰度差異閾值T1，實驗中T1取固定值10，即小于10認為是噪聲，對R二值化，將＞T1的像素賦值為255。對區(qū)域利用基于鏈碼的區(qū)域輪廓跟蹤，保留滿足如下條件的區(qū)域即為車道線提取結果:

①區(qū)域面積大于10;②區(qū)域的高度大于5;③區(qū)域的實際面積與外接矩形面積小于0.7。

圖1給出了2幅在不同場景下利用基于結構和對比度特征提取車道線的結果。結果表明，在光照條件不佳或者車道線較弱時，車道線的漏檢問題較為明顯。

圖1 基于結構和對比度特征的車道線提取Fig.1 Lane extraction based on structure and contrast

2 車道線增強

2.1 基于LDA的車道線增強

利用結構和對比度特征進行車道線提取是在R、G、B3個通道簡單平均后得到的灰度圖像上處理的，但這一灰度圖像并沒有考慮到車道線與道路的可分性。文獻［9］為了突出車道線和路面的亮度差異，在RGB圖像到灰度圖像的轉換過程中采用:

找到使投影后車道線和道路兩類樣本灰度差異最大的投影系數(shù)w，即使下式達到最大:

式中:pr和pl分別為道路和車道線在RGB空間中的值，而yr和yl分別為道路和車道線經過式(4)轉換后的灰度值。

而使2類樣本經過線性投影后保證分離性最大問題恰可以使用線性鑒別分析進行求解，即計算道路和車道線每一類的樣本均值mi與全體樣本均值，并計算出類內距離SB與類間距離Sw:

式中:c是類別個數(shù)，本文只研究道路和非路2類，ni表示第i類的樣本個數(shù)，xj表示樣本。最優(yōu)投影系數(shù)的計算使用的準則是:同類樣本的類內離散度盡可能小，類間離散度盡可能大，即:

滿足式(8)的解析解w即為RGB空間到灰度空間的最優(yōu)轉換系數(shù)。

2.2 基于模糊LDA的車道線增強

實驗發(fā)現(xiàn)，基于LDA梯度增強方法受樣本選擇好壞的影響很大，文獻［9］給出的樣本選擇方式是利用前幾幀車道線檢測結果獲得本幀的樣本，但幀間不確定性因素較多，如光圈調整、采集間斷，通訊延遲等均會導致幀間發(fā)生很大的變化，此外，沒有考慮到樣本中噪聲干擾問題，取樣中難以保證樣本標簽不發(fā)生顛倒，即車道線樣本取到了道路上，反之亦然，使最優(yōu)變換系數(shù)的計算得不到理想結果。本文在基于結構和對比度特征進行車道線提取的基礎上，設計了單幀樣本選取的方法，同一幀樣本選擇同一幀檢測，具體方法是，對每個區(qū)域，以區(qū)域內的所有像素作為車道線樣本，在區(qū)域的每一行RL線段左右兩側間隔一定像素分別提取L/2個像素作為道路樣本(L是RL線段的長度)，針對樣本噪聲干擾問題，采用了模糊LDA方法［22］，通過給樣本增加隸屬度來抑制樣本中噪聲。模糊LDA方法的樣本隸屬度計算公式為

式中:k表示近鄰個數(shù)，即對每個樣本，從所有樣本中找出與自己歐式距離最小的k個最近鄰樣本;nij是第j個樣本的k個最近鄰樣本中屬于第i類的樣本個數(shù)。通過給每個樣本賦予隸屬度后，按下式重新計算每類樣本的平均值:

并使用代替式(6)、(7)中的mi，其他與 LDA 方法一樣。

模糊LDA可以降低樣本的噪聲，特別是在雙黃線附近，如果對其中一條黃線采用以上給出的樣本選取方式，則由于另一條黃線離得很近，會被誤取為道路樣本。如果直接使用LDA，變換的結果會受到嚴重影響，而如果使用模糊LDA，被誤認為道路像素的黃線樣本屬于黃線的隸屬度大，屬于道路的隸屬度小，避免了這部分樣本對LDA變換的影響。

2.3 增強后的車道線再提取

上文利用提取出的可靠車道線附近提取車道線和道路像素樣本，并利用模糊LDA方法抑制所提取樣本中的噪聲干擾，保證了LDA投影變換的有效性。而在2.2節(jié)給出的車道線提取方法的有效性受車道線與道路對比度的制約，利用該方法在RGB 3個通道等權重平均得到的灰度圖像上進行處理，只能得到比較明顯的部分車道線，本節(jié)利用這些部分車道線作為線索，利用改進LDA梯度增強方法進一步突出其他車道線部分，即弱線部分與道路的對比度，使得增強后弱線部分與道路的灰度差異也很大，再次利用2.2節(jié)給出的車道線提取方法，可以獲得更為完整的車道線提取結果。具體方法是:

對R、G、B3個通道等比例平均得到灰度圖像，利用結構和對比度特征提取出候選車道線區(qū)域，以每個候選區(qū)域內的像素作為車道線樣本，區(qū)域外的局部區(qū)域提取道路樣本，然后利用模糊LDA進行最優(yōu)投影系數(shù)計算，并在周圍設定一個變換區(qū)域進行梯度增強，的范圍由如下方式獲得:提取的每一行RL線段的中點位置，使用最小二乘法預測出一條直線，的左右邊界由該直線分別向左右各平移10個像素獲得，的上下邊界則與的高度hi有關，分別沿著預測直線向上下兩方向各擴展hi/2個像素，并不超過興趣區(qū)域4個邊界。

將內的所有像素從RGB空間變換到最優(yōu)投影空間，并在空間變換后的數(shù)據(jù)上再次使用基于結構信息的車道線提取方法進行處理，提取出可能的車道線區(qū)域。圖2展示了上述過程。統(tǒng)計圖2(g)給出了增強結果圖2(f)中車道線像素灰度值與原灰度圖像2(a)對應像素灰度值的曲線比較。不難發(fā)現(xiàn)，通過梯度增強，道路與非路像素的灰度差異變大，使用基于結構和對比度特征更易于將弱線提取出來。

圖2 梯度增強與增強后車道線檢測結果Fig.2 Results of gradient enhancement and lane marker detection after gradient enhancement

2.4 車道線描述

對于車道線的形狀描述，主要有直線和曲線模型2種，直線模型雖然簡單，不利于描述曲率很大的曲線，但考慮到直線模型抗噪聲能力很強，為此，本文使用了直線模型對車道線線形狀進行描述，對增強后提取出的車道線使用Hough變換進行直線檢測。Hough變換描述了圖像空間中線和參數(shù)空間之間的線與點對應關系，通常使用極坐標表示直線方程:

圖3 車道線檢測結果Fig.3 Lane markers detection results

通過每個車道線像素圖像坐標對應的參數(shù)空間中參數(shù)點的計數(shù)器進行累加，所有點累加完后，求出局部最大值，并對局部最大值做如下約束，累加值必須大于閾值T2(本文取T2為2倍的道路區(qū)域高度)，對應的參數(shù) θ方向必須在［0，80］和［95，175］之間。滿足條件的所有局部最大值就對應一條可能的車道線。圖3給出了使用Hough變換得到的車道線結果。

3 基于逆透視變換的車道線確認

車道線梯度增強保證了弱線的可靠提取，但對于其中的虛線，由于2條線段之間間隔比較遠，即使車道線像素全部被準確的提取出了，Hough變換時累積器的局部最大值也有可能很小，達不到給定閾值，容易造成漏檢，為此，本節(jié)提出了一種基于逆透視變換(IPM)的車道線確認方法，既可以有效找回虛線，又可以排除虛假的車道線。

IPM是一幅消除攝像機成像導致的透視投影的場景俯視圖，它借助于攝像機標定中的本質矩陣進行變換。IPM圖的特點是，每個像素都有空間尺寸，都對應于三維空間中的特定區(qū)域，從而利用車道線在三維空間上的相互距離約束來實現(xiàn)漏檢的找回。圖像坐標［U，V］到實際世界坐標系［X，Y，Z］間的變換關系如下所示:

式中:K為3×3的攝像機內參矩陣，R、T為攝像機外參，其中R表示3×3的旋轉矩陣，T為3×1的平移向量，S為一個系數(shù)常量。假設地面為Z=0路面，則K·［R|T］就可以由3×4列簡化為3×3列的矩陣，令H=K·［R|T］，則有:

通過對攝像機進行標定，可以得到攝像機內外參數(shù)K、R、T，代入式(12)則可得到轉換矩陣H，從而得到圖像平面中的點到路面中點的一一對應關系，并轉換原圖像為IPM圖。本節(jié)方法的優(yōu)勢在于并不需要計算IPM圖，而只針對k條候選車道線進行變換，從而大大縮短了矩陣變換的計算時間。通過在每條車道線上取2個圖像坐標點，投影到IPM圖的坐標上，在這些直線中選取置信度最大的k/2條直線，并判斷它與其他候選直線的距離關系，如果2線間距滿足路寬約束(中國標準道路一個車道寬約為d=3.75 m)，即2條直線的距離D1恰好是路寬長度d的倍數(shù)，則該直線的配對指數(shù)加1。在計算完所有直線的配置指數(shù)后，保留擁有最大配對指數(shù)的直線組，并確認為車道線。

對已確認的車道線，再分析它們之間的距離關系，如果2條車道線之間的距離D相對于路寬d有，則表示介于這2條車道線之間存在著r－1條車道線。如果處于中間的車道線不夠r－1條，則判定存在漏檢的虛線，到置信度排在后k/2的集合中尋找能夠匹配上的車道線，并將該車道線召回。

如圖4所示，4(b)為IPM圖，以原圖的逆透視結果來顯示方便說明，其中2條已確認直線La、Lb之間距離為D=7.3 m(IPM中圖像每一像素表示0.05 m實際長度，兩線間距145像素)，則D≈2d，判斷中間存在一條虛線，從而在候選車道線中找回，并在4(c)圖中表示，其中高亮線段表示找回的車道線。

圖4 基于IPM的弱點召回Fig.4 Weak lane finding back based on IPM image

4 實驗過程及分析

實驗測試序列是通過無人車平臺采集的，采集的攝像機安裝于車頂前部正中央，采集RGB彩色圖像，分辨率為352×288，幀率為25幀/s，鏡頭焦距為4 mm。

為了定量分析算法性能，從車載攝像機采集的27個典型序列中選出500幅典型場景圖像作為實驗測試圖像，其中包含各種不同環(huán)境條件，有城市道路、鄉(xiāng)村道路、高速、林蔭道等不同路況，其中大部分包含虛線或者不夠清晰的車道線，還有晴天(強陰影)、陰天等不同天氣條件下的圖像。

對500幅道路圖像都手工標記出圖像中所有車道線，并與本文算法及相關比較算法在這500幅圖像上的檢測結果進行比對。比對的方法是:以圖像行為單位，統(tǒng)計每一行中算法檢測的車道線上的點與標記的車道線上的點在圖像列方向上的誤差，以列方向的平均誤差進行線的匹配，如果2條線平均誤差小于15個像素則認為匹配上，以此判據(jù)分別統(tǒng)計出虛檢(FP)、漏檢(FN)和正確檢測(TP)的車道線條數(shù)、通過計算準確率(P)、查全率(R)和F量測(F)3個指標進行綜合評判:

式中:準確率P評價算法的虛檢率，查全率R評價算法的漏檢率，F(xiàn)量測反映算法的綜合性能。

表1中給出本文算法與文獻［9］算法的性能對比結果。表明本文方法比文獻［9］提高了6.3%，梯度增強和逆透視驗證進一步提高了本文方法的性能。圖5給出了本文算法部分檢測結果圖像。

表1 車道線檢測算法性能對照Table 1 Comparison of lane detection methods

圖5 不同場景下本文算法對車道線檢測的結果Fig.5 Lane detection experiments in different scenes

5 結束語

本文針對車道線檢測中弱線問題進行了研究，提出了采用梯度增強來實現(xiàn)弱線提取，同時利用逆透視驗證來進行弱虛線的找回，從而顯著提高了車道線檢測的可靠性，并適應于不同的光照環(huán)境，在弱線環(huán)境中達到了88%以上的準確性，為車輛安全輔助駕駛提供了必要的保障。

［1］SUN T Y，TSAI S J，CHAN V.HSI color model based lane-marking detection［C］//Proc.IEEE Intelligent Transportation System Conf. Toronto， Canada， 2006:1168-1172.

［2］CHIU K Y，LIN S F.Lane detection using color based segmentation［C］//IEEE Intelligent Vehicle Symposium.Hawaii，USA，2005:706-711.

［3］ROTARU C G，ZHANG T J.Extracting road feature from color image using a cognitive approach［C］//IEEE Intelligent Vehicle Symposium.Parma，Italy，2004:298-303.

［4］MARGRIT B，ESIN H，LARRY S D.Real-time multiple vehicle detection and tracking from a moving vehicle［J］.Machine Vision and Applications，2000，12(2):69-83.

［5］HUNJAE Y，UKIL Y，KWANGHOON S.Gradient-enhancing conversion for illumination-robust lane detection［J］.IEEE Transactions on Intelligence Transportation Systems，2013，14(3):1083-1094.

［6］SOUTHHALL J B，TAYLOR C.Stochastic road shape estimation［C］//Computer Vision. Vancouver， Canada，2001:205-212.

［7］YU B，JAIN A K.Lane boundary detection using a multiresolution Hough transform［C］//Image Processing，Washington DC，USA，1997:748-751.

［8］BORKAR A，HAYES M，STMTH M T.Detecting Lane markers in complex urban environments［C］//IEEE 7th International Conference on Mobile Adhoc and Sensor Systems.San Francisco，USA，2010.

［9］YOUNG U K Y，OH S Y.Three-feature based automatic lane detection algorithm for autonomous driving［J］.IEEE Transactions on Intelligent Transportation System，2003，4(4):219-224.

［10］WANG Y，TEOH E K，SHEN D.Lane detection and tracking using B-Snake［J］.Image and Vision Computing，2004，22(4):269-280.

［11］YAGI Y，BRADY M，KAWASAKI Y，et al.Active contour road model for smart vehicle［C］//15th International Conference on Pattern Recognition.Barcelona，Spain，2000:819-822.

［12］SOUTHBALL B，TAYLOR C J.Stochastic road shape estimation［C］//ICCV Vancouver，Canada，2001:205-212.

［13］EIDEHALL A，GUSTAFSSON F.Obtaining reference road geometry parameters from recorded sensor data［C］//IEEE Intelligent Vehicle Symposium. Tokyo， Japan，2006:256-260.

［14］MCCALL J C，TRIVEDI M M.Video-based lane estimation and tracking for driver assistance:survey，system，and evaluation［J］.IEEE Trans Intell Transp Syst，2006，7(1):20-37.

［15］GUIDUCCI A.Camera calibration for road application［J］.Comput.Vis.Image Underst，2000，79:250-266.

［16］CHEN Q，WANG H.A real-time lane detection algorithm based on a hyperbola-pair model［C］//Intelligent Vehicle Symposium.Tokyo，Japan，2006:510-515.

［17］RUYI J，REINHARD K，TOBI V，et al.Lane detection and tracking using a new lane model and distance transform［J］.Machine Vision and Applications，2011，22(4):721-737.

［18］DANESCU R，NEDEVSCHI S.New results in stereovision based lane tracking［C］//Intelligent Vehicles Symposium.Baden，Germany，2011:230-235.

［19］KAPLAN K，KURTUL C，AKIN H L.Fast lane tracking for autonomous urban driving using hidden Markov models and multiresolution Hough transform［J］.Industrial Robot，2010，37(3):273-278.

［20］CHENG H Y，JENG B S，TSENG P T，et al.Lane detection with moving vehicles in the traffics scenes［J］.IEEE trans on Intelligent Vehicle Symposium，2006，7(4):571-582.

［21］WANG J，WU Y，LIANG Z，et al.Lane detection and tracking using a layered approach［C］//IEEE Int Conf Inf.Autom.Harbin，China，2010:1735-1740.

［22］KWAK K C，PEDRYCZ W.Face recognition using a fuzzy fisherface classifier［J］.Pattern Recognition，2005(38):1717-1732.