陳衛(wèi)衛(wèi), 王衛(wèi)星， 閆 迪

(1.長(zhǎng)安大學(xué)信息工程學(xué)院， 西安 710064; 2. 西安航空職業(yè)技術(shù)學(xué)院， 西安 710089)

1 引 言

隨著智能交通系統(tǒng)的不斷發(fā)展和應(yīng)用，安全駕駛輔助系統(tǒng)(Safety Driving Assist，SDA)逐漸受到人們的關(guān)注，并在人們的生活中廣受歡迎.在正常駕駛過(guò)程中，一旦發(fā)生突發(fā)事故，智能輔助駕駛系統(tǒng)可以立即提供緊急制動(dòng)，輔助駕駛決策或緊急警告等服務(wù)，以最大限度地提高駕駛員和自動(dòng)化駕駛的穩(wěn)定性和安全性.盡量減少交通事故造成的經(jīng)濟(jì)損失和人員傷亡.智能輔助駕駛系統(tǒng)中有一個(gè)子功能系統(tǒng)引起了越來(lái)越多的關(guān)注，即車道偏離預(yù)警系統(tǒng)(Lane Departure Warning System，LDWS)，也就是車道線的檢測(cè)和跟蹤[1].

當(dāng)前，車道線跟蹤，車道線識(shí)別或車道線偏離警告已成為基于機(jī)器視覺(jué)和圖像處理的駕駛員輔助系統(tǒng)的最早組成部分.自20世紀(jì)90年代以來(lái)，已經(jīng)針對(duì)良好的天氣條件和道路上清晰的車道標(biāo)志所定義的情況進(jìn)行了研究和實(shí)施.此后，針對(duì)特定情況的檢測(cè)準(zhǔn)確性，針對(duì)各種情況的檢測(cè)魯棒性，檢測(cè)時(shí)間效率以及與高階任務(wù)的集成，可視車道檢測(cè)和跟蹤定義為持續(xù)的研究主題.

LDWS基本上可分為兩類：基于道路基礎(chǔ)設(shè)施和基于車輛的系統(tǒng)[2].前者與道路結(jié)構(gòu)建設(shè)有關(guān)，但大部分道路沒(méi)有路面下布控傳感器的結(jié)構(gòu)，因此，后者被廣泛研究和應(yīng)用.基于車輛的LDWS可分為側(cè)視系統(tǒng)和前視系統(tǒng)[3].與側(cè)視系統(tǒng)相比，前視系統(tǒng)有大量的道路信息可供使用，即使在沒(méi)有明確車道標(biāo)志的道路上也能正常使用.前視系統(tǒng)的關(guān)鍵是否能準(zhǔn)確地檢測(cè)車道線，因此，大量的車道線檢測(cè)算法和方法被研究者所研究.

目前，這種基于機(jī)器視覺(jué)和圖像處理的車道線檢測(cè)算法可分為兩類：第一類算法基于傳統(tǒng)圖像處理，類似于其他線性目標(biāo)檢測(cè)[4-6]；第二類算法基于語(yǔ)義分割[7]， 也就是深度學(xué)習(xí)和神經(jīng)網(wǎng)路等.基于傳統(tǒng)圖像處理的算法主要是利用圖像中車道線的形狀特征、像素梯度和顏色特征來(lái)檢測(cè)車道線[8].這類算法可分為基于相似性的算法和基于不連續(xù)性的算法.

在相似性算法中，閾值算法[9]或其他區(qū)域相似性算法[10-11]可能適合某些特殊情況.例如，顏色可以作為車道線提取的線索[12]；隨機(jī)有限集可以用于車道線檢測(cè)[13]；距離變換用于尋找車道線[14]；模糊數(shù)學(xué)應(yīng)用于模糊圖像分割[15]等.Ajaykumar等人提出了一種基于K均值聚類的自動(dòng)車道線檢測(cè)方法，其效果取決于道路和天氣情況，不適合于復(fù)雜的環(huán)境和條件，即使情況不太復(fù)雜，該算法也要與其他算法相結(jié)合[16].對(duì)于更深入的基于相似性的算法研究，文獻(xiàn)較多，如：Ma等人研究了一種基于優(yōu)化稠密視差圖估計(jì)的多車道檢測(cè)算法[17]等.

基于不連續(xù)性的算法更多，一般是在圖像增強(qiáng)后，使用不同的邊緣檢測(cè)器，如Canny算子、分?jǐn)?shù)階微分算子、Gabor算子、Sobel算子和Laplacian算子等.這種算法計(jì)算速度快，場(chǎng)景適應(yīng)性強(qiáng)，但容易受到光照和障礙物的干擾，導(dǎo)致檢測(cè)結(jié)果偏差較大.在邊緣檢測(cè)之后，為了使車道線邊緣更清晰，增加了一些圖像增強(qiáng)算法，如Yoo等人對(duì)不均勻光照?qǐng)D像進(jìn)行梯度增強(qiáng)，使車道線檢測(cè)更加穩(wěn)健[18].圖像二值化后，由于車道線是不連續(xù)的，除常用的Hough直線算法外，研究者還根據(jù)車道線的特征研究了各種直線和曲線的擬合算法.例如，Ozgunalp等人研究了一種基于消失點(diǎn)估計(jì)的車道線跟蹤算法[19]，Niu等人利用曲線擬合進(jìn)行了兩階段特征提取算法[20].

近幾年來(lái)，語(yǔ)義分割在車道線檢測(cè)中是一個(gè)研究熱點(diǎn).語(yǔ)義分割網(wǎng)絡(luò)是一種基于神經(jīng)網(wǎng)絡(luò)和深卷積網(wǎng)絡(luò)的模型，其最基本的任務(wù)是對(duì)圖像中不同種類的像素點(diǎn)進(jìn)行分類，并將同一類像素點(diǎn)聚合起來(lái)，以區(qū)分圖像中不同的目標(biāo)對(duì)象[21-22].在后來(lái)出現(xiàn)的U-net模型結(jié)構(gòu)中引入了擴(kuò)張卷積運(yùn)算，可以在不降低維數(shù)的前提下，進(jìn)一步增大局部感受野，收集多尺度信息.在Deeplabv1網(wǎng)絡(luò)中，進(jìn)一步增加了展開(kāi)卷積的比例，并在相鄰像素關(guān)系推理中加入了條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)模型.之后，Deeplab系列網(wǎng)絡(luò)不斷發(fā)展，有許多改進(jìn)版本，骨干網(wǎng)也得到了應(yīng)用，如Deeplab V3+network[23].

雖然車道線提取的研究取得了良好的進(jìn)展，但仍有一些困難需要克服.主要問(wèn)題之一是低質(zhì)量光照的影響，如夜間道路上的光照等.據(jù)統(tǒng)計(jì)分析，白天的交通事故一般少于夜間，白天的交通事故是指由于交通流量大而產(chǎn)生的車輛擦傷的事故[24].而夜間發(fā)生交通事故不限于此，其發(fā)生的概率是白天的1.5倍，一項(xiàng)數(shù)據(jù)表明有60%的重大交通事故是發(fā)生在夜間的[25].在夜間行車時(shí)，經(jīng)常打開(kāi)大燈，這會(huì)使駕駛員在兩車相遇時(shí)完全處于盲區(qū)，看不到前方的路況，嚴(yán)重影響行車安全，因此車輛保持在兩車道線內(nèi)對(duì)減少此類交通事故非常重要.目前，研究能夠適應(yīng)不同光照條件、克服光照變化影響的各種魯棒性車道偏離檢測(cè)算法，是所有基于視覺(jué)的LDWS的發(fā)展趨勢(shì).

本文主要研究夜間視頻圖像中的車道線檢測(cè)算法.首先提取圖像中有效的車道線檢測(cè)區(qū)域，然后將交通視頻中多幅圖像合并，利用Frangi及Hessian算法對(duì)融合后的圖像進(jìn)行平滑增強(qiáng)，基于新的分?jǐn)?shù)階微分模板檢測(cè)車道線上的特征點(diǎn)，最后應(yīng)用遞歸Hough直線變換得到車道線.為了證實(shí)新算法的有效性，將該算法與幾種傳統(tǒng)圖像算法和深度學(xué)習(xí)方法進(jìn)行了比較.

2 車道有效區(qū)域檢測(cè)及圖像合并

在白天，當(dāng)攝像機(jī)固定在車輛前部時(shí)，車道線圖像可以分為三個(gè)固定的區(qū)域：天空區(qū)域，有效檢測(cè)區(qū)域和下部無(wú)效區(qū)域.但在夜間，在路燈及其附近范圍內(nèi)，感興趣區(qū)域的對(duì)比度將比白天低得多，視覺(jué)信息混亂，而兩側(cè)的信息尤其遠(yuǎn)離燈光的區(qū)域會(huì)變?nèi)?如圖1).黑夜道路圖像的特征為：(1)與白天不同，黑夜圖像中車道線有著較弱的標(biāo)識(shí)信息.受燈光的影響，白色的車道線往往是灰暗色，與路面的其它部分相比，車道線的色彩和反光度都比白天要弱得多，也就是說(shuō)車道線的像素值與其兩側(cè)路面像素值的差異比較小;(2) 由于受樹(shù)木和建筑物等陰影、車道本身磨損、剎車痕跡線、強(qiáng)光、雨雪和霧霾等影響,圖像中的噪聲和干擾非常大;(3) 在圖像的下方區(qū)域(距離車輛較近的區(qū)域)，有時(shí)也稱作近視場(chǎng)區(qū)域，和白天相比，這個(gè)區(qū)域的路面信息比較模糊，會(huì)降低檢測(cè)車道線的準(zhǔn)確度；圖像天空區(qū)域(距離車輛較遠(yuǎn)的區(qū)域)，有時(shí)也叫遠(yuǎn)視場(chǎng)區(qū)域，由于較強(qiáng)路燈反射的原因，這部分反應(yīng)路面信息比較混亂；(4) 當(dāng)前后或?qū)γ嬗熊囕v時(shí)，由于車燈的直射或反射等會(huì)致使車道線檢測(cè)區(qū)域圖像信息更加復(fù)雜.

所以在夜晚，有效檢測(cè)區(qū)域的對(duì)比度會(huì)很低，在車燈范圍內(nèi)及離路燈近一些的地方，可視信息會(huì)豐富一些，而道路兩側(cè)的信息，尤其是離路燈較遠(yuǎn)處，信息會(huì)弱一些，具體如圖1所示.

在圖1(a)中，由于車距離右側(cè)的路燈較遠(yuǎn)，而且左側(cè)又無(wú)路燈，所以左側(cè)的車道線較暗，無(wú)效區(qū)域中只有部分車頭信息.但由于車燈的光線強(qiáng)，可視距離較長(zhǎng)，所以有效檢測(cè)區(qū)域?qū)Ρ榷容^好；在圖1(b)中，左側(cè)也是沒(méi)有路燈，右側(cè)的路燈稍微近一些，所以靠近右側(cè)路燈的區(qū)域信息豐富一些，但車燈光強(qiáng)不大，所以興趣區(qū)域信息也不豐富；在圖1(c)中，車離右側(cè)的路燈更近了一些，興趣區(qū)域的細(xì)節(jié)更清晰了一些，但由于車燈較暗，可視距離也就短了些；在圖1(d)中，雖然路的兩側(cè)都有路燈，但車離路燈太遠(yuǎn)，整個(gè)圖像都比較暗，車道線很不清楚，可視距離更短.所以，夜晚的路面圖像的三區(qū)域不是固定的而是變動(dòng)的，為此利用一種方法自動(dòng)將每幅圖像分成有效檢測(cè)區(qū)和非檢測(cè)區(qū).

圖1 有明顯車道線的黑夜交通圖像Fig.1 Traffic images at nighttime with obvious lane lines

為了清除或減少燈光及路邊目標(biāo)的相互作用而產(chǎn)生的噪聲，先用基于區(qū)域合并的思想[26]將圖像分成幾個(gè)大小不同的區(qū)域.區(qū)域分裂合并算法的基本思想是先確定一個(gè)分裂合并的準(zhǔn)則，即區(qū)域特征一致性的測(cè)度，當(dāng)圖像中某個(gè)區(qū)域的特征不一致時(shí)就將該區(qū)域分裂成4個(gè)相等的子區(qū)域，當(dāng)相鄰的子區(qū)域滿足一致性特征時(shí)則將它們合成一個(gè)大區(qū)域，直至所有區(qū)域不再滿足分裂合并的條件為止.為了消除或減少由燈光和路邊目標(biāo)之間的相互作用引起的噪聲，基于區(qū)域合并，將圖像劃分為幾個(gè)不同的區(qū)域，如圖2所示.

(a)原始圖像 (b)區(qū)域合并 (c)檢測(cè)區(qū)域(中部)

不同的高速公路等級(jí)有不同的車道線長(zhǎng)和寬及車道線段間距的標(biāo)準(zhǔn).即使車道線沒(méi)有被磨損，視頻很難保證每幅圖像都有車道線，圖像中含有車道線的概率和車行速度有關(guān).當(dāng)攝像機(jī)是PAL(Phase Alternating Line)制式時(shí)，每秒鐘可以采集25幅圖像，而當(dāng)攝像機(jī)的制式是NTSC(National Television Systems Committee)制式時(shí)，每秒鐘可以采集30幅圖像.根據(jù)表2可知，在車道線沒(méi)有被磨損的情況下，當(dāng)車速為 60 km/h 時(shí)，在一級(jí)公路上，可能半秒鐘內(nèi)獲取的12幅圖像都沒(méi)有車道線；而在二級(jí)公路上，可能連續(xù)10幅圖像里都沒(méi)有車道線.但若車道線已經(jīng)被磨損或其它噪聲的影響，在幾十幅連續(xù)獲取的圖像里，看不到車道線是可能的.或者某些圖像里只有車道線的一小部分：長(zhǎng)度可能是正常長(zhǎng)度的10%左右，甚至車道線寬度也只有原寬度的1/3左右，無(wú)論用何種圖像檢測(cè)算法，僅僅利用這些微弱的信息很難檢測(cè)出車道線.在這種情況下，最好的辦法是結(jié)合多幅圖像的車道線信息來(lái)檢測(cè)當(dāng)前圖像中的車道線.

表1 車道線的基本尺寸(cm)

以二級(jí)公路上車速為80 km/h 為例，白實(shí)線長(zhǎng)度4 m加上間隔距離6 m，總計(jì)10 m，利用PAL制式攝像機(jī)連續(xù)獲取11幅連續(xù)的圖像才能覆蓋整個(gè)10 m長(zhǎng)的道路，所以可以每隔3幅圖像選1幅圖像融合到當(dāng)前圖像中，然后再進(jìn)行檢測(cè)，這期間車行距離約10 m，也就是小轎車長(zhǎng)度的2倍多，24 m大掛車長(zhǎng)度的1/3強(qiáng)，這期間的車行偏離車道線不會(huì)太大，很難跑出車道線.圖3中有4幅黑夜模糊不清的圖像，車道線在每幅圖像中的長(zhǎng)度很短，或是一側(cè)或是兩側(cè)沒(méi)有車道線，這對(duì)于車道線的檢測(cè)很困難，甚至不可能.圖4中的4幅圖像對(duì)應(yīng)圖3中的4幅圖像，圖4中每一對(duì)圖像的間隔在十幅圖像之內(nèi)，所以當(dāng)把每一對(duì)圖像合并后，就可以得到圖4的結(jié)果，圖4中的每幅圖像中的車道線長(zhǎng)于圖3中的車道線，所以合并的結(jié)果明顯更好.

表2 車速與單位時(shí)間及單幅圖像經(jīng)過(guò)距離的關(guān)系

(a) 模糊短車道線 (b) 模糊短左車道線

(c)左一條模糊短車道線 (d) 無(wú)車道線信息

(a) (b)

(c) (d)

3 基于Frangi和Hessian的圖像處理

因?yàn)橐归g圖像的對(duì)比度很差并且噪聲很多,在提取車道線之前，應(yīng)進(jìn)行圖像預(yù)處理.該算法應(yīng)包括3個(gè)基本點(diǎn)：圖像平滑去噪[27-28]，對(duì)比度拉伸和車道線增強(qiáng).為此，將采用以下基于Frangi和Hessian矩陣的算法，具體過(guò)程如下[29].

(1)

相應(yīng)的車道線定義如下.

Td(p,θ;σ)=td(p,θ;σ)*I(p)

(2)

其中,td(p,θ;σ)=gxxcos2θ+gyysin2θ+gxysin2θ.

算法包括一套方向?yàn)V波器：包括前向過(guò)濾器tf(p;σ,ψ1)和后向過(guò)濾器tb(p;σ,ψ2)， 其定義如下.

tf(p;σ,ψ1)=td(x+dcos(θ+ψ1),y+dsin(θ+ψ1))

(3)

tb(p;σ,ψ2)=td(x-dcos(θ+ψ2),y-dsin(θ+ψ2))

(4)

這里采用角度ψ1,ψ2檢測(cè)相鄰像素的裂縫跡象.d是偏移量參數(shù)，需要將其設(shè)置為適當(dāng)?shù)闹?當(dāng)d值較低時(shí)，它的貢獻(xiàn)較少.否則，d會(huì)引起錯(cuò)誤的圖像分割以至將非車道線的像素誤判為車道線像素.

(a)原始圖像

(b) 對(duì)數(shù)變換

(c) Frangi 增強(qiáng)

(d) 噪聲去除

圖像通過(guò)定向?yàn)V波器的響應(yīng)分別為Tf(p;σ,ψ1)=tf(p;σ,ψ1)*I(p)和Tb(p;σ,ψ2)=tb(p;σ,ψ2)*I(p). 增強(qiáng)車道線的整體響應(yīng)如式(5)所示.

(5)

4 車道線的特征點(diǎn)檢測(cè)及Hough 變換

在圖5中，給出了兩個(gè)典型的車道線圖像，它們的預(yù)處理結(jié)果(如直方圖變換，F(xiàn)rangi增強(qiáng)和噪聲消除)令人滿意.

先將圖像反值，讓車道線灰度為暗色，然后基于分?jǐn)?shù)階微分進(jìn)行車道線上的特征檢測(cè)，具體檢測(cè)思想如下.

在圖6(a)中，它是9×9模板，其中，中心像素周圍有4個(gè)不同大小的正方形區(qū)域，該模板應(yīng)足夠大以檢測(cè)中心像素是否為谷點(diǎn)候選點(diǎn).對(duì)于谷點(diǎn)檢測(cè)，81像素的計(jì)算量可能太大，即使用了大量的信息，也不能準(zhǔn)確地進(jìn)行谷點(diǎn)檢測(cè).相反，基于此，還測(cè)試了一個(gè)7×7模板，49個(gè)像素的檢查測(cè)還是有較大的計(jì)算量.為減少不必要的計(jì)算量，可以使用圓形區(qū)域進(jìn)行檢測(cè)，如圖6(b)所示，該區(qū)域更適合于實(shí)際情況，并且可以使用比正方形區(qū)域更少的像素，其中有三個(gè)圓形區(qū)域(3×3，5×5和7×7)圍繞中心像素，由于谷點(diǎn)有其方向，因此檢測(cè)應(yīng)分別在不同的方向，因此在圖6(b)中標(biāo)記了4個(gè)方向.作為圖6(c)中的一個(gè)例子，標(biāo)記兩個(gè)梯形區(qū)域，可用于垂直方向的谷點(diǎn)檢測(cè)(AB線in(b))，因?yàn)樵陧敳刻菪螀^(qū)域和底部區(qū)域標(biāo)記了“1”“2”和“3”的三條線，如果檢測(cè)像素“0”是最低點(diǎn)，則其灰度值應(yīng)低于“1”行的灰度值，“1”行的灰度值應(yīng)低于“2”行的灰度值，“2”行的灰度值應(yīng)低于“3”行的灰度值.問(wèn)題是如何計(jì)算每一行的灰度加權(quán)平均值，下面給出了一個(gè)5×5模板的例子.

假設(shè)在圖6(c)的垂直方向上有一個(gè)車道線中心點(diǎn)p，有三條檢測(cè)線，它們是對(duì)應(yīng)于圖7(c)的線“1”“2”和“3”的ab、cd和ef，如圖7所示.在圖7中，有正交線ap、cp和ep，它們滿足圖7中ap

(a) 4個(gè)方形區(qū)域(b) 4個(gè)圓形區(qū)域 (c) AB線檢測(cè)區(qū)域圖6 特征點(diǎn)檢測(cè)區(qū)域和方向[30-31]Fig.6 Characteristic point detection areas and directions [30-31]

圖7 車道線邊緣檢測(cè)算法示意圖Fig.7 Schematic diagram of lane line detection algorithm

(6)

如果s(t)持續(xù)時(shí)間為t∈[a,t]，則信號(hào)持續(xù)時(shí)間[a,t]可在單位等間隔內(nèi)等分h=1.

(7)

這樣，一維信號(hào)s(t)中微分表達(dá)式的v階分?jǐn)?shù)階可被推導(dǎo)為

a1s(t-1)+a2s(t-2)+a2s(t-3)+…,

ans(t-n)

(8)

這些n+1非零系數(shù)值的順序如下.

(9)

取絕對(duì)值：a0=1，a1=|-v|，a2=|(v2-v)/2|，當(dāng)v=0.5，有a1=0.5，a2=0.125，去掉小數(shù)點(diǎn)后，對(duì)于第“1”行，可將所有數(shù)字放大2倍，然后，有b0=2a0=2，b1=2v=1；對(duì)于第“2”行，將所有數(shù)字放大8倍，然后，有c0=8a0=8，c1=8v=4，c2=8u=1.

(a) 0° (b) 90° (c) 45° (d) 135°圖8 4個(gè)方向的線條標(biāo)記模板Fig.8 Templates for line marking in four directions

如圖8所示，有4個(gè)方向的模板.其中，可以定義檢測(cè)點(diǎn)或中心像素為x0，線“1”為x1，線“2”為x2，在垂直方向(圖8(b))，以頂部(圖6(c)或紅色梯形區(qū)域)為例進(jìn)行谷點(diǎn)檢測(cè).下面是輸入的灰度圖像f(i,j)，g(i,j)是輸出的二值圖像.

x0=f(i,j)

(10)

x1=[b0f(i-1,j)+b1(f(i-1,j-1)+f(i-

1,j+1))]/(b0+2b1)

(11)

x2=[c0f(i-1,j)+c1(f(i-2,j-1)+f(i-

2,j+1))+c2(f(i-2,j-2)+f(i-2,j+

2))]/(c0+2c1+2c2)

(12)

y=(x2+x1)/2-x0

(13)

在垂直方向上，有兩個(gè)值(在頂部區(qū)域和底部區(qū)域)，可稱它們?yōu)閥+90和y-90，如果y+90>0和y-90>0，有y90=y+90+y-90.同樣地，可以計(jì)算其他3個(gè)方向y值.然后可計(jì)算如下式.

z=max(y0,y45,y90,y135)

(14)

如果輸出梯度圖像，會(huì)有

g(i,j)=z，否則g(i,j)=0

(15)

如果直接輸出二值圖像，當(dāng)設(shè)置閾值T時(shí)，可有：如果z>T，則g(i,j)=255，否則g(i,j)=0.在正常情況下，原始圖像中含有大量的噪聲，這些噪聲會(huì)影響山谷邊緣的檢測(cè)結(jié)果.降低噪聲的一個(gè)簡(jiǎn)單方法是使用平滑濾波器，例如高斯平滑函數(shù)，它具有寬度參數(shù)sigma，通常稱為尺度空間參數(shù).sigma的選擇取決于白點(diǎn)尺寸分布.

在圖9(a)中，原始圖像中有二條模糊的車道線，Otsu閾值法分割結(jié)果表明，圖像光照不均勻，左下角的灰度值較深，中間部分的灰度值較淺，如圖9(b)所示.在圖9(c)中，圖像是由Canny邊緣檢測(cè)器得到的二值圖像，對(duì)于Canny，當(dāng)給出了較低的閾值時(shí)，車道線大部分區(qū)域的雙邊緣都顯示出來(lái)了，但是，生成的圖像中存在太多的噪聲，在后處理過(guò)程中很難去除.在圖9(d)中，用圖論最小生成樹(shù)進(jìn)行了圖像分割，在分割結(jié)果圖像中，兩條車道線的部分線段可以被檢測(cè)出來(lái)(左側(cè)的綠線段，右側(cè)的紫線段)，但噪聲的線段更粗更大，可能還要做進(jìn)一步的后處理.在圖9(e)中，新算法檢測(cè)出了大部分車道線上的特征點(diǎn)，用霍夫變換可以很容易地檢測(cè)出兩條車道線.

(a) 原始圖像 (b) Otsu

(c) Canny (d) MST

(e) 車道線特征點(diǎn) (f) 霍夫檢測(cè)結(jié)果

根據(jù)車道線的特性，假定兩條線：25°≤θ≤65°，115°≤θ≤155°，若沒(méi)有任何線在此范圍內(nèi)，設(shè)T=T-5, 再進(jìn)行霍夫變換，若只有一條以上的線都在上述的一個(gè)角度范圍內(nèi)，則T=T-5,繼續(xù)進(jìn)行霍夫變換，直到兩個(gè)角度范圍內(nèi)都有直線為止.若在一個(gè)角度范圍內(nèi)有多條直線，取Min(|θ|)的直線為最終的車道線.圖10(c)是當(dāng)T=70時(shí)得到的霍夫直線變換檢測(cè)結(jié)果，而圖10(d)是當(dāng)T=60時(shí)得到的最終霍夫變換檢測(cè)結(jié)果.

(a) 原始圖像 (b) 車道線特征點(diǎn)

(c) 第一次霍夫變換 (d) 第三次霍夫變換

5 實(shí)驗(yàn)及分析

如上所述，夜間車道線檢測(cè)比白天困難，因此本文研究了一種新的車道線提取方法，該方法的工作流程如圖11所示.該方法主要包括兩部分(見(jiàn)虛框)，上面的虛框部分是提取有效的檢測(cè)區(qū)域，這可以減輕后續(xù)的計(jì)算負(fù)擔(dān)，并消除可能嚴(yán)重影響檢測(cè)結(jié)果的噪聲；下面的虛框部分是圖像的增強(qiáng)及車道線的檢測(cè)，分為3個(gè)步驟：車道線增強(qiáng)，車道線上特征點(diǎn)檢測(cè)及直線霍夫直線變換.

5.1 新算法與傳統(tǒng)圖像處理算法的比較

以夜間從高速公路拍攝4處共120 min的錄像為例.通過(guò)測(cè)試數(shù)百幅車道線圖像，新算法檢測(cè)結(jié)果好于一些常規(guī)的方法.典型示例和算法比較結(jié)果如圖12所示，圖像尺寸為640×480像素，第一行是兩幅預(yù)處理后的黑夜車道線圖像，下面對(duì)每一幅圖像處理結(jié)果分析如下.

最基本的基于相似性的分割算法是全局閾值和動(dòng)態(tài)閾值，這里用的全局閾值算法是Otsu, 而動(dòng)態(tài)閾值算法是將圖像分成9×6個(gè)窗口分別進(jìn)行Otsu 閾值分割.從圖12的第1行看出，全局算法只能把靠上中部較亮的區(qū)域劃分出來(lái)，有部分車道檢測(cè)線段包含在目標(biāo)中，而另一部分卻包含在背景中，沒(méi)有一完整的單個(gè)車道線被檢測(cè)出來(lái)，甚至沒(méi)有車道線的某一完整線段被檢測(cè)出來(lái)，所以這種方法完全無(wú)效.在圖12的第2行中，每幅圖像被檢測(cè)出的目標(biāo)很多(紅線輪廓)，均有部分車道線段被檢測(cè)出來(lái).但由于周圍粘連的目標(biāo)較多，很難將這些車道線段分離出來(lái)，而且即使分離出來(lái)這些線段，也難形成完整的車道線或是大半車道線.因此，這種算法也不適合這種類型的圖像.

圖11 車道線檢測(cè)的工作流程Fig.11 Workflow of lane line detection

圖12中的第3行和第4行是不同高低閾值的 Canny邊界掃描結(jié)果.從圖12中可以看出，對(duì)于這類圖像，基于不連續(xù)性的圖像分割算法優(yōu)越于基于相似性的算法.但和其它圖像的處理情況類似，當(dāng) Canny的高低閾值選取較低時(shí)，雖然能夠檢測(cè)出目標(biāo)的邊界，但圖像中的噪聲邊界較多，也就是過(guò)分割或是過(guò)檢測(cè)，這對(duì)于后處理工作很難甚至不可能.而當(dāng)高低閾值選取較高時(shí)，雖然噪聲邊界少了許多，但部分目標(biāo)的的邊界被漏檢了，也就是欠分割或是漏檢測(cè)，不足以提供完整的信息對(duì)車道線的識(shí)別.

第5行是FCM[33]的檢測(cè)結(jié)果,其與第1行的全局閾值檢測(cè)有類似的效果，也就是檢測(cè)出靠上中部灰度值高的區(qū)域?yàn)橐粋€(gè)目標(biāo)，沒(méi)有把車道線(或部分線段)單獨(dú)地提取出來(lái)，該算法雖然對(duì)復(fù)雜的多目標(biāo)圖像分割有成效，但對(duì)此類細(xì)長(zhǎng)目標(biāo)且圖像對(duì)比度較低的圖像，達(dá)不到所期望的效果.第6行是另一種聚類分析[31]的檢測(cè)結(jié)果，與上述的FCM不同，其能夠分割出更多一些目標(biāo)物體，因而其可以提取出部分車道線(或部分線段)，但車道線提取不夠完整，要么車道線融合在其它目標(biāo)中，要么只是局部的點(diǎn)(小面積)和線(線段)被檢測(cè)到.所以，雖然其檢測(cè)結(jié)果好于上述的FCM算法，但針對(duì)這類特殊的圖像，還要有針對(duì)性的改進(jìn)，才能獲取較好的效果.

在圖12的第7行中，處理結(jié)果是用圖論中的最小生成樹(shù)算法[29]完成的，該算法是近年在圖像分割中用得較多的一種圖論分割算法，對(duì)許多圖像均有較好的分割效果.但對(duì)黑夜車道線圖像還是有許多欠缺的地方.盡管比上述的聚類分析算法對(duì)圖像分割效果有所提高，但車道線的提取還是不夠完整，即使后處理用霍夫變換來(lái)檢測(cè)車道線，但由于噪聲的影響，也很難達(dá)到所要求的效果，所以還有許多要改進(jìn)的空間.

第8行是基于車道線上特征點(diǎn)的檢測(cè)結(jié)果，這種算法是本文專門針對(duì)黑夜車道線圖像的特點(diǎn)研究的.其中心思想是盡可能多地檢測(cè)出車道線上的特征點(diǎn).雖然找出的點(diǎn)不一定是連續(xù)的，但大都集中在車道線上或是其附近，相比Canny或其它1～2階微分算子，該算法不會(huì)產(chǎn)生太多的噪聲和假邊界，為后續(xù)的霍夫變換奠定了較好的基礎(chǔ).跟隨其的第九行是對(duì)應(yīng)的遞歸霍夫直線檢測(cè)結(jié)果.檢測(cè)結(jié)果能夠完全滿足車道線檢測(cè)和識(shí)別的要求.

所以，基于車道線上特征點(diǎn)的檢測(cè)及其遞歸的霍夫直線變換檢測(cè)了幾百幅夜視車道線圖像，8個(gè)檢測(cè)示例展示在圖13中.由于圖像的差異，在遞歸霍夫檢測(cè)中，有的圖像先檢測(cè)出一條車道線，當(dāng)繼續(xù)霍夫變換一次以上，就會(huì)檢測(cè)出兩條車道線(最終取最內(nèi)側(cè)的線為車道線).從圖13中看出，有的車道線上會(huì)產(chǎn)生多條線，或是一次檢測(cè)的結(jié)果或是n次檢測(cè)的結(jié)果.另外，圖像的底部或上部可能由于噪聲的影響，會(huì)檢測(cè)出接近水平的紅線，但根據(jù)線段的角度可以判斷那不是車道線.

圖12 基于圖9(a)檢測(cè)的幾種車道線檢測(cè)算法比較Fig.12 Comparison of several lane line detection algorithms based onFig.9 (a)

圖13 車道線及其遞歸的霍夫檢測(cè)結(jié)果Fig.13 Lanes and their recursive Hough transform results

5.2 新算法與深度學(xué)習(xí)等方法的比較

Li[23]研究了一種新的語(yǔ)義方法(深度學(xué)習(xí)方法)，稱為Deeplab V3+網(wǎng)絡(luò)，在其論文中并與其他類似的三種語(yǔ)義方法進(jìn)行了比較，如表3所示.圖像數(shù)據(jù)來(lái)自Tusimple(https://github.com/TuSimple/TuSimple-benchmark/issues/3)，其中，訓(xùn)練集包含3 626幅圖像，測(cè)試集包含2 782幅圖像.

由表3可以看出，幾種語(yǔ)義分割方法的結(jié)果受夜間環(huán)境照明效果的影響較大，導(dǎo)致檢測(cè)精度的下降，分析結(jié)果表明，由于城市夜間環(huán)境中霓虹燈、路燈等各種光源的綜合影響，對(duì)表中所有的語(yǔ)義方法都造成了一定的影響，對(duì)車道線區(qū)域判斷錯(cuò)誤，導(dǎo)致整體檢測(cè)成功率較低.

為了對(duì)本研究中的新算法進(jìn)行驗(yàn)證，我們將新算法與李的方法Deep+V3網(wǎng)絡(luò)進(jìn)行了比較.選擇了兩個(gè)典型的夜間車道線圖像，如圖14和圖15所示.

表3 不同語(yǔ)義分割算法試驗(yàn)結(jié)果對(duì)比[23]

原始圖像Deep+V3 network圖14 Deep+V3法夜間車道線檢測(cè)[23]Fig.14 Night lane line detection by Deep+V3 method

車道線特征點(diǎn)最終結(jié)果圖15 利用新算法提取圖14圖像中的車道線Fig.15 Extraction night lane line in images in Fig.14 by new algorithm

在圖15中，原始圖像來(lái)自圖14，給出了兩步圖像處理過(guò)程：車道線特征點(diǎn)和最終結(jié)果，結(jié)果比較令人滿意.與圖14中的結(jié)果相比，新算法明顯優(yōu)于Deep+V3網(wǎng)絡(luò)法.Li 的方法[23]雖然對(duì)其采用的數(shù)據(jù)庫(kù)中的圖像檢測(cè)效果很理想，但對(duì)于這種黑夜車道線圖像的處理結(jié)果就不是很有效， 對(duì)圖14中的兩幅圖像，雖然其方法能夠檢測(cè)出部分車道線，但都不完整，并且伴有一些噪聲線段.

6 結(jié) 論

本文研究?jī)?nèi)容主要包括5個(gè)方面：(1) 根據(jù)車道線的長(zhǎng)度，寬度，間隔距離，可能的車速，道路等級(jí)和視頻采頻率，將多幅視頻圖像融合作為一幅檢測(cè)圖像，基本上可以保證車道線出現(xiàn)在每幅檢測(cè)圖像中；(2) 研究了確定有效檢測(cè)區(qū)域的動(dòng)態(tài)算法，這是一種改進(jìn)的區(qū)域合并算法;(3) 基于Frangi和Hessian矩陣設(shè)計(jì)了圖像平滑和車道線增強(qiáng)算法;(4) 設(shè)計(jì)了一種新的分?jǐn)?shù)階微分模板來(lái)檢測(cè)車道線上的特征點(diǎn);(5) 在極坐標(biāo)中進(jìn)行遞歸霍夫直線變換,初始檢測(cè)角度為1，距離步長(zhǎng)為1，檢測(cè)線的數(shù)目初始數(shù)為70.

在這項(xiàng)研究的過(guò)程中，使用上述方法(包括其他幾中典型的算法)測(cè)試了高速公路上夜間車道線的數(shù)百幅視頻圖像，并使用了全局閾值，動(dòng)態(tài)閾值，不同的Canny邊緣檢測(cè)器，聚類分析，模糊聚類分析(FCM)，MST及深度學(xué)習(xí)等算法/方法進(jìn)行了比較.實(shí)驗(yàn)和比較結(jié)果表明，提出的新方法可用于夜間高速公路和城區(qū)道路上的車道線自動(dòng)檢測(cè)，一些子算法可以用于深度學(xué)習(xí)方法的改進(jìn)，并可取得了其他算法難以獲得的良好效果.進(jìn)一步的研究將自動(dòng)確定不同長(zhǎng)度車輛和不同公路等級(jí)的視頻圖像融合準(zhǔn)則及車道線的跟蹤.