劉仕照,錢 鷹
(重慶郵電大學(xué)自動(dòng)化學(xué)院 重慶 400065)
近十幾年來,安全輔助駕駛系統(tǒng)是當(dāng)前國際智能系統(tǒng)的重要研究內(nèi)容,其安全輔助駕駛技術(shù)的研究主要集中在車道偏離預(yù)警、前方障礙物探測、以及駕駛員狀態(tài)監(jiān)測等方面?;诘缆窓z測技術(shù)的駕駛員輔助駕駛系統(tǒng)或預(yù)警系統(tǒng),可以減輕駕駛員的壓力和疲勞程度,提高行駛的安全性,減少交通事故的發(fā)生,提高交通效率。在車道偏離預(yù)警系統(tǒng)的研究當(dāng)中,車輛的導(dǎo)航路徑主要是車道標(biāo)識(shí)線,因此,快速準(zhǔn)確的識(shí)別車道標(biāo)識(shí)線具有重要意義。目前,道路識(shí)別算法主要有圖像特征法和模型匹配法[1-2],這兩種方法都對復(fù)雜車道環(huán)境(如樹木,房屋,陰影,車道標(biāo)示線不明顯)難以檢測和錯(cuò)誤檢測。究其原因,絕大部分是由于在預(yù)處理時(shí),圖像分割效果不夠好,導(dǎo)致后續(xù)的車道標(biāo)識(shí)線識(shí)別出現(xiàn)偏差。
文中利用Sobel算子對原始道路圖像進(jìn)行邊緣增強(qiáng),采用基于邊緣特征的閾值選取方法實(shí)現(xiàn)圖像二值化,然后利用數(shù)學(xué)形態(tài)學(xué)濾波處理,除去雜散邊緣和雙邊緣,最后結(jié)合抗干擾能力強(qiáng)的Hough變換識(shí)別出車道標(biāo)識(shí)線。
由于攝像機(jī)所采集到的圖像是主要有天空和道路區(qū)域兩部分主要信息,且因?yàn)榄h(huán)境復(fù)雜,圖像中可能含有無用噪聲,不適應(yīng)與車道標(biāo)識(shí)線的直接提取,這就需要根據(jù)車道特征,確定道路區(qū)域,進(jìn)行預(yù)處理,排除無用的信息,好的預(yù)處理算法可以有效提高車道線分割的正確率。本文預(yù)處理過程包括如下3個(gè)步驟:
1)灰度化:由于256色位圖的調(diào)色板內(nèi)容復(fù)雜,使得圖像處理的許多算法沒有辦法展開,因此有必要進(jìn)行灰度處理。本文灰度轉(zhuǎn)換采用傳統(tǒng)方法實(shí)現(xiàn):
其中,Gray代表像素點(diǎn)的灰度值,R,G,B分別代表Red,Green和Blue的分量值。
2)均值濾波:中值濾波[3]是一種能在去除噪聲的同時(shí)又能保護(hù)目標(biāo)邊界不使其變得模蝴的濾波方法,是一種非線性濾波技術(shù)。一維濾波的數(shù)學(xué)表達(dá)式如下:
其中,Sf(x,y)是當(dāng)前點(diǎn) f(x,y)的領(lǐng)域。 中值濾波會(huì)削弱三角信號的頂部峰值信號,但不影響階躍信號和斜坡信號,對圖像邊緣有保護(hù)作用。在去除噪音的同時(shí),可以比較好的保留邊緣銳度和圖像的細(xì)節(jié)。這些細(xì)節(jié)是我們進(jìn)行道路標(biāo)志提取的重要部分。
3)確定道路區(qū)域:攝像機(jī)采集的實(shí)際道路圖像中,除了路面之外的其他圖像信息都是屬于無用信息,在算法實(shí)現(xiàn)中應(yīng)該盡量避免處理這些無用信息,以減少計(jì)算量以提高算法的速度。在后續(xù)的Hough變換提取車道線時(shí),對二值化處理后的圖像保留圖像的下半部分路面信息,將圖像上半部分的天空部分當(dāng)成背景掩去。
閾值化是圖像分割中最重要的一種技術(shù),傳統(tǒng)的閾值分割算法主要有全局閾值法和局部閾值法,一般來說,前者對質(zhì)量較好的圖像有效,后者對環(huán)境復(fù)雜的圖像有效。閾值選取的合理與否直接影響道路識(shí)別結(jié)果,為適應(yīng)環(huán)境的變化,本文對車道圖像采用全局閾值分割算法。目前有多種方法用于全局閾值的確定,例如:P-tile 方法、2-Mode 方法、OTSU 方法[4-5]等。
OTSU是1979年提出的最大類間方差(又名大律法),它是最佳門限將圖像灰度直方圖分割成兩部分,使兩部分類間方差取最大值,即分離性最大。
算法思想的關(guān)鍵:首先,用微分算子檢測圖象的邊緣;然后,在這些邊緣象素點(diǎn)上進(jìn)行二值化閾值的自動(dòng)選?。蛔詈?,對于其他非邊緣象素點(diǎn)則采取常規(guī)方法進(jìn)行二值化處理。該算法描述如下:
Step1:對輸入圖像進(jìn)行灰度化、中值濾預(yù)處理得到圖像f;Step2:利用OTSU算法確定圖像f的一個(gè)整體閾值TH0;Step3:對f利用Sobel算子進(jìn)行邊緣提取,得到邊緣特征圖象e。
在進(jìn)行車道檢測和跟蹤時(shí),攝像機(jī)所獲得道路圖像中,平行的車道在圖像遠(yuǎn)處近似相交于一點(diǎn),車道線在圖像中呈現(xiàn)45。和135。的方向。因此為更好檢測車道線,在經(jīng)典Sobel算子中需增加45。和135。的方向模版,如圖1所示。
圖1 45°和 135°方向模板Fig.1 45°and 145°direction template
則45°方向梯度和135°方向梯度的公式如下所示:Δ
Step4:對邊緣特征圖像e利用OTSU求取最優(yōu)閾值進(jìn)行常規(guī)二值化處理,得到二值圖象b;
Step5:確定f的每個(gè)象素對應(yīng)的閾值;
掃描Step4得到的二值圖像b中的每一個(gè)像索,若某像素點(diǎn)是邊緣像素點(diǎn),令A(yù)等于Step1中圖像f中對應(yīng)像素點(diǎn)及其8鄰域像素點(diǎn)的平均灰度值,并將該像素點(diǎn)及其8鄰域像素點(diǎn)的值賦值為A;若像素點(diǎn)不是邊緣像素點(diǎn),就將該像素點(diǎn)及其8鄰域像素點(diǎn)的閥值置為Th0。其算法描述如下:
圖2 二值化試驗(yàn)結(jié)果Fig.2 The test result of binary
根據(jù)以上所述進(jìn)行試驗(yàn),實(shí)驗(yàn)結(jié)果如圖2所示,由實(shí)驗(yàn)結(jié)果可以看出,傳統(tǒng)的Soble邊緣檢測后得到的二值圖像損失了很多細(xì)節(jié),遠(yuǎn)視野區(qū)域的車道標(biāo)識(shí)線損失,不利于后續(xù)的車道線擬合;采用OTSU算法求得的閾值直接二值化圖像使得左車道線完全消失,不利于后續(xù)車道線的識(shí)別與擬合;采用本文的基于邊界特征的二值化方法,對車道圖像進(jìn)行二值化,保留了更多的邊緣細(xì)節(jié),車道標(biāo)示線明顯清晰無損,但也存在有雙邊緣的現(xiàn)象,需要對圖像進(jìn)一步細(xì)化處理。
數(shù)學(xué)形態(tài)學(xué)[6-7]是針對圖像形態(tài)、結(jié)構(gòu)等非線性因素的處理,數(shù)學(xué)形態(tài)學(xué)在圖像處理中得到廣泛應(yīng)用,越來越多的系統(tǒng)采用形態(tài)學(xué)算子來對圖像進(jìn)行預(yù)處理和后處理。形態(tài)學(xué)原理簡單、計(jì)算量小,能靈活構(gòu)造具有車道線特征的結(jié)構(gòu)元素,提取出車道左右標(biāo)識(shí)線。 通過形態(tài)學(xué)處理能較好的去除雙邊緣、除去圖像中的雜散邊緣和孤立像素點(diǎn),從而進(jìn)一步簡化和精確車道標(biāo)識(shí)線,使得到的結(jié)果圖像最大程度簡化,從而使后續(xù)的hough變換速度更快?;镜男螒B(tài)學(xué)操作有腐蝕、膨脹、開啟、閉合,形態(tài)學(xué)濾波器的一種實(shí)現(xiàn)方式是將開啟和閉合結(jié)合起來。設(shè)A為輸入圖像(可以是灰度圖和二值圖),B是結(jié)構(gòu)元素。
1) 開運(yùn)算:A 被 B 的形態(tài)學(xué)開運(yùn)算記著:A?B=(AΘB)⊕B,這種運(yùn)算是A被B腐蝕后再用B來膨脹的結(jié)果。開運(yùn)算能消除圖像中的細(xì)小對象,在不改變形狀的情況下,削弱圖像的尖峰噪聲,平滑圖像的邊緣。
2)閉運(yùn)算:A被 B的形態(tài)學(xué)閉運(yùn)算記著:A·B=(A⊕B)ΘB,這種運(yùn)算的是A被B膨脹后再用B來腐蝕的結(jié)果。閉運(yùn)算能填充圖像中細(xì)小的空洞。
由于開、閉運(yùn)算具有各自的濾波效果又不同程度地影響到圖像的目標(biāo)信息,所以實(shí)際中一般采用形態(tài)學(xué)開、閉的級聯(lián)形式,組成形態(tài)學(xué)組合濾波器[8-9]。常用的有開閉、閉開濾波器,分別用代表開和閉運(yùn)算。對圖2(d)中二值化的圖像進(jìn)行形態(tài)學(xué)細(xì)化,實(shí)驗(yàn)時(shí)采用2×2的square結(jié)構(gòu)元素,實(shí)驗(yàn)結(jié)果如圖3所示。開運(yùn)算濾波之后刪除了不包括結(jié)構(gòu)元素的對象區(qū)域,平滑了對象輪廓,去掉了細(xì)小的突出部分,閉運(yùn)算將狹窄的缺口連接成細(xì)長的彎口,填充了比結(jié)構(gòu)元素小的漏洞。實(shí)驗(yàn)表明,采用閉開濾波器方法得到的圖像邊緣接近于理想邊緣,去除了幾乎所有高斯噪聲引起的偽邊緣。
圖3 形態(tài)學(xué)濾波結(jié)果Fig.3 Results of morphological filtering
Hough變換的基本思想就是建立圖像空間和參數(shù)空間的映射關(guān)系,即在圖像空間中共線的點(diǎn)對應(yīng)參數(shù)空間中相交的線,在參數(shù)空間中相交于同一個(gè)點(diǎn)的所有直線在圖像空間里都有共線的點(diǎn)與之對應(yīng)。
假設(shè)直線方程為:y=αx+b,對應(yīng)的極坐標(biāo)參數(shù)方程為:xcosθ+ysinθ=λ。其中ρ表示該直線到原點(diǎn)的距離,θ表示過原點(diǎn)到該直線的垂線與極軸正向之間的夾角。一般來說θ的取值范圍是-90°≤θ≤90°,D的取值范圍是-D≤λ≤D,其中D是圖像中角點(diǎn)間的距離。
圖4 hough變換描述Fig.4 Hough transform description
如圖4所示,圖像空間中過1、3、5的直線在交于參數(shù)空間中的S點(diǎn),過2、3、4點(diǎn)的直線交于參數(shù)空間中的T點(diǎn),因此,只要確定參數(shù)空間中共點(diǎn)的各曲線,就能確定圖像空間中的直線。Hough變換的誘人之處是把λθ參數(shù)空間細(xì)分為了所謂的累加器單元,即編程時(shí)將參數(shù)ρ和θ量化成許多小格,對于每一個(gè)(xi,yi)點(diǎn)代入 θ的量化值,算出各個(gè) λ,所得值落在某個(gè)小格內(nèi),便使該小格的計(jì)數(shù)累加器加l,當(dāng)全部點(diǎn)(xi,yi)點(diǎn)變換后,對小格進(jìn)行檢驗(yàn),有大的計(jì)數(shù)值的小格對應(yīng)于共線,其(λ,θ)可用作直線的擬合參數(shù)。有小的計(jì)數(shù)值的各小格一般反映非共線點(diǎn),丟棄不用。圖5是Hough變換識(shí)別的車道線結(jié)果,在原圖像中顯示。
圖5 Hough變換識(shí)別車道線Fig.5 Lane recognition in transforam
本實(shí)驗(yàn)采用尼康S230安裝在面包車的后視鏡下方,在貴陽市長嶺南路環(huán)城高速路上獲取道路圖像,采用 Ulead GIF Animator 5將AVI車道視頻文件轉(zhuǎn)換到幀序列,處理對象為240×320的RGB圖像。在 Inter E2180處理器,2 G內(nèi)存,Widows XP操作系統(tǒng),Matlab7.1環(huán)境下編程實(shí)現(xiàn)上述處理過程,分別對光照條件良好、陰暗天氣、有陰影的車道線圖像進(jìn)行實(shí)驗(yàn)(如圖6,左側(cè)為原圖,右側(cè)為識(shí)別結(jié)果),每幀圖像處理平均時(shí)間為0.3 s,能準(zhǔn)確的檢測出車道線,和實(shí)際車道線相吻合。其中對兩個(gè)視頻序列圖像共400幀圖像進(jìn)行試驗(yàn),能準(zhǔn)確檢測車道線的有386幀,檢測率為96.5%,實(shí)驗(yàn)表明該算法抗干擾能力強(qiáng),能克服路面陰影、橋梁、行車道、前方車輛的干擾,準(zhǔn)確地識(shí)別出車道標(biāo)識(shí)線。
圖6 車道標(biāo)識(shí)線識(shí)別實(shí)驗(yàn)結(jié)果Fig.6 Results of lane identification
本文相對于傳統(tǒng)車道線線識(shí)別算法中的圖像二值化來說,本文算法簡單,而且得到的圖像邊緣接近于理想邊緣,明顯提高了車道線檢測的準(zhǔn)確率。在道路陰影,道路標(biāo)識(shí)線影響,前方車輛和橋梁干擾的條件下,都能準(zhǔn)確的識(shí)別除車道標(biāo)識(shí)線。但對一些非規(guī)范化道路環(huán)境的車道檢測(彎道),車道中有樹干的陰影及前方車輛及障礙物較多的情況還需進(jìn)一步研究。
[1]Kim Z W.Robust lane detection and tracking in challenging scenarios[J].IEEE Transactions on Intelligent Transportation Systems,2008,9(1):16-26.
[2]王榮本,余天洪,顧柏園,等.基于邊界的車道標(biāo)識(shí)線識(shí)別和跟蹤方法研究[J].計(jì)算機(jī)工程,2006,32(18):195-196,239.
WANG Rong-ben, YU Tian-hong, GU Bo-cyuan, et al.Research on linear lane mark identi-fication and track method based on edge[J].Computer Engineering,2006,32(18):195-196,239.
[3]黃濤,丁俊進(jìn).基于機(jī)器視覺道路識(shí)別算法的研究[J].電子設(shè)計(jì)工程,2007(4):34-38.
HUANG Tao,DING Jun-jin.Reseach of the road recognition algorthm based on the machine vision[J].Electronic Design Engineering,2007(4):34-38.
[4]吳冰,山海濤,郭建星.基于邊緣灰度的二值化閾值確定方法[J].武漢大學(xué)學(xué)報(bào):工學(xué)版,2003,36(3A):165-169.
WU Bing, SHAN Hai-tao, GUO Jian-xing.A new method edge-gray-based attaining the Threshold of image-binaried[J].Engineering Journal of Wuhan University,2006,36 (3A):165-169
[5]張慶英,岳衛(wèi)宏,肖維紅,等.基于邊界特征的圖像二值化方法應(yīng)用研究 [J].武漢理工大學(xué)學(xué)報(bào),2005,27(2):56-57,64.
ZHANG Qing-ying, YUE Wei-hong, XIAO Wei-hong, et al.Study on image binarizing process based on edge features[J].Journal of Wuhan University of Technology,2005,27(2):56-57,64.
[6]朱彤,閻瑩,袁志業(yè).一種基于形態(tài)學(xué)變換的車道檢測方法[J].山東交通學(xué)院學(xué)報(bào),2006,14(1):13-16.
ZHU Tong, YAN Ying, YUAN Zhi-ye.A new lane detection method based on morphological transformation[J].Journal of Shangdong Jiaotong University,2006,14(1):13-16.
[7]DeborahBraid, A lbertobroggi, Garysehmiede1.The terra max aut on omous vehicle concludesthe 2005 DARPAG Gr and challenge[C]//Intelligent Vehicles Symposium California,June,2006:534-539.
[8]Park H,Yoo J.Structuring element decomposition for efficient implementation of Morphological filters[J].IEEE Proceedings Vision Image and Signal Processing,2001,148(1):31-35.
[9]CHEN Min-hua,YAN Ping-fan.A multi-scaling approach based on Morphological Filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,11 (7):694-700.