陳星,張文海,楊林,鄭訊佳

(1.重慶文理學(xué)院 智能制造工程學(xué)院,重慶 402160;2.重慶交通大學(xué) 機(jī)電與汽車工程學(xué)院,重慶 400074;3.重慶長安工業(yè)(集團(tuán))有限責(zé)任公司 特種車輛研究所,重慶 400023)

隨著無人駕駛車輛的快速發(fā)展，道路檢測起著越來越重要的作用。目前，國內(nèi)外關(guān)于道路檢測的研究主要集中于結(jié)構(gòu)化道路上，但是在實(shí)際車輛行駛中，常常會遇到?jīng)]有明顯標(biāo)記且環(huán)境背景復(fù)雜的道路，如：鄉(xiāng)村小道、沙漠公路等。因此，找到一種抗背景干擾性強(qiáng)、精度高、實(shí)時性好的非結(jié)構(gòu)化道路邊緣檢測方法具有重要意義。雖然非結(jié)構(gòu)化道路沒有明顯的道路邊緣特征，但是由于道路較為松垮，車輛駛過后可能留有車轍等痕跡，而這些痕跡一般會趨向收斂于道路遠(yuǎn)端，稱為消失點(diǎn)。因此利用消失點(diǎn)作為約束進(jìn)行非結(jié)構(gòu)化道路檢測，可以大幅度提高非結(jié)構(gòu)化道路檢測精度[1]。

目前，針對非結(jié)構(gòu)化道路消失點(diǎn)檢測的方法主要分為基于直線交點(diǎn)和基于紋理方向兩大類。利用直線交點(diǎn)的方法主要是通過獲取圖像中的道路邊緣，并估計(jì)邊緣的交點(diǎn)得到道路的消失點(diǎn)[2-3],韓冰心等[4]采用基于隨機(jī)采樣一致性(random sample consistency,RANSAC)的消失點(diǎn)估計(jì)方法,利用正交性約束生成候選假設(shè)，然而RANSAC算法只對具有明顯道路線的場景有效，因此此類方法面對道路線不明顯且具有大量背景干擾的場景效果不佳。Rasmussen[5]首次提出了利用紋理方向來估計(jì)消失點(diǎn)。為了解決單一尺度下容易遺落信息的問題，Kong等[6]提出了使用36方向，5個尺度的Gabor濾波器組來獲取紋理響應(yīng)，然而該方法計(jì)算量大，不具有高效性。Moghada等[7]提出了聯(lián)合四方向Gabor濾波器，Jin等[8]提出了改進(jìn)的聯(lián)合四方向Gabor濾波器，采用粒子濾波的消失點(diǎn)跟蹤方法，該方法雖然有效，但是算法復(fù)雜，且需要連續(xù)的非結(jié)構(gòu)道路視頻。為了解決實(shí)時性問題，黃俊等[9]提出了采用局部二值模式 (local binary patter,LBP)特征來提取圖像紋理特征，王先杰[10]采用類Haar紋理特征替代傳統(tǒng)的Gabor紋理，雖然可以提高算法的效率，但是在精度上略顯不足。為解決精度問題，俞駿威等[11]采用神經(jīng)網(wǎng)絡(luò)的算法來計(jì)算消失點(diǎn)，Liu等[12]結(jié)合卷積網(wǎng)絡(luò)和Heatmap回歸來檢測消失點(diǎn)，基于神經(jīng)網(wǎng)絡(luò)的算法可以顯著提高消失點(diǎn)的檢測精度，但是時間復(fù)雜度較高，滿足不了實(shí)時性的要求。

綜上所述，設(shè)計(jì)一種兼?zhèn)漭^高精度與低時間復(fù)雜度的檢測算法具有重大的意義。通過深入研究先前消失點(diǎn)檢測方法在精度或者效率方面的問題，針對背景噪聲干擾導(dǎo)致算法精度和效率低下的問題，本文綜合考慮投票點(diǎn)位置信息、候選點(diǎn)范圍和投票角度優(yōu)先，創(chuàng)新性地提出一種結(jié)合立體視覺的非結(jié)構(gòu)化道路消失點(diǎn)檢測方法。首先采用半全局立體匹配算法快速得到道路場景視差圖，通過廣度優(yōu)先圖遍歷算法得到背景區(qū)域；設(shè)計(jì)五尺度四方向的Gabor濾波器高效地得到道路圖像紋理響應(yīng)，并通過幅值校正減少檢測誤差；結(jié)合背景區(qū)域，設(shè)計(jì)了一系列投票點(diǎn)的選擇規(guī)則和動態(tài)調(diào)整的候選點(diǎn)范圍策略；設(shè)計(jì)角度優(yōu)先的投票函數(shù)。本文所提方法綜合考慮了投票點(diǎn)位置的影響，來提高算法的檢測精度與抗干擾性能；結(jié)合實(shí)際道路情況設(shè)計(jì)動態(tài)的候選點(diǎn)區(qū)域范圍選擇，提高算法的效率；綜合考慮距離和角度問題設(shè)計(jì)更為合理的投票函數(shù)，使候選點(diǎn)得票數(shù)更為合理，進(jìn)一步提高算法的檢測精度。

1 背景區(qū)域估計(jì)

通過大量的研究發(fā)現(xiàn)，背景干擾是影響消失點(diǎn)檢測精度的主要因素之一，而且消失點(diǎn)檢測最為重要的信息線索往往都來源于路面區(qū)域。因此本文創(chuàng)新性地提出了一種基于雙目立體視覺的背景區(qū)域估計(jì)方法。首先采用SGM算法[13]計(jì)算道路圖像視差圖，接著建立參考柵格模型。如圖1所示，模型的零平面(即Y=0)與路面平行,視差圖的行和列與世界坐標(biāo)系X軸、Y軸平行,Z軸指向場景深度。設(shè)在視差圖像平面坐標(biāo)系,一個視差為d的像素點(diǎn)(x,y),將其映射到柵格單元(u,v)

(1)

式中:m,n為控制柵格模型尺寸的常數(shù)；?·」符號為下取整函數(shù)。由雙目視覺原理,由像平面坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換為

(2)

式中，x0,y0為像平面x軸、y軸中心坐標(biāo)。則可將公式(1)轉(zhuǎn)換為

(3)

式中:M為映射關(guān)系；B為雙目系統(tǒng)中基線長度；f為焦距，通過(3)式可計(jì)算各個單元的X,Z坐標(biāo)。

(4)

最后計(jì)算相鄰單元間的斜率

(5)

式中:(u,v)和(p,q)為相鄰單元,‖·‖為二范數(shù)。給定一個閾值εl,斜率S(u,v,p,q)>εl,則認(rèn)為2個單元不相通。得到兩兩相鄰單元間的聯(lián)通性后,設(shè)汽車位于路面上,則以汽車所在單元為起點(diǎn)采用廣度優(yōu)先算法遍歷柵格模型,求得所有與路面不連通單元,那些單元即為背景區(qū)域。

圖1 柵格地圖示意圖

背景區(qū)域的步驟為:

step1 獲得雙目圖像的左視圖I,采用SGM算法獲得視差圖I視差。

step2 利用(1)式,將視差圖I視差轉(zhuǎn)換為柵格模型(u,v)。

step3 通過(3)～(4)式分別計(jì)算柵格模型各個單元的X,Y,Z坐標(biāo)。

step4 通過(5)式計(jì)算相鄰單元之間的連通性。

step5 采用廣度優(yōu)先算法遍歷柵格模型,獲得背景區(qū)域。

圖2給出最后結(jié)果,白色區(qū)域?yàn)闄z測得出的背景區(qū)域Ibk,本文設(shè)置背景區(qū)域值為1,即Ibk(x,y)=1,(x,y)∈Ibk。

圖2 背景區(qū)域估計(jì)

2 結(jié)合背景區(qū)域的消失點(diǎn)估計(jì)方法

2.1 道路紋理提取

道路的紋理特征提取是消失點(diǎn)檢測的第一個步驟,本文綜合考慮效率和精度問題,從五尺度上對圖像紋理進(jìn)行提取,雖然提高更多尺度可提高紋理提取精度,但換來的是效率大大降低;采用四方向Gabor濾波器,道路方向的紋理基本上位于0°,45°,90°和135°之間,因此采用四方向既滿足紋理方向需求,又可以減少濾波次數(shù),降低算法復(fù)雜度,具體定義為

(6)

式中:a=xcosθ+ysinθ,b=-xsinθ+ycosθ,θ=0°,45°,90°,135°,為4個方向,ω0=2π/λ為徑向頻率,c=π/2為頻倍常數(shù),λ=3,9,12,32,64,為5個尺度的空間頻率。設(shè)灰度圖像為I,將圖像I與確定方向θ和確定尺度ω0的Gabor濾波器進(jìn)行卷積,可得能量響應(yīng)ξθ,ω0(x,y)為

ξθ,ω0(x,y)=I(x,y)?Gθ,ω0(x,y)

(7)

式中:?為卷積符號。由于ξθ,ω0(x,y)包含實(shí)部與虛部2個分量,一般取能量響應(yīng)ξθ,ω0(x,y)的實(shí)部與虛部的平方根作為總的能量響應(yīng)幅度

式中:Eθ(x,y)為每個方向θ在5個尺度下能量響應(yīng)幅度Eθ,ω0(x,y)的均值。

值得注意的是,由于傳統(tǒng)的Gabor濾波器估計(jì)的紋理不總是精確的,本文在紋理方向上設(shè)置紋理方向置信度Conf(x,y)來剔除不可靠紋理。具體為:

step1 將(9)式得到的4個方向平均能量響應(yīng)Eθ(x,y)按降序進(jìn)行排列。

(10)

式中,Eth為閾值常數(shù)。

本文設(shè)計(jì)從五尺度的空間頻率對圖像紋理進(jìn)行提取,低空間頻率可更好地提取弱紋理響應(yīng),高空間頻率可更高效率地提取圖像紋理,結(jié)合多尺度紋理信息,既可以提取弱紋理響應(yīng),又可提高算法效率。采用四方向來獲取紋理信息,在效率上:若算法均為五尺度,8,16和32方向相比四方向則需要增加20,60和140次濾波;精度上:雖然8,16和32方向可從更多方向上獲得紋理響應(yīng),但是可能也會獲得更多的錯誤紋理,例如當(dāng)背景區(qū)域面積大于路面區(qū)域時,此時更多方向上獲得的紋理可能均為背景區(qū)域紋理,此時反而降低算法精度,而本文僅采用四方向是由于已去除背景區(qū)域的影響,此時獲得的紋理大部分均為路面紋理,而路面紋理方向基本位于0°,45°,90°和135°方向上,因此本文僅采用四方向來獲取紋理精度上可得到滿足,效率上也大大提高。

2.2 基于背景區(qū)域的投票點(diǎn)選擇

傳統(tǒng)的選擇方法著重于投票點(diǎn)的得分?jǐn)?shù),而忽略投票點(diǎn)的位置影響,一些來自背景區(qū)域的干擾點(diǎn)也被認(rèn)為是投票點(diǎn)[14-15],這不僅大大增加了投票階段的時間成本,也嚴(yán)重地影響了消失點(diǎn)檢測的精度。因此根據(jù)求得的背景區(qū)域Ibk,本文設(shè)計(jì)了一系列投票點(diǎn)的選擇規(guī)則,如下所示:

規(guī)則1 根據(jù)(10)式可以得到每個像素的方向置信度Conf(x,y),置信度越低,表明此像素點(diǎn)的方向性越差,在各個方向上能量響應(yīng)強(qiáng)度相似,則不應(yīng)作為投票點(diǎn)

(11)

式中:Votedot(x,y)為投票點(diǎn)地圖,Conf(x,y)為像素點(diǎn)置信度,數(shù)字1表示可作為投票點(diǎn),0表示不可作為投票點(diǎn)。

規(guī)則2 由于弱紋理像素的特點(diǎn)表現(xiàn)為能量響應(yīng)值小、紋理方向性弱,若作為投票點(diǎn),則會降低檢測的精度,應(yīng)去除

(12)

式中:E(x,y)為像素點(diǎn)的能量響應(yīng);E為所有像素的能量響應(yīng)強(qiáng)度;β為比例常數(shù),文中取2.5。

規(guī)則3 投票點(diǎn)的位置也會影響最終估計(jì)精度,認(rèn)為位于背景區(qū)域下像素點(diǎn)不應(yīng)作為投票點(diǎn)

(13)

式中，(x,y)為圖像的坐標(biāo)。

本小節(jié)在投票點(diǎn)選擇上,去除了置信度低、響應(yīng)弱和背景區(qū)域干擾的投票點(diǎn),如圖3所示,相比只有規(guī)則1的投票點(diǎn)選擇方法，本文方法選擇的投票點(diǎn)數(shù)量大大減少,提高了算法計(jì)算效率,而且有效地抑制了背景噪聲點(diǎn)的干擾,提高了算法的精度。

圖3 投票點(diǎn)

2.3 紋理主方向計(jì)算

傳統(tǒng)方法認(rèn)為能量響應(yīng)最大的方向即為紋理主方向,而忽略了其余能量響應(yīng)的影響。研究表明若某個像素點(diǎn)的紋理主方向離某個響應(yīng)越近,該方向的響應(yīng)就越強(qiáng),則該方向反方向的響應(yīng)就越弱,因此將2個紋理響應(yīng)最強(qiáng)方向的反方向能量響應(yīng)視為最弱的2個方向。本文設(shè)計(jì)了一種采用最弱方向的響應(yīng)來修正主方向的估計(jì)的方法。

由于本文所采用4個方向的響應(yīng)正好兩兩垂直,在進(jìn)行幅值矯正時無需進(jìn)行重新計(jì)算,則響應(yīng)矯正為

(14)

(15)

式中:Eθ(x,y)為主能量響應(yīng);Eθx(x,y),Eθy(x,y)為矯正后的響應(yīng)在x,y軸上的分量,如圖4所示,θ(x,y)為最終的紋理主方向。

很明顯本文計(jì)算的紋理主方向,綜合考慮了其余方向能量響應(yīng)的影響，更加合理。

圖4 向量合成示意圖

2.4 候選點(diǎn)范圍確定

在候選點(diǎn)的選擇上,文獻(xiàn)[16]認(rèn)為道路圖像的整個上部分像素點(diǎn)都應(yīng)視為候選點(diǎn)。然而,根據(jù)對大量圖像真實(shí)消失點(diǎn)位置的觀察,發(fā)現(xiàn)消失點(diǎn)通常處于路面區(qū)域的上方或者處于路面區(qū)域,且基本不會處于路面區(qū)域的兩側(cè),基于這一規(guī)律,本文設(shè)計(jì)了一種結(jié)合背景區(qū)域的動態(tài)調(diào)整候選點(diǎn)搜索范圍策略。設(shè)非背景區(qū)域?yàn)槁访鎱^(qū)域Iroad

(16)

式中:數(shù)字1表示標(biāo)記成路面區(qū)域。

求取路面區(qū)域的面積,根據(jù)面積大小尋找一條直線y=y*,接著計(jì)算背景區(qū)域面積,根據(jù)面積占比尋求兩條直線x=xleft,x=xright,候選點(diǎn)應(yīng)處于3條直線圍成的區(qū)域之內(nèi),具體為

式中:Aroad為路面區(qū)域面積;H和W為圖像的長寬;τ為調(diào)節(jié)系數(shù),取0.25;Candidate(x,y)為候選點(diǎn)區(qū)域,Abk,L和Abk,R為背景區(qū)域Ibk的左右面積,如圖5所示。圖6中黑色區(qū)域的像素點(diǎn)將不作為候選點(diǎn)。

圖5 左右面積示意圖

圖6 候選點(diǎn)范圍

候選點(diǎn)確定步驟:

step1 通過(15)式獲得路面區(qū)域。

step2 計(jì)算路面區(qū)域面積,根據(jù)(16)式求得直線y=y*。

step3 計(jì)算背景區(qū)域左右區(qū)域面積Abk,L和Abk,R,根據(jù)(16)式計(jì)算直線x=xleft,x=xright。

step4 3條直線圍成的區(qū)域即為候選點(diǎn)區(qū)域,根據(jù)公式(18)求得。

結(jié)合背景區(qū)域和路面區(qū)域,自適應(yīng)調(diào)節(jié)候選點(diǎn)范圍,去除無用候選點(diǎn),提高算法的效率。

2.5 投票策略

在確定了投票點(diǎn)與候選點(diǎn)后,通過投票策略即可實(shí)現(xiàn)消失點(diǎn)的定位。文獻(xiàn)[14]提出了一種基于距離的投票策略,但是由于背景干擾引入了大量的噪聲投票點(diǎn),靠近這些噪聲投票點(diǎn)的候選點(diǎn)會得到更多的選票。

因此,本文為每個投票點(diǎn)建立一個投票區(qū)域,如圖7所示的綠色區(qū)域,投票點(diǎn)P為其區(qū)域的候選點(diǎn)進(jìn)行投票。

圖7 投票面積示意圖

投票區(qū)域確定規(guī)則:

規(guī)則1 應(yīng)該保證投票區(qū)域位于投票點(diǎn)之上。

規(guī)則3 由于II1I2與JJ1J2區(qū)域遠(yuǎn)離投票點(diǎn)P,將不作為投票區(qū)。

本文提出一種結(jié)合角度控制的投票函數(shù),具體為

Score(P,V)=

(19)

式中:d(P,V)2=((xP-xV)2+(yP-yV)2)/Ldiag,Ldiag為圖像的對角線長度,P為投票點(diǎn),V為該投票點(diǎn)確定的投票區(qū)域內(nèi)的候選點(diǎn),υ為比例常數(shù),設(shè)置為0.2。其余參數(shù):dPK=H×0.4,dPQ=H×0.55,容忍角度ε=5°。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 圖像數(shù)據(jù)集

由于不存在用于非結(jié)構(gòu)化場景中消失點(diǎn)檢測的先驗(yàn)標(biāo)準(zhǔn)數(shù)據(jù)集,所以本文構(gòu)建了消失點(diǎn)檢測數(shù)據(jù)集來檢測算法的可行性。由于該文需要采用雙目圖像,目前流行的立體圖像數(shù)據(jù)集有Middlebury與KITTK2015[17]。KITTK2015數(shù)據(jù)集包含1 000多對立體圖像,均為實(shí)際駕駛過程中拍攝的場景,挑選其中800張屬于道路場景的圖像作為實(shí)驗(yàn)數(shù)據(jù)。本文首先將所有圖像的尺寸歸一為600×200,接著為了評估算法檢測性能與人類對消失點(diǎn)位置的感知,邀請10人為其講解消失點(diǎn)概念后,手動標(biāo)注每張圖像的消失點(diǎn)的位置,作為真實(shí)的消失點(diǎn),最后給出本文算法在該數(shù)據(jù)集上一些道路場景的檢測結(jié)果,如圖8所示。

圖8 本文算法在不同道路場景的檢測結(jié)果(注:紅色星型標(biāo)記為真實(shí)消失點(diǎn)位置,紫色圓形標(biāo)記為本文算法檢測出的消失點(diǎn))

如圖8所示,本文提出的方法不管是在鄉(xiāng)鎮(zhèn)道路、城市道路和鄉(xiāng)間道路上檢測精度都很高,而且即使道路兩旁存在大量的背景干擾,本文方法都能準(zhǔn)確地檢測出消失點(diǎn)位置。

3.2 對比實(shí)驗(yàn)

為了更進(jìn)一步凸顯出本文所提方法的可靠性,將本文提出的方法與現(xiàn)有的5種算法進(jìn)行比較,分別為:Huang方法[9]、Moghada方法[7]、Ding方法[18]、Yu方法[11]和Hang方法[4]。Moghada方法被認(rèn)為是目前計(jì)算速度最快的方法;Yu方法是基于深度學(xué)習(xí)的檢測方法,具有較好的精度;Hang方法采用非線性直線擬合的方式,具有較好的效率;Ding方法采用暗通道先驗(yàn)概率來檢測消失點(diǎn),可減少光照的影響。選取不同自然條件影響的道路場景圖像,包括光照影響的道路場景、陰影影響的道路場景、復(fù)雜背景的道路場景和一些極其復(fù)雜的道路場景,來對比不同算法在不同場景下的效果,對比結(jié)果如圖9所示。

圖9 不同場景下消失點(diǎn)檢測算法比較

如圖9所示,其中紅色星型標(biāo)記為人工標(biāo)記的真實(shí)消失點(diǎn),綠色圓形標(biāo)記為本文檢測出的消失點(diǎn),黃色的圓形標(biāo)記為Huang方法,藍(lán)色圓形標(biāo)記為Moghada方法,紅色圓形標(biāo)記為Ding方法,紫色圓形標(biāo)記為Yu方法,棕色圓形標(biāo)記為Hang方法。在圖9a)中,Ding方法由于引入暗通道先驗(yàn)概率,可以很好改善光照影響,精度有所提高,但是由于背景噪聲影響,與真實(shí)消失點(diǎn)還是有些許偏差,而本文方法不受背景干擾,即使有光照影響,精度還是高于Ding方法。特別在具有復(fù)雜背景干擾下的場景,本文方法更具有優(yōu)勢,如圖9c)所示,除Yu方法以外,其余對比方法精度都很低,這是因?yàn)閅u方法采用的是基于深度學(xué)習(xí)的方法,精度上高于傳統(tǒng)的圖像處理方法,但是具有效率低下的缺點(diǎn)。而本文方法在精度上接近Yu方法,但效率上遠(yuǎn)超于Yu方法。在一些極其復(fù)雜的場景,如圖9d)所示,在綜合背景、復(fù)雜道路類型和光照等影響下,對比算法檢測的消失點(diǎn)位置均很大地偏離真實(shí)位置,而本文方的檢測結(jié)果也均能在允許偏差內(nèi),精度接近基于神經(jīng)網(wǎng)絡(luò)的方法。

為了更為直觀地評估消失點(diǎn)檢測算法的精度,使用上文中標(biāo)記的800張道路圖像,使用歸一化歐式距離來衡量檢測到消失點(diǎn)與真實(shí)消失點(diǎn)之間的差異,為

(20)

式中:(xe,ye)為算法估計(jì)出的消失點(diǎn)位置;(xt,yt)為上文提及的人工標(biāo)注的真實(shí)消失點(diǎn)位置;Ldiag為圖像的對角線長度,很明顯;eND越小,表明算法的精度越高。

從圖10可以看出,本文算法位于統(tǒng)計(jì)直方圖左部的圖像數(shù)量僅次于Yu算法,可見本文方法的精度接近于基于深度學(xué)習(xí)的檢測方法，遠(yuǎn)高于傳統(tǒng)的基于圖像處理的檢測方法。具體而言,Moghada方法表現(xiàn)最差,約有303張(37.8%)圖像的eND值大于0.1,Ding方法與Huang方法分別有223張(27.8%)和197張(24.6%)被認(rèn)為是誤差較大的圖像,而本文所提方法只有65張(8.1%)圖像被認(rèn)為具有較大誤差,接近于Yu方法的35張(4.3%)。

圖10 消失點(diǎn)檢測算法精度比較

同時給出了各種算法的平均歸一化歐氏距離誤差和平均運(yùn)行時長,如表1所示。本文所有的算法實(shí)現(xiàn)都基于Python語言,運(yùn)行平臺為Windows10 64位系統(tǒng),CPU為Intel Core i5。本文的平均誤差僅為0.041 4,基本接近基于神經(jīng)網(wǎng)絡(luò)的檢測算法,但是Yu算法的運(yùn)算時長是本文的3倍多,效率上僅低于Moghada方法,但是精度提高了30.1%。

表1 歐氏距離誤差與運(yùn)行時長

4 結(jié) 論

本文提出了一種結(jié)合立體視覺的道路消失點(diǎn)檢測方法,結(jié)合雙目視覺技術(shù),實(shí)現(xiàn)對背景區(qū)域的快速估計(jì)；在此基礎(chǔ)上提出了一系列投票點(diǎn)與候選點(diǎn)的選擇規(guī)則,以提高檢測的準(zhǔn)確性與減少計(jì)算時長；設(shè)計(jì)了一種投票策略,將在投票空間中獲得票數(shù)最高的候選點(diǎn)視為消失點(diǎn)。在KITTK數(shù)據(jù)集下選擇各種非結(jié)構(gòu)道路場景上的實(shí)驗(yàn)結(jié)果表明,與現(xiàn)有的5種方法相比,本文方法具有精度高、檢測速度快的特點(diǎn)。盡管本文的方法需要用到雙目視覺的技術(shù),對硬件的需求略高,但是可以大大地提高在非結(jié)構(gòu)道路中消失點(diǎn)檢測的準(zhǔn)確性,在無人地面車輛和移動機(jī)器人的自主導(dǎo)航應(yīng)用中具有很好的應(yīng)用前景。