隗寒冰,陳堯,賈志杰,賴鋒

(1.重慶交通大學(xué)車(chē)輛與汽車(chē)工程學(xué)院,400074,重慶;2.東風(fēng)汽車(chē)集團(tuán)有限公司技術(shù)中心,430030,武漢)

作為智能汽車(chē)環(huán)境感知的關(guān)鍵技術(shù),行人、車(chē)輛和交通標(biāo)識(shí)等目標(biāo)檢測(cè)算法已受到廣泛關(guān)注,在此基礎(chǔ)上開(kāi)發(fā)的車(chē)道偏離、前撞預(yù)警等駕駛員輔助系統(tǒng)也已得到應(yīng)用,但在道路擁堵、目標(biāo)遮擋、光照突變和陰雨天氣等復(fù)雜城市環(huán)境應(yīng)用時(shí)仍面臨嚴(yán)峻挑戰(zhàn)。

較早的行人、車(chē)輛和交通標(biāo)識(shí)檢測(cè)方法均建立在目標(biāo)輪廓特征基礎(chǔ)上,如Gavrila等將行人外形、尺寸和對(duì)稱性等輪廓信息作為先驗(yàn)知識(shí),篩選出行人待選區(qū)域后對(duì)各待選區(qū)域進(jìn)行識(shí)別[1-2];Srinivasa等利用sobel算子檢測(cè)出橫、縱向邊緣后根據(jù)尺寸等先驗(yàn)條件進(jìn)行過(guò)濾得到候選邊緣,然后經(jīng)分級(jí)過(guò)濾、直線型過(guò)濾得到最終邊緣[3];Bertozzi、Broggi等在此基礎(chǔ)上增加了邊緣對(duì)稱性判別[4-5];Estable等利用顏色、形狀、直方圖特征對(duì)候選區(qū)域交通標(biāo)識(shí)進(jìn)行檢測(cè)[6],此類方法雖檢測(cè)效率高,但受光照、陰影、遮擋等影響明顯;Bertozzi、Ouyang采用基于特征模板配準(zhǔn)方法,同樣受遮擋限制[7-8];也有研究采用基于目標(biāo)特征和分類器以解決光照等環(huán)境影響[9-10],如Gabor、邊緣對(duì)稱性、輪廓等不同特征與SVM、adaboost等分類器結(jié)合,但復(fù)雜環(huán)境下的算法準(zhǔn)確度急劇下降。

近年來(lái),基于深度學(xué)習(xí)的目標(biāo)識(shí)別算法逐漸成為研究熱點(diǎn)[11]。如Girshick采用自適應(yīng)ROI區(qū)域和R-CNN深度網(wǎng)絡(luò)進(jìn)行圖像特征提取[12],并采用SVM分類器進(jìn)行分類,不足之處是每個(gè)候選區(qū)域都需要前向卷積計(jì)算,無(wú)法滿足實(shí)時(shí)性要求;雖然Girshick隨后對(duì)此進(jìn)行了改進(jìn),但全連接層制約了圖像尺度縮放[13];為同時(shí)滿足尺度縮放及實(shí)時(shí)性要求,Ren等利用全卷積神經(jīng)網(wǎng)絡(luò)(RPN)獲取圖像候選區(qū)域,并利用離線交替訓(xùn)練得到Fast-R-CNN網(wǎng)絡(luò)識(shí)別目標(biāo)[14];Rdemon等設(shè)計(jì)的YOLO算法遵循了Google Net的設(shè)計(jì)思想,將RPN和檢測(cè)網(wǎng)絡(luò)融合以實(shí)現(xiàn)端到端的目標(biāo)識(shí)別[15-16],該網(wǎng)絡(luò)離線訓(xùn)練速度較快,但在線檢測(cè)實(shí)時(shí)性較差;Liu、Janathan等對(duì)網(wǎng)絡(luò)設(shè)計(jì)細(xì)節(jié)進(jìn)行了優(yōu)化并提出SSD方法,將YOLO的方法推廣到多尺度[17-18];為保證信息的完整性,Janathan、Paszke、Zhao等提出了基于反向卷積的上采樣方法以保護(hù)圖像邊界[18-20];Zhao還提出了一種實(shí)時(shí)性強(qiáng)的語(yǔ)義分割網(wǎng)絡(luò)(ICNet)[21],但像素級(jí)語(yǔ)義分割的訓(xùn)練數(shù)據(jù)較少,語(yǔ)義邊界難以準(zhǔn)確獲取、結(jié)果容易過(guò)擬合等問(wèn)題仍制約著其實(shí)際應(yīng)用。

為提高算法實(shí)時(shí)性,基于隨機(jī)集概率密度模型[22-23]、特征數(shù)據(jù)關(guān)聯(lián)[24-27]和運(yùn)動(dòng)信息配準(zhǔn)的多目標(biāo)跟蹤算法相繼出現(xiàn),其中楊峰采用經(jīng)典粒子濾波算法[22],Okuma等在此基礎(chǔ)上對(duì)粒子的初始化分布和相似度判別進(jìn)行了優(yōu)化[23],這一類方法在高速工況多目標(biāo)長(zhǎng)時(shí)跟蹤具有較好效果,但對(duì)于城市工況效果不佳。Andriyenko、Mallick采用了數(shù)據(jù)關(guān)聯(lián)方法將多目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為全局最優(yōu)問(wèn)題,為提升數(shù)據(jù)關(guān)聯(lián)性能引入軌跡約束[24-25];Howard等還采用了目標(biāo)特征及其組成分對(duì)關(guān)聯(lián)數(shù)據(jù)結(jié)果進(jìn)行優(yōu)化[26-27],這類方法雖然可實(shí)現(xiàn)道路擁擠時(shí)的多目標(biāo)跟蹤,但在多目標(biāo)隨機(jī)出現(xiàn)和消失時(shí)跟蹤漏警率上升。融合跟蹤、學(xué)習(xí)和檢測(cè)的TLD算法[28]將方差分類器、隨機(jī)蕨分類器和最近鄰分類器串聯(lián),然后采用光流法進(jìn)行目標(biāo)跟蹤,能有效解決單一目標(biāo)長(zhǎng)時(shí)間跟蹤問(wèn)題,但采用的隨機(jī)蕨分類器需要在線訓(xùn)練導(dǎo)致算法實(shí)時(shí)性低,計(jì)算耗時(shí)長(zhǎng)達(dá)每幀500 ms,特別是無(wú)法用于目標(biāo)突然出現(xiàn)或者消失的場(chǎng)景。

本文針對(duì)道路擁擠、目標(biāo)遮擋、光照突變等城市復(fù)雜環(huán)境下的多目標(biāo)檢測(cè)和跟蹤問(wèn)題,提出了基于網(wǎng)狀分類器與融合歷史軌跡的多目標(biāo)檢測(cè)與跟蹤算法。受TLD在線學(xué)習(xí)反饋思想啟發(fā),利用在線學(xué)習(xí)的機(jī)制對(duì)分類器進(jìn)行反饋訓(xùn)練,以滿足長(zhǎng)時(shí)間跟蹤的周?chē)h(huán)境變化需求。本文算法考慮各目標(biāo)之間的遮擋關(guān)系,采用多尺度滑動(dòng)窗口對(duì)待檢圖像進(jìn)行掃描,網(wǎng)狀分類器的檢測(cè)結(jié)果通過(guò)目標(biāo)融合器按照遮擋關(guān)系進(jìn)行融合;其次根據(jù)歷史檢測(cè)結(jié)果,通過(guò)短軌跡生成、長(zhǎng)軌跡生成和軌跡可靠性判別生成歷史軌跡庫(kù),該歷史軌跡庫(kù)用于預(yù)測(cè)和融合新的檢測(cè)結(jié)果;然后利用檢測(cè)跟蹤結(jié)果更新網(wǎng)狀分類器中的標(biāo)準(zhǔn)差分類器、最近鄰分類器和歷史軌跡庫(kù)信息;最后迭代上述步驟直至實(shí)現(xiàn)復(fù)雜環(huán)境下的多目標(biāo)長(zhǎng)時(shí)跟蹤。

1 基于網(wǎng)狀分類器的多目標(biāo)檢測(cè)

車(chē)輛、行人和交通標(biāo)識(shí)均可視為區(qū)域級(jí)剛性目標(biāo),可采用相同檢測(cè)器與不同特征結(jié)合的方法實(shí)現(xiàn)多目標(biāo)檢測(cè)。本文以Boost分類器為基礎(chǔ),設(shè)計(jì)了一種網(wǎng)狀多目標(biāo)分類器,以實(shí)現(xiàn)對(duì)圖像中行人、車(chē)輛和交通標(biāo)識(shí)的檢測(cè)。

1.1 圖像特征選取

常用于目標(biāo)檢測(cè)的圖像特征有PCA特征、LBP特征、Haar特征、HOG特征、小波特征、shift特征、紋理特征、不變矩特征等。HOG特征可用來(lái)描述局部目標(biāo)的表象和形狀,適用于行人、車(chē)輛等輪廓復(fù)雜且具有一定規(guī)律的剛性目標(biāo)。HOG特征表示如下

(1)

式中:αk(x,y)表示第k個(gè)方向?qū)?yīng)的角度值;N(k)表示邊緣梯度G(x,y)在第k個(gè)方向出現(xiàn)的次數(shù)總和;(xc,yc)表示圖像樣本中心點(diǎn)坐標(biāo),Cx(k)、Cy(k)分別為第k個(gè)方向上G(x,y)在x、y方向上分量的矢量和。

彩色直方圖特征用于描述彩色圖像色彩分布的統(tǒng)計(jì)規(guī)律,適用于交通標(biāo)識(shí)等顏色差異明顯的剛性目標(biāo)。彩色直方圖可分別用R、G、B這3個(gè)通道的直方圖進(jìn)行描述,其定義為

(2)

式中:xi、xj分別為R、G、B通道下第i和j個(gè)像素值,i,j∈(0,255);P(xi)表示R、G、B通道下像素值xi出現(xiàn)的概率;N(·)表示R、G、B各通道下相應(yīng)像素值之和。

1.2 特征概率密度優(yōu)化的Boost分類器

行人、車(chē)輛、交通標(biāo)識(shí)等剛性目標(biāo)的正樣本特征應(yīng)集中在某一范圍ζ內(nèi),可利用特征概率密度對(duì)Boost分類器初始權(quán)重進(jìn)行優(yōu)化。將正樣本任意特征列向量視為離散性隨機(jī)變量,分布在r個(gè)區(qū)間上并服從概率分布,其概率分布函數(shù)為

(3)

式中:P為各區(qū)間ζr的概率。

選取樣本分布概率ωr對(duì)Boost分類器任意特征列的初始權(quán)值Dn(f)進(jìn)行分配。對(duì)于任意特征列j,在第n次迭代時(shí)的弱分類器為

(4)

式中:Fj(fi)是特征列j上第fi個(gè)樣本取值;偏置pj取值為1或-1;tj表示特征列j在第n次迭代時(shí)的訓(xùn)練閾值。

第n次迭代時(shí)最優(yōu)偏置和閾值[29]為

(5)

式中:m表示特征列j的樣本數(shù);yi表示第i個(gè)訓(xùn)練樣本標(biāo)簽。

第n次迭代誤差函數(shù)Rn可表示為

(6)

經(jīng)過(guò)多次迭代,更新樣本權(quán)重使誤差函數(shù)Rn取極小值

(7)

式中:Zn為常數(shù)。

最終生成的強(qiáng)分類器Hf為

(8)

式中:T為最大迭代次數(shù);δn為分類器的分類誤差。

式(8)得到的強(qiáng)分類器只能在準(zhǔn)確率上滿足目標(biāo)檢測(cè)需求,而誤檢率和實(shí)時(shí)性上表現(xiàn)較差?？蓪⒍鄠€(gè)Boost分類器連接起來(lái)構(gòu)成Cascade級(jí)聯(lián)分類器,以解決單個(gè)Boost分類器誤檢率高、實(shí)時(shí)性差的問(wèn)題。Cascade分類器原理如圖1所示。

T:真;F:假圖1 Cascade分類器原理圖

Cascade分類器中每個(gè)待檢圖像只有通過(guò)當(dāng)前層強(qiáng)分類器才可進(jìn)入下層,位于Cascade起始位置的強(qiáng)分類器作用是快速過(guò)濾負(fù)樣本,降低平均檢測(cè)時(shí)間,中間層強(qiáng)和最后層分類器用于提升算法精度。如第1過(guò)濾器只過(guò)濾2個(gè)特征和50%非目標(biāo)樣本,共檢測(cè)99.8%目標(biāo)樣本,第2過(guò)濾器只過(guò)濾10個(gè)特征和50%非目標(biāo)樣本,共檢測(cè)99.8%目標(biāo)樣本,依次類推。Cascade分類器訓(xùn)練過(guò)程中的正負(fù)樣本比例取值在1∶4到1∶6之間。若比例過(guò)小,分類器會(huì)過(guò)度重視正樣本,降低負(fù)樣本權(quán)重,提高了分類器誤警率;若比例過(guò)大,分類器會(huì)過(guò)度重視負(fù)樣本,降低分類器準(zhǔn)確率。

圖2 網(wǎng)狀分類器原理示意圖

1.3 輔助分類器

將標(biāo)準(zhǔn)差分類器和最近鄰分類器設(shè)置為輔助分類器。前者用于快速過(guò)濾圖中負(fù)樣本,后者用于判別檢測(cè)結(jié)果是否為誤檢。標(biāo)準(zhǔn)差分類器可用待檢窗口標(biāo)準(zhǔn)差與訓(xùn)練正樣本集的標(biāo)準(zhǔn)差之間的差值表示。最近鄰分類器用待檢窗口特征矩陣F與正負(fù)樣本集特征矩陣S的巴氏距離s+、s-定義

(9)

(10)

式中:ω為設(shè)定閾值。

1.4 網(wǎng)狀分類器

借鑒Kalal的不同類型檢測(cè)器串聯(lián)思想[28],設(shè)計(jì)一種由標(biāo)準(zhǔn)差分類層、Cascade分類層、最近鄰分類層3層組成的網(wǎng)狀分類器。該分類器主要針對(duì)行人、后端車(chē)輛、左側(cè)車(chē)輛、右側(cè)車(chē)輛、正方形交通標(biāo)識(shí)、圓形交通標(biāo)識(shí)和三角形交通標(biāo)識(shí)等7種典型情況進(jìn)行多目標(biāo)識(shí)別,網(wǎng)狀分類器具體結(jié)構(gòu)如圖2所示。

合理假設(shè)圖像中不可能在同一位置同時(shí)出現(xiàn)不同類型的交通標(biāo)識(shí)或車(chē)輛,置信度判別模塊只選取置信度最高的一個(gè)目標(biāo)輸出?？紤]到道路擁擠時(shí)可能存在的多種目標(biāo)遮擋現(xiàn)象,網(wǎng)狀分類器利用遮擋關(guān)系判別器對(duì)多目標(biāo)輸出結(jié)果進(jìn)行判別,然后輸出檢測(cè)結(jié)果。按照目標(biāo)大小和出現(xiàn)位置,存在車(chē)輛遮擋車(chē)輛、行人遮擋車(chē)輛、交通標(biāo)識(shí)遮擋車(chē)輛、交通標(biāo)識(shí)遮擋行人和行人遮擋行人等5種遮擋關(guān)系。

1.5 多尺度滑動(dòng)窗口檢測(cè)

為提高算法實(shí)時(shí)性,根據(jù)目標(biāo)圖像的成像規(guī)律符合相機(jī)近大遠(yuǎn)小透視規(guī)律的特點(diǎn),本文提出了一種多尺度滑動(dòng)窗檢測(cè)方法。該方法的基本思想是行人、車(chē)輛只能位于地面行駛,則運(yùn)動(dòng)軌跡成像規(guī)律可用過(guò)消失點(diǎn)的直線近似表示,位于空中的交通標(biāo)識(shí)的成像規(guī)律可用直線近似表示。多尺度遍歷掃描具體過(guò)程如下:①離線標(biāo)記多組目標(biāo)矩形框,記錄各種目標(biāo)在不同中心點(diǎn)下的尺寸大小,生成中心點(diǎn)與尺寸的歷史數(shù)據(jù)圖;②滑動(dòng)窗口檢測(cè)時(shí),各待檢測(cè)目標(biāo)根據(jù)離線生成的歷史數(shù)據(jù)圖選取最佳尺寸窗口進(jìn)行檢測(cè)。掃描過(guò)程如圖3所示,其中L1、L2、L3和L4表明目標(biāo)運(yùn)動(dòng)軌跡。

2 基于歷史軌跡關(guān)聯(lián)的多目標(biāo)跟蹤

首先根據(jù)目標(biāo)在圖像中的位置、尺寸、置信度、類型和特征5個(gè)參數(shù),建立相應(yīng)的短軌跡相似度模型,并對(duì)多目標(biāo)進(jìn)行管理以將幀間目標(biāo)連接成為短軌跡;然后根據(jù)短軌跡的運(yùn)動(dòng)特性,利用速度和預(yù)測(cè)目標(biāo)重疊度建立相應(yīng)的長(zhǎng)軌跡相似度模型,并對(duì)各軌跡進(jìn)行管理,以將短軌跡連接成為長(zhǎng)軌跡;其次根據(jù)長(zhǎng)軌跡插值求出丟失目標(biāo),生成歷史軌跡信息庫(kù);最后將新檢測(cè)目標(biāo)與歷史軌跡關(guān)聯(lián)、歷史軌跡預(yù)測(cè)、歷史軌跡更新依次循環(huán),最終實(shí)現(xiàn)多目標(biāo)長(zhǎng)時(shí)跟蹤。

2.1 歷史短軌跡生成

wij=PzPsPcPgPf

(11)

式中:Pz表示位置相似度,用中心點(diǎn)坐標(biāo)距離定義;Ps表示尺寸相似度,用目標(biāo)尺寸定義;Pc表示置信度相似度,用目標(biāo)輸出置信度定義;Pf為特征矩陣相似度,用特征矩陣巴氏距離的指數(shù)定義;Pg為類型相似度,相同類型取1,不同類型則取0。

(12)

(13)

(14)

(15)

根據(jù)式(11)計(jì)算結(jié)果,可得到協(xié)相似度矩陣對(duì)于t和t+Δt時(shí)刻的所有目標(biāo)進(jìn)行管理。依次按照相似度大小對(duì)目標(biāo)依次連接,直至符合連接閾值的目標(biāo)均已連接完成,過(guò)程如圖4所示,對(duì)應(yīng)歷史短軌跡生成結(jié)果見(jiàn)表1。

圖4 歷史短軌跡生成原理

令短軌跡的起點(diǎn)為“頭”,終點(diǎn)為“尾”,“頭”和“尾”附近的點(diǎn)稱為“頭、尾相關(guān)點(diǎn)”,只有一個(gè)點(diǎn)稱為“孤立點(diǎn)”。同一軌跡起點(diǎn)的圖像幀號(hào)不大于其終點(diǎn)的圖像幀號(hào),且起點(diǎn)和終點(diǎn)僅能連接1個(gè)目標(biāo)。軌跡連接過(guò)程總是從起點(diǎn)到終點(diǎn),被連接短軌跡的起點(diǎn)必須大于連接軌跡的終點(diǎn)。

表1 歷史短軌跡生成結(jié)果

2.2 歷史長(zhǎng)軌跡生成

參考目標(biāo)點(diǎn)生成歷史短軌跡的方法,Δt時(shí)間內(nèi)所有歷史長(zhǎng)軌跡中的任意兩短軌跡之間的相似度qij可用正逆向預(yù)測(cè)速度差值、預(yù)測(cè)位置重疊度、預(yù)測(cè)目標(biāo)特征矩陣相似度來(lái)定義

qij=PvPoPf

(16)

(17)

圖5 歷史長(zhǎng)軌跡生成原理

式中:Δξ表示歷史短軌跡i的末端與歷史短軌跡j的起始之間間隔幀數(shù)。預(yù)測(cè)位置重疊度相似度Po則定義為

(18)

Pf定義同式(15)。

根據(jù)式(16)計(jì)算結(jié)果,可得到協(xié)相似度矩陣,并對(duì)Δt時(shí)間內(nèi)所有軌跡進(jìn)行管理。根據(jù)協(xié)相似度矩陣,依次按照相似度大小對(duì)軌跡及其可連接依次連接,直至符合連接閾值的軌跡均已連接完成,最后通過(guò)線性插值計(jì)算出丟失幀目標(biāo)。最終生成的歷史長(zhǎng)軌跡如圖6所示,每一條歷史長(zhǎng)軌跡均對(duì)應(yīng)于相機(jī)坐標(biāo)系下的長(zhǎng)時(shí)跟蹤目標(biāo)。如圖6中1、3、5箭頭所指軌跡為場(chǎng)景中交通標(biāo)志牌目標(biāo)跟蹤軌跡,2、4、6箭頭所指軌跡為車(chē)輛目標(biāo)跟蹤軌跡。

圖6 歷史長(zhǎng)軌跡與目標(biāo)的對(duì)應(yīng)關(guān)系

2.3 歷史長(zhǎng)軌跡可靠性驗(yàn)證

為提高長(zhǎng)軌跡生成質(zhì)量,應(yīng)對(duì)生成的長(zhǎng)軌跡進(jìn)行可靠性驗(yàn)證。其可靠度用歷史長(zhǎng)軌跡長(zhǎng)度l、檢測(cè)比例d、軌跡目標(biāo)置信度c三者定義

C=ClCdCc

(19)

式中:長(zhǎng)度置信度Cl用二值函數(shù)定義,當(dāng)歷史長(zhǎng)軌跡長(zhǎng)度l小于設(shè)定閾值時(shí)Cl取0,否則取1;檢測(cè)比例置信度Cd用歷史長(zhǎng)軌跡中檢測(cè)目標(biāo)與插值目標(biāo)的比值定義;檢測(cè)置信度用軌跡中最大幾個(gè)目標(biāo)置信度c的均值確定,若軌跡可靠度小于設(shè)定閾值,則被判定為噪聲。

2.4 長(zhǎng)時(shí)跟蹤與信息更新

將生成的歷史軌跡與在線更新相結(jié)合,通過(guò)反復(fù)迭代檢測(cè)、預(yù)測(cè)、學(xué)習(xí)、更新過(guò)程實(shí)現(xiàn)多目標(biāo)的長(zhǎng)時(shí)跟蹤,其過(guò)程如圖7所示。

圖7 歷史軌跡下的長(zhǎng)時(shí)跟蹤原理

算法對(duì)前γ幀圖像只做檢測(cè)計(jì)算,按2.1～2.3節(jié)所述生成歷史軌跡。從第γ+1幀起,執(zhí)行檢測(cè)、預(yù)測(cè)、學(xué)習(xí)、更新運(yùn)算。第γ+1幀中,若檢測(cè)器檢測(cè)結(jié)果可與歷史軌跡連接,則將檢測(cè)結(jié)果融入長(zhǎng)軌跡,同時(shí)對(duì)標(biāo)準(zhǔn)差分類器和最近鄰分類器的域值和權(quán)重值系數(shù)進(jìn)行學(xué)習(xí)和更新;若結(jié)果無(wú)法融入任何軌跡,則被視為孤立點(diǎn)。連接完成后,若第γ+1幀仍有檢測(cè)結(jié)果未能成功連接到歷史軌跡,則通過(guò)該檢測(cè)結(jié)果的當(dāng)前運(yùn)動(dòng)軌跡信息預(yù)測(cè)目標(biāo)在下一幀中所在的位置。軌跡不能無(wú)限延長(zhǎng),每隔Δγ幀歷史軌跡庫(kù)進(jìn)行一次更新,生成最近Δγ幀的歷史軌跡。如此迭代計(jì)算,直至實(shí)現(xiàn)多目標(biāo)長(zhǎng)時(shí)跟蹤。

3 道路實(shí)驗(yàn)結(jié)果與分析

3.1 城市環(huán)境下多目標(biāo)檢測(cè)跟蹤結(jié)果

為驗(yàn)證算法準(zhǔn)確性,選取涵蓋直行、十字路口轉(zhuǎn)向、校園內(nèi)部道路等多種工況的山地城市環(huán)境進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)器材選用普通USB相機(jī),分辨率為1 280像素×720像素,圖像采樣頻率25 Hz,相機(jī)安裝車(chē)內(nèi)高度1.35 m。車(chē)載工控機(jī)處理器為i5-4210 M,主頻2.60 GHz,內(nèi)存8 GB。

圖8所示為樹(shù)蔭和立交橋造成光照突變的城市道路多目標(biāo)檢測(cè)跟蹤結(jié)果。圖8中交通標(biāo)識(shí)、車(chē)輛和行人檢測(cè)與跟蹤結(jié)果均用矩形框表示。

(a)行人、標(biāo)志牌多目標(biāo)檢測(cè)跟蹤結(jié)果

(b)車(chē)輛目標(biāo)檢測(cè)跟蹤結(jié)果圖8 典型城市道路多目標(biāo)檢測(cè)跟蹤結(jié)果

圖8a中歷史軌跡段對(duì)應(yīng)的第593、697、778和830幀均為雨天城市路段密集人群下的多目標(biāo)檢測(cè)和跟蹤結(jié)果。圖8b中歷史軌跡段對(duì)應(yīng)的第2、40、190和390幀均為城市路段極其擁堵情況下的多目標(biāo)檢測(cè)和跟蹤結(jié)果?？梢钥闯?在存在遮擋的情況下,算法仍可有效實(shí)現(xiàn)多目標(biāo)的檢測(cè)和長(zhǎng)時(shí)跟蹤,最長(zhǎng)跟蹤時(shí)長(zhǎng)可達(dá)到2 min。

3.2 KITTI數(shù)據(jù)集不同算法的對(duì)比結(jié)果

(a)光照突變、成像距離變化場(chǎng)景(b)行人重疊遮擋場(chǎng)景圖9 兩種算法利用KITTI標(biāo)準(zhǔn)數(shù)據(jù)集檢測(cè)結(jié)果的對(duì)比

為對(duì)算法性能進(jìn)行客觀評(píng)價(jià),利用公開(kāi)數(shù)據(jù)庫(kù)KITTI提供的不同算法目標(biāo)檢測(cè)結(jié)果進(jìn)行對(duì)比,見(jiàn)表2?？梢钥闯?基于單一分類器的傳統(tǒng)檢測(cè)算法如LSVM等的準(zhǔn)確率均在50%～58%范圍,誤檢率較高,其原因是對(duì)于城市道路中較多出現(xiàn)的車(chē)輛、行人目標(biāo)檢測(cè),基于特征識(shí)別和單一分類器的傳統(tǒng)方法容易受到環(huán)境因素干擾。在深度學(xué)習(xí)網(wǎng)絡(luò)基礎(chǔ)上開(kāi)發(fā)的iDST-VC、RV-CNN等算法雖然準(zhǔn)確率均超過(guò)了90%,但這些算法為了提高準(zhǔn)確性均采用了較深的網(wǎng)絡(luò)結(jié)構(gòu),對(duì)硬件資源的要求苛刻,在使用GPU計(jì)算的前提下計(jì)算速度僅為4 s/幀,顯然無(wú)法應(yīng)用于智能車(chē)實(shí)際道路環(huán)境感知。本文算法的平均準(zhǔn)確率在77.17%～81.32%之間,雖然低于深度學(xué)習(xí)算法,但相對(duì)于LSVM等傳統(tǒng)算法有明顯提升。更為重要的是,該算法在未采用GPU硬件加速下的平均單幀時(shí)間僅為0.05 s,說(shuō)明該算法在實(shí)時(shí)性和準(zhǔn)確性之間取得較好的平衡,能夠滿足車(chē)載嵌入式處理器上的實(shí)時(shí)應(yīng)用要求。

表2 不同算法的性能對(duì)比結(jié)果

圖9給出了本文算法與同樣采用傳統(tǒng)特征識(shí)別和分類器的LSVM-MDPM-us算法的比較結(jié)果。場(chǎng)景涵蓋了城市工況經(jīng)常遇到的車(chē)輛和行人密集、目標(biāo)交錯(cuò)重疊、陰影干擾和光線突變等情況。圖9a為各種光照突變和成像距離變化等條件下的算法對(duì)比結(jié)果,圖9b為場(chǎng)景中出現(xiàn)多個(gè)重疊行人目標(biāo)的檢測(cè)結(jié)果,圖中黑色矩形框表示LSVM-MDPM-us算法檢測(cè)結(jié)果,白色矩形框表示多目標(biāo)檢測(cè)跟蹤算法結(jié)果?？梢钥闯?在各場(chǎng)景下本文算法均可有效實(shí)現(xiàn)多目標(biāo)長(zhǎng)時(shí)檢測(cè)跟蹤,而LSVM-MDPM-us算法明顯準(zhǔn)確率較低,均未檢測(cè)或跟蹤到多個(gè)目標(biāo)。

4 結(jié) 論

目標(biāo)重疊、陰影干擾和光線突變等復(fù)雜城市工況下,智能車(chē)輛多目標(biāo)檢測(cè)和跟蹤準(zhǔn)確率下降,是制約其實(shí)際應(yīng)用的最大挑戰(zhàn)。受TLD多目標(biāo)檢測(cè)跟蹤算法啟發(fā),本文提出了一種基于網(wǎng)狀分類器與融合歷史軌跡的多目標(biāo)檢測(cè)與跟蹤算法。根據(jù)網(wǎng)狀分類器檢測(cè)結(jié)果,通過(guò)短軌跡生成、長(zhǎng)軌跡生成和軌跡可靠性判別生成歷史軌跡庫(kù);然后利用檢測(cè)跟蹤結(jié)果對(duì)網(wǎng)狀分類器中的標(biāo)準(zhǔn)差分類器、最近鄰分類器和歷史軌跡信息進(jìn)行更新,直至實(shí)現(xiàn)多目標(biāo)長(zhǎng)時(shí)跟蹤。實(shí)車(chē)實(shí)驗(yàn)結(jié)果表明,該算法在目標(biāo)遮擋、光照突變等復(fù)雜城市環(huán)境下均可實(shí)現(xiàn)多目標(biāo)長(zhǎng)時(shí)間檢測(cè)跟蹤。KITTI樣本平均準(zhǔn)確率在77.17%～81.32%之間,單幀圖像平均耗時(shí)0.05 s,具有較好的實(shí)時(shí)應(yīng)用前景。