郭景華,肖寶平,王靖瑤,羅禹貢,陳 濤,李克強(qiáng)
(1.廈門大學(xué)航空航天學(xué)院,廈門 361005;2.清華大學(xué),汽車安全與節(jié)能國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100084;3.中國(guó)汽車工程研究院股份有限公司,重慶 401122)
據(jù)統(tǒng)計(jì)有90%以上的交通事故都是由于人為操作失誤造成的,其中有18%的交通事故發(fā)生在換道的過程中[1],且在未來的很長(zhǎng)一段時(shí)期內(nèi),自動(dòng)駕駛車輛將長(zhǎng)期在人工駕駛車輛與自動(dòng)駕駛車輛混合的環(huán)境下運(yùn)行。針對(duì)實(shí)際交通環(huán)境的復(fù)雜性和人工駕駛風(fēng)格的多變性,預(yù)測(cè)車輛的切入意圖有利于自動(dòng)駕駛車輛理解周圍的復(fù)雜交通場(chǎng)景,可以提高自動(dòng)駕駛車輛的決策能力和安全性能。
目前針對(duì)換道意圖預(yù)測(cè)已有不少研究。尤其從機(jī)器學(xué)習(xí)的角度研究換道意圖預(yù)測(cè)越來越受關(guān)注[2]。文獻(xiàn)[3]中提出一種基于Bayesian Networks的駕駛行為預(yù)測(cè)方法,包括車輛切入在內(nèi)的27種駕駛行為預(yù)測(cè)。文獻(xiàn)[4]中采用Binary Logistic Regres?sion的方法建立車輛換道模型,并進(jìn)一步分析了影響車輛換道的因素。文獻(xiàn)[5]中采用HMM和SVM級(jí)聯(lián)的算法對(duì)駕駛意圖進(jìn)行辨識(shí),結(jié)合HMM和SVM算法的優(yōu)勢(shì),提高了駕駛意圖識(shí)別率。文獻(xiàn)[6]中設(shè)計(jì)并訓(xùn)練了PSO算法優(yōu)化的BP Neural Net?works換道模型,以識(shí)別駕駛員意圖。然而傳統(tǒng)機(jī)器學(xué)習(xí)沒有充分利用駕駛數(shù)據(jù),且在長(zhǎng)時(shí)域范圍內(nèi)的預(yù)測(cè)精度低,難以有效預(yù)測(cè)目標(biāo)車輛的換道意圖。
隨著計(jì)算機(jī)計(jì)算能力的提升和大數(shù)據(jù)技術(shù)的發(fā)展,深度學(xué)習(xí)網(wǎng)絡(luò)取得了突破性進(jìn)展。深度學(xué)習(xí)網(wǎng)絡(luò)在換道行為模型的構(gòu)建精度上高于傳統(tǒng)機(jī)器學(xué)習(xí)[7],且深度學(xué)習(xí)能更靈活和準(zhǔn)確地描述人類復(fù)雜的駕駛行為[8]。文獻(xiàn)[9]中建立LSTM預(yù)測(cè)模型,并根據(jù)自車位置、速度和航向信息來預(yù)測(cè)交叉路口的駕駛員意圖。但以上研究主要集中在針對(duì)自車的狀態(tài)來預(yù)測(cè)自車的換道行為,而沒有考慮車輛間交互信息來預(yù)測(cè)周圍車輛的換道意圖。
據(jù)此本文中提出了基于Residual BiLSTM網(wǎng)絡(luò)的車輛切入意圖預(yù)測(cè)模型。首先,通過濾波器平滑自然駕駛數(shù)據(jù)集,并使用滑動(dòng)窗口的方法提取車輛軌跡序列,以構(gòu)建模型訓(xùn)練樣本庫(kù)。接著,在考慮車輛間的交互信息基礎(chǔ)上提出Residual BiLSTM車輛切入意圖預(yù)測(cè)模型。最后,在測(cè)試集上對(duì)模型的預(yù)測(cè)性能進(jìn)行測(cè)試,并與LSTM模型相對(duì)比,驗(yàn)證了所提出的車輛切入意圖預(yù)測(cè)模型的有效性。
采用“中國(guó)汽研自然駕駛數(shù)據(jù)研究(CAERI?NDS)”項(xiàng)目采集的自然駕駛數(shù)據(jù),試驗(yàn)車配備攝像頭、毫米波雷達(dá)和GPS等傳感器[10]。試驗(yàn)車采集自車與周圍車輛的運(yùn)動(dòng)狀態(tài)信息,采樣頻率為25 Hz,視覺模塊實(shí)現(xiàn)車道線檢測(cè)、周圍車輛檢測(cè)分類、紅綠燈檢測(cè)和標(biāo)志牌檢測(cè)等功能,毫米波雷達(dá)模塊采集周圍車輛的方向角、相對(duì)位置信息、相對(duì)速度和相對(duì)加速度等信息,GPS模塊采集自車的全球定位信息,而自車的運(yùn)動(dòng)狀態(tài)信息由車輛底盤傳感器獲得。針對(duì)我國(guó)的道路復(fù)雜多樣,試驗(yàn)車分別在高速、城市、鄉(xiāng)村等路段采集數(shù)據(jù),采集路段如圖1所示。
本文中所研究的車輛切入意圖預(yù)測(cè)是一種多分類問題,典型的車輛切入意圖如圖2所示,包括左車道保持、左車道插入、右車道插入和右車道保持4類切入意圖。從自然駕駛數(shù)據(jù)篩選出車輛切入片段的數(shù)據(jù),同時(shí)過濾掉切入異常的片段,例如車道線不清晰、光線不足、數(shù)據(jù)缺失等異常片段,最后篩選出2 523條車輛切入軌跡數(shù)據(jù)。
自然駕駛數(shù)據(jù)集的軌跡數(shù)據(jù)存在一定的噪聲,因此這些數(shù)據(jù)不能直接使用。本文中采用Savitzky?Golay濾波器對(duì)其進(jìn)行平滑處理,具體步驟如下。
在原始數(shù)據(jù)x附近取M個(gè)采樣點(diǎn),并在x周圍構(gòu)建一個(gè)2M+1個(gè)采樣點(diǎn)的窗口來擬合i階多項(xiàng)式Y(jié)n,即
其中-M≤n≤M,i≤2M+1。
擬合誤差E為
通過最小化擬合誤差E來獲得更好的擬合效果,所以令E對(duì)ar的偏導(dǎo)為0,即
則
其中r=0,1,…,i,求得ak即可確定擬合多項(xiàng)式Y(jié)n,完成對(duì)數(shù)據(jù)的平滑擬合。
Savitzky?Golay濾波器的多項(xiàng)式階數(shù)i設(shè)為4,M設(shè)為10,其中車輛速度和加速度的平滑效果如圖3所示。
圖3 數(shù)據(jù)平滑效果
根據(jù)車輛橫向位移曲線的曲率確定車輛切入開始和結(jié)束時(shí)間點(diǎn)[11],并對(duì)數(shù)據(jù)標(biāo)注相應(yīng)的標(biāo)簽,左車道保持標(biāo)注為0、左車道插入標(biāo)注為1、右車道插入標(biāo)注為2和右車道保持標(biāo)注為3。數(shù)據(jù)集中每輛車的軌跡數(shù)據(jù)是連續(xù)的,采用固定長(zhǎng)度的滑動(dòng)窗口去分割時(shí)序數(shù)據(jù),以更好地利用數(shù)據(jù)和提取特征。如圖4所示,設(shè)定滑動(dòng)窗口的大小1.92 s,滑動(dòng)步長(zhǎng)為0.96 s,即50%的重疊率,并將滑動(dòng)窗口的最后一個(gè)時(shí)刻點(diǎn)的標(biāo)簽標(biāo)記為此序列的標(biāo)簽,圖中的實(shí)線滑動(dòng)窗口正處于右車道保持的位置,而虛線滑動(dòng)窗口處于右車道插入的位置。基于以上方法,從切入軌跡數(shù)據(jù)中篩選出樣本序列總數(shù)為48 140,其中左車道保持13 404個(gè)序列、左車道插入2 584個(gè)序列、右車道插入5 620個(gè)序列和右車道保持26 532個(gè)序列。由于篩選出的各類數(shù)據(jù)不平衡,從而會(huì)產(chǎn)生過擬合的問題[12],所以各類數(shù)據(jù)統(tǒng)一選取2 584個(gè)序列,并將其中的80%作為訓(xùn)練集,20%作為測(cè)試集來測(cè)試預(yù)測(cè)性能。
圖4 滑動(dòng)窗口分割過程
選取切入車輛的橫向坐標(biāo)、橫向速度、加速度、方向角和方向角速度作為切入車輛的基本輸入特征。車輛間的交互作用是影響車輛切入意圖的因素之一[13]。模型輸入也考慮切入車輛與自車的相對(duì)位置和相對(duì)速度關(guān)系。模型輸入包括切入車輛的運(yùn)動(dòng)狀態(tài)信息及與自車的相對(duì)運(yùn)動(dòng)狀態(tài)信息:
其中
式中:th為輸入的歷史序列長(zhǎng)度,所設(shè)時(shí)間步長(zhǎng)為1.92 s;S t為切入車輛的運(yùn)動(dòng)狀態(tài)信息;M t為切入車輛和自車的相對(duì)運(yùn)動(dòng)狀態(tài)信息。
式中:yt為切入車輛的橫向坐標(biāo);為切入車輛的橫向速度;at為切入車輛的加速度;θt為切入車輛的方向角;θt為切入車輛的方向角速度;Δxt、Δyt和 Δvt分別代表切入車輛與自車的縱向相對(duì)距離、橫向相對(duì)距離和相對(duì)速度。
LSTM(long short?term memory)是一種特殊的RNN結(jié)構(gòu),車輛切入意圖預(yù)測(cè)屬于軌跡時(shí)序問題,LSTM網(wǎng)絡(luò)非常適合處理這種時(shí)序數(shù)據(jù)的預(yù)測(cè)分類問題。如圖5所示,LSTM單元由輸入門i t、輸出門o t和遺忘門f t組成,分別實(shí)現(xiàn)對(duì)信息的寫、讀和重置作用。
圖5 LSTM單元結(jié)構(gòu)圖
為更深入理解門的作用,顯示如何通過上一時(shí)刻的輸出h t-1來計(jì)算當(dāng)前時(shí)刻的輸出h t,其具體的公式定義如下:
式中:e t為t時(shí)刻的輸入;W和b分別為權(quán)重和偏置項(xiàng);g t為t時(shí)刻的候選單元狀態(tài);c t和c t-1分別為t時(shí)刻和t-1時(shí)刻的單元狀態(tài)。
LSTM車輛切入意圖預(yù)測(cè)模型如圖6所示,它由時(shí)間序列輸入層、切入意圖預(yù)測(cè)層和意圖概率輸出層3部分組成,將切入車輛及與自車的交互時(shí)間序列E作為模型輸入,利用堆疊LSTM結(jié)構(gòu)預(yù)測(cè)分類的結(jié)果,并通過softmax層將分類結(jié)果轉(zhuǎn)變?yōu)楦怕史植?,最后輸出車輛切入意圖的概率,以最大的類別輸出概率作為預(yù)測(cè)的類別。最終采用的LSTM模型由3層LSTM堆疊,各層間Dropout率為0.75,每層隱藏單元個(gè)數(shù)為32,采用Adam優(yōu)化器,學(xué)習(xí)率0.000 7。LSTM預(yù)測(cè)模型的公式為
圖6 LSTM車輛切入意圖預(yù)測(cè)模型
式中:LSTM函數(shù)代表LSTM單元的所有計(jì)算;Y為模型輸出;P i(i=0,1,2,3)分別為左車道保持、左車道插入、右車道插入和右車道保持的意圖概率。
BiLSTM網(wǎng)絡(luò)是在LSTM網(wǎng)絡(luò)的基礎(chǔ)上添加另一反向LSTM層,可以進(jìn)一步處理反向信息,即由前向fw LSTM和后向bw LSTM結(jié)構(gòu)組成。BiLSTM網(wǎng)絡(luò)的雙向特性,不僅能更好地改善長(zhǎng)期依賴問題,且增加神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)量,提高了預(yù)測(cè)精度[14]。BiLSTM車輛切入意圖預(yù)測(cè)模型如圖7所示,也是由3部分組成,與LSTM預(yù)測(cè)模型不同的是在切入意圖預(yù)測(cè)層中加入反向的LSTM單元,并將正、反向LSTM單元最終的輸出拼接(concat)起來。
圖7 BiLSTM車輛切入意圖預(yù)測(cè)模型
然而,深層的BiLSTM預(yù)測(cè)模型易出現(xiàn)優(yōu)化瓶頸和梯度消失的問題,導(dǎo)致不能有效地提高預(yù)測(cè)精度[15]。深度殘差網(wǎng)絡(luò)(residual network)的殘差連接很好地解決這些問題,因此文中進(jìn)一步設(shè)計(jì)了Residual BiLSTM車輛切入意圖預(yù)測(cè)模型,如圖8所示。在BiLSTM預(yù)測(cè)模型中加入Residual連接,并將BiLSTM層的輸入和輸出連接起來。最終采用的Residual BiLSTM模型由3層Residual BiLSTM堆疊組成,Dropout率為0.75,每層隱藏單元數(shù)為32,采用Adam優(yōu)化器,學(xué)習(xí)率為0.000 7。Residual BiLSTM預(yù)測(cè)模型的公式為
圖8 Residual BiLSTM車輛切入意圖預(yù)測(cè)模型
為測(cè)試所提出的車輛切入意圖預(yù)測(cè)模型的性能,本文對(duì)比LSTM和Residual BiLSTM兩種模型在測(cè)試集上的各個(gè)性能,并分析車輛切入的案例。
將訓(xùn)練好的兩種切入意圖預(yù)測(cè)模型分別對(duì)測(cè)試集的517個(gè)序列進(jìn)行預(yù)測(cè)。采用混淆矩陣圖來分析模型預(yù)測(cè)結(jié)果,混淆矩陣的橫坐標(biāo)為預(yù)測(cè)意圖,縱坐標(biāo)為真實(shí)意圖,如圖9所示。由圖9可知,LSTM模型不能很好地區(qū)分車道保持和插入的序列,而Residual BiLSTM模型改善了很多,在4種切入意圖的預(yù)測(cè)效果優(yōu)于LSTM模型。
圖9 混淆矩陣
LSTM和Residual BiLSTM的意圖識(shí)別評(píng)價(jià)指標(biāo)如表1和表2所示??梢钥吹絃STM模型的準(zhǔn)確率為85.2%,而Residual BiLSTM模型的準(zhǔn)確率為93.4%,準(zhǔn)確率提高了8.2個(gè)百分點(diǎn),且在精確率、召回率和F1?分?jǐn)?shù)都達(dá)到89.7%以上,可知所提出的Residual BiLSTM模型有較好的意圖預(yù)測(cè)能力。
表1 LSTM意圖識(shí)別評(píng)價(jià)指標(biāo) %
表2 Residual BiLSTM意圖識(shí)別評(píng)價(jià)指標(biāo) %
接收器工作特性(receiver operating characteris?tic,ROC)曲線和ROC曲線下面積(area under ROC curve,AUC)廣泛應(yīng)用于分類性能評(píng)價(jià)[16],本文中使用ROC曲線和AUC進(jìn)一步評(píng)價(jià)LSTM模型和Resi?dual BiLSTM模型的整體預(yù)測(cè)性能,如圖10所示。ROC曲線越靠近左上角,假正例率越小,真正例率越大,即AUC值越大,則模型的平均預(yù)測(cè)性能就越好。從圖10可以看出,LSTM和Residual BiLSTM的左車道保持、左車道插入、右車道插入和右車道保持的AUC分別為[0.973,0.977,0.966,0964]、[0.992,0.995,0.976,0.972]。從而可以得出,Residual BiL?STM模型各類切入意圖預(yù)測(cè)上的預(yù)測(cè)效果顯著優(yōu)于LSTM模型。
圖10 ROC曲線
定義車輛切入時(shí)間(time to cut?in,TTC)是車輛從當(dāng)前位置到達(dá)車道線的時(shí)間間隔。越早預(yù)測(cè)出車輛切入意圖就越有利于車輛的決策。圖11示出基于Residual BiLSTM的車輛切入案例,模型預(yù)測(cè)到周圍4輛車的切入意圖。從圖11(a)中可以看到,當(dāng)TTC=2.8 s時(shí)預(yù)測(cè)模型已經(jīng)預(yù)測(cè)到車輛1的切入意圖,切入概率為22.19%,而車輛2正完成切入過程,其他2輛車保持當(dāng)前車道行駛,說明預(yù)測(cè)模型能較早地預(yù)測(cè)出車輛的切入意圖。隨著車輛1駛向車道線,車輛1的切入概率逐漸提高。圖11(b)中,當(dāng)TTC=1.96 s預(yù)測(cè)車輛切入概率達(dá)96.99%,而圖11(c)中,當(dāng)TTC=0.2 s時(shí)車輛1切入概率高達(dá)99.99%,說明預(yù)測(cè)模型能準(zhǔn)確預(yù)測(cè)出車輛的切入意圖。
圖11 Residual BiLSTM車輛切入案例
提出Residual BiLSTM車輛切入意圖預(yù)測(cè)模型,綜合考慮了影響車輛切入的因素,模型采用的雙向結(jié)構(gòu)能更好地提取車輛軌跡序列的特征,Residual連接有效地改善梯度消失的問題,從而提高了模型的訓(xùn)練精度。最后在真實(shí)的自然駕駛數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。試驗(yàn)結(jié)果表明,所提出的Residual BiLSTM車輛切入意圖預(yù)測(cè)模型有效提高了網(wǎng)絡(luò)的預(yù)測(cè)能力,預(yù)測(cè)準(zhǔn)確率高達(dá)93.4%,且能較早預(yù)測(cè)出車輛切入意圖,提高車輛的感知能力和安全性能,進(jìn)一步為自動(dòng)駕駛車輛提供良好的決策基礎(chǔ)。