閆春香 陳林昱 王玉龍 劉文如

摘 要：基于深度學(xué)習(xí)的端到端自動(dòng)駕駛有著簡(jiǎn)潔高效的優(yōu)勢(shì)，尤其在車(chē)道保持上有著良好表現(xiàn)，但是面臨路況復(fù)雜時(shí)存在極大的不穩(wěn)定性，表現(xiàn)為車(chē)輛偏離車(chē)道現(xiàn)象。針對(duì)此問(wèn)題，文章首先在虛擬環(huán)境下利用神經(jīng)網(wǎng)絡(luò)可視化方法分析了車(chē)道偏離的原因，然后在方法上將方向盤(pán)轉(zhuǎn)角序列作為神經(jīng)網(wǎng)絡(luò)輸入，同時(shí)根據(jù)車(chē)道線檢測(cè)的方法求出車(chē)輛所在車(chē)道的面積作為輔助任務(wù)。文末分析對(duì)比了文章方法和遞歸神經(jīng)網(wǎng)絡(luò)（RNN，LSTM）方法在平穩(wěn)性上的差異，最后通過(guò)虛擬實(shí)驗(yàn)和實(shí)車(chē)實(shí)驗(yàn)驗(yàn)證文章中的方法的有效性。結(jié)果表明，本文中的方法能有效改善車(chē)輛行駛平穩(wěn)性問(wèn)題，和LSTM方法相比穩(wěn)定性效果相近，但本方法操作應(yīng)用簡(jiǎn)單，節(jié)省計(jì)算資源。

關(guān)鍵詞：端到端;神經(jīng)網(wǎng)絡(luò);自動(dòng)駕駛;序列;車(chē)道線檢測(cè)

Abstract： End to end self-driving has drawn increasing attention due to its simplicity and efficiency. Especially， this approach has achieved good performance in lane following. But its safety is still a concern with existing problem like sudden lane departure under complex road conditions. In view of this problem， firstly， we analyze the example accounted for such decision making problem by visualizing attention. Secondly， advocate sequences of steering angles as the input to Convolutional Neural Network（CNN）， then， calculate the road area of the car in its lanes using lane detection as auxiliary task.Meanwhile，the contrast difference of stability is analyzed compared to the recurrent neural network in deep learning（RNN，LSTM）. Finally， the results show that this method enhances the stability closed to LSTM and computation -ally efficient verified by virtual and real vehicle test.

1 背景

車(chē)輛在行駛中面臨的環(huán)境場(chǎng)景非常龐大且復(fù)雜，自動(dòng)駕駛算法通常根據(jù)人為編寫(xiě)規(guī)則，建立一套復(fù)雜規(guī)則系統(tǒng)來(lái)應(yīng)對(duì)多變復(fù)雜的環(huán)境。相對(duì)于此，端到端自動(dòng)駕駛算法有著結(jié)構(gòu)簡(jiǎn)單、成本低廉的優(yōu)勢(shì)，用深度學(xué)習(xí)網(wǎng)絡(luò)[1]模仿人類(lèi)駕駛行為來(lái)替代復(fù)雜的規(guī)則系統(tǒng)，是近幾年的新興技術(shù)。

英偉達(dá)在2016年提出應(yīng)用CNN網(wǎng)絡(luò)，由車(chē)輛實(shí)時(shí)拍攝的圖片輸入直接映射到方向盤(pán)轉(zhuǎn)角輸出[2]，利用端到端的方式實(shí)現(xiàn)了車(chē)道保持任務(wù)。端到端的技術(shù)實(shí)際上在數(shù)十年前已經(jīng)有所應(yīng)用[11]，但是可以實(shí)現(xiàn)的功能較為單一，對(duì)于復(fù)雜場(chǎng)景難以處理。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM[3，4，5]可以存儲(chǔ)過(guò)去的部分記憶，改善CNN在時(shí)序問(wèn)題上的表現(xiàn)，在自動(dòng)駕駛上也開(kāi)始廣泛應(yīng)用。論文[3]（BDD）建立一個(gè)300小時(shí)的視頻數(shù)據(jù)集，提出了FCN+LSTM[4]方法，該網(wǎng)絡(luò)先通過(guò)全卷積網(wǎng)絡(luò)提取圖像的特征，然后通過(guò)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）將當(dāng)期的特征和之前的特征融合，共同預(yù)測(cè)車(chē)輛下一個(gè)行為動(dòng)作，比如左轉(zhuǎn)右轉(zhuǎn)直行等等，但是網(wǎng)絡(luò)輸出只包含車(chē)輛的方向盤(pán)控制，沒(méi)有對(duì)于車(chē)輛速度的控制。論文[6]把車(chē)輛周邊360度的信息進(jìn)行融合，該方法的缺點(diǎn)是需要同步多個(gè)傳感器間的信息，并且整個(gè)網(wǎng)絡(luò)計(jì)算耗時(shí)較長(zhǎng)。論文[7]用CNN和LSTM并行處理圖像輸入，兩個(gè)網(wǎng)絡(luò)分別負(fù)責(zé)獨(dú)立的任務(wù)，CNN負(fù)責(zé)預(yù)測(cè)方向盤(pán)轉(zhuǎn)角，LSTM負(fù)責(zé)預(yù)測(cè)速度，實(shí)現(xiàn)了對(duì)車(chē)輛的橫縱向控制。

除了上述加入LSTM的方法外，許多論文提出了不同的CNN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)新，比如引進(jìn)輔助任務(wù)。輔助任務(wù)是為了使網(wǎng)絡(luò)模型可以關(guān)注車(chē)輛行駛過(guò)程中人為認(rèn)為需要額外關(guān)注的要素，以此來(lái)改善自動(dòng)駕駛表現(xiàn)。通過(guò)在訓(xùn)練方法上做改變，例如把語(yǔ)義分割[3]，物體檢測(cè)[8]等作為輔助任務(wù)，這樣的多任務(wù)學(xué)習(xí)方式可以提升神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力[9，10]。輔助任務(wù)的引入，使得模型強(qiáng)化了對(duì)于指定交通場(chǎng)景特征的關(guān)注，其缺點(diǎn)是需要大量的人工來(lái)標(biāo)注場(chǎng)景元素。

經(jīng)過(guò)上述分析，在提高自動(dòng)駕駛技能方面，在CNN架構(gòu)及CNN+LSTM架構(gòu)上都有各種不同架構(gòu)及應(yīng)用，由于LSTM比CNN可解釋性差，且其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，數(shù)據(jù)處理繁瑣。對(duì)此，本文提出輔助車(chē)道線檢測(cè)的端到端自動(dòng)駕駛，最后實(shí)車(chē)上進(jìn)行了測(cè)試。

2 方法介紹

2.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

端到端自動(dòng)駕駛模型訓(xùn)練的數(shù)據(jù)集只需要采集人類(lèi)駕駛行為的數(shù)據(jù)，將原始數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)直接映射輸出駕駛控制指令數(shù)據(jù)（目標(biāo)方向盤(pán)轉(zhuǎn)角、油門(mén)、剎車(chē)）。本文首先采用CNN架構(gòu)測(cè)試了車(chē)道保持的情況。

本文利用resnet50作為基模型，通過(guò)回歸計(jì)算方式輸出預(yù)測(cè)方向盤(pán)轉(zhuǎn)角值及速度值。在行駛時(shí)預(yù)測(cè)僅使用中間攝像頭作為輸入。

在測(cè)試中發(fā)現(xiàn)，車(chē)輛在行駛過(guò)程有預(yù)測(cè)方向盤(pán)轉(zhuǎn)角值的突變導(dǎo)致駛離正常車(chē)道后現(xiàn)象，在GTAV模擬環(huán)境下重現(xiàn)該現(xiàn)象，并進(jìn)行分析，見(jiàn)2.2。

2.2 可視化

在GTAV的虛擬環(huán)境下，采用resnet50模型重現(xiàn)了車(chē)輛突然駛出路面現(xiàn)象，得出車(chē)輛沖出路面時(shí)的方向盤(pán)預(yù)測(cè)轉(zhuǎn)角和上一幀相比，出現(xiàn)較大的突變。本文對(duì)該時(shí)刻神經(jīng)網(wǎng)絡(luò)模型的關(guān)注點(diǎn)進(jìn)行了可視化分析[5，12]，具體方法如下圖2。輸入圖像3通道大小為224*224，經(jīng)過(guò)卷積層CONV1的處理后輸出64通道大小為112*112 map圖，CONV2_x到CONV5_x是帶有殘差結(jié)構(gòu)的卷積block。從最后一層逆向計(jì)算，使用平均池化的方法對(duì)輸出特征圖每個(gè)通道進(jìn)行加權(quán)并反卷積點(diǎn)乘上一層的map值，最后獲取到的結(jié)果轉(zhuǎn)化為熱力圖的形式疊加到原始圖像上。

圖3是可視化結(jié)果，a（1）是正常行駛場(chǎng)景圖，a（2）是其對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)關(guān)注點(diǎn)熱力圖，可以看出a（2）能正確的關(guān)注到車(chē)道線;b（1）是車(chē)輛沖出正常車(chē)道的場(chǎng)景圖，b（2）是對(duì)應(yīng)的關(guān)注點(diǎn)熱力圖，從可視化效果的熱力圖看，神經(jīng)網(wǎng)絡(luò)把紅框內(nèi)的木頭錯(cuò)認(rèn)為車(chē)道線。

2.3 網(wǎng)絡(luò)架構(gòu)

網(wǎng)絡(luò)設(shè)計(jì)基于數(shù)據(jù)輸入及損失函數(shù)兩個(gè)方面，將歷史數(shù)據(jù)作為輸入解決序列問(wèn)題，在損失函數(shù)上將車(chē)輛駛出車(chē)道線的情況給以懲罰。

2.3.1 方向盤(pán)轉(zhuǎn)角序列

駕駛行為是一個(gè)時(shí)間上連續(xù)的序列行為，下一時(shí)刻的車(chē)輛駕駛控制通常是基于上一次的狀態(tài)結(jié)果微調(diào)。神經(jīng)網(wǎng)絡(luò)在處理時(shí)間序列問(wèn)題上，目前多是采用CNN+LSTM的方法，但是該方法的訓(xùn)練和預(yù)測(cè)均比單獨(dú)的CNN網(wǎng)絡(luò)復(fù)雜，同時(shí)在預(yù)測(cè)時(shí)LSTM網(wǎng)絡(luò)的運(yùn)算資源消耗也較大，在序列長(zhǎng)的情況下，預(yù)測(cè)耗時(shí)較長(zhǎng)，而在序列短時(shí)雖然計(jì)算耗時(shí)較短，又難以保證效果。本文在序列行為問(wèn)題上采用歷史序列幀的狀態(tài)作為模型輸入來(lái)解決。

本文所述模型架構(gòu)如圖4所示，輸入為攝像頭拍攝的圖像，經(jīng)過(guò)CNN（Resnet50）網(wǎng)絡(luò)提取圖像特征，輸出全連接層FCi，F(xiàn)Ci層輸出為1024個(gè)神經(jīng)元。前5幀的歷史方向盤(pán)轉(zhuǎn)角值首先轉(zhuǎn)換為one-hot形式，然后與FCi連接起來(lái)構(gòu)成一維數(shù)組，經(jīng)過(guò)一次全連接變換FCs輸出的大小為256，將FCi和FCs連接，共1280個(gè)神經(jīng)元，并在后方增加三層全連接層，全連接層輸出的神經(jīng)元個(gè)數(shù)分別設(shè)定為512、256、50。根據(jù)實(shí)驗(yàn)結(jié)果，作為輸入的歷史幀數(shù)設(shè)置5幀是比較合適的選擇。

2.3.2 懲罰函數(shù)

為了降低神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)難度，在訓(xùn)練回歸預(yù)測(cè)中引入車(chē)輛偏離車(chē)道的懲罰損失函數(shù)。

首先利用已知的車(chē)道線檢測(cè)模型識(shí)別出當(dāng)前車(chē)輛所在車(chē)道線，車(chē)身左右兩邊的車(chē)道線在遠(yuǎn)方形成交叉點(diǎn)，構(gòu)成圖4中OnRoad所示的黃色區(qū)域。若無(wú)形成交叉點(diǎn)，則取車(chē)道線的線端兩個(gè)坐標(biāo)點(diǎn)，根據(jù)直接方程式y(tǒng)=kx+b構(gòu)成直線，如此，和圖像底部構(gòu)成封閉區(qū)域。在直行路面，當(dāng)前車(chē)道線所構(gòu)成的區(qū)域通常呈銳角三角形，若在道路彎曲路面，則通常呈現(xiàn)圖4虛線框內(nèi)效果圖。

其次求出黃色封閉區(qū)域在整個(gè)圖像面積中占比，見(jiàn)公式（1），w×h表示圖像寬和高，σ （i，j）表示在二值圖中非0的值。由此，當(dāng)車(chē)輛沖出正常車(chē)道時(shí)，車(chē)道面積和背景圖的重疊率幾乎為0。

最后偏離車(chē)道時(shí)的損失函數(shù)定義為lOnRoad=1-lRoad，當(dāng)lRoad值越小時(shí)說(shuō)明車(chē)輛已偏離當(dāng)前車(chē)道，反正lRoad值較大是說(shuō)明車(chē)輛在正常車(chē)道行駛。

大多的車(chē)道線輔助任務(wù)的方法是在訓(xùn)練時(shí)使得訓(xùn)練模型同時(shí)關(guān)注車(chē)道線信息，需要大量人工標(biāo)注車(chē)道線的信息。本文所述的輔助車(chē)道線檢測(cè)的方法，將車(chē)道線檢測(cè)任務(wù)和模型預(yù)測(cè)任務(wù)分開(kāi)進(jìn)行，車(chē)道線的識(shí)別方法可以使用機(jī)器視覺(jué)的方法或深度學(xué)習(xí)的方法，不需要對(duì)所有參與預(yù)測(cè)模型訓(xùn)練的大規(guī)模數(shù)據(jù)集標(biāo)注車(chē)道線，從而避免了大量人工標(biāo)注。

2.3.3 損失函數(shù)

本文的損失函數(shù)由方向盤(pán)轉(zhuǎn)角損失函數(shù)、速度損失函數(shù)和2.3.3章節(jié)所述的懲罰函數(shù)三部分構(gòu)成，見(jiàn)公式2，其中給以方向盤(pán)轉(zhuǎn)角損失函數(shù)系數(shù)配比為2。

θt表示當(dāng)前t時(shí)刻預(yù)測(cè)的方向盤(pán)角度，θlt表示t時(shí)刻的方向盤(pán)轉(zhuǎn)角真值。St表示當(dāng)前t時(shí)刻預(yù)測(cè)的速度，和方向盤(pán)轉(zhuǎn)角不同的是，速度的label是取5幀后的值，即Sl（t+5）表示t時(shí)刻向后5幀圖像對(duì)應(yīng)的速度真值，具體設(shè)定需根據(jù)本車(chē)的整體系統(tǒng)響應(yīng)周期進(jìn)行設(shè)定。

方向盤(pán)轉(zhuǎn)角和速度的預(yù)測(cè)采用均方誤差MSE損失函數(shù)作為回歸預(yù)測(cè)，見(jiàn)公式3，MSE越小表示預(yù)測(cè)值和真值越接近。

yi為訓(xùn)練時(shí)batch中第i個(gè)數(shù)據(jù)真值，yi'為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的值，在本案例中，y對(duì)應(yīng)為方向盤(pán)轉(zhuǎn)角θ和速度s。

2.3.4 模型輸入輸出

圖像輸入處理：模型輸入的圖像數(shù)據(jù)為前向3個(gè)攝像頭所采集的數(shù)據(jù)，每個(gè)攝像頭的圖像數(shù)據(jù)都是單獨(dú)作為神經(jīng)網(wǎng)絡(luò)的輸入。將它們都縮放到同樣的尺寸224x224，并按照image/127.5-1的方法歸一化預(yù)處理。

Label處理：方向盤(pán)轉(zhuǎn)角label按照steer/steermax的方式歸一為（-1，1）之間的浮點(diǎn)數(shù)，速度label按照speed/speedmax的方式處理為（0-1）之間浮點(diǎn)數(shù)。

方向盤(pán)轉(zhuǎn)角序列輸入處理：FCs處輸入的方向盤(pán)轉(zhuǎn)角值用one-hot編碼形式輸入，one-hot編碼分類(lèi)設(shè)定為200，將5個(gè)編碼值形成數(shù)組大小為1000（200*5）的一維數(shù)組。

輸出：采用均方誤差回歸預(yù)測(cè)輸出方向盤(pán)轉(zhuǎn)角值和速度值。

3 實(shí)驗(yàn)驗(yàn)證

使用廣汽GE3車(chē)型進(jìn)行實(shí)車(chē)改造，在廣州生物島進(jìn)行實(shí)車(chē)測(cè)試，多次測(cè)試結(jié)果表現(xiàn)，繞行一周（7KM），人工干預(yù)次數(shù)一般在2次以?xún)?nèi)甚至無(wú)需人工干預(yù)，干預(yù)次數(shù)表現(xiàn)基本上和CNN+LSTM方案相當(dāng)，而僅僅采用resnet50基礎(chǔ)模型測(cè)試時(shí)，很難做到無(wú)人工干預(yù)。

圖5是完全沒(méi)有參與訓(xùn)練的廣州大學(xué)城部分路段的離線測(cè)試結(jié)果，測(cè)試對(duì)象為方向盤(pán)轉(zhuǎn)角，其中藍(lán)色線是模型預(yù)測(cè)的方向盤(pán)轉(zhuǎn)角值，橙色線是測(cè)試車(chē)輛行駛實(shí)際轉(zhuǎn)角值。

圖5（a）是2.1所述的CNN結(jié)構(gòu)離線測(cè)試結(jié)果，圖中紅圈2之前的路段存在大量連環(huán)彎道，全路段有路邊停車(chē)，及來(lái)往車(chē)輛數(shù)量高于5。紅圈1、2、4、5為三岔口，由于CNN預(yù)測(cè)為離散信息，所以在三岔口有不同的表現(xiàn)，紅圈3是提前轉(zhuǎn)彎，轉(zhuǎn)彎半徑較小。圖5中（b）是cnn+SeqRoad的方法離線測(cè)試圖，整個(gè)趨勢(shì)吻合。圖5中（c）是CNN+LSTM離線測(cè)試圖，趨勢(shì)和（b）接近，但是在轉(zhuǎn)彎半徑較大的大彎處表現(xiàn)的力度有所不足，如圖（c）中所圈出的1、2、3處。

（a） cnn結(jié)構(gòu)離線圖 （b） cnn +SeqRoad結(jié)構(gòu)離線圖 （c）cnn+lstm結(jié)構(gòu)離線圖 （d）實(shí)車(chē)測(cè)試車(chē)外視角 （e）實(shí)車(chē)測(cè)試車(chē)內(nèi)視角

表2為對(duì)應(yīng)的均方根誤差對(duì)比表，同一批數(shù)據(jù)集下RMSE值越小其效果越為理想，本文方法明顯優(yōu)于單純的CNN的表現(xiàn)，而LSTM在大彎道處理表現(xiàn)轉(zhuǎn)彎力度不足。

4 結(jié)論

針對(duì)端到端自動(dòng)駕駛中可能出現(xiàn)的車(chē)輛突然偏離正常車(chē)道這種極其危險(xiǎn)的行為，本文提出了輔助車(chē)道線檢測(cè)的端到端自動(dòng)駕駛，能夠較為有效的解決上述問(wèn)題。車(chē)道線檢測(cè)輔助任務(wù)不是在訓(xùn)練中同步完成，而是作為獨(dú)立任務(wù)，避免了大量的人工標(biāo)注，省時(shí)節(jié)力。和CNN+LSTM方法相比，本方法結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練和測(cè)試迭代速度快，且測(cè)試效果較優(yōu)。目前本方法能在開(kāi)放道路的車(chē)道保持上有著較好的效果，但仍存在部分問(wèn)題需要進(jìn)一步研究，比如動(dòng)態(tài)繞障、換道并線表現(xiàn)不佳等問(wèn)題。

參考文獻(xiàn)

[1] Deep learning. Y.LeCun， Y.Bengio， and G.Hinton， 2015.

[2] End to end learning for self-driving cars. M.Bojarski， D.D.Testa，D. Dworakow ski，B.Flepp，P.Goysl，etc，2016.

[3] End-to-end learning of Driving Models from Large-scale Video Datasets.H.Xu，Y.Gao，F(xiàn).Yu，and T.Darrell，2017.

[4] Long short-term memory recurrent neural network architectures for large scale acoustic modeling. H.Sak， A.Senior， and F.Beaufays， 2014.

[5] Deep steering：Learning end-to-end driving model from spatial and temporal visual cues. L.Chi， Y.Mu，etc. 2017.

[6] End-to-End Learning of Driving Models with Surround-view Camers and Route Planners. S.Hecher， D.Dai， L.VanGool，etc. 2018.

[7] End-to-end Multi-modal multi-task Vehicle Control for self-Driving Cars with Visual Perceptions. Z.Yang， Y.Zhang， J.Yu， J.Cai， J.Luo， 2018.

[8] Object detection networks on convolutional feature maps. S.Ren， K.He， R.B.Girshick，X.Zhang，and J.Sun， 2017.

[9] Learning affordance for direct perception in autonomous driving. C.Chen， A.Seff， A.Kornhauser， and J.Xiao， 2015.

[10] Learning End-to-end Autonomous Driving using Guided Auxiliary Supervision. A. Mehta， A. Subramanian， 2018.

[11] Off-road obstacle avoidance through end-to-end learning. U.Muller， J.Ben， E.Cosatto， B.Flepp， and Y.LeCun，2006.

[12] VisualBackProp：visualizing CNNs for autonomous driving. M. Bojarski， A.Choromanska， K.Choromanski，B.Firner，etc， 2016.