摘 要：隨著人工智能和深度學(xué)習(xí)的快速發(fā)展，確保在復(fù)雜的現(xiàn)實(shí)環(huán)境中無(wú)縫、安全地導(dǎo)航是目前自動(dòng)駕駛面臨的主要問(wèn)題。面對(duì)多變的交通環(huán)境，這是將復(fù)雜的數(shù)學(xué)公式轉(zhuǎn)化為精確的物理步驟。文章的目標(biāo)是通過(guò)在真實(shí)模擬中開(kāi)發(fā)和測(cè)試復(fù)雜的控制系統(tǒng)和深度學(xué)習(xí)技術(shù)，提高自動(dòng)駕駛汽車(chē)在各種駕駛場(chǎng)景下的安全性和有效性。這項(xiàng)研究涉及AirSim模擬器的使用，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)獨(dú)立駕駛汽車(chē)。該研究首先使用AirSim利用虛幻引擎中可用的環(huán)境，并利用神經(jīng)網(wǎng)絡(luò)操縱汽車(chē)訓(xùn)練它。第二部分在此基礎(chǔ)上研究了數(shù)據(jù)源選擇對(duì)神經(jīng)網(wǎng)絡(luò)性能的影響。比例-積分-微分（PID）控制器和模型預(yù)測(cè)控制（MPC）用于收集數(shù)據(jù)并在其上訓(xùn)練設(shè)計(jì)的模型。該報(bào)告還探討了遇到的困難，例如模型選擇和作為性能指標(biāo)的均方誤差的限制，為未來(lái)在真實(shí)世界應(yīng)用和更復(fù)雜的控制場(chǎng)景中的研究奠定了基礎(chǔ)。本研究中將使用MPC和PID控制器收集數(shù)據(jù)的結(jié)果，然后將經(jīng)過(guò)訓(xùn)練的模型應(yīng)用于該數(shù)據(jù)集。通過(guò)驗(yàn)證數(shù)據(jù)集的圖像輸出輸出，以測(cè)試該模型在自動(dòng)駕駛測(cè)試中的泛化能力。

關(guān)鍵詞：AirSim 深度學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò) PID MPC

1 引言

車(chē)輛自主駕駛是近年來(lái)人工智能技術(shù)在交通領(lǐng)域的一大突破。傳統(tǒng)的車(chē)輛自主駕駛方法通常涉及多個(gè)模塊和復(fù)雜的算法流程，包括感知、決策和控制等。限制了系統(tǒng)的整體性能和魯棒性。而端到端深度學(xué)習(xí)方法通過(guò)直接從原始輸入到最終控制輸出的一體化學(xué)習(xí)，為實(shí)現(xiàn)車(chē)輛自主駕駛提供了一種新的思路。

端到端深度學(xué)習(xí)將這些模塊整合為一個(gè)神經(jīng)網(wǎng)絡(luò)模型，極大簡(jiǎn)化了系統(tǒng)復(fù)雜度，提高了自動(dòng)駕駛系統(tǒng)的性能。在將機(jī)器學(xué)習(xí)納入自動(dòng)駕駛汽車(chē)模擬方面取得了重大進(jìn)展，尤其是在使用微軟的AirSim模擬器時(shí)。這項(xiàng)研究為訓(xùn)練自主駕駛神經(jīng)網(wǎng)絡(luò)提供了新的思路和方法。為了測(cè)試和開(kāi)發(fā)自動(dòng)駕駛算法，AirSim是一個(gè)開(kāi)源模擬器，運(yùn)行在虛幻引擎4等游戲引擎之上。它具有深度地圖、語(yǔ)義分割數(shù)據(jù)、Lidar和現(xiàn)實(shí)城市布局等功能，是深入研究自動(dòng)駕駛汽車(chē)的完美平臺(tái)。

2 相關(guān)工作

在傳統(tǒng)機(jī)器學(xué)習(xí)中，處理數(shù)據(jù)和生成輸出涉及多個(gè)步驟，須每個(gè)模塊獨(dú)立訓(xùn)練和優(yōu)化。深度學(xué)習(xí)則通過(guò)單一框架簡(jiǎn)化此過(guò)程，直接將攝像頭圖像映射為方向盤(pán)角度或油門(mén)剎車(chē)控制。

在基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)駕駛汽車(chē)模型預(yù)測(cè)控制的研究中，自動(dòng)駕駛汽車(chē)管理中模型預(yù)測(cè)控制（MPC）的應(yīng)用是一個(gè)核心議題。Vianna通過(guò)用神經(jīng)網(wǎng)絡(luò)替代傳統(tǒng)MPC，研究了基于學(xué)習(xí)的控制器的潛力。他們的方法特別值得注意，因?yàn)樗瑫r(shí)探索了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)（RL）技術(shù)，其中模仿學(xué)習(xí)被用來(lái)復(fù)制MPC和PID控制器的行為。

Kuutti在2019年的研究全面概述了深度學(xué)習(xí)在自動(dòng)駕駛汽車(chē)控制領(lǐng)域的應(yīng)用。這項(xiàng)調(diào)查研究了自主車(chē)輛控制器設(shè)計(jì)中的挑戰(zhàn)和發(fā)展。庫(kù)蒂著重于研究在動(dòng)態(tài)環(huán)境中使用深度學(xué)習(xí)進(jìn)行挑戰(zhàn)性控制任務(wù)時(shí)。我們的研究主要關(guān)注混合控制系統(tǒng)的實(shí)際實(shí)施和優(yōu)化，該系統(tǒng)融合了深度學(xué)習(xí)和傳統(tǒng)控制系統(tǒng)的優(yōu)點(diǎn)。

3 研究方法與實(shí)現(xiàn)

自動(dòng)駕駛隨著端到端深度學(xué)習(xí)的算力的不斷增加中得到了前所未有的發(fā)展。為了達(dá)到L4級(jí)或L5級(jí)的自動(dòng)駕駛水平，汽車(chē)需要對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練，如果沒(méi)有虛擬仿真測(cè)試環(huán)境，自動(dòng)駕駛決策的有效性將不能得到測(cè)試與驗(yàn)證。有了像AirSim這樣的逼真的虛擬現(xiàn)實(shí)仿真平臺(tái)，可以不需要使用真正的汽車(chē)進(jìn)行道路行駛，而是可以通過(guò)逼真的仿真環(huán)境可以收集大量的仿真數(shù)據(jù)來(lái)訓(xùn)練自動(dòng)駕駛模型。

3.1 AirSim平臺(tái)

AirSim是一種基于虛幻引擎開(kāi)發(fā)的適用于無(wú)人機(jī)和自動(dòng)駕駛系統(tǒng)的仿真平臺(tái)。選擇AirSim平臺(tái)作為研究工具，能夠提供真實(shí)的環(huán)境仿真和車(chē)輛動(dòng)力學(xué)模擬功能。

3.2 虛擬仿真環(huán)境搭建

下載和安裝一個(gè)開(kāi)源的、跨平臺(tái)的無(wú)人機(jī)和自動(dòng)駕駛車(chē)輛仿真平臺(tái)AirSim并根據(jù)AirSim的文檔進(jìn)行環(huán)境配置，包括安裝所需的依賴(lài)項(xiàng)、設(shè)置路徑等。確保AirSim能夠正常運(yùn)行。

3.3 數(shù)據(jù)采集與處理

數(shù)據(jù)的采集與處理為我們提供了用于訓(xùn)練和評(píng)估模型的有用信息。在仿真環(huán)境中使用相機(jī)傳感器來(lái)采集車(chē)輛周?chē)h(huán)境的數(shù)據(jù)。通過(guò)AirSim平臺(tái)提供的API接口，可以實(shí)現(xiàn)了數(shù)據(jù)的采集和處理流程。

本研究中只使用汽車(chē)上的一個(gè)前置攝像頭作為視覺(jué)輸入，訓(xùn)練一個(gè)模型.通過(guò)對(duì)前置攝像頭獲取圖像進(jìn)行數(shù)據(jù)處理和分析，通過(guò)攝像頭采集的圖像內(nèi)容設(shè)定汽車(chē)的當(dāng)前狀態(tài)參數(shù)（速度、轉(zhuǎn)向角、油門(mén)等）。

通過(guò)對(duì)采集數(shù)據(jù)集的分析，可以看出，單幀輸入的圖像是一個(gè)250×150像素圖像，在自動(dòng)駕駛中，注意力機(jī)制可以幫助模型專(zhuān)注于道路、行人、交通標(biāo)志等關(guān)鍵對(duì)象。

對(duì)于以上讀取的圖像，為減少訓(xùn)練時(shí)間和訓(xùn)練模型所需的數(shù)據(jù)量，提取此圖像的下半部分。同時(shí)可以防止模型因關(guān)注環(huán)境中不相關(guān)的特征（如山、樹(shù)等）而導(dǎo)致深度學(xué)習(xí)的效果較差。

3.4 數(shù)據(jù)集分析

本研究在AirSim平臺(tái)中利用車(chē)載傳感器數(shù)據(jù)來(lái)表征車(chē)輛及其周邊環(huán)境的狀態(tài)信息。數(shù)據(jù)集分為normal和swerve兩種駕駛風(fēng)格。

相比之下，急轉(zhuǎn)彎駕駛策略則導(dǎo)致車(chē)輛在道路上行進(jìn)時(shí)呈現(xiàn)出顯著的左右擺動(dòng)。這一現(xiàn)象凸顯了在訓(xùn)練深度學(xué)習(xí)模型時(shí)需考慮的一個(gè)重要因素。

3.5 訓(xùn)練模型

在處理圖像數(shù)據(jù)時(shí)，將整個(gè)數(shù)據(jù)集載入內(nèi)存的代價(jià)極高。Keras引入了DataGenerator的概念，這是一種迭代器，能夠從磁盤(pán)分塊讀取數(shù)據(jù)。這種方法能有效地維持CPU和GPU的工作狀態(tài)，有效提升數(shù)據(jù)處理效率。

4 數(shù)據(jù)處理與優(yōu)化

在AirSim中生成參考軌跡，供車(chē)輛遵循?？刂破髟谙薅ǖ臅r(shí)間范圍內(nèi)優(yōu)化車(chē)輛的控制輸入，同時(shí)確保車(chē)輛沿期望軌跡行駛，這些軌跡由航路點(diǎn)表示。為了生成和保存這些航路點(diǎn)，首先在AirSim中模擬汽車(chē)行駛，然后通過(guò)Python腳本記錄下車(chē)輛在環(huán)境中的坐標(biāo)，并保存在文本文件中。

這些坐標(biāo)隨后被轉(zhuǎn)換到車(chē)輛的局部坐標(biāo)系。這樣的轉(zhuǎn)換使得在車(chē)輛狀態(tài)下定義成本和約束函數(shù)變得更加簡(jiǎn)便。考慮到當(dāng)前車(chē)輛的姿態(tài)，一個(gè)函數(shù)將這些航路點(diǎn)從全局坐標(biāo)系轉(zhuǎn)換到車(chē)輛的局部坐標(biāo)系。轉(zhuǎn)換后的航路點(diǎn)用于擬合多項(xiàng)式曲線，該曲線代表了車(chē)輛應(yīng)遵循的理想軌跡。得到的系數(shù)隨后作為優(yōu)化問(wèn)題中的參數(shù)。數(shù)據(jù)集是在汽車(chē)上運(yùn)行PID和MPC控制器時(shí)收集的，且被分成測(cè)試、訓(xùn)練和驗(yàn)證數(shù)據(jù)集，按照7：2：1的比例進(jìn)行拆分。

4.1 PID優(yōu)化控制策略

首先定義油門(mén)和轉(zhuǎn)向的誤差項(xiàng)。誤差指的是系統(tǒng)期望狀態(tài)（設(shè)定點(diǎn)）與當(dāng)前狀態(tài)之間的差異。例如，速度誤差、橫向軌跡誤差和航向誤差常被用于汽車(chē)的油門(mén)和轉(zhuǎn)向控制。

比例分量即時(shí)響應(yīng)當(dāng)前誤差，指導(dǎo)加速或減速調(diào)整，或轉(zhuǎn)向角度以糾正橫向誤差。積分部分處理歷史誤差累積，減少穩(wěn)態(tài)誤差，結(jié)合速度誤差累積（油門(mén)）或橫向距離誤差累積（轉(zhuǎn)向）。微分部分預(yù)測(cè)未來(lái)誤差，評(píng)估速度誤差變化率（油門(mén)）或橫向距離誤差變化率（轉(zhuǎn)向）。

綜合比例、積分和微分分量，計(jì)算出油門(mén)和轉(zhuǎn)向的控制器輸出。PID控制輸出 u（t）的計(jì)算方式如下，其中Kp是比例增益，Ki是積分增益，Kd是微分增益，e（t）是針對(duì)轉(zhuǎn)向和油門(mén)的誤差值，de（t） 是誤差的變化率，d（t）是時(shí)間的變化量。

為確?？刂戚敵霰３衷诳山邮艿姆秶鷥?nèi)，意味著在每個(gè)迭代過(guò)程中限制控制輸出，以防止過(guò)度的加速或轉(zhuǎn)向，這對(duì)保持車(chē)輛的穩(wěn)定性至關(guān)重要。最終，通過(guò)對(duì)PID增益進(jìn)行細(xì)致調(diào)整，以實(shí)現(xiàn)響應(yīng)性與穩(wěn)定性之間的理想平衡。

4.2 MPC優(yōu)化控制命令

模型預(yù)測(cè)控制（MPC）是一種應(yīng)用于眾多工程領(lǐng)域的先進(jìn)控制技術(shù)，其中包括自動(dòng)駕駛汽車(chē)。該策略在有限的時(shí)間范圍內(nèi)通過(guò)迭代解決優(yōu)化問(wèn)題，其中優(yōu)化變量為控制輸入。MPC選擇使成本函數(shù)最小化的最優(yōu)控制輸入，并利用系統(tǒng)的動(dòng)態(tài)模型基于當(dāng)前狀態(tài)預(yù)測(cè)未來(lái)狀態(tài)。這一過(guò)程在每個(gè)時(shí)間步循環(huán)執(zhí)行，使得MPC成為一種動(dòng)態(tài)調(diào)整控制策略。

該策略的核心在于預(yù)測(cè)汽車(chē)系統(tǒng)在未來(lái)N個(gè)時(shí)間步的行為，并據(jù)此計(jì)算出執(zhí)行器（包括轉(zhuǎn)向和節(jié)氣門(mén)）的控制指令。然而，MPC僅在當(dāng)前時(shí)間步使用下一時(shí)間步的預(yù)測(cè)執(zhí)行器來(lái)進(jìn)行控制。

在MPC中，成本函數(shù)是基于實(shí)際車(chē)輛狀態(tài)與由多項(xiàng)式曲線定義的期望軌跡之間的誤差來(lái)構(gòu)建的。通過(guò)最小化這一成本函數(shù)，可以確定執(zhí)行器的最優(yōu)值。成本函數(shù)的定義如下：

其中δ和a分別是轉(zhuǎn)向角和油門(mén)（實(shí)際上是加速度），ci是用戶選擇的系數(shù)，特別是用于懲罰連續(xù)加速度差異和轉(zhuǎn)向角差異的系數(shù)，V0車(chē)輛運(yùn)行的目標(biāo)速度。MPC在一系列由運(yùn)動(dòng)學(xué)模型指定的約束下最小化成本，這使得這成為一個(gè)非線性?xún)?yōu)化問(wèn)題。使用Scipy.optimize.minimize函數(shù)中可用的SLSQP（順序最小二乘編程）方法來(lái)求解這個(gè)問(wèn)題。這些約束確保車(chē)輛的狀態(tài)按照車(chē)輛動(dòng)力學(xué)發(fā)展并遵循期望的軌跡。

確定一組最優(yōu)的執(zhí)行器配置（δi，ai），僅采用首對(duì)參數(shù)（δ1，a1） 以實(shí)現(xiàn)對(duì)車(chē)輛的操控。而，通過(guò)優(yōu)化過(guò)程獲得的最佳控制輸入被用于刷新車(chē)輛的控制指令。隨后，這些指令被傳遞至模擬車(chē)輛，以實(shí)現(xiàn)預(yù)期的行駛軌跡。

5 神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

為了在AirSim模擬器中使用基于神經(jīng)網(wǎng)絡(luò)的控制來(lái)增強(qiáng)自動(dòng)駕駛汽車(chē)控制，我們采用了一種系統(tǒng)化的方法。該方法旨在用自適應(yīng)多層神經(jīng)網(wǎng)絡(luò)來(lái)增強(qiáng)傳統(tǒng)PID和模型預(yù)測(cè)控制器，以改善車(chē)輛的轉(zhuǎn)向輸入。

5.1 模型的輸入/輸出

神經(jīng)網(wǎng)絡(luò)模型接收來(lái)自AirSim模擬器的傳感器數(shù)據(jù)，特別是模擬車(chē)輛前置攝像頭拍攝的圖像。模型的輸出為車(chē)輛的轉(zhuǎn)向指令，這些指令表現(xiàn)為與預(yù)定路線所需轉(zhuǎn)向角度相匹配的連續(xù)數(shù)值。

5.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本研究設(shè)計(jì)了一個(gè)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，專(zhuān)門(mén)適配于控制任務(wù)。使用預(yù)測(cè)的轉(zhuǎn)向角和來(lái)自數(shù)據(jù)集的地面真實(shí)值之間的均方誤差（MSE）來(lái)評(píng)估神經(jīng)網(wǎng)絡(luò)模型的性能。此外，該模型在無(wú)人參與的情況下有效操縱汽車(chē)行駛的能力被用作定性性能指標(biāo)。

將采用深度學(xué)習(xí)框架來(lái)實(shí)現(xiàn)該神經(jīng)網(wǎng)絡(luò)。具體地，它首先輸入一個(gè)的圖像，在神經(jīng)網(wǎng)絡(luò)架構(gòu)中，在經(jīng)過(guò)首個(gè)卷積層處理后，圖像尺寸調(diào)整為64×64，步長(zhǎng)為256。后續(xù)卷積層逐步縮減尺寸：第二層為64×256（步長(zhǎng)16），第三層為32×128（步長(zhǎng)224），第四層為16×63（步長(zhǎng)16）。第五層最大池化層將尺寸減小至16×32（步長(zhǎng)2）。第六層再次縮減至32×128（步長(zhǎng)224），第七層最大池化層維持此尺寸（步長(zhǎng)2）。第八至第十二層為全連接層，輸出尺寸均展平為1×1024，中間穿插dropout層以減少過(guò)擬合。最終，在第十三層全連接層中，輸出尺寸展平為1×10，形成分類(lèi)輸出層。

5.3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)

本研究將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集及測(cè)試集。借助訓(xùn)練數(shù)據(jù)，本研究旨在訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其能夠基于當(dāng)前車(chē)輛狀態(tài)和環(huán)境異常，學(xué)習(xí)預(yù)測(cè)適宜的轉(zhuǎn)向指令。模型的輸入包括RGB圖像以及轉(zhuǎn)向、油門(mén)、速度和制動(dòng)等狀態(tài)變量。網(wǎng)絡(luò)訓(xùn)練上限設(shè)定為500個(gè)周期，模型僅在258個(gè)周期后停止訓(xùn)練。在整個(gè)訓(xùn)練過(guò)程中，持續(xù)監(jiān)控訓(xùn)練和驗(yàn)證損失，以繪制損失曲線，并評(píng)估模型性能。

6 仿真測(cè)試

在山路場(chǎng)景下對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試，以確保它能夠應(yīng)模型算法在應(yīng)對(duì)自動(dòng)駕駛挑戰(zhàn)時(shí)的有效性。

6.1 微調(diào)和優(yōu)化

為了提高效率并防止過(guò)度擬合，本研究采用了提前停止策略，確保了輟學(xué)率的一致性。在優(yōu)化過(guò)程中，采用了Nadam優(yōu)化器。

6.2 實(shí)驗(yàn)結(jié)果

在初始階段，本研究選取的ROI范圍為[76，140； 0，255]像素，該選擇帶來(lái)了積極的結(jié)果。進(jìn)一步地，當(dāng)ROI區(qū)域調(diào)整為[50，140;0：255]像素，伴隨模型中圖像輸入尺寸的增加，模型性能亦得到提升。此配置使得模型能夠有效提取距離車(chē)輛較遠(yuǎn)的車(chē)道特征，從而在多數(shù)情況下提供更準(zhǔn)確的預(yù)測(cè)。圖3表示不同ROI情況下訓(xùn)練的損失情況，左側(cè)時(shí)高ROI的擬合情況。損失和驗(yàn)證損失的同時(shí)下降以及二者之間相對(duì)接近的關(guān)系，表明了模型具有良好的泛化能力，這進(jìn)一步說(shuō)明模型未出現(xiàn)過(guò)度擬合現(xiàn)象。

資金項(xiàng)目：2022年江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃項(xiàng)目“基于Airsim平臺(tái)的小型車(chē)輛后方危險(xiǎn)緊急避險(xiǎn)策略研究”（項(xiàng)目編號(hào)：SJCX22_1484），主持人：周錚。

參考文獻(xiàn)：

[1]SHALUMOV A， HALALY R， TSUR E E. Lidar-driven spiking neural network for collision avoidance in autonomous driving [J]. Bioinspiration & Biomimetics， 2021， 16（6）： 066016.

[2]AMER K， SAMY M， SHAKER M， et al. Deep convolutional neural network based autonomous drone navigation; proceedings of the Thirteenth International Conference on Machine Vision， F， 2021 [C]. SPIE.

[3]SADHU V， ZONOUZ S， POMPILI D. On-board deep-learning-based unmanned aerial vehicle fault cause detection and identification; proceedings of the 2020 ieee international conference on robotics and automation （icra）， F， 2020 [C]. IEEE.

[4]SUTTON R S， BARTO A G. Reinforcement learning： An introduction [M]. MIT press， 2018.

[5]ZHONG F， QIU W， YAN T， et al. Gym-unrealcv： Realistic virtual worlds for visual reinforcement learning [J]. Web Page， 2017.