張?chǎng)纬?，?軍，劉元盛，謝龍洋

(1.北京聯(lián)合大學(xué)北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室，北京 100101；2.北京聯(lián)合大學(xué)機(jī)器人學(xué)院，北京 100101)

0 引言

無(wú)人駕駛可以提高汽車的利用效率以及通行能力，同時(shí)也可以減少因駕駛員疲勞而導(dǎo)致的交通事故[1].而無(wú)人車的換道決策問(wèn)題是無(wú)人駕駛中復(fù)雜且最具挑戰(zhàn)性的問(wèn)題之一[2-3].無(wú)人車的換道決策方法主要分為基于規(guī)則型和基于學(xué)習(xí)型的方法.

基于規(guī)則型的方法有Gipps[4]、CORSIM[5]模型等，這些模型的最終輸出一般為換道或不換道的二元結(jié)果，而基于規(guī)則型換道決策方法的局限性在于難以覆蓋所有工況，難以處理復(fù)雜道路場(chǎng)景.

隨著無(wú)人駕駛決策技術(shù)的不斷發(fā)展，對(duì)于無(wú)人車換道決策技術(shù)的研究逐漸由基于規(guī)則型的方法向?qū)W習(xí)型的方法轉(zhuǎn)化.其中，學(xué)習(xí)型的決策方法分為基于機(jī)器學(xué)習(xí)和基于強(qiáng)化學(xué)習(xí)的方法.基于機(jī)器學(xué)習(xí)的常用方法有深度神經(jīng)網(wǎng)絡(luò)[6-7]、高斯和隱馬爾可夫混合模型[8]、貝葉斯決策[9-10]、隨機(jī)森林[11]、支持向量機(jī)[12]等，雖然這些方法與基于規(guī)則的模型相比可以在更多的道路場(chǎng)景中使用，但往往需要較為龐大的先驗(yàn)數(shù)據(jù)集作為訓(xùn)練集進(jìn)行模型訓(xùn)練，同時(shí)這些模型在較復(fù)雜的道路駕駛場(chǎng)景中對(duì)突發(fā)情況的處理有所欠缺.

在基于強(qiáng)化學(xué)習(xí)的換道決策研究中，文獻(xiàn)[13-15]提出了基于DQN(Deep Q Network)的換道決策模型，在高速公路場(chǎng)景下進(jìn)行了建模.該方法與基于機(jī)器學(xué)習(xí)和基于規(guī)則換道模型相比，在面對(duì)道路突發(fā)情況的處理上有了較大的提升.但是基于DQN的換道模型中的目標(biāo)網(wǎng)絡(luò)存在著過(guò)估計(jì)的問(wèn)題，這種問(wèn)題的存在使得模型在選擇動(dòng)作時(shí)往往會(huì)得到次優(yōu)的結(jié)果，同時(shí)模型會(huì)收斂到局部最優(yōu)值，導(dǎo)致最終無(wú)法得到最優(yōu)的換道決策策略.因此，本文建立基于競(jìng)爭(zhēng)結(jié)構(gòu)(Dueling Architecture)的雙深度Q網(wǎng)絡(luò)(Dueling Double Deep Q Network)算法的無(wú)人車換道決策模型，首先將無(wú)人車動(dòng)作的選擇和評(píng)估分別用不同的網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，并將Q網(wǎng)絡(luò)分為僅與狀態(tài)S相關(guān)的價(jià)值函數(shù)(Value Function)部分和同時(shí)與狀態(tài)S和動(dòng)作A相關(guān)的優(yōu)勢(shì)函數(shù)(Advantage Function)部分.通過(guò)實(shí)驗(yàn)結(jié)果表明，該模型可以使無(wú)人車在較復(fù)雜的道路上以更高的速度行駛，通過(guò)與DQN以及DDQN模型對(duì)比，驗(yàn)證了提出模型的魯棒性和合理性.

1 換道決策模型的構(gòu)建

1.1 Dueling DDQN模型

Dueling DDQN算法在DDQN算法[16-17]的基礎(chǔ)上加入競(jìng)爭(zhēng)結(jié)構(gòu)，將Q網(wǎng)絡(luò)分為兩部分，分別為價(jià)值函數(shù)和優(yōu)勢(shì)函數(shù)，即

(1)

其中：s為狀態(tài)值，a為動(dòng)作值，V(s；θ，β)為價(jià)值函數(shù)，A(s，a；θ，α)為優(yōu)勢(shì)函數(shù)，|A|為動(dòng)作的個(gè)數(shù)，a′為所有可以采取的動(dòng)作，θ為公共部分的網(wǎng)絡(luò)參數(shù)，α和β分別為價(jià)值函數(shù)和優(yōu)勢(shì)函數(shù)各自的網(wǎng)絡(luò)參數(shù).

Dueling DDQN由兩個(gè)結(jié)構(gòu)相同網(wǎng)絡(luò)參數(shù)不同的神經(jīng)網(wǎng)絡(luò)組成，分別為評(píng)估網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò).評(píng)估網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)的參數(shù)分別用θ和θ-表示，評(píng)估網(wǎng)絡(luò)被用作估計(jì)無(wú)人車最佳動(dòng)作價(jià)值函數(shù)的函數(shù)逼近器，即

Q(s，a；θ)≈Q*(s，a).

(2)

其中：Q*(s，a)為最佳動(dòng)作價(jià)值函數(shù).它定義當(dāng)無(wú)人車處于狀態(tài)s，采取某種動(dòng)作a并遵循最佳策略π*時(shí)的最大期望值.將t時(shí)刻無(wú)人車的狀態(tài)值st，采取的動(dòng)作值at，從環(huán)境返回的獎(jiǎng)勵(lì)值rt，以及下一個(gè)t+1時(shí)刻的狀態(tài)值st+1作為經(jīng)驗(yàn)值et存儲(chǔ)在記憶庫(kù)Dt中用于訓(xùn)練評(píng)估網(wǎng)絡(luò)，即：

et=(st，at，rt，st+1)；

(3)

Dt={e1，e2，…，et}.

(4)

在第i次迭代時(shí)，評(píng)估網(wǎng)絡(luò)首先從記憶庫(kù)中抽取批量大小為M的序列，使用隨機(jī)梯度下降的方法通過(guò)調(diào)整網(wǎng)絡(luò)參數(shù)θi來(lái)最小化貝爾曼方程的誤差，定義Li(θi)為第i次迭代的損失函數(shù)：

(5)

結(jié)合實(shí)驗(yàn)中采用的換道決策模型，整體的網(wǎng)絡(luò)架構(gòu)如圖1所示.

圖1 整體網(wǎng)絡(luò)框架

1.2 基于Dueling DDQN的無(wú)人車換道決策模型構(gòu)建

本文采用圖1所示的網(wǎng)絡(luò)框架構(gòu)建無(wú)人車換道決策模型.無(wú)人車在行駛過(guò)程中的換道決策問(wèn)題可以描述為馬爾可夫決策過(guò)程(Markov Decision Process)，該過(guò)程可由一組狀態(tài)空間S，一組動(dòng)作空間A，以及獎(jiǎng)勵(lì)函數(shù)R來(lái)具體描述.圖2描述了無(wú)人車在行駛的過(guò)程中與環(huán)境進(jìn)行交互的過(guò)程.

圖2 無(wú)人車與環(huán)境交互過(guò)程

無(wú)人車在行駛過(guò)程中首先獲取當(dāng)前環(huán)境下的觀測(cè)狀態(tài)sp，然后無(wú)人車采取動(dòng)作ap，獲得獎(jiǎng)勵(lì)rp，經(jīng)過(guò)1 s后，無(wú)人車進(jìn)入下一個(gè)狀態(tài)sp+1，其中p為當(dāng)前回合的執(zhí)行步數(shù).重復(fù)上述迭代過(guò)程，直至一個(gè)回合結(jié)束.定義具體的狀態(tài)空間、動(dòng)作空間以及獎(jiǎng)勵(lì)函數(shù)如下：

狀態(tài)空間定義：以無(wú)人車感知范圍內(nèi)最近的6輛環(huán)境車相對(duì)于無(wú)人車的距離和速度，以及無(wú)人車自身的速度作為狀態(tài)空間，即

S={vego，s1，s2，…，s6}.

(6)

式中vego表示無(wú)人車的速度值，s1～s6表示環(huán)境車輛的狀態(tài)值.其中s={exist，x，y，vx，vy}，exist表示是否存在該車輛，若存在，exist=1，反之，exist=0.x表示環(huán)境車輛相對(duì)于無(wú)人車的橫向位置，y表示環(huán)境車輛相對(duì)于無(wú)人車的縱向位置，vx表示環(huán)境車輛相對(duì)于無(wú)人車的橫向速度，vy表示環(huán)境車輛相對(duì)于無(wú)人車的縱向速度.

動(dòng)作空間定義為

A={left，right，keep，lower，faster}.

(7)

式中：left表示無(wú)人車向左換道，right表示無(wú)人車向右換道，keep表示無(wú)人車保持原車道行駛并保持速度不變，lower表示無(wú)人車保持原車道并以-1.25 m/s2的加速度減速行駛，faster表示無(wú)人車保持原車道同時(shí)以1.25 m/s2的加速度加速行駛.

獎(jiǎng)勵(lì)函數(shù)定義：為了避免強(qiáng)化學(xué)習(xí)中的稀疏獎(jiǎng)勵(lì)問(wèn)題，同時(shí)使無(wú)人車可以學(xué)習(xí)到最佳的駕駛策略，設(shè)置獎(jiǎng)勵(lì)函數(shù).

為使無(wú)人車避免碰撞，設(shè)置碰撞懲罰函數(shù)為

rp-collision=-1.

(8)

為防止無(wú)人車因避免碰撞而過(guò)于保守的行駛，設(shè)置速度獎(jiǎng)勵(lì)函數(shù)為

(9)

其中rhigh-velocity為速度獎(jiǎng)勵(lì)因子，設(shè)為0.25，vmax和vmin分別為無(wú)人車行駛時(shí)可達(dá)到的最高速度(30 m/s)和最低速度(20 m/s)，vego為無(wú)人車的當(dāng)前速度.

為避免無(wú)人車頻繁的改變車道(無(wú)人車為避免碰撞而換道除外)，設(shè)置換道懲罰函數(shù)為

rp-lanechange=-0.01.

(10)

若無(wú)人車在一個(gè)步長(zhǎng)內(nèi)未發(fā)生碰撞，設(shè)置單步獎(jiǎng)勵(lì)函數(shù)為

rp-step=0.01.

(11)

若無(wú)人車在整個(gè)回合行駛過(guò)程中未發(fā)生碰撞，設(shè)置成功獎(jiǎng)勵(lì)函數(shù)為

rsuccess=0.5.

(12)

故總獎(jiǎng)勵(lì)函數(shù)為

(13)

式中T為本回合執(zhí)行總步數(shù).

2 仿真環(huán)境搭建

2.1 仿真道路環(huán)境搭建

實(shí)驗(yàn)中選用高速場(chǎng)景為仿真實(shí)驗(yàn)場(chǎng)景.共分為4個(gè)主車道，仿真道路總長(zhǎng)為800 m，高速公路仿真實(shí)驗(yàn)場(chǎng)景如圖3所示，其他道路環(huán)境參數(shù)設(shè)定如表1所示.

圖3 實(shí)驗(yàn)場(chǎng)景示意圖

表1 道路環(huán)境參數(shù)設(shè)定

2.2 仿真車輛環(huán)境搭建

采用IDM(Intelligent Driver Model)[18]對(duì)環(huán)境車輛縱向動(dòng)力學(xué)進(jìn)行仿真，環(huán)境車輛之間的狀態(tài)關(guān)系滿足：

(14)

(15)

其中：amax表示最大加速度，v表示車輛當(dāng)前速度，vd表示期望速度，δ表示加速指數(shù)，Δv表示同車道當(dāng)前車輛與前車的速度差，d*(v，Δv)為期望最小間距，d0表示最短車輛間距，T表示期望車頭時(shí)距，b表示期望減速度.該模型可以模擬車輛的跟隨行為，同時(shí)在高速公路上為車輛產(chǎn)生所需的加速度.

采用MOBIL(Minimizing Overall Braking Induced By Lane Change)[18]對(duì)環(huán)境車輛橫向動(dòng)力學(xué)進(jìn)行仿真，環(huán)境車輛的加速度關(guān)系滿足：

(16)

(17)

Δa>Δath.

(18)

實(shí)驗(yàn)中采用的主車道環(huán)境車輛最高速度為40 m/s，環(huán)境中車輛數(shù)為10輛，在車道1至車道4隨機(jī)分配每輛環(huán)境車的位置，且車輛縱向初始間距為30 m.無(wú)人車的長(zhǎng)度和寬度與環(huán)境車輛一致.假設(shè)無(wú)人車的感知范圍為車輛前后距離各150 m，左右距離各8 m.其他仿真車輛環(huán)境參數(shù)如表2所示.

表2 仿真車輛環(huán)境參數(shù)設(shè)定

3 結(jié)果與分析

本文采用Python3.7搭建道路仿真環(huán)境，使用PyTorch搭建神經(jīng)網(wǎng)絡(luò)框架.仿真實(shí)驗(yàn)中訓(xùn)練和測(cè)試使用的計(jì)算機(jī)配置為Ubuntu16.04LTS系統(tǒng)，i7-8750H處理器，16 GB內(nèi)存.設(shè)置訓(xùn)練最大回合數(shù)為20 000，單回合最大執(zhí)行步數(shù)為20.假設(shè)車輛在實(shí)驗(yàn)過(guò)程中均保持在可行使區(qū)域內(nèi)行駛.回合終止條件為無(wú)人車單回合執(zhí)行步數(shù)達(dá)到最大或無(wú)人車在行駛過(guò)程中與環(huán)境車輛發(fā)生碰撞.實(shí)驗(yàn)中采用的網(wǎng)絡(luò)參數(shù)如表3所示.

表3 Dueling DDQN網(wǎng)絡(luò)參數(shù)設(shè)定

3.1 模型訓(xùn)練及結(jié)果分析

訓(xùn)練過(guò)程中主要研究在無(wú)人車進(jìn)行換道決策時(shí)，是否可以根據(jù)周圍車輛環(huán)境的變化做出應(yīng)對(duì)的策略.定義若無(wú)人車在一個(gè)回合內(nèi)未與環(huán)境車輛發(fā)生碰撞，即為一次成功.無(wú)人車在前i個(gè)回合獲得的平均獎(jiǎng)勵(lì)定義為

(19)

其中Rt為在無(wú)人車第t個(gè)回合內(nèi)獲得的獎(jiǎng)勵(lì)值.

無(wú)人車在前i個(gè)回合獲得的平均速度定義為

(20)

其中vt為在無(wú)人車第t個(gè)回合內(nèi)獲得的平均速度.

分別使用Dueling DDQN、 DDQN、DQN模型進(jìn)行訓(xùn)練，且3種算法的網(wǎng)絡(luò)參數(shù)、狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)均保持一致.通過(guò)分析換道決策成功率、模型得到的平均獎(jiǎng)勵(lì)以及無(wú)人車平均速度來(lái)描述模型訓(xùn)練的結(jié)果如圖4—6所示.

圖4 訓(xùn)練過(guò)程中換道決策成功率對(duì)比 圖5 訓(xùn)練過(guò)程中平均獎(jiǎng)勵(lì)值對(duì)比

圖6 訓(xùn)練過(guò)程中平均速度對(duì)比

由圖4可知，在訓(xùn)練開始階段，3種模型的換道決策成功率均由0開始不斷增加，隨著訓(xùn)練回合數(shù)的增長(zhǎng)，基于Dueling DDQN的換道模型成功率在訓(xùn)練5 000回合左右達(dá)到基本穩(wěn)定，而DDQN和DQN算法在10 000回合左右達(dá)到基本穩(wěn)定.在訓(xùn)練回合結(jié)束時(shí)，Dueling DDQN換道模型成功率最高，為84.39%，DDQN次之，為 83.59%，DQN最低，為 81.40%.

由圖5—6，可知，在平均獎(jiǎng)勵(lì)方面，Dueling DDQN、DDQN、DQN分別在訓(xùn)練回合結(jié)束后獲得4.47，4.37，4.28的平均獎(jiǎng)勵(lì)值.而在無(wú)人車平均速度方面，Dueling DDQN、 DDQN、 DQN分別在訓(xùn)練回合結(jié)束后可達(dá)到29.05，28.79以及28.77 m/s的平均速度.

綜上所述，在模型的訓(xùn)練過(guò)程中，Dueling DDQN模型較DDQN和DQN相比可獲得更高的平均獎(jiǎng)勵(lì)值，且在保持更高的換道成功率的前提下，提升了無(wú)人車的行駛速度.

3.2 模型測(cè)試及結(jié)果分析

在模型測(cè)試過(guò)程中，針對(duì)不同條件下的道路環(huán)境，通過(guò)改變環(huán)境車輛的橫向模型(MOBIL)中的禮貌系數(shù)p、環(huán)境車輛初始間距以及環(huán)境車輛的數(shù)目來(lái)模擬不同車輛環(huán)境的道路場(chǎng)景，其他道路與車輛環(huán)境參數(shù)保持不變.其中禮貌系數(shù)p∈[0，1]，p越小，說(shuō)明環(huán)境車輛的駕駛風(fēng)格越激進(jìn)，環(huán)境車輛初始間距以及環(huán)境車輛的數(shù)目的變化用來(lái)模擬不同道路環(huán)境的車流密度.通過(guò)改變上述3個(gè)參數(shù)值來(lái)設(shè)置3個(gè)不同車輛環(huán)境的道路場(chǎng)景，分別使用Dueling DDQN、DDQN、DQN算法訓(xùn)練的模型在3個(gè)不同的道路場(chǎng)景中測(cè)試.設(shè)定每個(gè)場(chǎng)景的測(cè)試回合數(shù)為1 000，場(chǎng)景設(shè)置及測(cè)試過(guò)程的具體描述如下.

3.2.1 模型測(cè)試場(chǎng)景(1)

測(cè)試場(chǎng)景(1)采用與模型訓(xùn)練時(shí)相同的道路場(chǎng)景，即3個(gè)參數(shù)分別為：禮貌系數(shù)p=1，環(huán)境車輛初始間距為30 m，環(huán)境車輛數(shù)為10輛.分別從換道決策成功率、模型得到的平均獎(jiǎng)勵(lì)、無(wú)人車平均速度來(lái)描述在此場(chǎng)景中模型測(cè)試的結(jié)果.Dueling DDQN、DDQN、 DQN模型的換道決策成功率隨回合數(shù)變化趨勢(shì)如圖7所示，前1 000個(gè)測(cè)試回合的成功率、平均獎(jiǎng)勵(lì)以及平均速度如表4所示.

您說(shuō)像他這樣，我怎么敢把大事兒交給他辦？他自己也挺苦惱：“國(guó)家的事兒不歸我想，家里的事兒全被你想了，我還能想點(diǎn)兒啥？”

圖7 場(chǎng)景(1)換道決策成功率對(duì)比

表4 場(chǎng)景(1)模型測(cè)試對(duì)比結(jié)果

由圖7和表4可知，Dueling DDQN的換道決策成功率較DDQN和DQN分別高出1.7%和3.9%，同時(shí)在平均獎(jiǎng)勵(lì)和平均速度方面，Dueling DDQN模型均高于DDQN和DQN.3種模型在1 000次測(cè)試回合中成功的回合次數(shù)分別為Dueling DDQN成功936次，DDQN成功919次，DQN成功897次.在這些未發(fā)生碰撞的回合中，Dueling DDQN一個(gè)回合獲得的獎(jiǎng)勵(lì)值小于5.0的有4次，DDQN有19次，DQN有25次，這些回合獲得獎(jiǎng)勵(lì)值較低的原因是由于無(wú)人車為避免碰撞而采取了過(guò)于保守的駕駛動(dòng)作，使得無(wú)人車在一定的步長(zhǎng)內(nèi)均保持較低的速度行駛，進(jìn)而導(dǎo)致在一個(gè)回合內(nèi)獲得的速度獎(jiǎng)勵(lì)值較低，由此可見(jiàn)，Dueling DDQN成功但保守駕駛的回合次數(shù)較少，說(shuō)明此模型可以通過(guò)狀態(tài)空間的變化和獎(jiǎng)勵(lì)函數(shù)反饋過(guò)程更好的理解道路環(huán)境的變化，采取更優(yōu)的動(dòng)作值.由此可見(jiàn)，在場(chǎng)景(1)的測(cè)試過(guò)程中，Dueling DDQN模型的表現(xiàn)更好.

3.2.2 模型測(cè)試場(chǎng)景(2)

測(cè)試場(chǎng)景(2)采用比場(chǎng)景(1)更復(fù)雜的道路場(chǎng)景，即3個(gè)參數(shù)分別為：禮貌系數(shù)p=0.5，環(huán)境車輛初始間距為20 m，環(huán)境車輛數(shù)為15輛.分別從換道決策成功率、模型得到的平均獎(jiǎng)勵(lì)、無(wú)人車平均速度來(lái)描述在此場(chǎng)景中模型測(cè)試的結(jié)果.3種模型的換道決策成功率隨回合數(shù)變化趨勢(shì)如圖8所示，前1 000個(gè)測(cè)試回合的成功率、平均獎(jiǎng)勵(lì)以及平均速度如表5所示.

表5 場(chǎng)景(2)模型測(cè)試對(duì)比結(jié)果

由圖8和表5可知，Dueling DDQN的換道決策成功率較DDQN和DQN分別高出3.4%和5.1%，同時(shí)在平均獎(jiǎng)勵(lì)和平均速度方面，Dueling DDQN模型均高于DDQN和DQN.在此場(chǎng)景中模型測(cè)試結(jié)果與場(chǎng)景(1)相比，每個(gè)算法的測(cè)試成功率、平均獎(jiǎng)勵(lì)、平均速度均有所下降，但Dueling DDQN成功率的下降幅度最小，說(shuō)明Dueling DDQN對(duì)復(fù)雜場(chǎng)景的適應(yīng)性更強(qiáng).場(chǎng)景(2)中3種模型平均獎(jiǎng)勵(lì)下降的原因是因?yàn)殡S著換道成功率的下降，無(wú)人車發(fā)生碰撞的次數(shù)增多，導(dǎo)致獲得碰撞懲罰函數(shù)的次數(shù)增加，同時(shí)獲得的單步獎(jiǎng)勵(lì)函數(shù)也隨之減少，平均速度的下降也使得無(wú)人車獲得速度獎(jiǎng)勵(lì)函數(shù)減少，最終導(dǎo)致平均獎(jiǎng)勵(lì)下降.

圖8 場(chǎng)景(2)換道決策成功率對(duì)比

3.2.3 模型測(cè)試場(chǎng)景(3)

測(cè)試場(chǎng)景(3)采用最復(fù)雜的道路場(chǎng)景，即3個(gè)參數(shù)分別為：禮貌系數(shù)p=0，環(huán)境車輛初始間距為10 m，環(huán)境車輛數(shù)為20輛.分別從換道決策成功率、模型得到的平均獎(jiǎng)勵(lì)、無(wú)人車平均速度來(lái)描述在此場(chǎng)景中模型測(cè)試的結(jié)果.3種模型的換道決策成功率隨回合數(shù)變化趨勢(shì)如圖9所示，前1 000個(gè)測(cè)試回合的成功率、平均獎(jiǎng)勵(lì)以及平均速度如表6所示.

圖9 場(chǎng)景(3)換道決策成功率對(duì)比

表6 場(chǎng)景(3)模型測(cè)試對(duì)比結(jié)果

由圖9和表6可知，Dueling DDQN的換道決策成功率較DDQN和DQN分別高出9.7%和23.8%，同時(shí)在平均獎(jiǎng)勵(lì)方面，Dueling DDQN模型高于DDQN和DQN.雖然在平均速度方面DQN模型較Dueling DDQN高0.18 m/s，但是由于換道成功率較低，所以DQN模型無(wú)法保證在換道成功率較高的前提下提高無(wú)人車的速度.且在無(wú)人車發(fā)生碰撞的回合中，每個(gè)算法的單回合步數(shù)比例(單回合步數(shù)最大為20)分布如表7所示.

表7 場(chǎng)景(3)無(wú)人車碰撞單回合步數(shù)比例分布對(duì)比結(jié)果

由表7可知，DQN和DDQN在發(fā)生碰撞的回合中，分別有48.87%和45.70%的碰撞發(fā)生在前10個(gè)步長(zhǎng)內(nèi)，而Dueling DDQN有16.98%的碰撞發(fā)生在前10個(gè)步長(zhǎng)內(nèi)，說(shuō)明在每個(gè)測(cè)試回合的開始階段，DQN和DDQN對(duì)復(fù)雜的道路場(chǎng)景的適應(yīng)性較低，無(wú)法準(zhǔn)確地根據(jù)無(wú)人車當(dāng)前所處環(huán)境進(jìn)行合理的決策，DQN和DDQN算法的碰撞分布在前10個(gè)步長(zhǎng)內(nèi)的百分比分別是Dueling DDQN的2.88倍和2.69倍，說(shuō)明Dueling DDQN算法在測(cè)試回合的開始階段，可以根據(jù)當(dāng)前所處環(huán)境使無(wú)人車做出合理的動(dòng)作，且Dueling DDQN在復(fù)雜的道路場(chǎng)景中仍然可以保持較高的換道成功率.

3.2.4 不同場(chǎng)景之間的對(duì)比

場(chǎng)景(3)和場(chǎng)景(1)的測(cè)試結(jié)果相比，Dueling DDQN算法成功率下降9.5%，而DDQN和DQN算法分別下降17.5%和29.4%，Dueling DDQN算法無(wú)人車換道決策成功率的下降幅度最低，說(shuō)明Dueling DDQN換道模型與DDQN和DQN模型相比，更適合在復(fù)雜的道路場(chǎng)景中使用.

綜上所述，在3種車輛環(huán)境不同的測(cè)試場(chǎng)景中，Dueling DDQN在保證換道成功率的情況下，平均獎(jiǎng)勵(lì)和平均速度方面均高于DDQN和DQN，可見(jiàn)Dueling DDQN的模型性能更好.因?yàn)镈DQN模型在增加了競(jìng)爭(zhēng)結(jié)構(gòu)后，在評(píng)估網(wǎng)絡(luò)更新的時(shí)候，由于存在一個(gè)狀態(tài)下的優(yōu)勢(shì)函數(shù)之和為0的限制，所以網(wǎng)絡(luò)在更新時(shí)會(huì)優(yōu)先更新價(jià)值函數(shù)，導(dǎo)致當(dāng)每次模型的價(jià)值函數(shù)被更新時(shí)，在一個(gè)狀態(tài)下所有的Q值均被更新，進(jìn)而使得Dueling DDQN模型可以更好地理解外部的狀態(tài)環(huán)境，同時(shí)提高了模型的魯棒性和適用性.

4 結(jié)論

本文針對(duì)高速公路下無(wú)人駕駛車的換道決策問(wèn)題，提出了基于Dueling DDQN的無(wú)人車換道決策模型，同時(shí)與DQN和DDQN模型進(jìn)行了對(duì)比.實(shí)驗(yàn)結(jié)果表明，Dueling DDQN模型在無(wú)人車換道決策成功率上均高于DQN與DDQN，同時(shí)可以在保證成功率的前提下，更大幅度的提高無(wú)人車的行駛速度，進(jìn)而提高通行效率.通過(guò)在不同車輛環(huán)境的道路場(chǎng)景下進(jìn)行測(cè)試，Dueling DDQN模型在3種道路場(chǎng)景下可保持較高的換道決策成功率，表明此模型的魯棒性更好，且在更復(fù)雜的道路場(chǎng)景下的適用性更強(qiáng).