倪 茹

（中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院，安徽 合肥 230026）

0 引言

在城市交通網(wǎng)絡(luò)中，信號(hào)交叉口是削弱道路路網(wǎng)通行能力的 “滯點(diǎn)”，因此交叉口運(yùn)行狀態(tài)評(píng)估是城市交通的研究重點(diǎn)。交叉口處交通運(yùn)行狀況十分復(fù)雜，大部分交通問(wèn)題均會(huì)產(chǎn)生在交叉口處，如交叉口阻塞嚴(yán)重，交通事故率上升，車輛通行效率低等。由此，精確實(shí)時(shí)地評(píng)估交叉口運(yùn)行狀態(tài)，并將狀態(tài)信息作為城市交通控制管理的指導(dǎo)依據(jù)，相應(yīng)交叉口處的交通流便能得到較好的時(shí)空協(xié)調(diào)，助力城市路網(wǎng)平穩(wěn)運(yùn)行，提升市民幸福感。

國(guó)內(nèi)外在交叉口信號(hào)控制方面評(píng)價(jià)交叉口運(yùn)行狀態(tài)的主要指標(biāo)有通行時(shí)間、排隊(duì)長(zhǎng)度[1]、交通流量、平均延誤、平均速度、停車次數(shù)、停車等待時(shí)間[2]等。目前并沒(méi)有完整的交叉口運(yùn)行狀態(tài)評(píng)估系統(tǒng)是結(jié)合機(jī)動(dòng)車和行人需求而建立的，無(wú)法客觀地判斷交叉口的真實(shí)運(yùn)行效果，導(dǎo)致實(shí)際工作的實(shí)用性非常受限。

由此，本文以交叉口運(yùn)行狀態(tài)評(píng)估為基礎(chǔ)，在充分考慮融合機(jī)動(dòng)車和行人出行感受的前提下，進(jìn)行交叉口運(yùn)行狀態(tài)評(píng)估，確定了包括平均延誤、平均排隊(duì)長(zhǎng)度、平均停車次數(shù)、空間占有率、行人最大相位綠燈間隔時(shí)間和行人過(guò)街平均等待時(shí)間的評(píng)估指標(biāo)體系，達(dá)到主觀賦權(quán)和客觀賦權(quán)的綜合平衡，以信號(hào)周期為評(píng)估單位，建立了基于多維交叉口運(yùn)行狀態(tài)在線評(píng)估方法，結(jié)合已建立的評(píng)估模型，以評(píng)分最高為目的，提出了一種基于深度Q 學(xué)習(xí)算法的改良模型NoisyNet DQN 強(qiáng)化學(xué)習(xí)模型，該模型可以自適應(yīng)地探索參數(shù)，加快智能體訓(xùn)練效率，從而達(dá)到實(shí)時(shí)的交叉口信號(hào)配時(shí)優(yōu)化。

1 交叉口運(yùn)行狀態(tài)評(píng)估方法

如今城市信號(hào)交叉口的影響因素?cái)?shù)量巨大，在以往的研究中，國(guó)內(nèi)外大部分學(xué)者在評(píng)估指標(biāo)的選取時(shí)僅僅考慮機(jī)動(dòng)車相關(guān)指標(biāo)[3]，然而行人的通行效率也應(yīng)該是實(shí)際生活中需要考慮的重要因素之一。本文分別選擇代表機(jī)動(dòng)車和行人需求的評(píng)估指標(biāo)，基于層次分析法（AHP）和變異系數(shù)法構(gòu)建城市交叉口運(yùn)行狀態(tài)的實(shí)時(shí)評(píng)估模型。

1.1 評(píng)估方法構(gòu)建流程

評(píng)估方法整體流程包括以下4 步[4]，如圖1 所示。

1.2 評(píng)估指標(biāo)體系的建立

本文綜合各指標(biāo)的相互獨(dú)立性及意義，選取了6 個(gè)代表性指標(biāo)，包括平均延誤時(shí)間、平均停車次數(shù)、平均排隊(duì)長(zhǎng)度、空間占有率、行人最大相位綠燈間隔時(shí)間和行人過(guò)街平均等待時(shí)間，分別說(shuō)明如下：

圖1 評(píng)估方法整體流程圖

(1)平均延誤時(shí)間。該指標(biāo)定義為一個(gè)周期內(nèi)車輛通過(guò)路口范圍的延誤時(shí)間的平均值，反映交叉口信號(hào)控制對(duì)交通流的阻礙程度[5-6]。

(2)平均停車次數(shù)。該指標(biāo)定義為一周期內(nèi)車輛每個(gè)進(jìn)口的停車次數(shù)的平均值，直觀反映了交叉口運(yùn)行效率和服務(wù)水平。

(3)平均排隊(duì)長(zhǎng)度。該指標(biāo)定義為一周期內(nèi)從路口信號(hào)燈轉(zhuǎn)為綠燈時(shí)刻，該路口進(jìn)口道各轉(zhuǎn)向車流排隊(duì)最后一輛車距離停車線的距離的平均值。其反映了交叉口信號(hào)配時(shí)方案與車流特性的匹配度。

(4)空間占有率。該指標(biāo)定義為一周期內(nèi)道路機(jī)動(dòng)車長(zhǎng)度之和與道路長(zhǎng)度之比，該指標(biāo)反映了交叉口的運(yùn)行效率。

(5)行人最大相位綠燈間隔時(shí)間。該指標(biāo)定義為一周期內(nèi)行人相位中最長(zhǎng)的綠燈間隔時(shí)間，其反映了行人過(guò)交叉口的最大忍耐值。

(6)行人過(guò)街平均等待時(shí)間。該指標(biāo)定義為一周期內(nèi)行人等候時(shí)間的平均值，反映了行人相位方案針對(duì)行人分布特性匹配度。

1.3 模型固定參數(shù)確定

利用AHP-變異系數(shù)雙層模型法對(duì)評(píng)估指標(biāo)體系中各評(píng)估指標(biāo)進(jìn)行綜合賦權(quán)。

1.3.1 基于變異系數(shù)法的客觀權(quán)重計(jì)算

本文選用C.V 變異系數(shù)法來(lái)確定各評(píng)估指標(biāo)權(quán)重，并根據(jù)各個(gè)評(píng)估指標(biāo)在城市交叉口運(yùn)行狀態(tài)上的變異程度[7]來(lái)對(duì)各個(gè)評(píng)估指標(biāo)確定權(quán)重。各評(píng)估指標(biāo)的變異系數(shù)σj為：

式中，μj為評(píng)估指標(biāo)Aj的特征值的平均值。

由此，利用該方法計(jì)算的指標(biāo)Aj的權(quán)重為：

1.3.2 基于AHP 的主觀權(quán)重計(jì)算

利用專家打分的AHP 法主要步驟[8]如圖2 所示。

(1)構(gòu)造判斷矩陣。由本文提出的6 個(gè)代表性指標(biāo)構(gòu)造的判斷矩陣如下：

式中，aij為第i 行指標(biāo)比第j 行指標(biāo)的相對(duì)重要度。

圖2 層次分析法賦權(quán)流程圖

本文基于專家打分確定判斷矩陣的相對(duì)重要度，參考9 級(jí)評(píng)分標(biāo)準(zhǔn)，1～9 級(jí)分別從小到大表示了一個(gè)指標(biāo)相對(duì)于另一個(gè)指標(biāo)的重要程度。

(2)確定待定指標(biāo)權(quán)重。最終指標(biāo)權(quán)重的計(jì)算結(jié)果是用判斷矩陣的最大特征根對(duì)應(yīng)的特征向量來(lái)定義的。

(3)一致性檢驗(yàn)。一致性檢驗(yàn)的目的在于防止邏輯錯(cuò)誤影響打分結(jié)果。計(jì)算得到一致性比率CR，當(dāng)條件CR ＜0.1（CR 的計(jì)算公式見(jiàn) 式（4）～（6））滿足時(shí)，則由此計(jì)算出的權(quán)重是具有意義的；若不滿足，需再構(gòu)造判斷矩陣，持續(xù)到結(jié)果符合要求。

式中，一致性指標(biāo)CI 的運(yùn)算方法見(jiàn)公式(5)；RI 可由學(xué)者Saaty[9]提出的一致性指標(biāo)RI 對(duì)應(yīng)不同階數(shù)下的數(shù)值分布結(jié)果來(lái)確定。

1.3.3 AHP-變異系數(shù)雙層模型

由此，根據(jù)AHP-變異系數(shù)雙層模型的綜合集成賦權(quán)方法可以確定各指標(biāo)的最終權(quán)重W。

1.4 評(píng)估模型

各評(píng)估指標(biāo)得分與等級(jí)映射情況如表1 所示。

各指標(biāo)分為六個(gè)等級(jí)，從一級(jí)到六級(jí)分別對(duì)應(yīng)分值100，80，60，40，20，0，用于統(tǒng)一各評(píng)價(jià)指標(biāo)量級(jí)。

通過(guò)AHP-變異系數(shù)雙層模型計(jì)算出綜合權(quán)重后，可計(jì)算出交叉口運(yùn)行狀態(tài)評(píng)估得分值：

式中，η 是交叉口運(yùn)行狀態(tài)得分值；n 為指標(biāo)數(shù)量，wj為j 指標(biāo)的綜合權(quán)重值，yj為j 指標(biāo)得分值。

2 交叉口信號(hào)配時(shí)優(yōu)化算法

強(qiáng)化學(xué)習(xí)算法是一種以智能體在環(huán)境互動(dòng)中基于最大回報(bào)為目標(biāo)選擇采取最優(yōu)動(dòng)作的算法。DQN 是一種使用深度卷積網(wǎng)絡(luò)逼近最優(yōu)策略中值函數(shù)的強(qiáng)化學(xué)習(xí)算法。NoisyNet DQN 是一種改進(jìn)的DQN 強(qiáng)化學(xué)習(xí)算法[10]，該算法通過(guò)在梯度更新網(wǎng)絡(luò)權(quán)重參數(shù)的同時(shí)給網(wǎng)絡(luò)添加噪聲，使模型可自動(dòng)地探索參數(shù)，達(dá)到相較于傳統(tǒng)的啟發(fā)式算法更優(yōu)的結(jié)果。結(jié)合上述搭建好的評(píng)價(jià)模型，通過(guò)將交叉口得分最大為優(yōu)化目標(biāo)，可實(shí)現(xiàn)交叉口信號(hào)配時(shí)的實(shí)時(shí)優(yōu)化。

表1 評(píng)估指標(biāo)得分映射

2.1 NoisyNet DQN 算法及流程

經(jīng)典的DQN 方法中，利用梯度下降方法訓(xùn)練網(wǎng)絡(luò)中的θ 參數(shù)：

其中α 是學(xué)習(xí)率。

NoisyNet DQN 通過(guò)在DQN 神經(jīng)網(wǎng)絡(luò)參數(shù)θ 中加入噪聲參數(shù)，利用梯度下降法對(duì)θ 進(jìn)行改進(jìn)。噪聲參數(shù)可以定義為：

式中，μ 和Σ 表示訓(xùn)練過(guò)程中需要學(xué)習(xí)的參數(shù)矢量，ε 表示零均值噪聲矢量，☉表示一種逐元素的懲罰計(jì)算方式。參數(shù)θ 的隨機(jī)性打破了傳統(tǒng)的ε 貪婪策略的探索方式，加強(qiáng)了智能體對(duì)環(huán)境的探索強(qiáng)度?；诖?，神經(jīng)網(wǎng)絡(luò)更新可以寫為：

NoisyNet DQN 的結(jié)構(gòu)如圖3 所示。

圖3 NoisyNet DQN 結(jié)構(gòu)圖

2.2 狀態(tài)、動(dòng)作及回報(bào)的定義

本文選取固定周期內(nèi)檢測(cè)器采集的上一周期交叉口各進(jìn)道口車流量作為當(dāng)前強(qiáng)化學(xué)習(xí)模型的狀態(tài)。因此對(duì)于n 相位的交叉口，模型狀態(tài)空間為：

式中si表示第i 相位的車流量。

動(dòng)作空間中每種行為在作用于交通環(huán)境中時(shí)會(huì)得到不同的回報(bào)，針對(duì)于當(dāng)前交通配時(shí)方案會(huì)產(chǎn)生不同的交叉口運(yùn)行狀態(tài)評(píng)分。將動(dòng)作空間定義為交通信號(hào)燈的配置操作空間，即表示一組車道上的交通信號(hào)為綠燈放行，并保持固定周期時(shí)間。智能體采取的所有可能的配時(shí)操作包括：東西直行、東西左轉(zhuǎn)、南北直行以及南北左轉(zhuǎn)。

結(jié)合本文已建立的交叉口運(yùn)行狀態(tài)評(píng)估模型，將評(píng)價(jià)模型評(píng)估結(jié)果作為模型的獎(jiǎng)勵(lì)函數(shù)定義。智能體根據(jù)上一周期狀態(tài)計(jì)算得到的最高評(píng)分選擇相應(yīng)配時(shí)操作方案。

3 實(shí)例分析

3.1 交叉口概況

巢湖市位于安徽省合肥市，是安徽省轄縣級(jí)市，近年來(lái)機(jī)動(dòng)車數(shù)量增長(zhǎng)迅速，巢湖市道路老舊，交通擁堵問(wèn)題日益嚴(yán)重。為驗(yàn)證本文評(píng)估方法的有效性，選擇巢湖居巢區(qū)人民路-天河路、人民路-東河商業(yè)街和人民路-東風(fēng)路3 個(gè)交叉口作為研究對(duì)象，其概況如圖4 所示。

圖4 實(shí)例交叉口平面圖

3.2 評(píng)估模型仿真實(shí)驗(yàn)

3.2.1 仿真參數(shù)設(shè)置

SUMO 是一個(gè)開源的、微觀的、多模式的交通仿真軟件，通過(guò)設(shè)定車道形式、車輛信息、信號(hào)配時(shí)方案、檢測(cè)器等交通條件進(jìn)行仿真，可獲得交叉口運(yùn)行狀態(tài)的可視化結(jié)果，并得到各種交叉口的統(tǒng)計(jì)數(shù)據(jù)，如排隊(duì)長(zhǎng)度、平均速度、平均延誤、平均停車次數(shù)等。本文將SUMO 仿真軟件作為進(jìn)行模型效果評(píng)估驗(yàn)證的平臺(tái)。

為驗(yàn)證評(píng)估方法的泛化性能，定義了三種不同的交通狀態(tài)，在SUMO 中進(jìn)行搭建。如圖4 所示，路網(wǎng)包括3 個(gè)交叉口，涵蓋共8 個(gè)進(jìn)口路段，分別編號(hào)A～H，將其交通流輪流設(shè)定為100，500 及1 200（單位pcu/h），依次表示暢通、 一般擁堵和非常擁堵?tīng)顟B(tài)下的交叉口運(yùn)行態(tài)。3 個(gè)交叉口信號(hào)配時(shí)方案均采用4 相位，方案設(shè)置見(jiàn)圖5，其中顏色由深至淺分別為紅、綠、黃。由此得到對(duì)應(yīng)狀態(tài)的交通仿真運(yùn)行數(shù)據(jù)。

圖5 交叉口信號(hào)配時(shí)方案

3.2.2 仿真數(shù)據(jù)統(tǒng)計(jì)

運(yùn)行SUMO 交通參數(shù)檢測(cè)功能，同時(shí)開啟仿真數(shù)據(jù)采集模式[11]。在上述交叉口的所有車道上添加相應(yīng)種類的檢測(cè)器，開啟采集模式，同時(shí)將計(jì)數(shù)周期設(shè)置為信號(hào)配時(shí)周期，得到每條車道的長(zhǎng)度，同時(shí)獲得了所需交通數(shù)據(jù)。在仿真過(guò)程中，觀察到檢測(cè)器位置會(huì)對(duì)參數(shù)產(chǎn)生細(xì)微影響，由于其影響極其有限，故直接忽略。本文所做實(shí)驗(yàn)中，涉及3 個(gè)交叉口5 個(gè)信號(hào)周期共45 份采集信息。

3.2.3 指標(biāo)固定權(quán)重確定

借鑒文獻(xiàn)[12]和文獻(xiàn)[13]的研究成果，采用十位專業(yè)人員的打分結(jié)果并通過(guò)層次分析法依次得到十組指標(biāo)權(quán)重，進(jìn)行簡(jiǎn)單加權(quán)平均作為最后的指標(biāo)權(quán)重。以下是通過(guò)運(yùn)行層次分析法得到指標(biāo)權(quán)重的完整過(guò)程。

以某一領(lǐng)域?qū)＜掖蚍纸Y(jié)果為例，依照9 級(jí)評(píng)分標(biāo)準(zhǔn)，針對(duì)評(píng)估指標(biāo)進(jìn)行兩兩排序打分，構(gòu)成判斷矩陣如下式(13)：

接著計(jì)算平均延誤時(shí)間、平均排隊(duì)長(zhǎng)度、平均停車次數(shù)、空間占有率、行人最大相位綠燈間隔時(shí)間以及行人過(guò)街平均等待時(shí)間待定指標(biāo)權(quán)重，結(jié)果分別為0.38，0.14，0.04，0.10，0.07，0.25。

最終進(jìn)行判斷矩陣的一致性驗(yàn)證實(shí)驗(yàn)。根據(jù)式(4)～(6) 可 得 一 致 性 比 率CR=CI/RI=0.019 711＜0.1，證明待定指標(biāo)權(quán)重滿足一致性檢驗(yàn)要求。因此，該專家打分指標(biāo)是可靠的。

領(lǐng)域?qū)＜覇?wèn)卷反饋結(jié)果總結(jié)歸納出的指標(biāo)權(quán)重如表2 所示，通過(guò)整合數(shù)據(jù)進(jìn)行平均值計(jì)算，可以計(jì)算出本文層次分析法模型的權(quán)重系數(shù)，分別為0.238，0.176，0.124，0.145，0.127，0.19。

表2 各項(xiàng)指標(biāo)權(quán)重

3.2.4 評(píng)估模型結(jié)果

根據(jù)上述方法，針對(duì)涵蓋3 個(gè)交叉口以及3 種不同的交通擁堵?tīng)顟B(tài)，按周期平均后，由式(8)計(jì)算可得到各個(gè)交叉口在不同擁堵水平下的評(píng)估得分，結(jié)果見(jiàn)表3。

表3 交叉口評(píng)估得分

由表3 可以得到，本文提出的評(píng)估方法基于信號(hào)配時(shí)周期，可迭代地進(jìn)行周期性評(píng)估，為接下來(lái)的交通配時(shí)優(yōu)化提供了前提條件。且實(shí)驗(yàn)驗(yàn)證了當(dāng)各路段交通量分別在不同狀態(tài)時(shí)，其評(píng)估結(jié)果與仿真設(shè)定一致，表明此評(píng)估方法有顯著的有效性。再比較各交叉口的評(píng)估得分，發(fā)現(xiàn)同等條件下，人民路-東河商業(yè)街的運(yùn)行狀態(tài)評(píng)分最低。實(shí)際中分析此交叉口的交通環(huán)境特性，發(fā)現(xiàn)其由于車道較窄，易導(dǎo)致交通擁堵，影響交叉口的運(yùn)行。表明本文提出的評(píng)估方法可行性較高。

3.3 基于NoisyNet DQN 的配時(shí)優(yōu)化仿真實(shí)驗(yàn)

通 過(guò) SUMO 提 供 的 TraCI （Traffic Control Interface）仿真接口，可獲取仿真中實(shí)時(shí)參數(shù)，與運(yùn)行中的智能體進(jìn)行交互操作，通過(guò)每個(gè)時(shí)間步的數(shù)據(jù)收集交叉口實(shí)時(shí)狀態(tài)。以擁堵情況較嚴(yán)重的人民路-東河商業(yè)街交叉口為實(shí)驗(yàn)對(duì)象，基于PyTorch 框架搭建模型，并使用了以下超參數(shù)進(jìn)行訓(xùn)練：

神經(jīng)網(wǎng)絡(luò)：5 層，每層包含400 個(gè)神經(jīng)元；折扣因子為0.25。

圖6 為可視化的模型訓(xùn)練過(guò)程。

圖6 模型訓(xùn)練過(guò)程

為證明NoisyNet DQN 算法的有效性，將實(shí)驗(yàn)結(jié)果與經(jīng)典信號(hào)配時(shí)算法Webster 算法[14]進(jìn)行仿真結(jié)果的比較，結(jié)果如表4 所示。

表4 兩種算法實(shí)驗(yàn)結(jié)果

由表4 可知，在交通量狀態(tài)為暢通、一般擁堵和非常擁堵的情況下，相較于Webster 算法，經(jīng)過(guò)NoisyNet DQN 算法優(yōu)化交叉口運(yùn)行得分分別提升了4.71%，3.39%和21.05%，交通擁堵情況明顯得到改善，尤其在交通量為非常擁堵?tīng)顟B(tài)下格外顯著。

4 結(jié)論

本文經(jīng)過(guò)調(diào)研國(guó)內(nèi)外針對(duì)交叉口運(yùn)行狀態(tài)評(píng)估使用的各評(píng)價(jià)指標(biāo)以及現(xiàn)有的評(píng)估方法，綜合考慮了機(jī)動(dòng)車和行人的通行感受，確定了具有代表機(jī)動(dòng)車和行人需求的評(píng)價(jià)指標(biāo)體系。接著，運(yùn)用AHP-變異系數(shù)雙層模型確定各指標(biāo)的權(quán)重，構(gòu)建了多維交叉口運(yùn)行狀態(tài)在線評(píng)估模型。最后，基于該評(píng)價(jià)模型提出了一種實(shí)時(shí)性較高的NoisyNet DQN 算法的信號(hào)控制配時(shí)優(yōu)化模型。

在上述研究下，本文選擇了合肥市巢湖市的3個(gè)實(shí)際交叉口作為研究對(duì)象，交叉口交通量在不同水平下的指標(biāo)參數(shù)由仿真軟件SUMO 進(jìn)行采集，通過(guò)評(píng)估該交叉口的實(shí)際運(yùn)行狀態(tài)，驗(yàn)證了本文提出評(píng)價(jià)方法可行性較高，拓展性較強(qiáng)，能適用于不同的交通狀態(tài)。在此基礎(chǔ)上，針對(duì)較擁堵的人民路-東河商業(yè)街交叉口進(jìn)行信號(hào)控制配時(shí)優(yōu)化，驗(yàn)證結(jié)果顯示，較經(jīng)典的Webster 配時(shí)算法，基于NoisyNet DQN 算法的信號(hào)配時(shí)優(yōu)化模型的性能更優(yōu)。