高 涵 羅 娟 蔡乾婭 鄭燕柳

（湖南大學信息科學與工程學院 長沙 410082）（hangao1974@hnu.edu.cn）

物聯(lián)網(wǎng)、大數(shù)據(jù)、邊緣計算等新一代人工智能技術(shù)飛速發(fā)展，為智能交通系統(tǒng)的實現(xiàn)提供技術(shù)支持.智能交通系統(tǒng)（intelligent traffic system，ITS）是一種綜合運用多種先進技術(shù)的交通運輸管理系統(tǒng)，用于營造安全、高效、環(huán)保的交通環(huán)境.智能交通信號控制是智能交通系統(tǒng)的核心，它提供動態(tài)更新、綜合計算、實時決策等功能.

近年來，物聯(lián)網(wǎng)技術(shù)的研究取得突破性進展，也推動智能交通信號控制的廣泛應用.基于物聯(lián)網(wǎng)技術(shù)實現(xiàn)對交通環(huán)境的全方位感知，云計算技術(shù)為海量數(shù)據(jù)提供計算服務，以數(shù)據(jù)為中心進行決策[1]，具有實時精準的特性.然而，采用云計算技術(shù)難以滿足大規(guī)模場景下信號控制器低時延、高響應、實時計算的需求.邊緣計算技術(shù)將云計算能力從中心下沉到邊緣節(jié)點，形成端—邊—云一體化協(xié)同計算系統(tǒng)，實現(xiàn)就近實時計算，更加滿足信號控制系統(tǒng)高實時性要求.

與此同時，對交通信號優(yōu)化控制問題的研究也從未停止，采用整數(shù)規(guī)劃、群體智能方法、傳統(tǒng)機器學習方法等傳統(tǒng)優(yōu)化方法尋求最優(yōu)控制方案的研究取得一定成果.強化學習[2]（reinforcement learning，RL）在解決連續(xù)決策問題上表現(xiàn)優(yōu)異，被提出可適用于解決交通場景問題[3]，在解決大規(guī)模交通信號協(xié)同控制問題上發(fā)揮著越來越重要的作用.

強化學習通過智能體試錯的方式探索環(huán)境，并根據(jù)探索環(huán)境得到的經(jīng)驗自學習建立最優(yōu)行為策略模型，最大化累計獎勵.當環(huán)境中智能體數(shù)量增加，每個智能體單獨進行環(huán)境探索并學習.從單個智能體的角度來看，環(huán)境出現(xiàn)非平穩(wěn)性，方法不利于收斂.在目前的研究中對多智能體協(xié)同方式大部分采用的同步?jīng)Q策機制，即統(tǒng)一時鐘頻率，以固定的決策周期進行決策.

在實際場景中，由于交叉口地理位置、交通管制要求以及功能的不同，車流通過交叉口的時間往往具有很大差異.同步?jīng)Q策方式導致交通信號綠燈利用率較低，交叉口通行服務質(zhì)量下降.如圖1 所示，在時刻t交叉口i進行動作決策并切換交通燈相位.在t+Δt時，交叉口i可通行車道（東西方向車道）已無等待車輛，但仍然持有通行權(quán)（綠燈空放現(xiàn)象）.由于未到約定好的動作決策周期，導致其他車道無法競爭通行權(quán), 從而造成一部分綠燈時間損失，交通信號利用率降低.

Fig.1 Traffic signal control scene diagram圖1 交通信號控制場景圖

在本研究中設計一種基于端—邊—云協(xié)同的交通信號控制架構(gòu)，并將異步通信與交通信號自適應控制相結(jié)合，提出一種多智能體之間可以使用不同決策周期的異步?jīng)Q策機制，降低綠燈損失時間，提高交叉口時間利用率.

本文的主要貢獻包括3 個方面：

1）針對集中控制系統(tǒng)高、時延低效率這一問題，提出一種基于端—邊—云的交通信號分布式控制架構(gòu).實現(xiàn)在邊緣節(jié)點進行數(shù)據(jù)預處理，在端節(jié)點決策的方式減少傳輸時延.

2）針對同步?jīng)Q策導致交叉口時間利用率低問題，設計一種基于異步?jīng)Q策的交通信號優(yōu)化機制.智能體根據(jù)交叉口車輛等待時間更新決策周期的方法，增加單個交叉口有效綠燈時間，避免交叉口綠燈空放現(xiàn)象.

3）針對強化學習智能體之間實時通信受限問題，提出一種基于鄰居信息庫的多智能體協(xié)作交通信號自適應協(xié)調(diào)方法.降低因異步方式產(chǎn)生的智能體之間信息不平衡情況，從而提升多參與者協(xié)同效率.

1 相關(guān)工作

邊緣計算為智慧交通的建設提出高效的分布式計算解決方案，該方案構(gòu)建計算、存儲、決策一體化的邊緣開放平臺，為交通信號控制系統(tǒng)提供一種新型計算模式[4].在大規(guī)模路網(wǎng)的交通信號控制研究中，文獻[5]提出一種為每個交叉口控制智能體分配對應邊緣學習平臺，在協(xié)作時僅考慮直接相連的鄰居信息的方法.這種分散協(xié)作式具有較高的成本效益，難以適用于大規(guī)模路網(wǎng).

實際交通信號控制應用場景存在環(huán)境建模難的問題，基于數(shù)據(jù)驅(qū)動的無模型強化學習方法可以在探索中自身學習，實現(xiàn)控制閉環(huán)反饋.獨立學習的單智能體之間不進行相互之間的溝通與協(xié)作，每個智能體只能感知自己控制范圍內(nèi)的狀態(tài)，每次以優(yōu)化局部Q 值最大化為目標.但當周圍環(huán)境變得復雜時，不考慮上下游智能體的決策帶來的非平穩(wěn)性的影響將會導致自身學習無法收斂.基于通信的多智能體聯(lián)合學習通常采用集中式控制[6]，以最大化所有區(qū)域智能體的聯(lián)合動作對應的Q 值為目標.全局智能體所需要處理數(shù)據(jù)龐大，現(xiàn)有計算能力難以實時處理，集中式控制方式的弊端逐漸暴露出來，因此有學者提出分散式多智能體控制方式.當掌握全局的統(tǒng)領(lǐng)者被撤走后，使用協(xié)作圖[7-8]簡化多個智能體之間關(guān)系或采用博弈論[9-11]解決智能體之間的聯(lián)合問題是較為常用的辦法.文獻[12]中提出一種完全可擴展的去中心化多智能體強化學習（muti-agent reinforcement learning，MARL）方法，將其他智能體的策略以廣播的方式告知環(huán)境中的其他代理，并應用空間折現(xiàn)因子縮小距離較遠的智能體帶來的影響.除此之外，其他MARL 方法應用到多路口場景，如MADDPG[13]，APEX DQN[14]，AC[15]，A2C[16]等，也被證明是可行的.將多智能體協(xié)作問題轉(zhuǎn)換成圖也被廣泛研究，如MARL與GAN[17]、圖卷積[18-20]等圖方法結(jié)合.

交通信號控制系統(tǒng)中關(guān)于異步的研究集中在降低數(shù)據(jù)相關(guān)性方面.文獻[21]基于并行強化學習范式采用異步梯度下降優(yōu)化神經(jīng)網(wǎng)絡參數(shù)，提高資源利用率，提升訓練速度.文獻[22]提出一種異步協(xié)同信號框架，信號控制器根據(jù)并行方式異步共享的相鄰信息進行決策，該框架能夠提高實際控制的穩(wěn)定性，但要求所有控制器必須同步進行決策.文獻[23]提出一種異步多步Q-Learning 方法，該方法采樣多個步驟后進行估值，降低因估計造成的誤差，并利用多核CPU 并行模擬多個代理與環(huán)境進行交互的過程，異步更新全局參數(shù).

在關(guān)于多智能體協(xié)同的研究中可以發(fā)現(xiàn)，在同一環(huán)境下的智能體直接進行通信需要同步?jīng)Q策才能實現(xiàn)同步通信.本研究采用間接通信方式，借助邊緣節(jié)點存儲的鄰居信息庫間接實現(xiàn)智能體之間通信，智能體之間不必要求同步?jīng)Q策.異步?jīng)Q策方式能夠達到提高智能體之間的通信效率、優(yōu)化交通信號配時方案、降低車輛在交叉口的等待時間.

2 基于端—邊—云的交通信號控制架構(gòu)

本文研究以常見十字交叉口場景為例，每個交叉口內(nèi)安裝多種信息采集裝置，由m個十字交叉口構(gòu)成的路網(wǎng)中分布著n個邊緣服務器以及1 個中心云服務器，并提出交通信號分層協(xié)同控制[24].

如圖2 所示，在單個十字交叉口中布設多種智能終端傳感設備，如網(wǎng)聯(lián)車、交通信號控制器、攝像頭和傳感器等.這些終端設備用于感知環(huán)境信息，并向邊緣服務器節(jié)點傳輸環(huán)境數(shù)據(jù).

Fig.2 Architecture diagram of traffic signal control based on end-edge-cloud圖2 基于端—邊—云架構(gòu)的交通信號控制架構(gòu)圖

根據(jù)具體交通需求將m個交叉口劃分為n個區(qū)域，縮小交通信號控制器控制范圍.每個區(qū)域由對應的邊緣服務器進行管理，負責初步處理多源異構(gòu)的感知數(shù)據(jù)、小規(guī)模的智能分析，以及提供存儲與決策相關(guān)的服務.此外，邊緣節(jié)點還需要維護一個小型鄰居信息庫（參見3.2.1 節(jié)），用于降低決策時的通信延遲，提升智能體之間的合作效率.

在中心云服務層，云節(jié)點核心控制程序從全局角度實現(xiàn)資源調(diào)度和決策，同時存儲和維護路網(wǎng)整體的鄰居信息庫，進行深入分析，接收邊緣節(jié)點定時傳輸?shù)臄?shù)據(jù)并更新.

3 智能交通信號協(xié)調(diào)方法

在基于提出的端—邊—云協(xié)同交通信號控制架構(gòu)上，面向多交叉口交通信號控制場景，構(gòu)建強化學習控制模型，提出一基于邊緣計算的異步?jīng)Q策的多智能體交通信號自適應協(xié)調(diào)方法（adaptive coordination method，ADM），該方法包括交通信號配時優(yōu)化機制和基于異步?jīng)Q策的多智能體交通信號自適應協(xié)調(diào)算法.在3.1 節(jié)中重點描述決策周期計算方法.由于系統(tǒng)中多個智能體采取不同決策周期，相互之間的通信方式是需要研究的重點，因此，在3.2 節(jié)中提出基于鄰居信息庫的多智能體協(xié)作機制，并給出智能體的定義以及學習過程.

3.1 交通信號配時優(yōu)化機制

根據(jù)車輛跟馳方式，車流可劃分為飽和連續(xù)車流（包含首車及后續(xù)連續(xù)車流）和非飽和車流.受到信號燈的控制，當首車狀態(tài)發(fā)生改變后，在停車線前排隊等候的車輛傳遞性發(fā)生連續(xù)狀態(tài)改變，形成交通流，并以一定的傳播速度向后傳播.能夠與前車一起形成連續(xù)不間斷的車流為飽和連續(xù)車流，包含綠燈亮起時已排隊車輛以及放行時到達車輛，后加入到隊列中的車輛作為隊尾進行研究.后續(xù)到達車輛無法與前車構(gòu)成連續(xù)車流時稱為非飽和車流，此時車頭時距較大，由車輛到達率決定.因不受前車速度制約，非飽和車流以自由流速度行駛通過交叉口.通常情況下，在最長綠燈時間允許范圍內(nèi)，最后一輛車駛離停車線后切換信號相位.然而，實際情況中因非飽和車流通行的不確定性導致通行時間被浪費.為了貼合實際場景中動態(tài)的交通流，提供更好的優(yōu)化交通信號配時方案， ADM 方法基于車輛跟馳理論針對不同交叉口狀態(tài)實時調(diào)整綠信比.

交通模式劃分為相對模式（C1）、相鄰模式（C2）和匯聚模式（C3），每個模式中含有4 個相位，每個相位默認綠燈時間為tg， 默認黃燈時間為ty，信號默認周期ta是默認綠燈和黃燈時間之和，如式（1）所示：

根據(jù)不同階段的車頭時距，將實際信號周期ta′的計算分為4 個部分.

1）首車啟動及飽和跟馳階段t1，如式（2）所示：

其中carN表示具有通行權(quán)車道上的車輛數(shù)，waitN表示車道上實際停車數(shù)，當車速小于0.1 m/s 時視為車輛處于等待狀態(tài)，d是飽和連續(xù)車流末尾車輛所在位置到停車線的距離，v是飽和連續(xù)車流正常通行情況下的平均速度估計值.

2）非飽和跟馳階段t2，如式（3）所示：

其中runN表示具有通行權(quán)車道上正在行駛的車輛，du為非飽和車流末尾車輛所在位置到停車線的距離，vu為非飽和車流繼續(xù)通行時平均行駛速度.

3）當飽和跟馳階段執(zhí)行完畢后，再次觀察交通環(huán)境并計算除當前車道外其他車道的飽和連續(xù)通行時間t3，并判斷當前交叉口競爭狀態(tài).

①如果t3＜t2，交叉口處于弱競爭狀態(tài)，不需要切換動作；

②如果t3≥t2，交叉口處于強競爭狀態(tài)，需要根據(jù)鄰居信息切換新動作.根據(jù)3.2.3 節(jié)描述的協(xié)調(diào)機制，重新選擇新動作并執(zhí)行.

4）黃燈實際執(zhí)行時間ty′，如式（4）所示：

修正后的實際相位周期時間ta′為這4 部分之和,對應智能體的實際動作執(zhí)行時間之間與默認動作執(zhí)行時間存在一定差異，整個系統(tǒng)中智能體難以實現(xiàn)同步?jīng)Q策.因此，ADM 方法引入異步概念，允許智能體根據(jù)交通環(huán)境情況適當調(diào)整自身綠信比.當前相位執(zhí)行完畢后無需等待與其他智能體時鐘頻率同步的時刻，可以直接決策并執(zhí)行新動作.

3.2 多智能體交通信號自適應協(xié)調(diào)算法

3.2.1 基于鄰居信息庫的協(xié)調(diào)機制

考慮到異步?jīng)Q策機制會降低多智能體之間的通信效率這一問題，ADM 算法提出在云節(jié)點維護整體路網(wǎng)的鄰居信息庫，邊緣節(jié)點維護與其目標節(jié)點相關(guān)的鄰居信息庫，并按一定周期將數(shù)據(jù)同步更新給云節(jié)點.

智能體在決策時僅參考與目標交叉口相鄰接的交叉口狀態(tài)信息，并將自身新決策發(fā)送給對應邊緣節(jié)點更新.鄰居信息庫中存儲交叉口之間鄰接信息、每個交叉口的決策時間、決策結(jié)果以及持續(xù)時間.當交叉口控制智能體i決策時，向其對應的邊緣服務器發(fā)送數(shù)據(jù)請求.邊緣服務器根據(jù)交叉口間鄰接關(guān)系，將其鄰接交叉口集合Ji的最新決策信息返回給智能體i，智能體i與鄰居協(xié)調(diào)決策（協(xié)調(diào)策略詳細描述見3.2.3 節(jié)）后將自己最新決策再次發(fā)送給邊緣服務器，用于更新存儲在邊緣節(jié)點的局部信息庫.一段時間后，邊緣服務器集群集中向云服務器進行同步信息，用于云服務器訓練模型，云服務器訓練模型后將最新模型參數(shù)發(fā)送給邊緣服務器更新.

3.2.2 模型設置

根據(jù)強化學習理論，可以將控制過程建模為馬爾可夫決策過程（MDP），使用五元組表示（O,A, R,α,γ）.其中O表示狀態(tài)空間向量，A表示動作空間向量，R表示獎勵函數(shù)R（o，a）：O×A→R，α為智能體的學習率，γ為折扣因子.控制過程的根本原理是通過試錯的方式探索環(huán)境，即在智能體執(zhí)行動作后，環(huán)境根據(jù)執(zhí)行該動作產(chǎn)生的效果給予獎勵，如果獲得較好獎勵，表明在當前狀態(tài)執(zhí)行該動作較為合適，可以增加該動作的出現(xiàn)概率.智能體根據(jù)探索環(huán)境得到的經(jīng)驗進行自身學習，主要學習任務是行為策略，目標是在環(huán)境中最大化累計獎勵.要素的具體定義有3 方面：

1）狀態(tài)空間

根據(jù)3.1 節(jié)中劃分的3 組交通模式，智能體觀測空間也由3 組不同交通模式共計12 種車流的狀態(tài)向量構(gòu)成，O =（S1，S2，…，Si）（1≤i≤12）.其中Si表示第i種車流的狀態(tài)，由最長連續(xù)等待車流f和與f間隔最小的預計到達車流f′的估計停車等待時間Tw表示，如式（5）所示.

其中waitN′是車道上估計停車數(shù)，waitN是車道上實際停車數(shù)，tw是車道上單位車輛等待時間，e是車道上車輛行駛狀態(tài)不均衡系數(shù)，e計算公式如式（7）所示.

其中I′是車流在理想行駛與實際行駛狀態(tài)下該統(tǒng)計分布面積之差，I是車流實際狀態(tài)下該統(tǒng)計分布面積，車流內(nèi)部以可協(xié)調(diào)的最大速度同速行駛.

2）動作空間

本文中動作定義采取在預定義的相位方案中選擇需要更改的相位方法.動作空間A= (C1，C2，C3)，根據(jù) 交 通 模 式 劃 分為3 組C1={NSs，EWs，NSl，EWl}，C2={Wsl，Ssl，Esl，Nsl}，C3={WsNl，SsWl，EsSl，NsEl}，共 計12 種動作構(gòu)成.N，S，W，E 分別表示北向、南向、西向、東向，下標s 和l 表示直行和左轉(zhuǎn).出于安全性考慮，每個動作執(zhí)行后均默認執(zhí)行一個對應的黃燈過渡相位.由于右轉(zhuǎn)車流不受交通信號控制，因此在相位方案中省去對于右轉(zhuǎn)車輛的指示，默認一直是綠燈狀態(tài).

3）獎勵函數(shù)

累計獎勵函數(shù)最大是強化學習算法優(yōu)化學習的目標，其設置需要能夠準確反饋動作執(zhí)行帶來的影響.本文中獎勵函數(shù)R的定義如式（8）所示：

其中是 路口整體車流狀態(tài)不均衡系數(shù)，取路口直行和左轉(zhuǎn)車道上行駛車輛狀態(tài)不均衡系數(shù)e的平均值.Hw是執(zhí)行動作a后路口擁堵狀態(tài)持續(xù)加劇程度的估計值，反映執(zhí)行綠燈相位對路口擁堵狀態(tài)變化的影響，計算公式如式（9）所示：

3.2.3 基于多智能體的自適應控制算法

多個智能體在環(huán)境中需要相互協(xié)調(diào)以獲得最大累計獎勵值，智能體在充分考慮與目標節(jié)點鄰接的節(jié)點的交通狀態(tài)下，根據(jù)道路實際通行情況和交通信號控制器選擇結(jié)果進行決策投票.在強競爭場景下實現(xiàn)控制車流傳輸速度，盡量降低上游路口對下游路口的負面影響.

具體而言，智能體根據(jù)觀察到的目標交叉口環(huán)境狀態(tài)信息，以ε-greedy 策略選取基于動作選擇策略選取動作a1；從鄰居經(jīng)驗庫中獲取目標交叉口鄰接交叉口的信息，計算得到根據(jù)協(xié)同后建議采取動作a2；當a1≠a2時，表示與鄰居協(xié)同失敗，重新選擇動作.根據(jù)交叉口估計等待時間最長車道需要先疏通這一原則對車道設置優(yōu)先級，從動作a1所屬交通模式的相位集合中選擇具有最高優(yōu)先級的車道賦予通行權(quán)，即動作a3.從動作候選集合{a1，a2，a3}中選擇最終動作后得到對應默認執(zhí)行周期ta，根據(jù)3.1 節(jié)計算智能體實際執(zhí)行周期ta′.每次決策后都要將決策結(jié)果發(fā)給附近邊緣節(jié)點，智能體通過自適應以及與鄰居之間經(jīng)驗不斷優(yōu)化學習，提高協(xié)調(diào)控制的效果，具體如算法1 所示.

算法1.基于多智能體異步協(xié)作的信號優(yōu)化算法.

輸入：學習率α，折扣因子γ，搜索概率ε，最大仿真步數(shù)T，交叉口集合J，鄰居經(jīng)驗庫B；

輸出：最優(yōu)執(zhí)行動作序列A*.

① 初始化ot←getObservation（），t←0；/*初始化狀態(tài)和時間*/

② fort=1，2， … ，Tdo

③ forj=1，2， … ，Jdo

④ ifat,j,1≠at,j,2

⑤at,j=at,j,1

⑥ elseat,j=at,j,3； /*智能體根據(jù)鄰居信息采用投票策略獨立進行決策*/

⑦ end if

⑧t1，t2，t3←calDescisionTime（）；

⑨ ift2≥t3/*判斷交叉口狀態(tài)*/

⑩ break；

? end if

?rt=execute（at,j，t1，t2，t3）；

?Qj（o*t,j，a*t,j）=（1-α）×Qj（ot,j，at,j）+α[γ×Qj（ot+1,j，a*）+R（ot,j，at,j）]；/*更新Q-table*/

?ot+1,j←getObservation（）；

? end for

? end for

? return {a1,0*，a1,1*，…，a1,J*，…，aT,0*，aT,1*，…，aT,J*}.

4 實驗結(jié)果與分析

4.1 仿真實驗設置

為了評估所提出的ADM 方法，在阿里云服務器上實現(xiàn)云服務核心控制程序、構(gòu)建全局鄰居信息庫及相關(guān)操作API.基于RSU 設備實現(xiàn)數(shù)據(jù)預處理、控制決策、區(qū)域鄰居信息庫創(chuàng)建及更新的程序.在交通仿真軟件SUMO 中對多交叉口仿真環(huán)境進行建模，在SUMO 中搭建的路網(wǎng)如圖3 所示.

Fig.3 Schematic diagram of the simulated intersection model圖3 仿真交叉口模型示意圖

ADM 方法基于Q 學習方法，經(jīng)過多次實驗調(diào)整后對方法和道路相關(guān)參數(shù)設置如表1 所示.

Table 1 Major Parameter List表1 主要參數(shù)列表

實驗中仿真車流數(shù)據(jù)使用濟南市某交叉口實際數(shù)據(jù)，數(shù)據(jù)來自于交叉口附近布設的監(jiān)控攝像，每個交叉口具有相對完整的記錄.數(shù)據(jù)集中信息包括地理位置信息、車輛到達時間及其他信息，以及對信息處理后生成與仿真環(huán)境匹配的路由文件.加載路網(wǎng)和車輛路由文件后，使用Python 語言編程實現(xiàn)ADM方法，借助Traci 接口與仿真環(huán)境進行交互獲取數(shù)據(jù).

4.2 對比實驗及評價指標

ADM 方法將與2 種方法進行對比.

1）傳統(tǒng)固定配時法（fixed time, FT）.按照默認相位方案和信號周期順序執(zhí)行.默認相位方案為{NSs，EWs，NSl，EWl，Wsl，Ssl，Esl，Nsl，WsNl，SsWl，EsSl，NsEl}，默認直行綠燈時長為33 s，左轉(zhuǎn)綠燈時長為25 s，黃燈時長為3 s.

2）基于Q 學習的獨立交通信號自適應控制方法IQA（independent Q-learning decision algorithm）.智能體之間無協(xié)同，根據(jù)自身信息進行動作選擇，并采用同步?jīng)Q策方式.

評價指標包括：路口平均等待車輛數(shù)、路口車輛等待時間、路口最大排隊長度.

4.3 實驗結(jié)果

1）控制有效性分析.在4 800 s 的仿真實驗中，路網(wǎng)中車流量總數(shù)約為3 000 輛，實驗中2 個交叉口車流量經(jīng)過優(yōu)化控制后時變?nèi)鐖D4 和圖5 所示，可以看出2 個交叉口車流量均呈先增后減的趨勢.受路網(wǎng)通行能力的限制，單位時間內(nèi)可通行車輛數(shù)恒定、流量波動大時，代表交叉口通行效率不穩(wěn)定.當流量小時，表示交通暢通或出現(xiàn)綠燈空放現(xiàn)象；當流量大時，表示交通緩慢或已經(jīng)擁堵.

Fig.4 Traffic flow variation of intersection 1圖4 路口1 車流量變化

Fig.5 Traffic flow variation of intersection 2圖5 路口2 車流量變化

結(jié)合圖4 和圖5 可以發(fā)現(xiàn)，在FT 方法中，相位執(zhí)行順序和時長恒定不變，在整個仿真過程中車流量波動較小，對車流具有一定的疏通作用.而不具有協(xié)調(diào)機制的IQA 方法獨立決策，無需考慮相鄰交叉口情況.當路網(wǎng)中流量增大時，因交叉口1 和交叉口2無相互協(xié)調(diào)造成車流量大幅度波動.最高峰時交叉口1 中有近130 輛車在行駛或等待，高于同時刻其他2 種方法近1 倍.同時，在交叉口2 車流明顯低于其他2 種方法，這表明相鄰交叉口之間的協(xié)調(diào)控制能夠有效減少獨立控制方式的盲目判斷，從而預防大量車輛擁堵現(xiàn)象的產(chǎn)生，最大限度地減少車輛停車次數(shù)對于提高路網(wǎng)通行有明顯的作用.本文研究中提出的ADM 方法和FT 方法的波動大致相同，但ADM 整體上低于FT 方法對應的曲線.這表明采用動態(tài)信號決策周期能夠有效提升信控優(yōu)化效率.對于突然大量增加的車流量，也能及時疏導避免在交叉口造成擁堵，展示出具有自適應學習能力和實時決策能力.

2）平均等待長度和平均等待車輛數(shù)對比分析.在仿真過程中對2 個交叉口平均等待長度進行記錄，并計算出不同方法的平均值，如表2 所示.固定配時平均等待長度和平均等待車輛數(shù)這2 項指標均較高，這表示車輛在交叉口聚集時間過長，產(chǎn)生擁堵現(xiàn)象，但方法由于不具有自適應性無法調(diào)節(jié).無協(xié)同的IQA 方法優(yōu)化效果不明顯，經(jīng)過分析得到，當發(fā)生擁堵時IQA 能夠根據(jù)環(huán)境變化對相位進行靈活調(diào)整，因此控制效果比固定配時方法好.圖6 展示在仿真過程中不同方法控制下平均等待車輛數(shù)的變化，從圖6 中可以看出，ADM 方法在運行整體調(diào)節(jié)效果較好，從長遠角度考慮決策，盡量避免擁堵情況的發(fā)生，降低平均等待車輛數(shù).圖7 為在仿真過程中不同等待車輛數(shù)出現(xiàn)的頻次，可以發(fā)現(xiàn)，在ADM 方法的調(diào)控下，平均等待40 輛車甚至更多事件發(fā)生的頻率明顯少于其他2 種方法，這表明ADM 方法能夠有效避免擁堵情況的發(fā)生.

Table 2 Average Waiting Car Numbers at Intersections表2 交叉口平均等待車輛數(shù)

Fig.6 Average waiting car numbers at intersection圖6 交叉口平均等待車輛數(shù)

3）累計等待時間對比分析.如圖8 所示，ADM 方法相較于其他方法對路口整體的車輛等待通行時間的控制效果更好，可以較穩(wěn)定地將路口車輛的等待時間控制在較小范圍內(nèi)波動，并且ADM 方法的累計等待時間更短并且收斂速度相比其他2 種方法更快.

Fig.8 Cumulative waiting time at intersection圖8 交叉口累計等待時間

5 結(jié) 論

本文提出一種異步?jīng)Q策的多智能體交通信號自適應協(xié)調(diào)方法，該方法基于邊緣計算技術(shù)實現(xiàn)，適用于大規(guī)模路網(wǎng)分布式控制場景.基于本文提出的端—邊—云架構(gòu)，實現(xiàn)使用多種物聯(lián)網(wǎng)終端設備采集環(huán)境信息，邊緣進行小規(guī)模計算及決策，并在云上部署存儲設備，進行全局計算和管理.此外，針對同步?jīng)Q策中綠燈有效時間短問題，本文將異步引入多智能體協(xié)調(diào)決策中，并提出采用鄰居信息庫解決多智能體通信效率低的問題，在實驗中驗證本文提出方法的有效性.

未來擬進行的研究工作包括：考慮在不同拓撲結(jié)構(gòu)的路網(wǎng)中使用智能體協(xié)同決策機制[14]，以及基于分布式多層端—邊—云架構(gòu)的智能交通控制系統(tǒng)的設計，進一步研究部分網(wǎng)聯(lián)車環(huán)境下實時交通信號優(yōu)化控制方法，以及進行流量預測和行駛路線規(guī)劃.

作者貢獻聲明：高涵設計實驗方案和驗證實驗，并撰寫論文；羅娟提出研究思路，對論文模型方法提出指導意見；蔡乾雅負責完成對比實驗；鄭燕柳對論文進行修改和完善.