摘 要：利用深度強化學習方法對威脅區(qū)域環(huán)境下多無人機（ＵＡＶ） 自主路徑規(guī)劃問題進行研究。為了解決強化學習算法中普遍存在難以收斂的問題，提出了一種改進的Ａｃｔｏｒ-Ａｔｔｅｎｔｉｏｎ-Ｃｒｉｔｉｃ ｆｏｒ Ｍｕｌｔｉ-Ａｇｅｎｔ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ （ＭＡＡＣ） 算法用于多ＵＡＶ 的自主路徑規(guī)劃。通過建立多ＵＡＶ 勢場環(huán)境模型定義強化學習的馬爾科夫決策過程（Ｍａｒｋｏｖ ＭｏｄｕｌａｔｅｄＰｒｏｃｅｓｓ，ＭＤＰ），在動態(tài)環(huán)境中規(guī)劃出合理的無碰撞路徑。仿真實驗驗證了所設計的多ＵＡＶ 自主路徑規(guī)劃控制算法的有效性，并通過對比仿真驗證了該算法在收斂速度和避免碰撞方面具有更優(yōu)越的性能。

關鍵詞：無人機；多智能體深度強化學習；自主路徑規(guī)劃；ＭＡＡＣ 算法

中圖分類號：Ｖ２７９ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０７－１８１６－０８

０ 引言

無人機（ＵＡＶ）作為人類完成復雜危險任務的重要工具，在近幾十年得到了迅速發(fā)展［１］。與單架ＵＡＶ 相比，多ＵＡＶ 協(xié)同作業(yè)具有魯棒性好、效率高等優(yōu)勢［２］。路徑規(guī)劃技術是ＵＡＶ 執(zhí)行任務的關鍵技術之一，多ＵＡＶ 路徑規(guī)劃在軍事、消防等領域得到了廣泛的應用，如協(xié)同搜救［３］、運輸［４］ 與監(jiān)測［５－７］等。

多ＵＡＶ 自主路徑規(guī)劃的研究重點在于考慮環(huán)境因素的同時為所有ＵＡＶ 尋找從起點到終點的無碰撞的最優(yōu)路徑?？偨Y近年來的ＵＡＶ 路徑規(guī)劃算法，可以大致分為傳統(tǒng)算法與智能仿生學算法。其中傳統(tǒng)算法發(fā)現(xiàn)時間較早，且需要建立準確的模型。典型的傳統(tǒng)路徑規(guī)劃算法包括Ａ* 算法［８］和人工勢場法［９］等。由于處理實際的路徑規(guī)劃問題時，傳統(tǒng)算法往往存在建模難的問題，因此人們開始傾向于研究基于智能仿生學的算法來解決路徑規(guī)劃問題。較為突出的有遺傳算法［１０］、蟻群算法［１１］和粒子群算法［１２］等。

上述文獻的方法基本都需要環(huán)境的全局信息且計算量巨大，因此在動態(tài)環(huán)境以及復雜的任務下這些方法難以高效地得到最優(yōu)的結果。這些年，基于深度強化學習解決ＵＡＶ 路徑規(guī)劃問題受到廣泛關注，其優(yōu)勢為可以避免復雜的動力學建模，通過端到端的自學習能力良好應對未知環(huán)境的變化。如文獻［１３］對Ｍｕｌｔｉ-Ａｇｅｎｔ Ｐｒｏｘｉｍａｌ Ｐｏｌｉｃｙ Ｏｐｔｉｍｉｚａｔｉｏｎ（ＭＡＰＰＯ）算法進行了改進，提出了一種基于網(wǎng)絡剪枝的ＮＰ-ＭＡＰＰＯ 算法用于多ＵＡＶ 的路徑規(guī)劃，該算法通過去除神經網(wǎng)絡多余的神經元以及不重要的權重從而減少訓練時間，同時提高算法效率。文獻［１４］使用Ｍｕｌｔｉ-Ａｇｅｎｔ Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ ＰｏｌｉｃｙＧｒａｄｉｅｎｔ （ＭＡＤＤＰＧ）算法實現(xiàn)多ＵＡＶ 的自主避障與導航，同時引入了優(yōu)先經驗回放機制，使優(yōu)先級較高的樣本選擇參數(shù)更新的概率更高，從而加快了算法的收斂速度。文獻［１５］將ＭＡＤＤＰＧ 算法與多ＵＡＶ 任務決策問題相結合，分別從網(wǎng)絡結構和馬爾科夫決策過程（Ｍａｒｋｏｖ Ｍｏｄｕｌａｔｅｄ Ｐｒｏｃｅｓｓ，ＭＤＰ）設計算法模型，提高了收斂速度以及學習效率。

上述文獻均利用強化學習算法對各自場景下的ＵＡＶ 路徑規(guī)劃任務進行了研究和改進。然而大多數(shù)文獻僅針對靜態(tài)環(huán)境任務，沒有考慮環(huán)境中存在動態(tài)威脅區(qū)域的情況。另一方面，使用強化學習方法解決路徑規(guī)劃問題時，由于獎勵稀疏性的存在，通常會出現(xiàn)算法模型難以收斂的情況。基于上述問題，本文將傳統(tǒng)人工勢場方法引入深度強化學習，建立基于勢場的多ＵＡＶ 路徑規(guī)劃系統(tǒng)模型。同時提出了一種多ＵＡＶ 強化學習路徑規(guī)劃框架，該框架基于Ａｃｔｏｒ-Ａｔｔｅｎｔｉｏｎ-Ｃｒｉｔｉｃ ｆｏｒ Ｍｕｌｔｉ-Ａｇｅｎｔ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ（ＭＡＡＣ）算法。訓練開始時，算法將勢場環(huán)境中ＵＡＶ 所受到的斥力以及引力作為狀態(tài)值，同時利用獎勵函數(shù)進行訓練，實現(xiàn)在動態(tài)環(huán)境中的多ＵＡＶ 自主導航與避障。仿真結果表明，本文所提出的方法可以很好地完成威脅區(qū)域環(huán)境下的多ＵＡＶ自主路徑規(guī)劃任務。

１ 問題描述與建模

多ＵＡＶ 自主路徑規(guī)劃場景如圖１ 所示。為了簡化問題，本文將ＵＡＶ 運動環(huán)境設置在二維空間中。多ＵＡＶ 自主路徑規(guī)劃的目標是制定合理的運動策略，使所有ＵＡＶ 能夠快速到達目標位置，同時避免與環(huán)境中的威脅區(qū)域以及其他ＵＡＶ 發(fā)生碰撞。

在人工勢場法的基礎上，首先對ＵＡＶ 運動空間中的勢場環(huán)境進行建模，隨后定義基于勢場的深度強化學習框架。多ＵＡＶ 環(huán)境建模如圖２ 所示，環(huán)境中存在Ｎ 組ＵＡＶ 與目標位置，存在Ｍ 個威脅區(qū)域，（ｐｘｕｉ，ｐｙｕｉ）和（ｐｘｔｉ，ｐｙｔｉ ）分別表示第ｉ 個ＵＡＶ 和目標區(qū)域的位置，（ｐｘｏｌ，ｐｙｏｌ ）表示第ｌ 個威脅區(qū)域的位置。第ｉ 個目標位置的引力勢場如下：

在多ＵＡＶ 環(huán)境中，目標位置的斥力勢場值最小，ＵＡＶ 距離目標位置越遠，其引力勢場值越大。在威脅區(qū)域附近的勢場中，距離威脅區(qū)域越近，斥力勢場值越大。

２ 基于深度強化學習的多ＵＡＶ 路徑規(guī)劃

２． １ 多智能體深度強化學習

在單智能體強化學習中，對于智能體來說，環(huán)境是穩(wěn)定的，但在多智能體系統(tǒng)中，每個智能體都會與環(huán)境進行交互，會導致環(huán)境對于每個智能體來說都變得不穩(wěn)定，針對這個問題，在研究中通常使用中心化訓練和去中心化執(zhí)行框架（Ｃｅｎｔｒａｌｉｚｅｄ ＴｒａｉｎｉｎｇＤｅｃｅｎｔｒａｌｉｚｅｄ Ｅｘｅｃｕｔｉｏｎ，ＴＤＥ）［１６］來解決。在開始時，所有智能體同時參與訓練，共同改進策略網(wǎng)絡參數(shù)和價值網(wǎng)絡參數(shù)，完成訓練后，智能體根據(jù)各自的策略網(wǎng)絡進行決策，并做出動作。

ＭＤＰ 定義為智能體與環(huán)境的交互過程［１７］。多ＵＡＶ 自主路徑規(guī)劃的ＭＤＰ 可以具體由一個多元組｛Ｓ，Ａ，Ｒ，Ｏ，Ｐ｝來表示，其中Ｓ 表示環(huán)境狀態(tài)空間，ｓｔ∈Ｓ 表示ｔ 時刻的狀態(tài)；Ａ ＝ ｛Ａ１ ，Ａ２ ，…，ＡＮ ｝表示所有ＵＡＶ 的聯(lián)合動作空間，所有ＵＡＶ 的聯(lián)合動作表示為ａ ＝ ｛ａ１ ，ａ２ ，…，ａＮ ｝，其中ａｉ ∈Ａｉ 表示無人機ｉ 的動作；Ｒ ＝ ｛Ｒ１ ，Ｒ２ ，…，ＲＮ ｝表示所有ＵＡＶ 的獎勵函數(shù)集合，用ｒｉ ＝ Ｒｉ（ｓｔ，ａｉ）表示無人機ｉ 在狀態(tài)ｓｔ執(zhí)行動作ａｉ 時的獎勵值；所有ＵＡＶ 的觀測空間可以表示為集合Ｏ ＝ ｛Ｏ１ ，Ｏ２ ，…，ＯＮ ｝，用ｏ ＝ ｛ｏ１ ，ｏ２ ，…，ｏＮ ｝表示所有ＵＡＶ 的觀測結果；狀態(tài)轉移概率函數(shù)表示為Ｐ（ｓｔ＋１｜ ｓｔ，ａｉ ），即指定無人機ｉ 在狀態(tài)ｓｔ 執(zhí)行動作ａｉ 時，環(huán)境狀態(tài)ｓｔ 改變?yōu)橄乱粫r刻的狀態(tài)ｓｔ＋１ 時的概率。

２． ２ ＭＡＡＣ 算法

ＭＡＤＤＰＧ 算法［１６］是一種經典的ＣＴＤＥ 算法，該算法的每個智能體均有各自獨立的Ａｃｔｏｒ 網(wǎng)絡和Ｃｒｉｔｉｃ 網(wǎng)絡，可以適用于合作或競爭的多智能體環(huán)境。但當環(huán)境中智能體數(shù)量增多時，集中式訓練的Ｃｒｉｔｉｃ 網(wǎng)絡輸入維度會爆炸式增長，導致算法難以收斂。

Ｍ ＡＡＣ 算法［１８］在ＭＡＤＤＰＧ 的基礎上進行了改進，引入了帶有注意力機制的集中式Ｃｒｉｔｉｃ 網(wǎng)絡，在每個時間步為每個智能體動態(tài)選擇相關的信息，在一定程度上緩解了難以收斂的問題?；冢停粒粒盟惴ǖ亩啵眨粒?路徑規(guī)劃網(wǎng)絡框架如圖３ 所示，ＭＡＡＣ 使用了２Ａｃｔｏｒ-Ｃｒｉｔｉｃ 結構，每個ＵＡＶ 均有各自獨立的帶有參數(shù)θμｉ的Ａｃｔｏｒ 網(wǎng)絡μ（ｏｔｉ；θμｉ），其根據(jù)無人機ｉ 的當前觀測值ｏｔｉ計算動作ａｔｉ。集中式Ｃｒｉｔｉｃ 網(wǎng)絡表示為：

Ｑ（ｏｔ１，ｏｔ２，…，ｏｔＮ ，ａｔ１，ａｔ２，…，ａｔＮ ；θＱｉ） ＝ ｆｉ（ｇｉ（ｏｔｉ，ａｔｉ），ｘｔｉ）， （５）

式中：ｆｉ 為雙層多層感知機（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ），ｇｉ 為單層ＭＬＰ 編碼器。訓練開始時，將無人機ｉ 的當前觀測值ｏｔｉ以及動作ａｔｉ輸入編碼器ｇｉ（ｏｔｉ，ａｔｉ）得到無人機ｉ 的編碼信息ｅｔｉ。對其他ＵＡＶ 的編碼信息進行多頭自注意力選取得到其他ＵＡＶ 對環(huán)境的總貢獻ｘｔｉ，具體表示為：

３． ２ 狀態(tài)空間與動作空間

使用強化學習解決多ＵＡＶ 路徑規(guī)劃問題時，需要設計多ＵＡＶ 路徑規(guī)劃ＭＤＰ。根據(jù)勢場環(huán)境模型，無人機ｉ 的狀態(tài)空間包括引力勢場產生的引力以及所有斥力勢場產生的斥力，具體定義為：

４ 仿真實驗

４． １ 環(huán)境設置

本文的實驗硬件環(huán)境為Ｉｎｔｅｌ Ｃｏｒｅ ｉ７-１０７００ＫＣＰＵ 和ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ３０９０ ＧＰＵ?；冢希穑澹睿粒?平臺構建了多ＵＡＶ 路徑規(guī)劃模擬訓練環(huán)境，仿真環(huán)境是一個邊長為８ ｍ 的正方形二維平面，環(huán)境中存在３ 組ＵＡＶ 和目標位置，每個ＵＡＶ 的半徑和質量被設定為０． １ ｍ 和１ ｋｇ，最大速度限制為０． ８５ ｍ ／ ｓ，目標位置的半徑為０． ０５ ｍ；環(huán)境中的威脅區(qū)域設置為半徑０． ３５ ｍ 的圓形區(qū)域。在訓練開始時，所有ＵＡＶ、目標位置與威脅區(qū)域在環(huán)境中隨機生成。

４． ２ 參數(shù)設置

本實驗使用了ＭＡＤＤＰＧ 算法、ＭＡＡＣ 算法和改進的ＭＡＡＣ 算法進行訓練。３ 種算法均設置了相同的參數(shù)，激活函數(shù)使用ＲｅＬＵ，優(yōu)化器為Ａｄａｍ。最大訓練回合數(shù)為１０５ ，每個回合的最大時間步數(shù)為１００，學習率設置為０． ００１，網(wǎng)絡參數(shù)每１００ 步更新一次，折扣因子γ 為０． ９５，回放緩存區(qū)大小為１０６ ，訓練批量大小為１ ０２４，參數(shù)α、β 分別設置為０． ５、１０，勢場閾值ｄｏ 與ｄｕ 均設置為０． ５。

４． ３ 實驗結果與分析

為了驗證本文算法在不同場景下完成多ＵＡＶ自主路徑規(guī)劃任務的有效性，分別在靜態(tài)威脅區(qū)域和動態(tài)威脅區(qū)域的情況下進行了實驗。同時，分別從碰撞率和目標到達率（Ｔａｒｇｅｔ Ａｃｈｉｅｖｅｍｅｎｔ Ｒａｔｅ，ＴＡＲ）兩方面來評價本文算法與基線算法的性能。碰撞率包括ＵＡＶ 之間的碰撞率（Ｃｏｌｌｉｓｉｏｎ Ｒａｔｅ Ｂｅ-ｔｗｅｅｎ ＵＡＶｓ，ＣＢＲＳ）和ＵＡＶ 與威脅區(qū)域之間的碰撞率（Ｃｏｌｌｉｓｉｏｎ Ｒａｔｅ Ｂｅｔｗｅｅｎ ＵＡＶｓ ａｎｄ Ｔｈｒｅａｔ Ａｒｅａ，ＣＢＲＯ），ＴＡＲ 則為每回合ＵＡＶ 路徑規(guī)劃的成功率，具體如下：

在靜態(tài)威脅區(qū)域實驗中，環(huán)境中的威脅區(qū)域為靜止狀態(tài)。強化學習的目標是使累積折扣獎勵最大化，因此累積回合平均獎勵通常用于衡量訓練結果是否收斂，使用最后１ ０００ 回合的平均獎勵作為最終平均獎勵值，如圖４ 所示。可以看出，算法在３０ ０００ 回合左右能夠學習到比較優(yōu)秀的策略，并逐漸達到收斂。

ＵＡＶ 的碰撞率實驗結果如圖５（ａ）和圖５（ｂ）所示，顯然改進后的ＭＡＡＣ 算法在避免碰撞方面的能力更加出色。ＴＡＲ 是衡量ＵＡＶ 路徑規(guī)劃能力的關鍵因素之一，實驗結果如圖５（ｃ）所示?？梢钥吹较啾扔谄渌惴?，改進后的ＭＡＡＣ 算法具有更高的ＴＡＲ。

在動態(tài)威脅區(qū)域實驗中，環(huán)境中的威脅區(qū)域為隨機移動狀態(tài)，其速度為０ ～ ０． ２ ｍ ／ ｓ。由于動態(tài)威脅區(qū)域環(huán)境更加復雜，使得ＵＡＶ 完成路徑規(guī)劃任務更加困難。實驗結果如圖６ 所示，與基線算法模型相比，改進的ＭＡＡＣ 算法具有更好的穩(wěn)定性，同時具有更低的碰撞率。經過訓練的多ＵＡＶ 軌跡如圖７ 所示，在靜態(tài)環(huán)境中，ＵＡＶ 可以在避免發(fā)生碰撞的同時，快速地到達目標點。

環(huán)境中存在動態(tài)威脅區(qū)域時不同時間步長的多ＵＡＶ 軌跡如圖８ 所示，可以看出ＵＡＶ 面對隨機移動的威脅區(qū)域時仍具備良好的避障性能與自主導航的能力。

３ 種算法訓練數(shù)據(jù)對比如表１ 所示?？梢钥闯觯倪M的ＭＡＡＣ 算法在２ 組實驗中的收斂速度以及收斂后的避障與導航能力具有更優(yōu)越的性能表現(xiàn)。

為了測試不同環(huán)境對算法模型的影響，本文在不同威脅區(qū)域數(shù)量下的環(huán)境中進行了改進的ＭＡＡＣ算法多ＵＡＶ 路徑規(guī)劃任務，結果如圖９ 所示。訓練結果表明，當環(huán)境中威脅區(qū)域數(shù)量上升時，碰撞率呈緩慢上升趨勢。當靜態(tài)和動態(tài)威脅區(qū)域的數(shù)量從２增加至６ 時，算法模型的平均碰撞率分別從１． ２２％和１． ４２％ 上升到３． ８２％ 和５． ０８％ ，且２ 種環(huán)境的碰撞率相差不大。因此，改進的ＭＡＡＣ 算法在復雜的環(huán)境中仍然具有良好的性能。

５ 結束語

針對現(xiàn)有多ＵＡＶ 路徑規(guī)劃問題研究中的不足之處，本文利用深度強化學習方法對多ＵＡＶ 自主路徑規(guī)劃進行了研究。通過引入傳統(tǒng)人工勢場法的概念，提出了一種基于勢場的ＭＡＡＣ 多ＵＡＶ 自主路徑規(guī)劃方法，分別從狀態(tài)空間、動作空間和獎勵函數(shù)設計算法模型結構。最終仿真實驗結果表明，本文所提出的多智能體強化學習算法能夠使得ＵＡＶ 在自主路徑規(guī)劃任務中獲得較好的控制策略，同時相較于基線算法有著更快的收斂速度以及更優(yōu)越的避障性能。

參考文獻

［１］ 閆超，涂良輝，王聿豪，等． 無人機在我國民用領域應用綜述［Ｊ］． 飛行力學，２０２２，４０（３）：１－６．

［２］ 楊旭，王銳，張濤． 面向無人機集群路徑規(guī)劃的智能優(yōu)化算法綜述［Ｊ］． 控制理論與應用，２０２０，３７ （１１ ）：２２９１－２３０２．

［３］ 楊陽，羅婷，唐偉革，等． 多旋翼無人機在醫(yī)學救援領域的應用研究［Ｊ］． 醫(yī)療衛(wèi)生裝備，２０１８，３９ （６ ）：９１－９５．

［４］ ＫＩＭ Ｊ，ＫＩＭ Ｓ，ＪＵ Ｃ，ｅｔ ａｌ． Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅｓｉｎ Ａｇｒｉｃｕｌｔｕｒｅ：Ａ Ｒｅｖｉｅｗ ｏｆ Ｐｅｒｓｐｅｃｔｉｖｅ ｏｆ Ｐｌａｔｆｏｒｍ，Ｃｏｎｔｒｏｌ，ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ［Ｊ ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０１９，７：１０５１００－１０５１１５．

［５］ ＹＵ Ｈ Ｙ，ＬＩ Ｇ Ｒ，ＺＨＡＮＧ Ｗ Ｇ，ｅｔ ａｌ． Ｔｈｅ ＵｎｍａｎｎｅｄＡｅｒｉａｌｖｅｈｉｃｌｅ Ｂｅｎｃｈｍａｒｋ：Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，Ｔｒａｃｋｉｎｇ ａｎｄＢａｓｅｌｉｎｅ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２０２０，１２８（５）：１１４１－１１５９．

［６］ ＢＡＳＩＬＩＣＯ Ｎ，ＣＡＲＰＩＮ Ｓ． Ｄｅｐｌｏｙｉｎｇ Ｔｅａｍｓ ｏｆ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ ＵＡＶｓ ｉｎ Ｃｏｏｐｅｒａｔｉｖｅ Ｔｗｏｌｅｖｅｌ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｍｉｓｓｉｏｎｓ［Ｃ］∥ ２０１５ ＩＥＥＥ ／ ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＲＯＳ）． Ｈａｍｂｕｒｇ：ＩＥＥＥ，２０１５：６１０－６１５．

［７］ ＸＵ Ｘ Ｗ，ＺＨＡＮＧ Ｘ Ｙ，ＹＵ Ｂ，ｅｔ ａｌ． ＤＡＣＳＤＣ ＬｏｗＰｏｗｅｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｃｈａｌｌｅｎｇｅ ｆｏｒ ＵＡＶ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０２１，４３（２）：３９２－４０３．

［８］ 孫淑光，孫濤． 基于融合Ａ* 算法的無人機路徑規(guī)劃研究［Ｊ］． 電子測量技術，２０２２，４５（９）：８２－９１．

［９］ 叢玉華，趙宗豪，邢長達，等． 基于改進人工勢場的無人機動態(tài)避障路徑規(guī)劃［Ｊ］． 兵器裝備工程學報，２０２１，４２（９）：１７０－１７６．

［１０］ 吳振，吳紅蘭． 基于改進遺傳算法的無人機航路規(guī)劃［Ｊ］． 電子測量技術，２０２１，４４（２４）：５２－５８．

［１１］ 蘇梅梅，程詠梅，胡勁文，等． 基于改進蟻群算法的無人機集群任務分配和路徑規(guī)劃聯(lián)合優(yōu)化［Ｊ］． 無人系統(tǒng)技術，２０２１，４（４）：４０－５０．

［１２］ 許諾． 基于改進ＰＳＯ 算法的ＵＡＶ 三維路徑規(guī)劃研究［Ｊ］． 電子測量技術，２０２２，４５（２）：７８－８３．

［１３］ 司鵬搏，吳兵，楊睿哲，等． 基于多智能體深度強化學習的無人機路徑規(guī)劃［Ｊ］． 北京工業(yè)大學學報，２０２３，４９（４）：４４９－４５８．

［１４］ ＷＵ Ｄ Ｗ，ＷＡＮ Ｋ Ｆ，ＴＡＮＧ Ｊ Ｑ，ｅｔ ａｌ． Ａｎ ＩｍｐｒｏｖｅｄＭｅｔｈｏｄ Ｔｏｗａｒｄｓ ＭｕｌｔｉＵＡＶ Ａｕｔｏｎｏｍｏｕｓ ＮａｖｉｇａｔｉｏｎＵｓｉｎｇ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｃ］∥２０２２ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｔｒｏｌ ａｎｄ Ｒｏｂｏｔｉｃｓ Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＣＣＲＥ）． Ｂｅｉｊｉｎｇ：ＩＥＥＥ，２０２２：９６－１０１．

［１５］ 李波，越凱強，甘志剛，等． 基于ＭＡＤＤＰＧ 的多無人機協(xié)同任務決策［Ｊ］． 宇航學報，２０２１，４２（６）：７５７－７６５．

［１６］ ＬＯＷＥ Ｒ，ＷＵ Ｙ Ｉ，ＴＡＭＡＲ Ａ，ｅｔ ａｌ． Ｍｕｌｔｉａｇｅｎｔ Ａｃｔｏｒｃｒｉｔｉｃ ｆｏｒ Ｍｉｘｅｄ ＣｏｏｐｅｒａｔｉｖｅＣｏｍｐｅｔｉｔｉｖｅ Ｅｎｖｉｒｏｎｍｅｎｔｓ［Ｃ］∥３１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１７：６３８２－６３９３．

［１７］ ＶＡＮ ＯＴＴＥＲＬＯ Ｍ，ＷＩＥＲＩＮＧ Ｍ． Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇａｎｄ Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓｅｓ ［Ｍ ］∥ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ：Ｓｔａｔｅｏｆｔｈｅａｒｔ． ［Ｓ． ｌ． ：ｓ． ｎ． ］，２０１２：３－４２．

［１８］ ＩＱＢＡＬ Ｓ，ＳＨＡ Ｆ． Ａｃｔｏｒａｔｔｅｎｔｉｏｎｃｒｉｔｉｃ ｆｏｒ ＭｕｌｔｉａｇｅｎｔＲｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ［ＥＢ ／ ＯＬ ］． （２０１８ － １０ － ０５ ）［２０２３－０７－１０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １８１０． ０２９１２．

作者簡介

周從航 男，（１９９９—），碩士研究生。主要研究方向：多智能體系統(tǒng)、強化學習。

李建興 男，（１９６８—），碩士，教授。主要研究方向：分布式控制、集成自動化、智能控制、機器視覺等。

（*通信作者）石宇靜 女，（１９７８—），博士，副教授。主要研究方向：復雜網(wǎng)絡同步控制、非線性系統(tǒng)控制理論、電力系統(tǒng)控制等。

林致睿 男，（１９９８—），碩士研究生。主要研究方向：復雜網(wǎng)絡同步控制。

基金項目：福建省自然科學基金（２０２０Ｊ０１８７６）；福建工程學院科研啟動基金（ＧＹ-Ｚ２１２１５，ＧＹ-Ｚ２１２１６）