于博文，呂 明，張 捷

（南京理工大學(xué)，南京 210094）

0 引言

隨著作戰(zhàn)裝備的發(fā)展，以及軍事仿真技術(shù)的不斷完善，針對(duì)協(xié)同作戰(zhàn)的仿真建模已經(jīng)成為指揮與控制（Command and Control，C2）領(lǐng)域的重要研究方向，是決定戰(zhàn)爭(zhēng)勝負(fù)走向的主要影響因素［1］。目前大多數(shù)指控研究主要集中在基礎(chǔ)作戰(zhàn)單元的仿真研究上，其目標(biāo)明確、基礎(chǔ)行為模型建模相對(duì)較為簡(jiǎn)單，從微觀層面上描述實(shí)體的作戰(zhàn)行為［2-6］。而針對(duì)宏觀層面的戰(zhàn)役指控仿真研究相對(duì)較少，其主要關(guān)注的對(duì)象從單個(gè)作戰(zhàn)實(shí)體變?yōu)槎鄠€(gè)作戰(zhàn)實(shí)體，需要對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)信息進(jìn)行綜合考慮，如敵我雙方兵力部署、戰(zhàn)場(chǎng)環(huán)境等。真實(shí)戰(zhàn)場(chǎng)中信息跨域特性明顯，信息維度較高，如何高效地處理戰(zhàn)場(chǎng)態(tài)勢(shì)信息一直以來(lái)都是仿真作戰(zhàn)研究領(lǐng)域的重點(diǎn)及難點(diǎn)。

隨著人工智能的迅速發(fā)展，未來(lái)戰(zhàn)爭(zhēng)中的作戰(zhàn)體系自主能力會(huì)跨越式地提升，戰(zhàn)場(chǎng)態(tài)勢(shì)信息的獲取和應(yīng)對(duì)速度將會(huì)成為左右戰(zhàn)局的決定性因素［7］。近年來(lái)，人工智能技術(shù)在圍棋、星際爭(zhēng)霸等領(lǐng)域取得了重大突破，同時(shí)也表明了強(qiáng)化學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)等技術(shù)應(yīng)用于指控建模的可行性。指控與人工智能結(jié)合將會(huì)成為指控領(lǐng)域的重要研究方向?；诖耍Y(jié)合戰(zhàn)場(chǎng)的實(shí)際情況，本文提出了一種基于分層強(qiáng)化學(xué)習(xí)的聯(lián)合作戰(zhàn)仿真作戰(zhàn)決策算法，以空地一體化聯(lián)合作戰(zhàn)為背景，分析了武器裝備體系作戰(zhàn)決策流程，采用“分而治之”的策略，將整個(gè)戰(zhàn)場(chǎng)的作戰(zhàn)決策分為宏觀的戰(zhàn)役決策和微觀的戰(zhàn)術(shù)決策，通過(guò)決策模型實(shí)現(xiàn)自主作戰(zhàn)決策，最后，通過(guò)自主開(kāi)發(fā)的仿真平臺(tái)對(duì)其可行性及性能進(jìn)行驗(yàn)證，為聯(lián)合作戰(zhàn)中指揮決策的適應(yīng)性機(jī)制問(wèn)題提供較為有效的解決方法。

1 基于分層強(qiáng)化學(xué)習(xí)的聯(lián)合作戰(zhàn)仿真作戰(zhàn)決策算法

1.1 聯(lián)合作戰(zhàn)決策流程

戰(zhàn)場(chǎng)環(huán)境瞬息萬(wàn)變，如何有效地對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)進(jìn)行認(rèn)知和作出有效的作戰(zhàn)決策，是左右戰(zhàn)爭(zhēng)勝負(fù)的決定性因素。武器裝備種類(lèi)繁多，使得戰(zhàn)場(chǎng)環(huán)境變得更為復(fù)雜，戰(zhàn)場(chǎng)態(tài)勢(shì)信息爆炸式增長(zhǎng)，對(duì)響應(yīng)速度的要求更高，依托于指揮員的傳統(tǒng)作戰(zhàn)模式無(wú)法在短時(shí)間內(nèi)完成全局作戰(zhàn)資源的規(guī)劃和調(diào)度，無(wú)法適應(yīng)現(xiàn)階段作戰(zhàn)的需求［8］，因此，需要仿真系統(tǒng)中的決策單元在對(duì)抗環(huán)境中具有自適應(yīng)能力和較強(qiáng)的決策能力，才能有效地根據(jù)敵方的作戰(zhàn)部署來(lái)快速調(diào)整我方的對(duì)抗策略，提升作戰(zhàn)計(jì)劃的有效性與靈活性?；诖耍O(shè)計(jì)如圖1 所示的作戰(zhàn)資源指揮流程，通過(guò)有效的態(tài)勢(shì)信息獲取手段，并結(jié)合智能決策單元通過(guò)仿真系統(tǒng)對(duì)作戰(zhàn)資源進(jìn)行合理規(guī)劃調(diào)度。

圖1 基于仿真作戰(zhàn)系統(tǒng)的戰(zhàn)場(chǎng)資源指揮流程

1.2 決策行為描述

依據(jù)文獻(xiàn)［9］將作戰(zhàn)指揮決策分解為戰(zhàn)役決策和戰(zhàn)術(shù)決策，按照其層級(jí)關(guān)系對(duì)狀態(tài)空間和指令空間進(jìn)行分割。戰(zhàn)役決策針對(duì)全局作戰(zhàn)態(tài)勢(shì)信息（敵我作戰(zhàn)資源傷亡情況、主要打擊目標(biāo)等）下達(dá)宏觀作戰(zhàn)指令，例如，空中打擊、地面打擊、偵察等。戰(zhàn)術(shù)決策對(duì)執(zhí)行宏觀作戰(zhàn)指令的作戰(zhàn)編組下達(dá)微觀作戰(zhàn)指令，例如，地面打擊，以殲滅敵方地面作戰(zhàn)部隊(duì)為目標(biāo)，根據(jù)交戰(zhàn)雙方作戰(zhàn)單位數(shù)量、陣型等局部作戰(zhàn)態(tài)勢(shì)信息，對(duì)作戰(zhàn)單元下達(dá)攻擊、機(jī)動(dòng)規(guī)避等微觀作戰(zhàn)指令，其他戰(zhàn)術(shù)決策與此類(lèi)似。如圖2 所示為決策行為示意圖。

圖2 指揮決策智能單元決策行為示意圖

1.3 分層結(jié)構(gòu)

本文針對(duì)仿真作戰(zhàn)決策設(shè)計(jì)的層次結(jié)構(gòu)如下頁(yè)圖3 所示。定義BP 為戰(zhàn)役決策、bp 為戰(zhàn)術(shù)決策，∏為戰(zhàn)役策略，定義∏的狀態(tài)空間、指令空間、反饋獎(jiǎng)勵(lì)為SBP、ABP、RBP，用（π1，π2，…，πm）代表在戰(zhàn)術(shù)決策池內(nèi)的m 個(gè)戰(zhàn)術(shù)策略，定義πi的狀態(tài)空間、指令空間、反饋獎(jiǎng)勵(lì)為Si、Ai、Ri。

圖3 總體層次結(jié)構(gòu)

1.4 獎(jiǎng)勵(lì)函數(shù)

獎(jiǎng)勵(lì)函數(shù)在強(qiáng)化學(xué)習(xí)中具有重要作用，在仿真作戰(zhàn)中，目標(biāo)是在戰(zhàn)損最小的情況下對(duì)敵方造成最大傷害。如果獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)基于最后的勝負(fù)結(jié)果，它將會(huì)變得非常稀疏，從而導(dǎo)致學(xué)習(xí)速度變慢。因此，本文針對(duì)不同的戰(zhàn)術(shù)策略設(shè)計(jì)與其執(zhí)行結(jié)果相關(guān)的獎(jiǎng)勵(lì)函數(shù)。例如，地面打擊策略的獎(jiǎng)勵(lì)如式（3）所示：

式（3）中，LossO為我方損失兵力，KillE為我方殲滅敵方數(shù)量，Destroy_mainE為我方銷(xiāo)毀敵方重要目標(biāo)的數(shù)量，補(bǔ)給策略的獎(jiǎng)勵(lì)如式（4）所示：

Standardnum、Lownum、OutOfWorknum分別為處于不補(bǔ)線、視補(bǔ)線、急補(bǔ)線的裝備數(shù)量。其他戰(zhàn)術(shù)策略的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)與此類(lèi)似。而對(duì)戰(zhàn)役策略的獎(jiǎng)勵(lì)包括己方獎(jiǎng)勵(lì)和全局獎(jiǎng)勵(lì)，己方獎(jiǎng)勵(lì)包括我方基礎(chǔ)物資、作戰(zhàn)物資、所有武器裝備的消耗情況和重要作戰(zhàn)資源的毀傷程度；全局獎(jiǎng)勵(lì)包括被殲滅的敵方武器裝備和重要目標(biāo)的數(shù)量，如式（5）所示：

式（5）中，fSA、fSB為基礎(chǔ)物資、作戰(zhàn)物資消耗的系數(shù)，fWH、fIH為武器裝備、重要作戰(zhàn)資源的毀傷程度系數(shù)，fECCL、fEWL為被殲滅的敵方武器裝備、各重要目標(biāo)的數(shù)量的系數(shù)，ρ1、ρ2作為己方獎(jiǎng)勵(lì)、全局獎(jiǎng)勵(lì)的權(quán)重系數(shù)。

1.5 網(wǎng)絡(luò)結(jié)構(gòu)

Q-Learning 此類(lèi)表格強(qiáng)化學(xué)習(xí)方法在處理較大的狀態(tài)空間問(wèn)題時(shí)，具有一定的局限性。為了解決這個(gè)問(wèn)題，在設(shè)計(jì)作戰(zhàn)決策算法時(shí)，采用改進(jìn)的近端策略?xún)?yōu)化算法。同時(shí)，為了更全面地獲取仿真環(huán)境的態(tài)勢(shì)信息，將執(zhí)行作戰(zhàn)指令的基礎(chǔ)單元視圖信息和鷹眼視圖信息作為決策神經(jīng)網(wǎng)絡(luò)的輸入信息，并設(shè)置其輸入形狀224×128×3 和128×128×3，通過(guò)稠密連接卷積神經(jīng)網(wǎng)絡(luò)［10］提取特征信息，其參數(shù)配置如下頁(yè)表1 所示，結(jié)合系統(tǒng)統(tǒng)計(jì)數(shù)據(jù)作為決策網(wǎng)絡(luò)的輸入。在決策網(wǎng)絡(luò)中，采用ReLU 函數(shù)作為隱含層的激活函數(shù)，Softmax 函數(shù)作為其輸出層的激活函數(shù)，輸出信息為每個(gè)戰(zhàn)術(shù)指令的執(zhí)行概率。我們?cè)O(shè)計(jì)的模型輸入、輸出及其結(jié)構(gòu)如圖4 所示。

圖4 分層強(qiáng)化學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)

1.6 訓(xùn)練方法

整個(gè)訓(xùn)練學(xué)習(xí)的過(guò)程中應(yīng)用改進(jìn)的近端優(yōu)化學(xué)習(xí)算法來(lái)更新網(wǎng)絡(luò)參數(shù)，具體步驟如圖5 所示。在PPO（Proximal Policy Optimization）算法［11］的損失函數(shù)中加入Entropy、Self-learning 的損失計(jì)算，以平衡其在學(xué)習(xí)過(guò)程中對(duì)信息序列的探索和發(fā)現(xiàn)，損失函數(shù)如式（6）所示：

Episodic Memory Deep Q-Networks（EMDQN）將經(jīng)驗(yàn)回放機(jī)制與結(jié)合到一起，有效地提高了采樣效率［12］，因此，將EMDQN 的方法遷移到強(qiáng)化學(xué)習(xí)算法PPO 中。式（7）中Self-learning 部分如式（10）～式（12）所示：

2 作戰(zhàn)仿真及結(jié)果分析

2.1 作戰(zhàn)想定與仿真原型

為了進(jìn)行聯(lián)合作戰(zhàn)的仿真研究，基于Unity3D引擎自主開(kāi)發(fā)了一款以空地一體化聯(lián)合編組對(duì)抗為背景的武器裝備作戰(zhàn)對(duì)抗仿真原型系統(tǒng)，如下頁(yè)圖6 所示，系統(tǒng)中的物理作戰(zhàn)空間為100 m2×100 m2的三維空間，根據(jù)實(shí)際所需的作戰(zhàn)裝備及資源進(jìn)行3D 模型建模，系統(tǒng)中的3D 模型均按照Unity3D 中的標(biāo)準(zhǔn)比例尺進(jìn)行建模，各類(lèi)型武器裝備均可動(dòng)態(tài)編輯和添加，指揮決策智能單元?jiǎng)t根據(jù)對(duì)抗雙方的編隊(duì)結(jié)構(gòu)由仿真系統(tǒng)自動(dòng)添加。仿真開(kāi)始時(shí)，按照預(yù)定位置部署紅藍(lán)雙方的作戰(zhàn)編隊(duì)，作戰(zhàn)開(kāi)始時(shí)，雙方按照編隊(duì)預(yù)定的移動(dòng)方向進(jìn)行移動(dòng)，直到雙方遭遇并進(jìn)行作戰(zhàn)仿真對(duì)抗。其中，戰(zhàn)術(shù)層、戰(zhàn)役層決策均由指揮決策智能單元來(lái)進(jìn)行決策。

圖6 仿真系統(tǒng)運(yùn)行界面

紅藍(lán)雙方根據(jù)要求配置其戰(zhàn)斗編隊(duì)，其中，參與對(duì)抗的紅藍(lán)雙方參戰(zhàn)資源一致，雙方戰(zhàn)斗資源配置如表2 所示。

表2 仿真戰(zhàn)斗資源配置

紅方采用本文所提出的作戰(zhàn)策略決策算法，戰(zhàn)術(shù)決策主要包括：空中打擊、地面打擊、補(bǔ)給、感知；藍(lán)方采用基于狀態(tài)判斷的作戰(zhàn)策略決策方法，根據(jù)當(dāng)前雙方狀態(tài)信息下達(dá)行動(dòng)指令，狀態(tài)-行動(dòng)指令信息總結(jié)歸納，如下頁(yè)表3 所示。

表3 狀態(tài)-行動(dòng)指令信息表

訓(xùn)練周期設(shè)置為500，每個(gè)訓(xùn)練周期內(nèi)完成100 次仿真對(duì)抗作戰(zhàn)，每個(gè)仿真對(duì)抗作戰(zhàn)最大仿真步長(zhǎng)設(shè)置為1 500，戰(zhàn)役策略每4 s 選擇一個(gè)戰(zhàn)術(shù)策略，戰(zhàn)術(shù)策略每1 s 執(zhí)行一個(gè)戰(zhàn)術(shù)指令，學(xué)習(xí)速率0.001，折扣因子0.9，ρ1、ρ2設(shè)置為1。

2.2 實(shí)驗(yàn)結(jié)果分析

2.2.1 層次結(jié)構(gòu)與非層次結(jié)構(gòu)效能對(duì)比

首先研究層次結(jié)構(gòu)和非層次結(jié)構(gòu)對(duì)決策單元學(xué)習(xí)效率的影響。去掉圖3 中的戰(zhàn)役策略選擇模塊，變?yōu)榉菍哟谓Y(jié)構(gòu)，決策模型直接通過(guò)原始態(tài)勢(shì)信息來(lái)進(jìn)行作戰(zhàn)決策學(xué)習(xí)。兩者實(shí)驗(yàn)結(jié)果對(duì)比如圖7 所示，可以看出在訓(xùn)練的初始階段，兩者勝率相差不大，隨著學(xué)習(xí)周期的增加，層次結(jié)構(gòu)決策模型的學(xué)習(xí)能力和最終學(xué)習(xí)效果明顯優(yōu)于非層次結(jié)構(gòu)決策模型?？梢钥闯?，引入層次結(jié)構(gòu)后，按照戰(zhàn)役決策、戰(zhàn)術(shù)決策將原始狀態(tài)空間和指令空間分為若干局部空間，縮小了決策網(wǎng)絡(luò)學(xué)習(xí)時(shí)狀態(tài)空間的維度，可以引導(dǎo)指揮控制決策單元脫離盲目的搜索過(guò)程，有效提高其學(xué)習(xí)效率。

圖7 層次結(jié)構(gòu)與非層次結(jié)構(gòu)勝率對(duì)比

2.2.2 獎(jiǎng)勵(lì)函數(shù)效能對(duì)比

本文所提出的獎(jiǎng)勵(lì)函數(shù)反饋和以仿真結(jié)果為獎(jiǎng)勵(lì)函數(shù)反饋如式（13）、式（14）所示：

為了驗(yàn)證Rhandcrafted和Rwin-loss對(duì)模型學(xué)習(xí)過(guò)程的影響，進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖8 所示，可以看出，如果采用以Rwin-loss作為獎(jiǎng)勵(lì)反饋，隨著訓(xùn)練周期的增加，其勝率并沒(méi)有提高的趨勢(shì)，效果較差，由于其過(guò)于稀疏，無(wú)法在策略學(xué)習(xí)的過(guò)程中提供有效的獎(jiǎng)勵(lì)反饋，在執(zhí)行決策指令時(shí)，可能會(huì)忽略某些直擊要害的作戰(zhàn)指令。而采用本文所設(shè)計(jì)的Rhandcrafted的獎(jiǎng)勵(lì)反饋，與時(shí)間步同步提供決策指令反饋，可以保證每條作戰(zhàn)指令結(jié)束時(shí)均可得到其相對(duì)應(yīng)的激勵(lì)反饋，保證各個(gè)作戰(zhàn)單元具有較高的作戰(zhàn)效能，可以有效提高決策單元的學(xué)習(xí)效率。

圖8 目標(biāo)獎(jiǎng)勵(lì)函數(shù)與仿真回合結(jié)果作為獎(jiǎng)勵(lì)勝率對(duì)比圖

2.2.3 超參數(shù)效能對(duì)比

用各種不同的參數(shù)進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)在每次迭代的參數(shù)更新次數(shù)，對(duì)決策單元的整個(gè)策略學(xué)習(xí)過(guò)程有較大的影響，而其他參數(shù)對(duì)訓(xùn)練影響不明顯。當(dāng)更新次數(shù)較小時(shí)，整個(gè)學(xué)習(xí)過(guò)程變得不穩(wěn)定且難以收斂。通過(guò)適當(dāng)提高其更新次數(shù)，可以有效解決此問(wèn)題。圖9 為不同參數(shù)更新次數(shù)的實(shí)驗(yàn)結(jié)果對(duì)比。

圖9 參數(shù)更新次數(shù)對(duì)勝率的影響

2.2.4 模塊化訓(xùn)練效能對(duì)比

本文采用的是層次學(xué)習(xí)結(jié)構(gòu)，可以根據(jù)實(shí)際情況任意替換戰(zhàn)術(shù)策略，當(dāng)某戰(zhàn)術(shù)策略被替換后，整個(gè)決策網(wǎng)絡(luò)的參數(shù)都會(huì)被保留下來(lái)，在重新學(xué)習(xí)和訓(xùn)練的過(guò)程中，只更新新增的策略參數(shù)部分，這樣可以大大提升決策網(wǎng)絡(luò)的學(xué)習(xí)速度。相反地，若采用非層次網(wǎng)絡(luò)結(jié)構(gòu)，當(dāng)修改某一個(gè)戰(zhàn)術(shù)策略時(shí)，需要重新訓(xùn)練整個(gè)決策網(wǎng)絡(luò)，這將會(huì)大大降低效率。如圖10 所示，在實(shí)驗(yàn)中對(duì)某戰(zhàn)術(shù)策略進(jìn)行替換，可以看到模塊化的訓(xùn)練方式可以有效提高決策網(wǎng)絡(luò)的學(xué)習(xí)效率。

圖10 不同網(wǎng)絡(luò)模型訓(xùn)練對(duì)比

2.2.5 仿真可視化結(jié)果分析

在算法收斂階段選取一組仿真作戰(zhàn)數(shù)據(jù)，通過(guò)仿真系統(tǒng)的回放功能對(duì)算法進(jìn)行解析。圖11 為各個(gè)作戰(zhàn)階段的戰(zhàn)斗畫(huà)面。

圖11 仿真可視化場(chǎng)景

其中，圖11（a）為紅藍(lán)雙方完成編隊(duì)偵查編組部署、尋找敵方作戰(zhàn)單元的畫(huà)面；圖11（b）為紅藍(lán)雙方根據(jù)偵查信息完成作戰(zhàn)編隊(duì)部署，即將展開(kāi)作戰(zhàn)的畫(huà)面；圖11（c）為紅藍(lán)雙方在作戰(zhàn)區(qū)域激烈對(duì)戰(zhàn)的畫(huà)面；圖11（d）為紅方戰(zhàn)事占優(yōu)而藍(lán)方根據(jù)預(yù)案撤退的畫(huà)面；圖11（e）為紅方乘勝追擊殲滅藍(lán)方所有有生作戰(zhàn)資源，紅方取得最后勝利畫(huà)面。

通過(guò)對(duì)上述仿真數(shù)據(jù)進(jìn)行分析，可得出紅方編隊(duì)取得勝利的主要原因有以下幾個(gè)方面：1）紅方優(yōu)先派出空中打擊力量和支援武器對(duì)藍(lán)方地面支援武器進(jìn)行毀滅打擊，致使其無(wú)法為藍(lán)方突擊武器提供火力支援；2）紅方采用支援武器配合突擊武器對(duì)藍(lán)方突擊武器進(jìn)行聯(lián)合打擊，在紅方火力壓制下作戰(zhàn)能力明顯下降；3）紅方基礎(chǔ)資源和戰(zhàn)斗資源合理分配，保證了其具有持久作戰(zhàn)的能力；4）紅方合理的戰(zhàn)術(shù)機(jī)動(dòng)，使其規(guī)避了藍(lán)方部分支援火力和空中打擊，降低了紅方的作戰(zhàn)傷亡。

3 結(jié)論

本文提出了基于分層強(qiáng)化學(xué)習(xí)的聯(lián)合作戰(zhàn)仿真作戰(zhàn)決策算法，采用“分而治之”的策略將作戰(zhàn)決策分為戰(zhàn)役決策和戰(zhàn)術(shù)決策，對(duì)態(tài)勢(shì)信息、指令空間等進(jìn)行有效的層級(jí)劃分，通過(guò)強(qiáng)化學(xué)習(xí)來(lái)促進(jìn)決策網(wǎng)絡(luò)的進(jìn)化。同時(shí)，提出了一種改進(jìn)的近端策略?xún)?yōu)化算法，有效提高樣本數(shù)據(jù)的利用率效率。最后，通過(guò)自主開(kāi)發(fā)的仿真作戰(zhàn)平臺(tái)，對(duì)其可行性進(jìn)行了驗(yàn)證。本文研究的內(nèi)容在信息化對(duì)抗的大背景下，可以為指戰(zhàn)員在處理復(fù)雜作戰(zhàn)任務(wù)決策時(shí)提供有效的輔助決策支持。