李 勇，張夢駿，仇 棟，范云鋒，蘇智勇，邱令存

（1.南京理工大學(xué)自動(dòng)化學(xué)院，江蘇南京 210094；2.上海機(jī)電工程研究所，上海 201109）

0 引言

指揮控制系統(tǒng)（簡稱指控系統(tǒng)）是指揮人員及其指揮機(jī)構(gòu)對相關(guān)作戰(zhàn)人員和主戰(zhàn)武器裝備實(shí)施指揮和控制的信息系統(tǒng)，具有輔助決策、戰(zhàn)斗模擬與評估、戰(zhàn)術(shù)計(jì)算等用途［1］。受物理顯示設(shè)備的限制，傳統(tǒng)的指控系統(tǒng)大多采用二維電子屏幕進(jìn)行信息展示，抽象的數(shù)據(jù)和單一的表達(dá)方式難以全方位地表現(xiàn)出戰(zhàn)場真實(shí)的態(tài)勢與要素。常規(guī)的實(shí)物或電子沙盤［2］一定程度上能展現(xiàn)出戰(zhàn)場的三維實(shí)態(tài)與軍事部署，但通常缺乏多人協(xié)同機(jī)制和快捷的人機(jī)交互機(jī)制，限制了指揮人員的協(xié)同作戰(zhàn)能力與指揮效率。同時(shí)，許多系統(tǒng)通常十分冗余和繁重，難以適時(shí)地實(shí)地展開。更重要的是，多數(shù)沙盤系統(tǒng)往往不能實(shí)現(xiàn)真實(shí)數(shù)據(jù)下的作戰(zhàn)模擬［3］，缺乏實(shí)戰(zhàn)可靠性。因此，為指控系統(tǒng)開發(fā)能真實(shí)展現(xiàn)戰(zhàn)場態(tài)勢、具有友好的協(xié)同交互能力、基于數(shù)據(jù)驅(qū)動(dòng)的輕量型電子沙盤成為了研究重點(diǎn)。

增強(qiáng)現(xiàn)實(shí)（augmented reality，AR）技術(shù)作為當(dāng)下備受追捧的新技術(shù)，通過運(yùn)動(dòng)相機(jī)或可穿戴顯示裝置的實(shí)時(shí)連續(xù)標(biāo)定，將三維虛擬場景一致地投射到用戶視野中，從而實(shí)現(xiàn)“實(shí)中有虛”的融合效果［4］。與單純的虛擬現(xiàn)實(shí)技術(shù)相比，AR 技術(shù)實(shí)現(xiàn)了對真實(shí)場景的擴(kuò)充與增強(qiáng)，不僅給人以更加逼真的三維顯示效果，更為虛實(shí)交互提供了技術(shù)支持，被廣泛應(yīng)用于軍事、教育［5］、醫(yī)療［6］、維修裝備等領(lǐng)域。其中，基于增強(qiáng)現(xiàn)實(shí)的電子沙盤技術(shù)的研究在國內(nèi)外已取得一定成果。Amburn 等［7］利用Kinect 深度相機(jī)發(fā)明了實(shí)用的增強(qiáng)現(xiàn)實(shí)電子沙盤，被用于美國陸軍軍事模擬對抗；Jung等［8］基于增強(qiáng)現(xiàn)實(shí)技術(shù)設(shè)計(jì)了軍事訓(xùn)練沙盤，采用虛擬戰(zhàn)術(shù)地圖實(shí)現(xiàn)標(biāo)記、歸檔等軍事行為；Yang 等［9］利用光電編碼器與機(jī)器視覺方法進(jìn)行三維注冊跟蹤，實(shí)現(xiàn)了不依賴于固定標(biāo)記的增強(qiáng)現(xiàn)實(shí)電子沙盤；Zhou等［10］基于實(shí)時(shí)視頻流，提出了將增強(qiáng)現(xiàn)實(shí)電子沙盤投影于物理沙盤上的沙盤系統(tǒng)。此外，隨著各類交互設(shè)備性能的不斷增強(qiáng)，自然交互技術(shù)得到了飛速發(fā)展，多尺度顯示屏提供了無處不在的交互界面，智能可穿戴設(shè)備大大提升了用戶的交互體驗(yàn)與交互效率，為電子沙盤的交互設(shè)計(jì)奠定了技術(shù)基礎(chǔ)。

本文針對指控系統(tǒng)三維可視化與交互等需求，基于增強(qiáng)現(xiàn)實(shí)技術(shù)與自然人機(jī)交互技術(shù)，設(shè)計(jì)并開發(fā)了一種數(shù)據(jù)驅(qū)動(dòng)下的面向指控系統(tǒng)的新型電子沙盤。該沙盤系統(tǒng)主要由態(tài)勢生成與可視化模塊、標(biāo)繪功能模塊、多人協(xié)同模塊、多通道人機(jī)交互模塊組成，支持以真實(shí)戰(zhàn)斗數(shù)據(jù)與仿真數(shù)據(jù)驅(qū)動(dòng)軍事要素的部署與作戰(zhàn)過程的演練，極大地提高了指控人員的作戰(zhàn)指揮效率與系統(tǒng)的實(shí)戰(zhàn)可靠性。

1 系統(tǒng)框架設(shè)計(jì)

1.1 需求分析

在現(xiàn)代信息化聯(lián)合作戰(zhàn)條件下，高效智能的戰(zhàn)略戰(zhàn)役級指揮控制成為發(fā)展的重要方向，面向指控系統(tǒng)的新型電子沙盤應(yīng)該滿足以下需求。

1）多通道人機(jī)交互。目前我國已經(jīng)形成陸、海、空等多兵種聯(lián)合作戰(zhàn)的指控體系，指揮模式多元化，操作方式各異化，傳統(tǒng)的交互技術(shù)已經(jīng)大大限制了指揮員的指揮效率。因此，需要發(fā)展多通道的自然交互方式以提高系統(tǒng)的交互效率（比如手勢與語音），并能達(dá)到實(shí)時(shí)感知的效果。

2）數(shù)據(jù)驅(qū)動(dòng)下的戰(zhàn)斗仿真。一般而言，傳統(tǒng)的電子沙盤要求指揮員按照預(yù)定的作戰(zhàn)流程進(jìn)行戰(zhàn)斗演練，數(shù)據(jù)理想化、流程固定化。然而，面對復(fù)雜多變的真實(shí)場景，指揮人員常常需要因地制宜地進(jìn)行戰(zhàn)術(shù)模擬。因此，需要構(gòu)建基于多種數(shù)據(jù)驅(qū)動(dòng)的電子沙盤，更好地模擬真實(shí)場景下的作戰(zhàn)過程。

3）虛實(shí)融合顯示。為全方位地展現(xiàn)戰(zhàn)場態(tài)勢與要素，電子沙盤需具備大范圍虛擬場景的三維立體顯示效果。此外，單純的虛擬環(huán)境往往無法滿足真實(shí)戰(zhàn)場環(huán)境的營造，缺乏相應(yīng)的場景感知。因此，新型電子沙盤需要具備虛實(shí)融合的顯示效果。

4）協(xié)同標(biāo)繪。常規(guī)的標(biāo)繪多在實(shí)物上進(jìn)行標(biāo)繪或者以二維軍標(biāo)為主，無法動(dòng)態(tài)地進(jìn)行更改與設(shè)置。因此，需要設(shè)計(jì)能夠?qū)崟r(shí)響應(yīng)操作人員指令的三維動(dòng)態(tài)軍標(biāo)，并實(shí)現(xiàn)對多指揮員、多感知設(shè)備聯(lián)合操作時(shí)的協(xié)同標(biāo)繪。

5）輕量化與便捷性。傳統(tǒng)的指控系統(tǒng)采用物理模型或二維屏幕顯示，場地固定且設(shè)備較多，無法滿足現(xiàn)代指揮所對于便捷性和輕量化的需求。因此，需要研究和設(shè)計(jì)能夠隨時(shí)隨地進(jìn)行態(tài)勢模擬的三維電子系統(tǒng)，具備攜帶方便、操作簡單等特點(diǎn)。

1.2 系統(tǒng)架構(gòu)設(shè)計(jì)

針對系統(tǒng)需求，本文的增強(qiáng)現(xiàn)實(shí)電子沙盤系統(tǒng)共包含：態(tài)勢生成與可視化模塊、標(biāo)繪模塊、多人協(xié)同模塊、多通道人機(jī)交互模塊，系統(tǒng)架構(gòu)如圖1所示。其中，態(tài)勢分析與三維建模是進(jìn)行立體可視化模擬指揮的基礎(chǔ)，外部數(shù)據(jù)輸入驅(qū)動(dòng)系統(tǒng)仿真的進(jìn)行，人機(jī)交互與標(biāo)繪為多人協(xié)同提供了技術(shù)支持。

圖1 增強(qiáng)現(xiàn)實(shí)電子沙盤系統(tǒng)架構(gòu)圖Fig.1 Architecture of augmented reality electronic sand table system

2 功能模塊設(shè)計(jì)

2.1 態(tài)勢生成與可視化

戰(zhàn)場態(tài)勢指戰(zhàn)場上敵我兵力分布及戰(zhàn)爭環(huán)境的當(dāng)前狀況和變化發(fā)展趨勢，組成要素包括戰(zhàn)場環(huán)境、態(tài)勢目標(biāo)和態(tài)勢分析結(jié)果等信息［11］。

一方面，本文采用三維建模軟件進(jìn)行戰(zhàn)場軍事要素的構(gòu)建，主要包括：地形環(huán)境、武器裝備、軍事建筑、軍標(biāo)等。為實(shí)現(xiàn)真實(shí)數(shù)據(jù)驅(qū)動(dòng)下的地形效果，模型采用真實(shí)地形高度圖與衛(wèi)星影像數(shù)據(jù)作為數(shù)據(jù)來源，利用建模軟件合成等比例縮放地形，并利用繪圖軟件對紋理進(jìn)行調(diào)整。其他軍事要素模型以真實(shí)物理模型尺寸數(shù)據(jù)為參照，利用建模軟件制作而成。

另一方面，系統(tǒng)以紅藍(lán)標(biāo)志進(jìn)行敵我區(qū)分，同時(shí)基于外部真實(shí)數(shù)據(jù)或仿真數(shù)據(jù)輸入，對敵我雙方兵力、各武器裝備設(shè)施進(jìn)行部署，具體參數(shù)以立體用戶界面（user interface，UI）進(jìn)行顯示，指揮員可以以多種方式下達(dá)作戰(zhàn)命令，包括：部署、展開、撤收、目標(biāo)分配、發(fā)射、禁射6個(gè)主要戰(zhàn)術(shù)命令。同時(shí)，在戰(zhàn)斗開始后，系統(tǒng)利用通信接口從數(shù)據(jù)庫端實(shí)時(shí)接收包括位置、速度、姿態(tài)等信息的武器戰(zhàn)斗數(shù)據(jù)，并驅(qū)動(dòng)模型作出相應(yīng)操作，達(dá)到可靠的實(shí)戰(zhàn)模擬效果。此外，系統(tǒng)根據(jù)外部數(shù)據(jù)信息，以三維軍標(biāo)對相關(guān)命令生成標(biāo)繪動(dòng)作，形成海陸空多兵種、多戰(zhàn)術(shù)、多交互模式的真實(shí)戰(zhàn)爭態(tài)勢。數(shù)據(jù)驅(qū)動(dòng)下的三維態(tài)勢生成過程如圖2所示。

圖2 數(shù)據(jù)驅(qū)動(dòng)下的三維態(tài)勢生成示意圖Fig.2 Data-driven three-dimensional situation generation

2.2 標(biāo)繪功能模塊

軍隊(duì)標(biāo)繪是以軍隊(duì)標(biāo)號作為軍事情況表示的圖形語言，利用手動(dòng)或自動(dòng)的標(biāo)注手段將敵我企圖、決心部署等戰(zhàn)術(shù)情況，標(biāo)注在地形圖、航空照片或電子沙盤等各類傳播載體上的過程［12］。為了實(shí)現(xiàn)真實(shí)戰(zhàn)場環(huán)境下三維軍標(biāo)實(shí)時(shí)繪制和顯示功能，本文設(shè)計(jì)了標(biāo)繪功能模塊。該模塊通過基本軍標(biāo)圖元的調(diào)用，組合成任意非規(guī)則軍標(biāo)圖形的三維軍標(biāo)，并在地圖相應(yīng)位置進(jìn)行顯示，模塊工作流程如圖3所示。

圖3 標(biāo)繪功能模塊示意圖Fig.3 Plotting function module

顯示控制模塊響應(yīng)用戶輸入，控制軍標(biāo)的顯示與否。信息處理單元首先通過空間感知系統(tǒng)獲取指揮員標(biāo)繪目標(biāo)位置，然后從軍標(biāo)要素?cái)?shù)據(jù)庫中選擇相應(yīng)的軍標(biāo)符號進(jìn)行渲染，為控制模塊提供數(shù)據(jù)與位置支持。

2.3 多人協(xié)同模塊

協(xié)同指多人能夠同時(shí)對三維場景進(jìn)行觀察和交互，多人協(xié)同模塊保障了多人標(biāo)繪與研討功能的順利開展。通過場景共享技術(shù)使多個(gè)指揮員看到具有相同空間坐標(biāo)和戰(zhàn)爭態(tài)勢的三維場景，并允許多用戶對場景中同一虛擬對象進(jìn)行交互操作。協(xié)同模塊工作流程如圖4所示。

圖4 協(xié)同模塊工作流程示意圖Fig.4 Workflow of collaboration module

感知模型用于獲取用戶對系統(tǒng)的多通道指令信息，協(xié)同服務(wù)器與通信協(xié)議為協(xié)同模塊提供了物理基礎(chǔ)，并發(fā)控制與沖突處理主要針對多人同時(shí)對同一目標(biāo)發(fā)起控制或向一個(gè)正在被控制的目標(biāo)發(fā)送控制請求的情況。根據(jù)場景作業(yè)特點(diǎn)，采用集中式控制方法和令牌控制方法相結(jié)合的方式進(jìn)行并發(fā)沖突管理，對每個(gè)用戶規(guī)定一個(gè)優(yōu)先級，實(shí)際可根據(jù)職級高低來確定。協(xié)同控制算法流程如圖5所示，每個(gè)可控制資源對象均分配一個(gè)令牌，若有用戶發(fā)出對其操作的請求，服務(wù)器先判定這個(gè)資源令牌使用情況，在無占用情況下，可根據(jù)優(yōu)先級確定令牌使用權(quán)，否則，拒絕用戶請求。最后，根據(jù)用戶是否享有資源令牌使用權(quán)的情況，對其做出響應(yīng)處理。

圖5 協(xié)同控制算法流程Fig.5 Workflow of cooperative control algorithm

2.4 多通道人機(jī)交互模塊

傳統(tǒng)的指控系統(tǒng)交互大多采用觸屏、實(shí)物擺放等方式進(jìn)行，明顯不能滿足信息化戰(zhàn)爭背景下對人機(jī)交互便捷性和高效性的需求。針對這一問題，本文系統(tǒng)采用多通道自然人機(jī)交互方式，主要包括語音識別、手勢識別、視線UI 輸入等，允許用戶以這些交互方式對系統(tǒng)下達(dá)命令或控制。通過設(shè)計(jì)面向任務(wù)空間的多種交互方式框架，依靠互補(bǔ)來克服彼此的缺陷，從而提升系統(tǒng)整體的表達(dá)能力、自然性與便捷性［13］。多通道人機(jī)交互框架如圖6所示。

圖6 多通道人機(jī)交互框架圖Fig.6 Framework diagram of multi-channel humancomputer interaction

2.4.1語音識別

本文借助公開的語音識別工具包實(shí)現(xiàn)對中文語音指令的識別，識別出指令后與具體的操作行為建立映射關(guān)系，從而實(shí)現(xiàn)中文語音對全息場景的操控。由于軍事指揮中語音指令種類比較固定，故采用工具包開發(fā)人員預(yù)先定義的字典庫進(jìn)行識別，使用xml格式文件存儲系統(tǒng)所需命令，具體識別流程如圖7所示。

圖7 語音識別流程Fig.7 Flowchart of speech recognition

2.4.2手勢識別

本文基于肌電傳感器進(jìn)行手勢的感知與識別，將其佩戴于胳膊的肘關(guān)節(jié)上方位置，通過探測肌肉活動(dòng)，實(shí)現(xiàn)對手勢動(dòng)作的感知，并將感知信號以藍(lán)牙傳輸至PC 端，系統(tǒng)再以信號模板將其映射為具體的控制命令，從而完成整個(gè)識別過程。

3 系統(tǒng)實(shí)現(xiàn)

3.1 軟硬件配置

新型電子沙盤硬件部分主要由協(xié)同計(jì)算機(jī)與頭戴顯示設(shè)備構(gòu)成，外加MYO 肌電傳感器、語音采集設(shè)備。其中，協(xié)同計(jì)算機(jī)用于手勢、語音信號的處理，并作為協(xié)同服務(wù)器，為多人協(xié)同提供網(wǎng)絡(luò)支持，其主要硬件參數(shù)為：CPU 型號為Inter（R）Core（TM）i7-4770，主頻為3.4 GHz，GPU 型號為NVIDIA GTX1080；頭戴顯示設(shè)備采用影創(chuàng)科技推出的增強(qiáng)現(xiàn)實(shí)頭盔Action One Pro，主要用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)展現(xiàn)，其采用一體機(jī)設(shè)計(jì)，單目觀察視角達(dá)45°，搭載高通驍龍835處理器以及高達(dá)1 000 Hz 的九軸慣性測量單元（inertial measurement unit，IMU）確保高精度的定位顯示，并配置了1 300 萬像素的高清攝像頭，實(shí)現(xiàn)完整的六自由度追蹤。

本系統(tǒng)開發(fā)所依賴的軟件平臺主要為unity3D 2019.2.3f1、Microsoft Visual Studio 2017（以下簡稱VS2017）和3DS MAX，開發(fā)語言以C#為主，語音識別工具包為微軟speech SDK5.1。其中，unity3D 作為一個(gè)跨平臺的三維開發(fā)引擎，主要承擔(dān)整個(gè)系統(tǒng)全息影像構(gòu)建任務(wù)；VS2017 為代碼編寫與管理平臺；3DS MAX 為相關(guān)模型的建模、渲染、動(dòng)畫提供幫助。軟硬件組成如圖8所示。

圖8 系統(tǒng)軟硬件組成示意圖Fig.8 System software and hardware composition

3.2 功能驗(yàn)證

本文采用3DS MAX 制作所需的軍事要素，由于增強(qiáng)現(xiàn)實(shí)設(shè)備的處理能力有限，需要平衡模型的大小與精度，在保證宏觀效果的條件下，盡可能降低模型面片數(shù)以提高其渲染速度，部分軍事要素模型如圖9所示。

圖9 部分軍事要素模型示意圖Fig.9 Schematic diagram of some military element models

為滿足多場景作戰(zhàn)需求，系統(tǒng)可根據(jù)實(shí)際需要結(jié)合衛(wèi)星數(shù)據(jù)生成真實(shí)地理場景，本文以兩套地形場景為例進(jìn)行分析：沙漠對抗與城市防衛(wèi)，增強(qiáng)現(xiàn)實(shí)效果如圖10～11所示。其中，沙漠對抗場景主要針對敵我紅藍(lán)控制區(qū)域進(jìn)行戰(zhàn)術(shù)對抗推進(jìn)；城市保衛(wèi)場景以城市地理要素為中心，在海陸空多兵種襲擊下，進(jìn)行有效的戰(zhàn)略防衛(wèi)。

圖10 沙漠對抗增強(qiáng)現(xiàn)實(shí)場景Fig.10 Augmented reality scene of desert confrontation

圖11 城市防衛(wèi)增強(qiáng)現(xiàn)實(shí)場景Fig.11 Augmented reality scene of city defense

系統(tǒng)展開后，通過三維立體環(huán)繞屏實(shí)時(shí)展示敵我雙方的兵力部署與武器裝備的飛行數(shù)據(jù)，借助操作菜單，指揮員可以實(shí)時(shí)對各個(gè)軍事要素進(jìn)行多方位操作，如旋轉(zhuǎn)、縮放、移動(dòng)、詳細(xì)信息展示等，控制菜單如圖12所示。針對戰(zhàn)術(shù)打擊過程，指揮員通過語音指令以及MYO手環(huán)的手勢識別指令下達(dá)作戰(zhàn)指令，部分檢測手勢如圖13所示，并根據(jù)指令相應(yīng)地生成戰(zhàn)術(shù)標(biāo)繪示意。

圖13 部分檢測手勢示意圖Fig.13 Partial detection gesture

圖12 增強(qiáng)現(xiàn)實(shí)控制菜單Fig.12 Augmented reality control menu

此外，系統(tǒng)也支持以頭部視線控制UI輸入的交互方式，實(shí)現(xiàn)對武器裝備手動(dòng)部署，交互界面示意如圖14所示。

圖14 UI人機(jī)交互示意Fig.14 UI human-computer interaction

4 結(jié)束語

當(dāng)前，在信息化背景條件下，指控系統(tǒng)正朝著越來越智能與高效的方向發(fā)展。本文設(shè)計(jì)并開發(fā)了一種面向指控系統(tǒng)的新型增強(qiáng)現(xiàn)實(shí)電子沙盤系統(tǒng)，通過多模塊化設(shè)計(jì)，有效地展示了真實(shí)的戰(zhàn)場態(tài)勢，為指揮員提供了極為便利的人機(jī)交互方式。在不久的將來，增強(qiáng)現(xiàn)實(shí)技術(shù)在作戰(zhàn)指揮中的應(yīng)用會(huì)更加廣泛。