楊雪飛 寧云暉 徐建平 李 陽

(1.海軍裝備研究院 北京 100161)(2.武漢數(shù)字工程研究所 武漢 430205)

艦載指控系統(tǒng)作戰(zhàn)方案快速生成技術(shù)研究*

楊雪飛1寧云暉1徐建平1李 陽2

(1.海軍裝備研究院 北京 100161)(2.武漢數(shù)字工程研究所 武漢 430205)

針對艦艇指控系統(tǒng)中需要快速制作編輯作戰(zhàn)方案的要求,提出一種采用語音和多點(diǎn)觸摸結(jié)合的交互方式實(shí)現(xiàn)作戰(zhàn)方案快速生成的方法,克服了需要大量記憶軍標(biāo)、耗時(shí)多和軍標(biāo)編輯不方便、準(zhǔn)確度低的缺陷,提高了軍標(biāo)標(biāo)繪的準(zhǔn)確性和快捷性。

草圖識別; 語音識別; 艦載指控系統(tǒng); 作戰(zhàn)方案

Class Number U664.82

1 引言

艦艇指控系統(tǒng)是艦艇作戰(zhàn)系統(tǒng)的信息中樞和指揮中心,其核心任務(wù)之一是進(jìn)行作戰(zhàn)任務(wù)規(guī)劃,完成作戰(zhàn)計(jì)劃,即制定作戰(zhàn)方案,并根據(jù)作戰(zhàn)方案實(shí)施作戰(zhàn)指揮?；陔娮雍D的作戰(zhàn)方案是指揮員定下作戰(zhàn)決心的重要依據(jù),作戰(zhàn)方案圖能夠形象地表達(dá)指揮員的作戰(zhàn)意圖,是最常用的作戰(zhàn)方案表達(dá)方式。指揮員在作戰(zhàn)籌劃階段完成作戰(zhàn)方案的制定,并在航渡過程中根據(jù)戰(zhàn)場態(tài)勢的變化適時(shí)調(diào)整和完善作戰(zhàn)方案、預(yù)案,做出決策,以實(shí)施作戰(zhàn)指揮。

大部分指控系統(tǒng)的態(tài)勢標(biāo)繪系統(tǒng)采用單一操作方式,比如用戶通過鼠標(biāo)選擇軍標(biāo)進(jìn)行繪制、修改、移動(dòng)等操作。指揮員通過軍標(biāo)編輯工具,以海圖為背景進(jìn)行數(shù)據(jù)錄入、軍標(biāo)標(biāo)繪及編輯,生成作戰(zhàn)方案。隨著多點(diǎn)觸摸交互、語音交互技術(shù)的發(fā)展,原有的作戰(zhàn)方案生成方法已不適應(yīng)觸摸環(huán)境的應(yīng)用。因此,有必要考慮采用新型的人機(jī)交互方式實(shí)現(xiàn)作戰(zhàn)方案的快速生成。

2 相關(guān)技術(shù)

2.1 多點(diǎn)觸摸交互技術(shù)

觸控技術(shù)的出現(xiàn),使得人機(jī)界面更加直觀、智能、人性化,提供了一種全新的人機(jī)交互體驗(yàn)?zāi)Ｊ?筆式用戶界面[1]正是在這樣的研究背景下快速發(fā)展起來的,它基于紙筆的隱喻,提供給人們自然高效的交互方式,幫助人們方便地捕捉想法、記錄事件、進(jìn)行抽象思考和形象的描述。筆式用戶界面研究力求使得這些傳統(tǒng)的、無處不在的活動(dòng)可計(jì)算,在保持傳統(tǒng)工作方式自然性的同時(shí),使人們高效地利用計(jì)算資源,實(shí)現(xiàn)對信息的各種維護(hù)。隨著筆式用戶界面成為新的研究熱點(diǎn),作為筆式交互核心內(nèi)容的草圖理解也迎來了發(fā)展的良機(jī),逐漸受到研究人員的重視。草圖理解的基本任務(wù)是從用戶輸入的連續(xù)筆劃流中提取出特定領(lǐng)域的語義符號,并依據(jù)領(lǐng)域的知識對整幅草圖進(jìn)行推理,然后以一定的方式呈現(xiàn)給用戶。

手寫輸入的好處是顯而易見的,不需專門學(xué)習(xí)與培訓(xùn)、不必記憶,是最接近人們書寫習(xí)慣的自然輸入方式。因此將手寫識別技術(shù)應(yīng)用于指控系統(tǒng)作戰(zhàn)方案的擬制,可以解決傳統(tǒng)鍵盤鼠標(biāo)交互方式下軍標(biāo)標(biāo)繪操作復(fù)雜、效率低下的問題,通過手寫識別,對草圖符號輸入、手勢編輯命令輸入進(jìn)行智能識別和判斷,并對指揮員提供反饋,能實(shí)現(xiàn)了基于草圖交互的軍用作戰(zhàn)方案快速擬制及編輯。

2.2 語音交互技術(shù)

語音識別的研究工作大約開始于20世紀(jì)50年代,當(dāng)時(shí)AT&T Bell實(shí)驗(yàn)室實(shí)現(xiàn)了第一個(gè)可識別十個(gè)英文數(shù)字的語音識別系統(tǒng)—Audry系統(tǒng)[2～5]。20世紀(jì)60年代,計(jì)算機(jī)的應(yīng)用推動(dòng)了語音識別的發(fā)展。21世紀(jì)初,語音識別技術(shù),特別是漢語語音識別技術(shù)到得了突破性進(jìn)展,從而使語音識別技術(shù)成功地應(yīng)用于許多領(lǐng)域,如語音識別銀行服務(wù)系統(tǒng)、股票價(jià)格行情系統(tǒng)、語音自動(dòng)回復(fù)系統(tǒng)、游戲領(lǐng)域等[6～9]。近十幾年語音識別技術(shù)的研究有了實(shí)質(zhì)性的突破,許多成功的語音識別系統(tǒng)相繼問世。

當(dāng)前語音交互面臨著一些挑戰(zhàn)：一是如何將口語對話中的各種信息加以整合,使得計(jì)算機(jī)不僅能夠理解具有語言學(xué)意義的聲音成份,而且還能理解和處理那些副語言學(xué)(如情緒和情感)和非語言學(xué)成份(如噪音)；二是如何提高人機(jī)語音交互的魯棒性,例如口語識別中一些重復(fù)、不連貫、不合語法的語段,口音和噪音等都會降低語音識別性能,語音合成中也需要提高合成語音的自然度；三是多模態(tài)語音的應(yīng)用問題,即如何在人機(jī)交互系統(tǒng)中利用語音以外的其他模態(tài)如手勢、面部表情等信息,例如利用視頻信息研究言語行為與交際中姿態(tài)、表情等的關(guān)系,從而提高系統(tǒng)的“認(rèn)知”能力。

語音識別技術(shù)的發(fā)展趨勢為：連續(xù)自然語音的識別與理解、高自然度、具有表現(xiàn)力的合成語音、語音技術(shù)與多媒體技術(shù)的結(jié)合、語音技術(shù)與網(wǎng)絡(luò)技術(shù)的結(jié)合、多語種。目前語音交互的應(yīng)用主要關(guān)注以下兩方面：一是通過語音播放進(jìn)行信息提示,二是進(jìn)行語音識別,識別用戶的語音輸入,把其轉(zhuǎn)化為對應(yīng)的消息隊(duì)列或進(jìn)行命令控制。

2.3 國內(nèi)外研究與應(yīng)用

早期Bolt提出的多模態(tài)人機(jī)交互系統(tǒng)“Put-That-There”融合了話音輸入和三維手勢兩種人機(jī)交互模式,這一系統(tǒng)的建立為多模態(tài)人機(jī)交互的后續(xù)研究提供了范例。美國海軍陸戰(zhàn)隊(duì)的分布式仿真系統(tǒng)QuickSet是一用于軍事仿真控制的多模態(tài)人機(jī)接口系統(tǒng),它采用語音和基于筆輸入的手勢符號作為人機(jī)交互的方式,用戶可以同時(shí)用筆輸入和語音輸入創(chuàng)建軍事實(shí)體、建立控制措施、標(biāo)記控制地區(qū)等,提高了交互效率。

為了幫助指揮官更好地制定作戰(zhàn)計(jì)劃和執(zhí)行軍事行動(dòng),美國DARPA啟動(dòng)了Deep Green項(xiàng)目。Deep Green是美軍下一代以指揮官為中心的指揮決策技術(shù),其核心是指揮官助手(Commander’s associate)模塊。指揮官助手首先根據(jù)草圖生成計(jì)算機(jī)能理解的作戰(zhàn)方案(Sketch-to-plan),并結(jié)合戰(zhàn)場實(shí)時(shí)信息對先前作戰(zhàn)方案進(jìn)行更新,然后自動(dòng)生成多個(gè)候選的后續(xù)行動(dòng)方案,在對這些方案進(jìn)行評價(jià)和排序之后向指揮官推薦最優(yōu)方案,達(dá)到由草圖到輔助決策(Sketch-to-decide)的目的。SIFT利用計(jì)劃識別、建模、可視化能力等技術(shù)闡述了交替的行動(dòng)過程圖(COAs)及其應(yīng)用前景,并設(shè)計(jì)和實(shí)現(xiàn)了指揮官組件。其中,指揮官助手中的計(jì)劃識別算法組合了語音和草圖輸入,使得指揮官能更加簡單和自然的表達(dá)他們的意圖[10]。

國內(nèi)的諸多研究機(jī)構(gòu)也在筆式用戶界面、自然語言交互等方面都做了大量工作。如中國科學(xué)院軟件研究所的栗陽等設(shè)計(jì)實(shí)現(xiàn)了筆式用戶界面開發(fā)工具——Penbuilder,允許用戶自由筆式輸入,支持各種筆交互信息和靈活的事件的處理,支持跨平臺的面向無處不在的計(jì)算的筆計(jì)算環(huán)境；微軟亞洲研究院的多通道用戶界面組正在研究和探索先進(jìn)的用戶界面技術(shù),以實(shí)現(xiàn)更加自然的用戶界面,其正在研究的智能數(shù)字墨水能夠幫助人們在電腦上用自己的筆跡隨意書寫,用墨水記錄自己的思想；南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室孫正興教授等人也對此開展了相關(guān)研究,從CAD系統(tǒng)出發(fā),對手繪草圖識別進(jìn)行了研究,取得了一系列成果[11]。

3 總體設(shè)計(jì)

隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展,大屏幕設(shè)備、多點(diǎn)觸摸屏、語音識別等設(shè)備已在軍用系統(tǒng)中廣泛應(yīng)用,手寫輸入這種象形的輸入方法被廣泛應(yīng)用,原有的軍標(biāo)編輯工具已不適應(yīng)觸摸環(huán)境的應(yīng)用。

3.1 體系結(jié)構(gòu)設(shè)計(jì)

基于多通道交互的作戰(zhàn)方案生成系統(tǒng)在鍵盤鼠標(biāo)輸入方式的基礎(chǔ)上,加入多通道整合模塊,支持多點(diǎn)觸摸、語音輸入等非精確的輸入方式。

圖1是基于多通道交互的作戰(zhàn)方案標(biāo)繪系統(tǒng)的層次結(jié)構(gòu)圖。

在輸入層接收用戶輸入的交互信息,包括鍵盤、鼠標(biāo)等傳統(tǒng)輸入方式的輸入信息和語言、多點(diǎn)觸摸的輸入信息,然后將輸入信息轉(zhuǎn)換成數(shù)字信號,提交給事件組織層。

事件組織層將多通道的基本輸入信息進(jìn)行識別,通過多通道整合成基本標(biāo)繪事件,經(jīng)過與作戰(zhàn)方案編輯命令的對比,把用戶輸入表達(dá)成需要執(zhí)行的作戰(zhàn)方案編輯命令。此時(shí),系統(tǒng)已獲取用戶輸入的全部信息,完成多通道交互整合。

在應(yīng)用層,應(yīng)用程序根據(jù)整合形成的作戰(zhàn)方案編輯命令進(jìn)行應(yīng)用執(zhí)行。

3.2 作戰(zhàn)方案編輯命令

表1 作戰(zhàn)方案編輯命令對照表

根據(jù)當(dāng)前艦載指揮控制系統(tǒng)作戰(zhàn)方案的編輯需求,定義戰(zhàn)方案編輯命令對照表,如表1所示。作戰(zhàn)方案編輯命令對照表用于存儲交互操作和作戰(zhàn)方案編輯命令的對照信息,每個(gè)作戰(zhàn)方案編輯命令可與一個(gè)或多個(gè)交互操作對應(yīng)。作戰(zhàn)方案編輯命令包括現(xiàn)有的指控系統(tǒng)提供的,對軍標(biāo)進(jìn)行屬性修改、刪除、打開作戰(zhàn)方案、保存等命令。

3.3 基于多通道的作戰(zhàn)方案生成與編輯

對多通道交互輸入的信息進(jìn)行整合是實(shí)現(xiàn)多通道快速協(xié)同交互的基礎(chǔ)。針對指控系統(tǒng)中的作戰(zhàn)方案快速生成和編輯,除了保留傳統(tǒng)的鍵盤鼠標(biāo)交互編輯模式外,增加了語音交互和多點(diǎn)觸摸手寫交互兩種交互方式,針對這些交互的特點(diǎn),對基于多通道的作戰(zhàn)方案生成及編輯管理進(jìn)行具體考慮。

首先根據(jù)艦載指控系統(tǒng)作戰(zhàn)方案編輯的命令需求,生成作戰(zhàn)方案編輯命令對照表,然后根據(jù)接收到的人機(jī)交互界面產(chǎn)生交互操作具體分析處理。

情況1：如果是語音通道產(chǎn)生的交互操作,進(jìn)行語音識別,查找作戰(zhàn)方案編輯命令對照表,如果匹配成功,則按照匹配的作戰(zhàn)方案編輯命令進(jìn)行作戰(zhàn)方案編輯,然后返回繼續(xù)接收人機(jī)界面產(chǎn)生的交互操作信息；如果匹配不成功,則返回繼續(xù)接收人機(jī)界面產(chǎn)生的交互操作信息。

情況2：如果是多點(diǎn)觸摸通道產(chǎn)生的交互操作,首先進(jìn)行手寫識別,根據(jù)識別結(jié)果查找作戰(zhàn)方案編輯命令對照表,如果匹配成功,則按照匹配的作戰(zhàn)方案編輯命令進(jìn)行作戰(zhàn)方案編輯,完成后,返回后繼續(xù)接收人機(jī)界面產(chǎn)生的交互操作信息。

如果匹配不成功,說明不是作戰(zhàn)方案編輯命令,則進(jìn)行草圖識別,通過識別結(jié)果判斷是否是手寫標(biāo)繪的軍標(biāo)圖元,如果不是,返回繼續(xù)接收人機(jī)界面產(chǎn)生的交互操作信息；如果手寫識別后的結(jié)果是軍標(biāo)圖元,則在界面上提示顯示關(guān)聯(lián)的軍標(biāo)符號,以供指揮員選擇,指揮員可以根據(jù)提示的軍標(biāo)符號,選擇要標(biāo)繪的軍標(biāo),繪制軍標(biāo),可以有效提高因?yàn)橹笓]員對大量軍標(biāo)的記憶不全導(dǎo)致的軍標(biāo)標(biāo)繪效率不高的問題。

4 結(jié)語

本文針對艦艇指控系統(tǒng)中需要快速制作編輯作戰(zhàn)方案的要求,提出一種采用語音和多點(diǎn)觸摸結(jié)合實(shí)現(xiàn)作戰(zhàn)方案快速生成的方法。結(jié)合海軍常用軍標(biāo)種類多的特點(diǎn),采用象形的手寫標(biāo)繪方式進(jìn)行軍標(biāo)標(biāo)繪,根據(jù)標(biāo)繪筆畫進(jìn)行軍標(biāo)同步提示,避免了指揮員記憶大量軍標(biāo)信息,提高了軍標(biāo)標(biāo)繪的準(zhǔn)確性和快捷性率。

[1] JA Pittman, I Smith, P Cohen. QuickSet: a multimodal interface for military simulation[C]//1996:130-141.

[2] SJ Ross, JL Hill. A compossable framework for secure multi-modal access to internet services from Post-PC devices[J]. Mobile Networks and Applications, 2002,7(5):389-406.

[3] 王延江,袁保宗.多模態(tài)人機(jī)交互中基于筆輸入的手勢識別[J].北方交通大學(xué)學(xué)報(bào), 2001,25(2):10-13.

[4] 程浩.基于普適計(jì)算模式的上下文可察覺應(yīng)用模型的研究[D].武漢:武漢理工大學(xué),2005.

[5] 李允.普及計(jì)算的終端技術(shù)研究[D].成都:電子科技大學(xué),2002.

[6] 李允,熊光澤.具有輸入/輸出事件約束特性的實(shí)時(shí)系統(tǒng)設(shè)計(jì)方法[J].計(jì)算機(jī)科學(xué),2000,27(9):32-35.

[7] 李剛,黃席樾,袁榮棣等.以人為中心的機(jī)器人系統(tǒng)的人機(jī)交互技術(shù)[J].重慶大學(xué)學(xué)報(bào),2003(5):59-63.

[8] 張晶,李心廣.基于人工智能技術(shù)的火災(zāi)探測信息融合系統(tǒng)[J].工業(yè)儀表與自動(dòng)化裝置,2004(4):52-55.

[9] 廖傳錦,黃席樾,柴毅.基于信息融合的汽車防撞決策系統(tǒng)研究[J].系統(tǒng)仿真學(xué)報(bào),2004(7):1589-1596.

[10] 王鵬.未來指揮所雙手觸摸式自然交互技術(shù)研究[D].長沙:國防科技大學(xué),2007.

[11] 李建新,廖士中.一個(gè)基于支持向量機(jī)的草圖識別系統(tǒng)[D].天津:天津大學(xué)計(jì)算機(jī)應(yīng)用技術(shù),2006.

Battle Plan Rapid Generate Technique in Shipborne Command and Control System

YANG Xuefei1NING Yunhui1XU Jianping1LI Yang2

(1. Navy Academy of Armament, Beijing 100161)(2. Wuhan Digital Engineering Institute, Wuhan 430205)

According to the battle plan rapid generate requirements in Shipborne Command and Control System, a new kind of solution is given by speech and multi-touch interaction, the method overcome the defects that reauires a lot of memory military marks, time consuming and editing is inconvenient, and the accuracy is low, improved the accuracy and speed of the military marks making.

handwriting recognition, speech recognition, shipborne command and control system, battle plan

2016年10月17日,

2016年12月3日

楊雪飛,女,工程師,研究方向：艦艇作戰(zhàn)系統(tǒng),人機(jī)工程。寧云暉,女,工程師,研究方向：艦艇作戰(zhàn)系統(tǒng),人機(jī)工程。徐建平,男,高級工程師,研究方向：艦艇作戰(zhàn)系統(tǒng)。李陽,女,高級工程師,研究方向：指控系統(tǒng),人機(jī)工程。

U664.82

10.3969/j.issn.1672-9730.2017.04.007