胡智勇,劉華麗,龔淑君,彭超
(1.陸軍工程大學(xué),江蘇 南京 210001;2.中國(guó)人民解放軍32526部隊(duì),江蘇 無錫 214100;3.中國(guó)人民解放軍國(guó)防大學(xué)聯(lián)合勤務(wù)學(xué)院,北京 100036;4.中國(guó)人民解放軍32517部隊(duì),安徽 繁昌 241206)
意圖識(shí)別是指通過對(duì)各種戰(zhàn)場(chǎng)傳感器感知的信息進(jìn)行綜合分析,從而判斷、預(yù)測(cè)或解釋敵方的作戰(zhàn)設(shè)想、作戰(zhàn)打算、作戰(zhàn)計(jì)劃的過程。隨著現(xiàn)代戰(zhàn)爭(zhēng)形態(tài)智能化發(fā)展,及時(shí)準(zhǔn)確識(shí)別目標(biāo)作戰(zhàn)意圖,對(duì)于在軍事對(duì)抗行動(dòng)中進(jìn)行有效的指揮決策十分重要。
意圖識(shí)別在國(guó)內(nèi)外得到了廣泛的研究,其基本流程是:以觀測(cè)信息為輸入,通過領(lǐng)域知識(shí)支撐,圍繞假說空間進(jìn)行推理計(jì)算,最終輸出結(jié)果。主要采用的理論和方法有:貝葉斯網(wǎng)絡(luò)、D-S證據(jù)理論、信息熵、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。貝葉斯網(wǎng)絡(luò)需要較多的先驗(yàn)概率,分析計(jì)算比較復(fù)雜;D-S證據(jù)理論若證據(jù)之間存在強(qiáng)沖突將可能產(chǎn)生錯(cuò)誤的結(jié)論;基于信息熵的互信息構(gòu)建決策樹容易出現(xiàn)過擬合問題,泛化能力較弱;神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)不充分時(shí)容易出錯(cuò),且可解釋性較差。
近兩年,目標(biāo)意圖識(shí)別方法有了進(jìn)一步發(fā)展。文獻(xiàn)[8]通過模糊推理方法,主要利用航向變化趨勢(shì)特征和專家知識(shí)識(shí)別空中目標(biāo)意圖,無需大量先驗(yàn)統(tǒng)計(jì)數(shù)據(jù),但仍需要準(zhǔn)確可靠的軍事情報(bào)和專家知識(shí),并且需要針對(duì)不同的空中目標(biāo)確定不同的隸屬度函數(shù)和模糊規(guī)則。改進(jìn)決策樹方法也被大量用于意圖識(shí)別,文獻(xiàn)[9]通過分析屬性的重要程度來找尋目標(biāo)最佳屬性劃分標(biāo)準(zhǔn),相對(duì)于傳統(tǒng)ID3和C4.5決策樹算法,有效提升了準(zhǔn)確性和魯棒性?;谘h(huán)神經(jīng)網(wǎng)絡(luò)的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)逐步被推廣使用,文獻(xiàn)[10]選取空中目標(biāo)連續(xù)10 s的屬性,使用深層LSTM進(jìn)行意圖識(shí)別,得到較高的準(zhǔn)確率;文獻(xiàn)[11]綜合使用三次樣條插值算法和平均值填充法修補(bǔ)空戰(zhàn)數(shù)據(jù),利用自適應(yīng)矩估計(jì)優(yōu)化LSTM,有效加快訓(xùn)練速度、防止局部最優(yōu)的問題,但在數(shù)據(jù)缺失度較高的情況下會(huì)顯著降低識(shí)別準(zhǔn)確率;文獻(xiàn)[12]在LSTM的基礎(chǔ)上引入殘差和注意力機(jī)制,提升了泛化能力,識(shí)別準(zhǔn)確率較高,但作戰(zhàn)因素考慮還不夠;文獻(xiàn)[13]將決策人員的認(rèn)知經(jīng)驗(yàn)封裝成標(biāo)簽進(jìn)入訓(xùn)練集,在LSTM的基礎(chǔ)上引入雙向傳播和注意力機(jī)制,速度較快且識(shí)別率較高,但對(duì)特征相似性高、欺騙強(qiáng)的意圖識(shí)別以及時(shí)間序列中意圖改變情況考慮不夠。
與其他算法相比,隨機(jī)森林有如下優(yōu)點(diǎn):
1)兩個(gè)隨機(jī)性的引入,使得隨機(jī)森林不容易陷入過擬合、具有很好的抗噪聲能力,相對(duì)其他算法有較大優(yōu)勢(shì);
2)對(duì)數(shù)據(jù)集的適應(yīng)能力強(qiáng),能夠處理高維度數(shù)據(jù),不用做特征選擇,既能處理離散型數(shù)據(jù),也能處理連續(xù)型數(shù)據(jù),無需規(guī)范化處理數(shù)據(jù)集;
3)訓(xùn)練速度快,并能基于袋外錯(cuò)誤率的增加量或分裂時(shí)的基尼指數(shù)下降量得到變量重要性排序;
4)在訓(xùn)練過程中,能夠檢測(cè)到特征間的互相影響;
5)算法實(shí)現(xiàn)較為簡(jiǎn)單。
隨機(jī)森林是用隨機(jī)的方式建立一個(gè)森林,森林里面由很多棵決策樹組成,它的每一棵決策樹之間是沒有關(guān)聯(lián)的。它將Bootstrap重抽樣方法和決策樹算法相結(jié)合,在以決策樹為基學(xué)習(xí)器構(gòu)建Bagging(Bootstrap AGGregatING)集成的基礎(chǔ)上,進(jìn)一步在決策樹的訓(xùn)練過程中引入隨機(jī)屬性選擇。隨機(jī)森林算法簡(jiǎn)單、易于實(shí)現(xiàn)、計(jì)算開銷小,在很多現(xiàn)實(shí)任務(wù)中展現(xiàn)出強(qiáng)大的性能。文獻(xiàn)[15]通過大量實(shí)驗(yàn)在121個(gè)UCI數(shù)據(jù)集上比較了179種分類算法的分類性能,結(jié)果表明隨機(jī)森林算法性能最優(yōu)。
隨機(jī)森林分類通過集成學(xué)習(xí)的思路,由很多決策樹分類模型組合而成。其基本流程為:首先,利用Bootstrap抽樣從原始訓(xùn)練集抽取個(gè)樣本,每個(gè)樣本的容量都與原始訓(xùn)練集相同;然后,對(duì)個(gè)樣本分別建立個(gè)決策樹模型,得到個(gè)基分類器,分別為(),(),…,h();最后,根據(jù)個(gè)基分類器的分類結(jié)果,采取簡(jiǎn)單多數(shù)投票法對(duì)每個(gè)記錄進(jìn)行投票表決,決定其最終分類。公式如下:
式中:()表示組合分類模型;h()是單個(gè)決策樹分類模型;表示分類輸出變量;(?)為示性函數(shù)(在“?”為真和假時(shí)分別取1和0)。其示意圖如圖1所示。
圖1 隨機(jī)森林分類原理
隨機(jī)森林的基分類器一般以傳統(tǒng)決策樹ID3、C4.5、CART等算法為基礎(chǔ)產(chǎn)生,其中ID3算法基于信息增益,C4.5算法基于信息增益率,CART算法基于基尼指數(shù)。不同的是,在選擇劃分屬性時(shí),傳統(tǒng)決策樹是在當(dāng)前節(jié)點(diǎn)的屬性集合(假定有個(gè)屬性)中選擇最優(yōu)屬性,而隨機(jī)森林是先從該節(jié)點(diǎn)的屬性集合中隨機(jī)選擇一個(gè)包含個(gè)屬性的子集,然后再?gòu)倪@個(gè)子集中選擇最優(yōu)屬性用于劃分。一般情況下,推薦=log。另一個(gè)不同點(diǎn)是,為了防止過擬合,對(duì)隨機(jī)森林的決策樹不進(jìn)行剪枝。
WEKA(Waikato Environment for Knowledge Analysis)是新西蘭的懷卡托大學(xué)(The University of Waikato)開發(fā)的一款免費(fèi)開源的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘軟件。WEKA中隨機(jī)森林(Random Forest)的基分類器使用的是隨機(jī)樹算法(Random Tree),其評(píng)定分類效果最好的屬性節(jié)點(diǎn)的標(biāo)準(zhǔn)為信息增益。信息增益的具體方法如下:
定義1:在分類結(jié)果屬性節(jié)點(diǎn)處,將樣本分為,,…,C共類,樣本集的熵是:
式中p為第類在樣本集中出現(xiàn)的概率。
定義2:在一般屬性處,將樣本分為,,…,C共類的信息量為:
式中:||為總樣本數(shù);|C|為在一般屬性處屬于第類樣本的數(shù)量。屬性的信息增益為:
信息增益最大的屬性將被選擇作為分類節(jié)點(diǎn)。
對(duì)于連續(xù)屬性,采用二分法(Bi-partition)進(jìn)行處理。給定樣本集和連續(xù)屬性,假定在上出現(xiàn)了個(gè)不同的取值,將這些取值由小至大進(jìn)行排序,記為{,,…,a},候選劃分點(diǎn)的集合T如下:
以T中的為中位點(diǎn),可將劃分為2個(gè)子集:和,可計(jì)算基于二分后的信息增益。
于是,可選擇使Gain(,,)最大化的劃分點(diǎn),將連續(xù)屬性轉(zhuǎn)變?yōu)槎謱傩蕴幚怼?/p>
根據(jù)戰(zhàn)場(chǎng)環(huán)境的不同,目標(biāo)作戰(zhàn)意圖識(shí)別的屬性也不盡相同。陸戰(zhàn)場(chǎng)一般考慮兵力部署、地形地貌、軍事設(shè)施、武器威力等要素,海戰(zhàn)場(chǎng)主要考慮編隊(duì)隊(duì)形、目標(biāo)類型、機(jī)動(dòng)特征、氣象水文、電磁聲光等要素,空戰(zhàn)場(chǎng)主要考慮運(yùn)動(dòng)方向、運(yùn)動(dòng)狀態(tài)、目標(biāo)高度、目標(biāo)屬性等要素。本文選用2015年全國(guó)研究生數(shù)學(xué)建模競(jìng)賽A題中的數(shù)據(jù)進(jìn)行建模,數(shù)據(jù)共有7個(gè)屬性:
1)方位角:從我方到目標(biāo)方向的方位角,正北時(shí)為0 mil,順時(shí)針方向一周為6 400 mil。
2)距離:從我方到目標(biāo)的距離。
3)水平速度:目標(biāo)在水平面上的速度。
4)航向角:目標(biāo)飛行的方向,正北為0°,順時(shí)針方向一周為360°。
5)高度:目標(biāo)的海拔高度。
6)雷達(dá)反射面積:目標(biāo)在雷達(dá)上的回波大小。
7)目標(biāo)屬性:雷達(dá)反射面積為[0,2)時(shí)為小目標(biāo),[2,4)時(shí)為中目標(biāo),[4,∞)時(shí)為大目標(biāo)。
設(shè)定目標(biāo)意圖空間={偵察,攻擊,掩護(hù),監(jiān)視,其他},其中“其他”指非前4類的其他意圖,如佯攻、突防、防御、電子干擾、搜索、撤離等。
獲得已知意圖的15批空中目標(biāo)和未知意圖的12批空中目標(biāo)數(shù)據(jù)分別如表1、表2所示。
將表1作為訓(xùn)練集,表2作為測(cè)試集。為準(zhǔn)確驗(yàn)證結(jié)果,選取6支競(jìng)賽一等獎(jiǎng)獲得隊(duì)的目標(biāo)識(shí)別結(jié)果。
表1 已知意圖的15批空中目標(biāo)數(shù)據(jù)
表2 未知意圖的12批空中目標(biāo)數(shù)據(jù)
使用簡(jiǎn)單多數(shù)投票法得出測(cè)試集分類結(jié)果,作為測(cè)試集識(shí)別結(jié)果的評(píng)判標(biāo)準(zhǔn),計(jì)算方法如下:
式中:Vote()是投票結(jié)果;V()表示單支參賽獲獎(jiǎng)隊(duì)伍預(yù)測(cè)結(jié)果;表示目標(biāo)意圖空間的具體意圖;(·)為示性函數(shù)(在“·”為真和假時(shí)分別取1和0)。對(duì)于一些參賽獲獎(jiǎng)隊(duì)伍意圖識(shí)別結(jié)果為兩類(如華中科技大學(xué)參賽獲獎(jiǎng)隊(duì)將ID為41006872的空中目標(biāo)意圖識(shí)別為“攻擊/監(jiān)視”),按每類0.5分計(jì)數(shù);對(duì)于投票數(shù)相同的情況,按照6支參賽獲獎(jiǎng)隊(duì)伍獲獎(jiǎng)順序(復(fù)旦大學(xué)、北京郵電大學(xué)、海軍工程大學(xué)、華中科技大學(xué)、三峽大學(xué)、上海工程技術(shù)大學(xué))優(yōu)先選取結(jié)果。6支參賽獲獎(jiǎng)隊(duì)伍識(shí)別及投票結(jié)果如表3所示。
表3 六支參賽獲獎(jiǎng)隊(duì)伍識(shí)別及投票結(jié)果
使用WEKA中的隨機(jī)樹(Random Tree)算法,可以生成隨機(jī)森林中的決策樹。設(shè)置隨機(jī)種子值為4,屬性數(shù)量為3(總共7個(gè)屬性,log7=2.807 4,四舍五入得3),可從訓(xùn)練集中生成決策樹如下:
使用WEKA可視化該決策樹,如圖2所示。隨機(jī)森林將產(chǎn)生大量決策樹,投票產(chǎn)生結(jié)果。并且由于決策樹之間相互獨(dú)立,沒有聯(lián)系,可以使用分布式計(jì)算,將決策樹生成過程分配給多臺(tái)計(jì)算機(jī)同時(shí)處理,大幅度提高計(jì)算效率。
圖2 隨機(jī)決策樹
使用WEKA 3.8.5隨機(jī)森林算法,設(shè)置隨機(jī)樹數(shù)量分別為5,30,100,250,450,600,800,1 000,3 000,并使用折交叉驗(yàn)證法(-fold Cross Validation)進(jìn)行假設(shè)檢驗(yàn)。訓(xùn)練集僅有15個(gè)樣本,共有5種分類,實(shí)際分類數(shù)AP(Actual Positive)分 別 為:AP=AP=AP=4,AP=2,AP=1??紤]到訓(xùn)練集樣本數(shù)量較少,這里取=15,即留一法(Leave-One-Out)進(jìn)行檢驗(yàn)。
由于“其他”意圖實(shí)際并非單一意圖,而是除前4種意圖之外的多種不同意圖的集合,而召回率指標(biāo)可以較好地衡量對(duì)前4種意圖的敏感度,故本文主要使用召回率衡量算法的表現(xiàn)。
考慮到隨機(jī)森林算法隨機(jī)性較強(qiáng),設(shè)定隨機(jī)數(shù)種子空間={1,10,100,200,400,900,1 500},使用中的7個(gè)隨機(jī)數(shù)種子進(jìn)行檢驗(yàn)。通過中5種分類的真正例數(shù)TP(Ture Positive)、實(shí)際分類數(shù)AP,可求得單個(gè)分類的召回率Recal(l衡量反映單個(gè)分類的預(yù)測(cè)敏感程度)、差異率DCRP(Discrepancy,衡量不同隨機(jī)數(shù)下單個(gè)分類的預(yù)測(cè)值差異程度)以及全部分類的精度Acc(Accuracy,衡量預(yù)測(cè)總體準(zhǔn)確程度)、總差異率TD(Total Discrepancy,衡量不同隨機(jī)數(shù)下每次預(yù)測(cè)值的總體差異程度),計(jì)算公式如下:
訓(xùn)練結(jié)果如圖3~圖6所示。
圖3 精度與總差異率
圖6 單個(gè)分類差異率
在配置為Intel Core i5-4210U@2 500 MHz處理器、8 GB DDR3-1600內(nèi)存、Windows 10操作系統(tǒng)的計(jì)算機(jī)上運(yùn)行,得到檢驗(yàn)結(jié)果如表4所示。
表4 隨機(jī)森林算法不同參數(shù)假設(shè)檢驗(yàn)情況
從總體上看,通過圖3可以發(fā)現(xiàn),當(dāng)隨機(jī)樹數(shù)量達(dá)到100棵后,預(yù)測(cè)精度基本保持在60%左右,總差異率低于6%;達(dá)到600棵后,總差異率低于3%;超過1 000棵后,總差異率低于2%。從圖4可以看出,在隨機(jī)樹數(shù)量為[5,3 000]范圍內(nèi),隨機(jī)森林算法的訓(xùn)練時(shí)間與隨機(jī)樹數(shù)量基本成線性關(guān)系,訓(xùn)練速度總體較快。
圖4 訓(xùn)練時(shí)間及線性擬合
具體到單個(gè)分類上,從圖5可以看出,“掩護(hù)”意圖受隨機(jī)樹數(shù)量影響較大,當(dāng)隨機(jī)樹數(shù)量達(dá)到600棵后,“掩護(hù)”意圖的召回率達(dá)到100%。另外4種意圖的召回率受隨機(jī)樹數(shù)量影響較小,其中“偵察”意圖的召回率最高,達(dá)到100%,“攻擊”意圖的召回率接近60%,“其他”意圖的召回率約為20%。而“監(jiān)視”意圖召回率之所以一直為0,是因?yàn)橛?xùn)練集15個(gè)樣本中只有1例“監(jiān)視”意圖,使用隨機(jī)森林算法采用留一法檢驗(yàn)時(shí),召回率必然為0。從圖6可以看出,當(dāng)隨機(jī)樹數(shù)量達(dá)到600棵后,出現(xiàn)差異主要是對(duì)“攻擊”意圖的識(shí)別。
圖5 單個(gè)分類召回率
綜上,隨機(jī)樹數(shù)量為600棵時(shí),精度較高,差異率較低,識(shí)別結(jié)果穩(wěn)定,訓(xùn)練速度較快。因此,選取隨機(jī)樹數(shù)量為600棵對(duì)測(cè)試集進(jìn)行識(shí)別。
使用WEKA,通過隨機(jī)森林算法,設(shè)置隨機(jī)樹數(shù)量為600,對(duì)表2未知意圖的12批空中目標(biāo)意圖進(jìn)行識(shí)別,與表3的投票結(jié)果對(duì)比見表5。
表5 隨機(jī)森林算法識(shí)別結(jié)果
通過對(duì)比可以發(fā)現(xiàn),隨機(jī)森林算法正確識(shí)別10例,錯(cuò)誤識(shí)別2例。從圖5中可以看出,通過使用隨機(jī)森林對(duì)訓(xùn)練集15個(gè)樣本的訓(xùn)練以及留一法檢驗(yàn),由于對(duì)“監(jiān)視”意圖的敏感度(即召回率)為0,而對(duì)“偵察”和“掩護(hù)”意圖的敏感度達(dá)到100%,說明預(yù)測(cè)時(shí)極易將“監(jiān)視”意圖誤識(shí)別為“偵察”或“掩護(hù)”,導(dǎo)致了對(duì)ID為41006839的目標(biāo)識(shí)別錯(cuò)誤;由于對(duì)“其他”意圖的敏感度較低,約為20%,而“攻擊”意圖的敏感度約為60%,說明預(yù)測(cè)時(shí)容易將“其他”意圖識(shí)別為“偵察”“掩護(hù)”“攻擊”,導(dǎo)致了對(duì)ID為41006860的目標(biāo)識(shí)別錯(cuò)誤。
可以通過計(jì)算6支參賽獲獎(jiǎng)隊(duì)伍與隨機(jī)森林算法在測(cè)試集上的識(shí)別結(jié)果總體精度及單個(gè)分類召回率來比較算法優(yōu)劣,由于測(cè)試集中無“掩護(hù)”分類,故無法求出“掩護(hù)”意圖的召回率。因?yàn)闇y(cè)試集的真實(shí)分類并沒有被給出標(biāo)準(zhǔn)答案,使用6支參賽獲獎(jiǎng)隊(duì)伍的投票結(jié)果僅僅是一種評(píng)判的參考指標(biāo),為了更加客觀評(píng)估隨機(jī)森林算法的表現(xiàn),將該算法的留一法檢驗(yàn)精度及召回率一并對(duì)比,同時(shí)列出了6支參賽獲獎(jiǎng)隊(duì)伍使用的識(shí)別方法的檢測(cè)結(jié)果。對(duì)比結(jié)果見表6及圖7。
表6 參賽獲獎(jiǎng)隊(duì)伍與隨機(jī)森林算法對(duì)比 %
圖7 參賽獲獎(jiǎng)隊(duì)伍與隨機(jī)森林算法對(duì)比
通過對(duì)比發(fā)現(xiàn),隨機(jī)森林在測(cè)試集上的識(shí)別精度為83%,高于通過留一法驗(yàn)證的精度,也高于其他參賽獲獎(jiǎng)隊(duì)伍的精度,說明隨機(jī)森林能夠相對(duì)準(zhǔn)確地識(shí)別目標(biāo)意圖。
單個(gè)分類精度上,對(duì)“攻擊”“偵察”意圖的識(shí)別敏感度較高(100%),對(duì)“監(jiān)視”意圖的識(shí)別敏感度極低(0%,主要是由于訓(xùn)練集中“監(jiān)視”意圖實(shí)例數(shù)較少,只有1例),對(duì)“其他”意圖的敏感度也有所欠缺(83%,主要是由于“其他”意圖不是某一種單獨(dú)的意圖,而是不屬于前4種意圖的所有意圖的合集,本身復(fù)雜度較高)。而北京郵電大學(xué)基于數(shù)據(jù)和航向圖的排除法、海軍工程大學(xué)的聚類分析方法、華中科技大學(xué)的BP神經(jīng)網(wǎng)絡(luò)方法對(duì)“監(jiān)視”意圖的敏感度較高,可以用來輔助識(shí)別該意圖。
使用隨機(jī)森林算法進(jìn)行目標(biāo)意圖識(shí)別,是一種簡(jiǎn)便、快速、高效的方法,其識(shí)別準(zhǔn)確度較其他算法具有一定的優(yōu)勢(shì);識(shí)別速度較快,適合戰(zhàn)場(chǎng)條件環(huán)境使用;基學(xué)習(xí)器采取決策樹模型,可以直接處理連續(xù)型數(shù)據(jù),無需無量綱化、離散化處理數(shù)據(jù),不需要過多的預(yù)處理環(huán)節(jié);內(nèi)部決策樹相互獨(dú)立,可分布式生成,大幅提升效率。但是,其對(duì)訓(xùn)練集中實(shí)例數(shù)量較少的分類敏感度不夠,實(shí)際使用中,可能需要和其他算法相配合。