劉東濤
基于改進決策樹的導航系統(tǒng)故障診斷的研究
劉東濤
(海裝沈陽局駐大連地區(qū)第一軍事代表室,大連 116000)
提出了一種基于改進決策樹的導航系統(tǒng)故障診斷方法。該方法首先將導航數(shù)據(jù)的初始屬性按照信息增益率進行排序,然后利用神經網(wǎng)絡對初始屬性進行裁剪處理,最后用裁剪后的屬性建立最小決策樹,并建立分類規(guī)則。與傳統(tǒng)的決策樹分類算法相比,此方法通過利用信息增益篩選屬性,直接生成最小規(guī)模決策樹,避免了決策樹的剪枝處理過程。實驗表明,此方法與傳統(tǒng)決策樹算法相比,時間開銷更小,診斷精度也有所提高。
導航系統(tǒng);故障診斷;決策樹;神經網(wǎng)絡;信息增益率
隨著組合導航技術的發(fā)展前進,導航系統(tǒng)日趨規(guī)?;蛷碗s化,系統(tǒng)傳感器組成越來越繁多,功能也越來越先進。因此,導航系統(tǒng)故障診斷在組合導航中的研究也顯得越來越重要。在實際工程應用中,系統(tǒng)故障幾乎不可避免,因此研究導航系統(tǒng)的故障監(jiān)測和診斷技術對于提高系統(tǒng)本身的精度和可靠性都具有十分重要的意義。導航系統(tǒng)是由多個子系統(tǒng)和傳感器構成。子系統(tǒng)或者傳感器的故障會傳導到導航系統(tǒng),進而影響導航系統(tǒng)的精度和穩(wěn)定性。利用大量的歷史導航數(shù)據(jù)訓練故障診斷模型,快速檢測出故障,并識別故障類型已成為導航系統(tǒng)故障診斷的重要研究方向。
對導航系統(tǒng)中每個傳感器而言,其狀態(tài)可以簡單分為兩個狀態(tài),即故障狀態(tài)和正常狀態(tài)。因此,導航系統(tǒng)故障診斷也可以視為多個二分類問題。通過故障診斷隔離技術,判斷并剔除故障子系統(tǒng)傳感器,重構導航系統(tǒng),從而可以達到提高整個系統(tǒng)精度和穩(wěn)定性的目的。
傳統(tǒng)方法是在組合導航數(shù)據(jù)融合過程中設置系統(tǒng)狀態(tài)觀測器,通過實時在線檢測系統(tǒng)的狀態(tài)誤差來判別系統(tǒng)是否發(fā)生了故障[1]。實際工程應用中,組合導航在數(shù)據(jù)融合過程中存在多種不確定性非線性誤差,如有色噪聲、截斷誤差等,而建立狀態(tài)觀測器要求系統(tǒng)已知其精確的數(shù)學模型,這在工程實際中很難實現(xiàn)。
決策樹算法作為一類常見的機器學習算法[2],易于實現(xiàn)和理解,對數(shù)據(jù)的預處理要求也較為簡單。能處理多種數(shù)據(jù)類型,在二分類問題中有良好的表現(xiàn)。除此之外,它對輸入缺失值不敏感,適用于處理因傳感器故障而造成的導航系統(tǒng)數(shù)據(jù)缺失問題[3]。而且決策樹算法時間復雜度較小,與其他算法相比,更能滿足導航系統(tǒng)對實時性的要求。但是決策樹算法也存在容易過擬合、類別過多時決策錯誤可能增加以及數(shù)據(jù)關聯(lián)性太強的問題。本文針對決策樹算法的缺陷,引入徑向基(Radial Basis Function,RBF)神經網(wǎng)絡算法,利用神經網(wǎng)絡無需先驗知識即可進行“黑箱”分類的特點,對決策樹的屬性進行裁剪,從而挑選出分類效果最好的屬性來建立決策樹故障診斷模型。實驗仿真結果顯示,該方法結合這兩種學習機制的優(yōu)勢,提高了系統(tǒng)故障診斷的準確性和實時性。
決策樹算法是一種在分類問題中常見的算法,屬于有監(jiān)督學習。表示的是一種關于屬性—鍵值的映射關系。其核心思想是自頂向下的貪心算法[4],在每個節(jié)點選擇分類效果最好的屬性,循環(huán)這一過程直到該決策樹能夠準確地分類劃分出每個測試樣本。為解決過擬合等問題[5],實際應用中需要對決策樹進行剪枝處理等優(yōu)化處理,降低決策樹規(guī)模,提高其預測精度。因此,決策樹算法的核心問題主要包括兩個方面:一是選取合適的分類屬性進行劃分;二是進行有效的剪枝處理。
訓練樣本數(shù)據(jù)常存在干擾、噪聲、錯誤信息等,在決策樹訓練中難免會包含這些錯誤信息,這樣容易將訓練樣本的自身的一些特點當作所有數(shù)據(jù)都具有的一般性質作為決策樹的劃分選擇,從而導致決策樹規(guī)模過大,這就是所謂的過擬合問題。針對這種情況,我們引入剪枝處理技術,主動去掉一些分支來降低過擬合的風險。
決策樹的剪枝基本策略包括“預剪枝”和“后剪枝”[11]。預剪枝是在建立決策樹過程中,對每個節(jié)點在劃分前進行預估,如果此節(jié)點的劃分不能提升決策樹的泛化能力,則停止劃分,并將此節(jié)點標記為葉結點;后剪枝是先利用訓練集生成出一棵完整的決策樹,然后自頂向下依據(jù)預先設定的標準對非葉結點進行考察,如果將該節(jié)點對應的子樹替換為葉結點后,決策樹的泛化能力得到提升,且修剪后的決策樹對于驗證集的分類性能與原樹相比未下降的話,則將該子樹設置為葉結點。循環(huán)此步驟,直到修剪結點造成決策樹分類性能下降時,停止修剪。與預剪枝相比,后剪枝保留的分支更多,搜索視野也更好,因此預測精度更高。但是后剪枝策略是在完全生成決策樹后進行的,且是對所有非葉結點進行逐一考察,大大增加了計算開銷和訓練時間開銷。
導航系統(tǒng)傳感器類型繁雜,導航數(shù)據(jù)類型多,且一定時間內的歷史導航數(shù)據(jù)對故障診斷也有重要的參考意義,因此建立基于決策樹的導航系統(tǒng)故障診斷模型之前,需要選取有效的導航數(shù)據(jù)特征作為決策樹的屬性劃分依據(jù)。本文在建立故障診斷決策樹之前對各導航傳感器數(shù)據(jù)進行重要性排序,再利用RBF網(wǎng)絡對選中的最重要的幾類導航數(shù)據(jù)進行訓練,考察其預測精度,之后按導航數(shù)據(jù)的重要性次序分別向兩端加減一個鄰近的數(shù)據(jù)屬性,再進行網(wǎng)絡模型訓練及檢驗,并和原檢驗結果比較。如此反復直到找到分類效果最佳的個導航數(shù)據(jù)類型為止。
此方法與傳統(tǒng)的神經網(wǎng)絡屬性選擇方法相比,不需要對全部屬性進行訓練,再逐個試裁減,只需在數(shù)據(jù)屬性重要性排序基礎上,僅對部分數(shù)據(jù)(通常為原屬性數(shù)的一半或更少)屬性訓練即可,這樣就大大減小了模型訓練的計算量。
數(shù)據(jù)屬性方法很多,常用的數(shù)據(jù)屬性排序方法包括信息熵法(Entropy Information Method,EI)、基尼索引法(Gini Index Method,GI)、靈敏度分析法(Sensitivity Analyzing Method,SA)、輸入輸出關聯(lián)法(Input Output Correlation Method,IOC)等。EI算法需要計算密度函數(shù),不適用于連續(xù)數(shù)值問題;GI算法計算開銷偏大;IOC通過計算輸入輸出屬性之間的關聯(lián)性選擇最優(yōu)屬性,能夠較好地處理連續(xù)值和離散值。本文選擇IOC算法,通過計算因輸入樣本屬性的變化造成的輸出結果變化的累加值來評判輸入屬性的重要程度。對于某個屬性來說,如果由于樣本值變化越大,輸出結果變化越大,則說明該屬性越重要;否則,說明該屬性對于數(shù)據(jù)分類意義越小。輸入輸出關聯(lián)性計算如式(6)所示:
為驗證所提算法分類效果的有效性,采用某型船三月份的航行數(shù)據(jù)作為實驗數(shù)據(jù)進行仿真實驗,實驗效果與“舉手表決”等故障診斷方法效果作比較。隨機抽取600組導航數(shù)據(jù)作為樣本,其中75%的導航數(shù)據(jù)作為訓練集,25%導航數(shù)據(jù)作為檢測集,以衛(wèi)導故障診斷為例,對模型進行訓練和測試,具體步驟如下:
1)以衛(wèi)導1、衛(wèi)導2、慣導1、慣導2四個傳感器的位置參數(shù)和速度參數(shù)、計程儀的速度參數(shù)這9類參數(shù)前一時刻數(shù)值與被測傳感器當前時刻參數(shù)的差值作為初始條件屬性,每個傳感器共有兩個決策屬性(正?;蛘吖收希@肐OC算法對這9個屬性進行重要性排序。通過計算9個屬性的()值分別為52 103、50 105、51 521、49 556、50 156、47 855、50 156、47 855和46 045。
2)對9個條件屬性重要性進行排序后,利用RBF神經網(wǎng)絡對屬性進行篩選。分別選取衛(wèi)導1、衛(wèi)導2、慣導1、慣導2的位置、慣導1、慣導2的速度、計程儀速度;衛(wèi)導1、衛(wèi)導2的位置,計程儀的速度;慣導1、慣導2、天導的位置,慣導1和慣導2、計程儀的速度;衛(wèi)導1、衛(wèi)導2的位置和速度等四組屬性用RBF網(wǎng)絡進行訓練,四組屬性的分類錯誤率分別為8.35%、23.33%、18.58%、33.46%。因此對于衛(wèi)導位置故障診斷來說,衛(wèi)導1、衛(wèi)導2、慣導1、慣導2的位置,慣導1、慣導2的速度,計程儀速度,這7個屬性是衛(wèi)導故障診斷最佳的屬性組合。
4)將選定的600組數(shù)據(jù)的75%,即450組數(shù)據(jù)作為訓練數(shù)據(jù),剩余數(shù)據(jù)作為測試數(shù)據(jù),對改進的決策樹故障診斷模型進行仿真測試。為驗證算法有效性,將“舉手表決”算法、傳統(tǒng)決策樹算法測試結果與本文所提算法比較,測試結果如表1所示。
表1 三種算法仿真結果比較
通過測試結果可以看出,“舉手表決”法雖然時間開銷小,但是測試精度較低,該算法在處理屬性信息缺失情況時表現(xiàn)尤為不足,準確率不足70%。傳統(tǒng)決策樹算法與“舉手表決”法相比,預測精度有所提高,但是在處理存在干擾噪聲和冗余屬性測試樣本時,效率和準確度有待提高。為提高決策樹的抗干擾能力,常用的優(yōu)化算法包括剪枝技術或者動態(tài)調整模型的分類標準等,但是都沒有從根本上解決干擾噪聲和冗余屬性的問題。本文所提的算法能夠快速、有效地挑選出對決策樹分類預測最優(yōu)的屬性,并建立最小規(guī)模決策樹,進而在保證精度的情況下,減小模型時間開銷。雖然該算法前期增加了屬性篩選的計算量,但是后期建立的決策樹規(guī)模最小。這避免了決策樹在訓練過程中因剪枝處理技術帶來的計算量的增加以及剪枝標準選取不當導致的分類錯誤。
本文針對導航系統(tǒng)故障診斷問題,提出了一種基于RBF神經網(wǎng)絡篩導航數(shù)據(jù)最優(yōu)屬性,從而搭建最小規(guī)模故障診斷決策樹的方法。此方法結合了神經網(wǎng)絡和決策樹的優(yōu)點,從實驗結果來看,降低了決策樹訓練的時間開銷,并在一定程度上提升了決策樹的預測精度。與傳統(tǒng)決策樹相比,避免了對每個結點的熵計算和龐大的決策樹裁減過程,因此該方法在處理大樣本、高維屬性的分類問題上,具有在保持精度情況下,快速生成最小決策樹的優(yōu)勢,更適用于實際應用。
[1] 殷德全,熊智,楊菁華,等. SINS/BD緊組合導航系統(tǒng)故障檢測算法研究與實現(xiàn)[J]. 導航與控制,2018,17(4):30-35+46.
[2] 劉小虎,李生. 決策樹的優(yōu)化算法[J]. 軟件學報,1998(10):78-81.
[3] HAN S,WANG J. Integrated GPS /INS Navigation System with Dual-rate Kalman Filter[J]. GPS Solutions,2012,16(3):389-404.
[4] 劉小明,李輝,蔣吉兵. 基于故障樹和神經網(wǎng)絡的火箭故障診斷方法[J]. 計算機仿真,2010,27(7):46-50+85.
[5] 譚俊璐,武建華. 基于決策樹規(guī)則的分類算法研究[J].計算機工程與設計,2010,31(5):103-105.
[6] BUNITE W,NIBLETT T. A further comparion of slitting rules for decision tree induction[J]. Machine Learning,1992,8(1):75-85.
[7] 連遠鋒,李國和,吳發(fā)林,等. 基于遺傳PNN 網(wǎng)絡的組合導航故障診斷研究[J]. 儀器儀表學報,2012,33(1):120-126.
[8] 趙建民,黃珊,王梅,等. 改進的C4.5算法的研究與應用[J]. 計算機與數(shù)字工程,2019,47(2):261-265.
[9] 安葳鵬,尚家澤. 決策樹C4.5算法的改進與分析[J]. 計算機工程與應用,2019,55(12):169-173.
[10] 臧榮春,崔平遠. 基于神經網(wǎng)絡的假設檢驗故障診斷算法研究[J]. 系統(tǒng)仿真學報,2007,19(16):3852-3855.
[11] 周志華. 機器學習[M]. 北京:清華大學出版社,2016:73-95.
Research of Fault Diagnosis of Navigation System Based on Improved Decision Tree
LIU Dongtao
A new navigation system troubleshooting method based on improved decision tree algorithm is proposed. Firstly, the original attributes of navigation data are sorted by information gain rate (IGR). Then the sorted attributes are clipped with neural network. Finally, the minimum decision tree is built with the clipped attributed, as well as the classification rules. Compared with the traditional decision tree algorithm, this improve decision tree picks attributes with IGR, and build the minimum decision tree directly, which can avoid the node clipping deal. The experiments indicated that this algorithm need shorter extraction time, and get higher precision.
Navigation System; Troubleshooting Method; Decision Tree; ANN; Information Gain Rate
TN967
A
1674-7976-(2022)-05-334-05
2022-06-15。劉東濤(1971.02—),遼寧丹東人,高級工程師,主要研究方向為作戰(zhàn)系統(tǒng)。