張海天，陳 斌，劉 程，瞿珊瑚

（海軍工程大學 電子工程學院，湖北 武漢 430033）

0 引 言

短波發(fā)信機是短波通信系統(tǒng)的重要組成部分。發(fā)信機的工作狀態(tài)會影響整個通信系統(tǒng)的運行。它包括低頻放大器、調(diào)制解調(diào)器、倍頻器、功放、發(fā)射天線等組成部分。每一個部分的故障都會影響發(fā)信機的工作。目前，對于通信裝備的故障診斷方法大多采用基于專家系統(tǒng)或基于BP神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學習算法。例如：譚連群等利用模糊推理將通信設(shè)備的故障信息模糊化，然后與模糊知識庫進行匹配，利用精確的故障信息進一步與知識庫進行比對，從而實現(xiàn)故障的定位與診斷[1]；江志農(nóng)等采用CBR與RBR串行方式進行推理，優(yōu)先通過案例匹配方式尋求診斷結(jié)果，在不適用情況下轉(zhuǎn)入通用性規(guī)則推理，并將診斷結(jié)果反饋給知識庫進行優(yōu)化，提高了故障診斷的速度[2]；胡麗等采用BP神經(jīng)網(wǎng)絡(luò)對通信設(shè)備進行故障分類，大大縮短了診斷周期[3]。以上方法均獲得了較高的診斷識別率，但是基于專家系統(tǒng)的診斷方法缺乏自主學習能力，存在知識獲取困難、不靈活等問題，不適用于復雜系統(tǒng)或經(jīng)驗不足系統(tǒng)的故障診斷；BP神經(jīng)網(wǎng)絡(luò)屬于監(jiān)督學習，需要大量的標簽數(shù)據(jù)和人為的特征提取，且需要的數(shù)據(jù)為通信設(shè)備的相關(guān)指標而非實際信號，對于處理大量的實際信號，難以保證正確率，增加了數(shù)據(jù)獲得的難度與要求。

目前，深度學習理論被廣泛應(yīng)用在各個領(lǐng)域。錢彬等采用稀疏自編碼對路面圖片進行特征提取，再采用softmax分類器進行分類，有效檢測出圖像的裂縫區(qū)域[4]；曾安等采用稀疏自編碼對數(shù)據(jù)進行特征提取，并將稀疏自編碼獲得的權(quán)值與偏置對DBN神經(jīng)網(wǎng)絡(luò)進行初始化，大大提高了訓練效率和準確率[5]。稀疏自編碼的無監(jiān)督學習方法，從無標簽的數(shù)據(jù)中提取內(nèi)在特征，減少了人為提取特征的過程，提高了精度，在故障診斷[6]、語音識別、圖像識別[7]中取得了很好的效果。

本文通過稀疏自編碼和神經(jīng)網(wǎng)絡(luò)兩種學習策略，提出了一種基于稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)的短波發(fā)信機故障診斷方法。首先，利用稀疏自編碼的自主學習能力，自動提取學習發(fā)信機信號的特征，將獲取的權(quán)值與偏差對深度神經(jīng)網(wǎng)絡(luò)進行初始化，再將歸一化后的發(fā)信機信號數(shù)據(jù)分為樣本數(shù)據(jù)與測試數(shù)據(jù)，對深度神經(jīng)網(wǎng)絡(luò)進行訓練和測試，通過對混頻模塊、功放模塊故障以及正常信號的識別與分類，證明提出的稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)算法能夠有效識別發(fā)信機故障。

1 稀疏自編碼原理

自編碼網(wǎng)絡(luò)是一種無監(jiān)督的學習算法，能夠在無標簽的數(shù)據(jù)中提取出內(nèi)在特征，使用反向傳播的算法使得目標值等于輸入值，即yi=xi。它的結(jié)構(gòu)如圖1所示（圖1中?ix即為輸出值yi）。

圖1 稀疏自編碼結(jié)構(gòu)

自編碼器由輸入層、隱含層和輸出層組成。輸入層為原始數(shù)據(jù)，隱含層是對輸入數(shù)據(jù)進行編碼，輸出層是對隱層數(shù)據(jù)的解碼以及對原始數(shù)據(jù)的重構(gòu)。其中，+1為偏置項的系數(shù)。當隱含層神經(jīng)元的個數(shù)遠小于輸入層時，隱含層數(shù)據(jù)的獲得過程相當于對原始數(shù)據(jù)的壓縮表示。對于完全隨機的數(shù)據(jù)，學習壓縮表示十分困難。但是，如果輸入特征間彼此相關(guān)，則自編碼算法可發(fā)現(xiàn)其相關(guān)性。對于隱含層個數(shù)多于輸入層時，可以對隱含層加入稀疏性限制的方法來發(fā)現(xiàn)輸入數(shù)據(jù)間的相關(guān)性。

對于采集的短波發(fā)信機信號數(shù)據(jù)：

其中，Sl是第l層的神經(jīng)元總數(shù)。

用a(2)j(xi)表示第i組樣本輸入xi時隱藏層第j個神經(jīng)元的輸出值，則第j個神經(jīng)元的平均激活度表示為：

其中，m表示輸入層單元的個數(shù)；

為使大多數(shù)神經(jīng)元被抑制，?jρ需等于一個接近于0的常數(shù)ρ，ρ稱為系數(shù)常數(shù)。為實現(xiàn)這一限制，將會在優(yōu)化目標函數(shù)中加入一個額外的懲罰因子，而這一懲罰因子將懲罰?jρ和ρ顯著不同的情況，從而使得隱藏神經(jīng)元的平均活躍度保持在較小范圍內(nèi)。選用KL散度作為懲罰項PN的表達式：

式中：S2為隱層的個數(shù)。

KL散度的數(shù)學表達式為：

式中：λ是權(quán)值衰減常數(shù)；nl為神經(jīng)網(wǎng)絡(luò)層數(shù)。

因此，總體代價函數(shù)可表示為：

式中β為系數(shù)懲罰系數(shù)。

2 基于稀疏自編碼器的深度神經(jīng)網(wǎng)絡(luò)

采用無監(jiān)督學習獲得網(wǎng)絡(luò)參數(shù)并初始化網(wǎng)絡(luò)的方法，一定程度上解決了BP算法反向微調(diào)易陷入局部最優(yōu)的問題[8]。預訓練獲得的網(wǎng)絡(luò)權(quán)值能更好地表達輸入數(shù)據(jù)結(jié)構(gòu)，提高網(wǎng)絡(luò)的特征表達能力和泛化能力。而稀疏自編碼器能夠?qū)⒃紨?shù)據(jù)與高維的特征空間進行相互映射，起到降維的作用，并能很好地發(fā)現(xiàn)輸入數(shù)據(jù)內(nèi)部結(jié)構(gòu)間的相關(guān)性和特征。因此，本文采用稀疏自編碼的無監(jiān)督學習算法預訓練樣本數(shù)據(jù)，將隱層獲得的最優(yōu)特征表達權(quán)值W和偏差b用來對深度神經(jīng)網(wǎng)絡(luò)進行初始化，然后對深度神經(jīng)網(wǎng)絡(luò)進行訓練和反向微調(diào)，以進一步改善局部最優(yōu)問題，并提高模型的分類精度和訓練效率。

具體的試驗方法流程如圖2所示。

步驟1：采集短波發(fā)信機正常狀態(tài)、混頻故障狀態(tài)、功放故障狀態(tài)的信號數(shù)據(jù)，將數(shù)據(jù)分為訓練數(shù)據(jù)與測試數(shù)據(jù)兩部分。

步驟2：對數(shù)據(jù)進行歸一化處理，使其在每個維度上均值為0、方差為1。

步驟3：建立單隱層稀疏自編碼模型，用訓練數(shù)據(jù)對稀疏自編碼模型進行訓練，采用隨機梯度下降的方法獲得最優(yōu)的權(quán)值W和偏差b。

步驟4：使用稀疏自編碼器獲得的最優(yōu)權(quán)值W和偏差b作為深度神經(jīng)網(wǎng)絡(luò)隱層參數(shù)的初始值，對深度神經(jīng)網(wǎng)絡(luò)進行初始化。

步驟5：使用訓練樣本對深度神經(jīng)網(wǎng)絡(luò)進行訓練，并使用BP算法進行反向微調(diào)，完成整個網(wǎng)絡(luò)的訓練。

步驟6：使用有標簽測試數(shù)據(jù)對訓練好的神經(jīng)網(wǎng)絡(luò)進行測試，以驗證整個網(wǎng)絡(luò)的有效性。

圖2 實驗流程

3 仿真實驗及分析

3.1 實驗數(shù)據(jù)來源與特點

以某型短波發(fā)信機為例，說明算法在實際中的應(yīng)用。

首先，由于功放發(fā)生故障時，信號存在不同程度的失真，因此先設(shè)定兩種故障狀態(tài)，分別表示為功放模塊1故障和功放模塊2故障。其中，正常狀態(tài)為正弦信號，故障1為平頂失真，故障2為干擾失真。

其次，對兩種故障狀態(tài)和正常狀態(tài)3種狀態(tài)的信號進行采集，每種狀態(tài)獲得20組數(shù)據(jù)，每組數(shù)據(jù)獲取10240個采樣點，共60組數(shù)據(jù)。在每種狀態(tài)的數(shù)據(jù)中隨機抽取一種數(shù)據(jù)，得到如圖3所示的圖形。

圖3 短波發(fā)信機3種狀態(tài)波形

由圖3可以看出，正常狀態(tài)下，信號為正弦信號，但由于噪聲的存在，信號存在毛刺；在故障1狀態(tài)下，信號頂部存在微弱失真，在噪聲的疊加下，信號的失真被覆蓋，不易區(qū)分；在故障2狀態(tài)下，信號存在較明顯失真，但同樣存在噪聲對信號判斷產(chǎn)生的影響。

其次，對數(shù)據(jù)進行再采樣，實現(xiàn)對樣本數(shù)據(jù)的擴充。具體做法：每組數(shù)據(jù)隨機抽取10個點，并以此為樣本的起始點，獲取大小為512個采樣點的樣本數(shù)據(jù)10組，每組數(shù)據(jù)進行相同處理，得到600組樣本數(shù)據(jù)。

最后，將樣本數(shù)據(jù)選出300組數(shù)據(jù)作為訓練樣本，300組數(shù)據(jù)作為測試樣本。采用訓練樣本對模型進行訓練，采用測試樣本驗證算法的準確率。

3.2 仿真結(jié)果及分析

構(gòu)建稀疏自編碼網(wǎng)絡(luò)，完成對發(fā)信機信號內(nèi)的特征提取，稀疏自編碼網(wǎng)絡(luò)的結(jié)構(gòu)為：512-256-512；設(shè)置迭代次數(shù)為400次，用訓練樣本進行訓練，提取數(shù)據(jù)的特征，獲得隱層連接的權(quán)值W1以及偏置項b1，將最優(yōu)權(quán)值與偏置值作為深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，對深度神經(jīng)網(wǎng)絡(luò)進行初始化。深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為512-256-3。設(shè)置神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)為900次，再使用訓練數(shù)據(jù)對深度神經(jīng)網(wǎng)絡(luò)進行訓練，用測試數(shù)據(jù)進行測試。

利用matlab進行仿真實驗，本文提出的測試結(jié)果如圖4所示。

由圖4可知，本文方法的準確率高達100%，驗證了算法的可行性，并畫出損失值隨迭代次數(shù)的變化曲線如圖5所示。

圖4 稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)測試結(jié)果

圖5 損失值隨迭代次數(shù)下降曲線

由圖5可知，當?shù)螖?shù)達到470次左右時，函數(shù)逼近最優(yōu)，達到收斂。

為驗證本方法的有效性，本文實現(xiàn)了4個其他模型與本文提出模型進行對比。

（1）單隱層BP算法；設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)，學習算法，激活函數(shù)，與深度神經(jīng)網(wǎng)絡(luò)相同，設(shè)置迭代次數(shù)為1 000次。

（2）sofemax分類器；設(shè)置softmax分類器的迭代次數(shù)為100次。

（3）利用稀疏自編碼對數(shù)據(jù)進行特征提取，再將隱層輸出后的數(shù)據(jù)用softmax分類器進行分類；稀疏自編碼的迭代次數(shù)設(shè)為400次，結(jié)構(gòu)與本文提出方法的稀疏自編碼層結(jié)構(gòu)相同，softmax分類器的迭代次數(shù)為100次。

（4）稀疏自編碼器與深度神經(jīng)網(wǎng)絡(luò)級聯(lián)。先利用稀疏自編碼壓縮信號，將得到的壓縮后的特征信號輸入到深度神經(jīng)網(wǎng)絡(luò)進行分類。其中，稀疏自編碼與深度神經(jīng)網(wǎng)絡(luò)與本文完全相同。

同時，為減少隨機因素的影響，每種算法實驗重復進行10次，得到如表1所示結(jié)果。

表1 10次實驗結(jié)果 /（%）

可以看出：

（1）單隱層算法的識別率在40%～52%，診斷的準確率波動較大，且診斷率較低。原因是BP算法在運行過程中容易陷入局部最優(yōu)，訓練的誤差維持在較高的水平，導致準確率較低。

（2）采用softmax分類器直接分類采集的信號，由于特征不夠明顯，導致分類器的效果很差，準確率維持在30%～40%，無法達到分類的效果。

（3）對比加入稀疏編碼器后的softmax分類器，準確率提升到了63%～72%，提升了近30%，提升明顯，說明稀疏自編碼器的無監(jiān)督學習算法能夠有效提取短波發(fā)信機信號的內(nèi)在特征，從而提高對發(fā)信機信號的故障診斷準確率。

（4）本文稀疏自編碼器深度神經(jīng)網(wǎng)絡(luò)的方法準確率達到100%，對比BP算法以及加入稀疏自編碼器的softmax分類器，分別提升了近50%、30%，體現(xiàn)出本文方法的高識別率。同時，從10次實驗準確率的波動范圍可以看出，本文算法具有很好的穩(wěn)定性。

（5）本文方法還進行了與稀疏自編碼提取壓縮后的特征信號再輸入到深度神經(jīng)網(wǎng)絡(luò)的方法的對比，可知在準確度上兩種方法相差不大，但本文方法具有更好的穩(wěn)定性。分析兩者的誤差下降曲線，稀疏自編碼與深度神經(jīng)網(wǎng)絡(luò)級聯(lián)的誤差下降曲線如圖6所示（本文方法的誤差下降曲線見圖5）。

圖6 稀疏自編碼與深度神經(jīng)網(wǎng)絡(luò)級聯(lián)損失

由圖6可知，當?shù)螖?shù)達到600次左右時，函數(shù)逼近收斂，最終的損失值為0.006，接近于0。對比圖5可以看出，將稀疏自編碼得到的權(quán)值與偏置項對深度神經(jīng)網(wǎng)絡(luò)的隱含層第一層進行初始化，誤差下降速度更快，大大縮短了程序運行的時間。因此，本文提出的方法具有更好的優(yōu)越性。

4 結(jié) 語

根據(jù)稀疏自編碼對數(shù)據(jù)具有較好的特征提取能力，提出利用稀疏自編碼獲得權(quán)值與偏差對深度神經(jīng)網(wǎng)絡(luò)初始化的方法，同時通過實驗驗證了方法能夠有效提取短波發(fā)信機信號特征，可對發(fā)信機故障特征進行有效診斷。同時，通過與其他幾種方法的對比表明，該方法能夠在一定程度上克服陷入局部最優(yōu)的弊端，有效降低誤差，提高診斷故障的準確率和穩(wěn)定性。如何對更復雜的通信系統(tǒng)進行故障診斷以及在保證精度的情況下使得算法更具有智能化，將是后續(xù)研究的重點。