曹 陽，王金明，徐程驥，岳振軍，狄恩彪

（1.陸軍工程大學(xué)通信工程學(xué)院，南京，210007；2.南京國電南自電網(wǎng)自動化有限公司，南京，211153）

引 言

輻射源個體識別（Specific emitter identification，SEI）是電子對抗的重要組成部分，常常通過提取信號的外部特征實現(xiàn)對發(fā)射機的分類，是一種非合作的識別手段。由信息傳輸過程可知，接收機采集到的信號并不是發(fā)射端發(fā)出的原始信號，還包含了信道、噪聲等影響因素。在使用深度神經(jīng)網(wǎng)絡(luò)進行輻射源個體分類時，由于信號采集場景單一且樣本數(shù)量少，網(wǎng)絡(luò)容易學(xué)習(xí)到信道、噪聲等特征，導(dǎo)致出現(xiàn)過擬合問題[1-2]。為了解決過擬合問題，研究人員提出將數(shù)據(jù)集按照一定比例隨機劃分為訓(xùn)練集、驗證集和測試集3 個部分，訓(xùn)練集和測試集的數(shù)據(jù)分別用于訓(xùn)練和測試，驗證集用于觀察訓(xùn)練過程、調(diào)整訓(xùn)練進度以及超參數(shù)。正則化[3]、Dropout[4]和Earlystopping 等強化泛化能力的方法都會引入一定的超參數(shù)，需要一定量的驗證集實現(xiàn)超參數(shù)優(yōu)化。因此以上方法也無法完全解決過擬合問題。深度網(wǎng)絡(luò)過擬合問題一直是研究熱點和難點，基于小樣本的學(xué)習(xí)算法已成為深度網(wǎng)絡(luò)推廣應(yīng)用的一個核心瓶頸。

本文研究了采集場景單一情況下的輻射源信號分類識別方法。從理論上分析分類識別過程中，深度神經(jīng)網(wǎng)絡(luò)產(chǎn)生過擬合的原因，并探索通過在網(wǎng)絡(luò)輸出與輸入間增加反饋回路，消除過擬合、提升網(wǎng)絡(luò)泛化能力的方法。將該方法應(yīng)用于超短波電臺識別時，實驗結(jié)果表明，該方法有效抑制了過擬合問題，增強了深度卷積神經(jīng)網(wǎng)絡(luò)的魯棒性，提升了輻射源個體識別率，改善了識別效果。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural networks，CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一[5-6]，目前已經(jīng)在很多領(lǐng)域得到廣泛的應(yīng)用，尤其是在圖像、語音處理等領(lǐng)域發(fā)揮著重要的作用。如圖1 所示，卷積神經(jīng)網(wǎng)絡(luò)一般包含輸入層、卷積層、池化層、全連接層、softmax 層和輸出層等，輸入數(shù)據(jù)通過一系列卷積和池化操作，經(jīng)全連接層轉(zhuǎn)為向量，由softmax 層歸一化為概率分布。卷積計算公式為

式中：Zl，K，C分別為第l層特征圖（Feature map）、卷積核（Convolutional kernel）以及通道（Channel）；m，n，k表示索引；i，j表示像素。

圖1 典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Typical convolutional neural network structure

2 基于PID 和卷積神經(jīng)網(wǎng)絡(luò)的輻射源識別方法

2.1 卷積神經(jīng)網(wǎng)絡(luò)用于輻射源識別時網(wǎng)絡(luò)過擬合問題分析

經(jīng)信道傳輸后，信號接收機采集得到發(fā)射機發(fā)射的時域信號，并將其用于輻射源識別。那么接收機采集的信號可表示為

式中：rxi(t)為發(fā)射機發(fā)出的發(fā)射端信號，xi(t)為接收機采集到的信號，Ci(t)、Ni(t)分別為信道特征和背景噪聲特征，i為發(fā)射機序號。

在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，隨著迭代次數(shù)的增加，訓(xùn)練集的誤差會越來越小。而過擬合現(xiàn)象的表現(xiàn)為：訓(xùn)練集誤差不斷降低的同時，測試集的正確率不僅沒有提高，甚至出現(xiàn)下降。

圖2 為接收機端信號的特征分布示意圖，其中方形區(qū)域表示背景噪聲特征，3 個圓形區(qū)域表示3 部發(fā)射機發(fā)射端信號特征，橢圓形區(qū)域表示信道特征。如果沒有信道和噪聲的影響，由于信號發(fā)射設(shè)備硬件上的細微差異，深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到每類發(fā)射機的信號特征，不同發(fā)射機的信號是完全可分的，故圖2 中圓形特征區(qū)域相互不重疊。但是現(xiàn)實中，傳輸信道的影響不可忽略，網(wǎng)絡(luò)還將學(xué)習(xí)到傳輸信道的特征。特別是當信號的采集環(huán)境較為單一（采集時間段相同、發(fā)射機空間位置相近等）時，信道特征會高度相似，進而嚴重影響深度網(wǎng)絡(luò)的訓(xùn)練，甚至?xí)?dǎo)致過擬合。神經(jīng)網(wǎng)絡(luò)出現(xiàn)過擬合時，會將具有相似信道特征的輸入信號判為一類，從而表現(xiàn)出某一類的數(shù)據(jù)識別率較高，其他數(shù)據(jù)識別率相對較低，總體識別率下降。

對于一個三分類的卷積神經(jīng)網(wǎng)絡(luò)，當出現(xiàn)上述情況時，3 類電臺的分類錯誤率隨迭代次數(shù)的變化曲線會出現(xiàn)分層現(xiàn)象，如圖3 所示。

對于一個以分類為目標的深度卷積神經(jīng)網(wǎng)絡(luò)，毋庸置疑，更高的分類正確率是第一位的。與此同時，網(wǎng)絡(luò)對每一類的識別能力應(yīng)當盡可能相近，也就是，希望網(wǎng)絡(luò)在出現(xiàn)錯誤分類時，每一類的錯誤率應(yīng)服從等概率分布，即

圖2 特征分布示意圖Fig.2 Feature distribution diagram

圖3 錯誤率分層現(xiàn)象示意圖Fig.3 Diagram of error rate stratification

式中：Pi表示第i類發(fā)射機分類錯誤率,m表示分類數(shù)量,P0表示目標分類錯誤率向量，其服從等概率分布，且維度的值與m相等。

2.2 采用PID 方法解決深度網(wǎng)絡(luò)過擬合問題

圖4 為基于PID 的深度卷積神經(jīng)網(wǎng)絡(luò)算法框圖，相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，在輸出與輸入間增加一條反饋回路，即圖4 中的反饋2 通道。采用PID 算法將輸出分類的錯誤率轉(zhuǎn)化為控制數(shù)據(jù)分發(fā)器的概率，讓錯誤率高的數(shù)據(jù)以更高的概率參與訓(xùn)練，進行“強化學(xué)習(xí)”，以達到均衡錯誤率為目的，進而抑制過擬合。

根據(jù)圖4 的系統(tǒng)框圖，設(shè)計了基于PID 的深度卷積神經(jīng)網(wǎng)絡(luò)算法，主要從訓(xùn)練過程、PID 算法調(diào)控原理和數(shù)據(jù)分發(fā)器3 個方面實現(xiàn)。

圖4 基于PID 的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Structure diagram of deep convolutional neural network system based on PID

（1）訓(xùn)練過程。從訓(xùn)練集中取出數(shù)據(jù)x(t)，通過數(shù)據(jù)分發(fā)器，將數(shù)據(jù)集分成x1(t)和x2(t)。x1(t)通過訓(xùn)練系統(tǒng)，前向傳播后由softmax 層轉(zhuǎn)為概率向量y1(t)，計算損失函數(shù)并通過反饋1 通道使用反向傳播算法,對網(wǎng)絡(luò)參數(shù)進行調(diào)整。同時，x2(t)通過訓(xùn)練系統(tǒng)后，輸出為y2(t)，與y1(t)合并計算當前錯誤率為P(t)。令當前樣本標簽二值化后為Q(t)，則每個樣本的交叉熵損失為

式中m表示分類數(shù)量。

（2）PID 算法調(diào)控原理。當前錯誤率為P(t)，目標錯誤率為P0，則偏差為

控制量為

式中P，I，D分別表示比例項、積分項、微分項的系數(shù)。

為了便于設(shè)計數(shù)據(jù)分發(fā)器，對控制量u(t)進行歸一化處理。本文采用常用的sigmoid 函數(shù)實現(xiàn)控制量的歸一化，該函數(shù)表達式為

故而有

（3）數(shù)據(jù)分發(fā)器。數(shù)據(jù)分發(fā)器決定訓(xùn)練集中正常參加訓(xùn)練的數(shù)據(jù)比例。圖5 為本文采用的數(shù)據(jù)分發(fā)器模型，主要由隨機數(shù)發(fā)生器、偏移器、比較器和數(shù)據(jù)選擇器構(gòu)成。為了保證大部分數(shù)據(jù)能夠參與訓(xùn)練，需要對p(t)增加一個偏移量δ。將偏移后的概率與隨機數(shù)發(fā)生器產(chǎn)生的數(shù)據(jù)比較，達到控制參加網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)比例的目的。

為了便于評價網(wǎng)絡(luò)改進前后的分類效果，系統(tǒng)每迭代訓(xùn)練10 次，計算1 次測試集樣本的正確識別率。用N表示待測試樣本總數(shù)，n表示正確分類的樣本數(shù)，則正確識別率可表示為

圖5 數(shù)據(jù)分發(fā)器構(gòu)成Fig.5 Data distributor composition

2.3 PID 參數(shù)調(diào)節(jié)

PID 算法由于應(yīng)用廣泛，因而其參數(shù)設(shè)定的方法也是眾多學(xué)者的研究方向和重點[7]。使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)分類目的，難免需要根據(jù)經(jīng)驗調(diào)整大量的超參數(shù)，本文由于采用了PID 算法，增加了4 個超參數(shù)，分別為P，I，D以及偏移量δ。結(jié)合前人研究的調(diào)參方法，通過多次實驗得出了表1 中的數(shù)據(jù)。

需注意的是，參數(shù)設(shè)定應(yīng)該遵循兩個原則：（1）逐個調(diào)整，靈活搭配。本文先是調(diào)整了偏移量，再調(diào)整P，最后調(diào)整了I。由于網(wǎng)絡(luò)已取得較好的效果，故D參數(shù)未參加調(diào)整。PID 參數(shù)可根據(jù)需要靈活組合使用。（2）參數(shù)要適中。參數(shù)過大，則表示控制強度過大，調(diào)控進入飽和狀態(tài)，起不到調(diào)節(jié)作用；參數(shù)過小，則調(diào)控強度過小，大量數(shù)據(jù)不能參與訓(xùn)練，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不充分，收斂速度變緩。

表1 4 種超參數(shù)數(shù)值Table 1 Four kinds of super parameter values

3 實驗仿真

在實驗室環(huán)境下，采集了3 部超短波電臺的輻射信號，每部電臺工作在3 個不同的頻率（頻率間隔2 MHz），工作狀態(tài)為有導(dǎo)頻無語音。電臺參數(shù)采用雙譜特征，雙譜是信號高階譜的一種，由于雙譜中包含了豐富的信號細微信息,且受高斯噪聲和雜波影響較小，近年來得到了廣泛的應(yīng)用[8]。圖6 為一段電臺信號提取的三維雙譜圖。將提取得到的雙譜特征按照 9∶1 打亂，隨機劃分為訓(xùn)練集（1 085 個）和測試集（121 個）。

用來實驗的卷積神經(jīng)網(wǎng)絡(luò)為10 層網(wǎng)絡(luò)（含8 個卷積層和2 個全連接層），激活函數(shù)為線性整流函數(shù)（Rectified linear unit, ReLU），池化方式為最大池化，網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。為了防止隨著層數(shù)的增加導(dǎo)致梯度爆炸或消失，文獻[9]基于每一層輸出值的方差相等推導(dǎo)出Xavier 參數(shù)初始化方式。該初始化方式下的參數(shù)服從均勻分布，若ni表示第i層的輸入個數(shù)，則該分布可表示為

圖6 一段電臺信號三維雙譜圖Fig.6 Three-dimensional bispectrum diagram of a radio signal

圖7 10 層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 Ten-layer convolutional neural network structure diagram

改進前與改進后的網(wǎng)絡(luò)各訓(xùn)練3 次，實驗數(shù)據(jù)為3 次實驗的均值。訓(xùn)練平臺為64 位Win10 系統(tǒng)，Python3.6，硬件為小米筆記本Pro，處理器為Intel Core i5-8250U，8 GB 內(nèi)存。

3.1 過擬合現(xiàn)象及分析

采用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)進行輻射源個體識別時，識別率隨著迭代次數(shù)的變化曲線如圖8 所示?？梢园l(fā)現(xiàn)：在3 次實驗中，識別率都是一開始隨著訓(xùn)練迭代次數(shù)的增加快速增長，隨后趨于穩(wěn)定，在91%左右，但是最終識別率不僅沒有進一步提升，反而出現(xiàn)了識別率曲線縱坐標數(shù)值的向下移動。盡管已經(jīng)使用了Dropout 方法抑制過擬合，但其效果并不理想，識別效果不佳。

3.2 錯誤率曲線分層現(xiàn)象

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，識別錯誤率隨著迭代次數(shù)的變化曲線如圖9 所示。從圖9 中可以看出第1 部電臺識別錯誤率較高，而第3 部電臺識別錯誤率較低。由于電臺信號是在實驗室環(huán)境下采集，信噪比較高，噪聲帶來的影響相對較低。但采集場景的單一，使得電臺分類受信道傳輸影響較大，錯誤率曲線出現(xiàn)了明顯的分層現(xiàn)象。

3.3 改進前后網(wǎng)絡(luò)分類效果實驗

分別得到了傳統(tǒng)卷積網(wǎng)絡(luò)和改進型網(wǎng)絡(luò)識別錯誤率的均值和方差，如表2 所示。可以發(fā)現(xiàn)通過改進型網(wǎng)絡(luò)，1 號電臺的錯誤率相對于傳統(tǒng)卷積網(wǎng)絡(luò)的錯誤率，由0.513 5 降為0.464 7；且3 號電臺的錯誤率由0.119 8 提高到0.196 5，二者都在向著目標概率方向移動。同時，改進型網(wǎng)絡(luò)的錯誤率方差明顯小于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，僅為0.018 0。因此，可以得出結(jié)論：本文設(shè)計的反饋通道起到了調(diào)節(jié)作用，含有PID 算法的卷積神經(jīng)網(wǎng)絡(luò)能夠調(diào)整網(wǎng)絡(luò)的輸出分布。

圖10 是2 種網(wǎng)絡(luò)的識別率隨迭代次數(shù)的變化曲線，傳統(tǒng)卷積網(wǎng)絡(luò)[10]隨著迭代次數(shù)的增加，識別率在迭代次數(shù)為150 左右時，開始出現(xiàn)下降。而改進型卷積網(wǎng)絡(luò)由于增加了對輸出錯誤率的約束，分類識別率沒有因為迭代次數(shù)的增加而出現(xiàn)下降。因此可以得出結(jié)論：基于PID 算法的卷積神經(jīng)網(wǎng)絡(luò)消除了過擬合現(xiàn)象，增強了網(wǎng)絡(luò)的泛化能力。表3 是兩種卷積神經(jīng)網(wǎng)絡(luò)的性能參數(shù)，從識別率來看，本文算法比傳統(tǒng)算法的電臺識別率更高，平均識別率為92.59%。從識別率方差來看，本文算法下的識別率方差更小，說明網(wǎng)絡(luò)識別效果更為穩(wěn)定。從訓(xùn)練用時來看，本文算法用時更少，較傳統(tǒng)卷積網(wǎng)絡(luò)算法整體用時少了35.3 min，說明算法復(fù)雜度較低。

圖8 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對電臺的分類識別效果Fig.8 Classification and recognition effect of traditional convolutional neural networks on radio stations

圖9 錯誤率曲線Fig.9 Error rate curve

表2 識別錯誤率和方差比較Table 2 Identify error rates and variance comparisons

綜合來看，基于PID 的卷積神經(jīng)網(wǎng)絡(luò)能夠更好地完成輻射源個體的分類識別，該算法不僅實現(xiàn)了較高的識別率，還降低了算法復(fù)雜度，也提升了算法魯棒性。

圖10 正確識別率曲線Fig.10 Curve of correct recognition rate

表3 兩種網(wǎng)絡(luò)性能比較Table 3 Two kinds of network performance comparison

4 結(jié)束語

本文對輻射源識別方法進行了研究，針對輻射源信號樣本數(shù)據(jù)采集場景單一、數(shù)量較少，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)過擬合問題，提出了基于PID 和卷積神經(jīng)網(wǎng)絡(luò)的輻射源個體識別算法。將該算法用于通信電臺的識別，實驗結(jié)果表明，本文算法比傳統(tǒng)算法識別率高，平均識別率為92.59%；識別率方差更小，該算法下的識別率方差約為傳統(tǒng)算法的1/3，說明改進型網(wǎng)絡(luò)識別效果更為穩(wěn)定；訓(xùn)練用時較少，該算法訓(xùn)練速度比傳統(tǒng)網(wǎng)絡(luò)快，算法復(fù)雜度更低。總的來說，基于PID 和深度卷積神經(jīng)網(wǎng)絡(luò)的識別算法能夠完成輻射源個體的分類識別，該算法在保證了較高的識別率的同時，抑制了過擬合，降低了算法復(fù)雜度，提高了深度網(wǎng)絡(luò)的魯棒性。同時，本文算法也為自適應(yīng)調(diào)參提供了一種研究思路。