楊小蒙，張 濤，莊建軍，唐 震1b,

(1.南京信息工程大學(xué) a.電子與信息工程學(xué)院；b.計(jì)算機(jī)與軟件學(xué)院，南京 210044;2.國防科技大學(xué)第六十三研究所，南京 210007)

0 引 言

隨著通信技術(shù)的發(fā)展，調(diào)制方式變的越來越復(fù)雜，用頻設(shè)備不斷增多，這對(duì)自動(dòng)調(diào)制識(shí)別技術(shù)提出了新的要求?；谔卣魈崛〉哪Ｊ阶R(shí)別越來越受重視，研究者正積極尋找新的特征參數(shù)和設(shè)計(jì)更好的分類規(guī)則來達(dá)到更好的自動(dòng)調(diào)制識(shí)別性能。目前，常見的特征提取方法大都從時(shí)域、頻域等維度提取調(diào)制信號(hào)的瞬時(shí)統(tǒng)計(jì)特征[1]、高階累積量[2-3]和循環(huán)譜等特征[4]，在一定情況下能夠準(zhǔn)確識(shí)別不同調(diào)制類型的信號(hào)，識(shí)別速度相對(duì)較快，但是需要人工提取特征，選擇哪種特征依賴于人的專業(yè)知識(shí)，而且閾值難以確定。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)作為深度學(xué)習(xí)的一個(gè)分支，憑借其在圖像分類上的優(yōu)越性能，能夠把調(diào)制信號(hào)的識(shí)別問題轉(zhuǎn)化為圖像分類問題，從圖像中自動(dòng)提取特征，受到了研究者們的關(guān)注[5-14]。模型剪枝作為模型壓縮中較為核心的方法，它可以清除網(wǎng)絡(luò)中冗余的參數(shù)與計(jì)算量。文獻(xiàn)[15]基于權(quán)重修剪網(wǎng)絡(luò)中不重要的連接，在ImageNet數(shù)據(jù)集上，在不損失精度的同時(shí)將AlexNet和VGG-16的參數(shù)數(shù)量分別減少了9倍和13倍。文獻(xiàn)[16]對(duì)整個(gè)層進(jìn)行修剪，提出一種結(jié)構(gòu)化稀疏學(xué)習(xí)(Structured Sparsity Learning，SSL)方法來正則化深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)的結(jié)構(gòu)，將20層的ResNet減少到了18層，并把識(shí)別率從91.25%提高到了92.60%。

文獻(xiàn)[15]和[16]分別把剪枝對(duì)象作用于細(xì)粒度的權(quán)重級(jí)別和粗粒度的層級(jí)別上，雖然減少了模型的資源消耗，但是不能兼具靈活性和通用性。受其啟發(fā)，本文著眼于解決低復(fù)雜度約束條件下電磁調(diào)制信號(hào)識(shí)別問題，提出了一種基于稀疏深度神經(jīng)網(wǎng)絡(luò)(Sparse Deep Neural Network，SDNN)的電磁信號(hào)調(diào)制識(shí)別算法，把剪枝對(duì)象作用于通道上，而通道級(jí)別的剪枝在靈活性和易于實(shí)現(xiàn)之間實(shí)現(xiàn)了很好的權(quán)衡。實(shí)驗(yàn)結(jié)果表明，選取50%為剪枝率對(duì)模型剪枝后，提出的稀疏深度神經(jīng)網(wǎng)絡(luò)能夠有效降低模型存儲(chǔ)和計(jì)算成本，在精度損失0.2%的前提下，模型的參數(shù)量減少了72%，每秒浮點(diǎn)運(yùn)算次數(shù)減少了45%。

1 信號(hào)圖像域特征提取

常見的4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM和64QAM等調(diào)制信號(hào)的基帶波形為

(1)

式中：g(t)為等效濾波器；v(t)為加性高斯白噪聲；an為調(diào)制信號(hào)符號(hào)序列。不同調(diào)制信號(hào)的信號(hào)序列具體設(shè)計(jì)如下：

對(duì)于ASK類信號(hào)，有

an=In+jQn。

(2)

式中：In∈{1，2,…,M-1}，M為調(diào)制進(jìn)制數(shù)；Qn=0。

對(duì)于PSK類信號(hào)，有

(3)

對(duì)于 QAM 類信號(hào)，有

an=In+jQn。

(4)

對(duì)調(diào)制信號(hào)進(jìn)行正交解調(diào)獲取I/Q兩路數(shù)據(jù)，繪制出信號(hào)星座圖后，以每一信號(hào)點(diǎn)為中心，為各點(diǎn)劃定邊長(zhǎng)為r的矩形區(qū)域，分別計(jì)算星座圖中各信號(hào)點(diǎn)在各自矩形區(qū)域的信號(hào)點(diǎn)個(gè)數(shù)d，也即矩形區(qū)域的密度表征，依據(jù)d的大小為各信號(hào)點(diǎn)上色，增強(qiáng)圖像特征。以8PSK為例，星座圖依據(jù)點(diǎn)密度上色示意圖如圖1所示。

圖1 8PSK依據(jù)點(diǎn)密度上色示意圖

在信噪比為0 dB、6 dB以及10 dB的高斯白噪聲下，可得8種信號(hào)的數(shù)據(jù)處理效果，如圖2所示。

圖2 不同信噪比噪聲下的信號(hào)處理效果

2 稀疏深度神經(jīng)網(wǎng)絡(luò)

AlexNet由Krizhevsky等人在2012年ImageNet競(jìng)賽中提出，并以顯著優(yōu)勢(shì)贏得了比賽冠軍。AlexNet模型整體結(jié)構(gòu)先采用卷積層提取圖片特征，然后采用全連接層對(duì)特征分類。與全連接層相比，卷積層采用局部連接和權(quán)值共享的方式進(jìn)行數(shù)據(jù)傳遞，減少了網(wǎng)絡(luò)的參數(shù)量和計(jì)算量。因此，為了減少模型的資源消耗，對(duì)AlexNet模型進(jìn)行改進(jìn)。首先仍然采用卷積層提取圖片特征。與AlexNet模型不同的是，改進(jìn)型AlexNet采用卷積層代替全連接層對(duì)特征分類。為了進(jìn)一步加快網(wǎng)絡(luò)訓(xùn)練速度，在每一卷積層后，ReLu激活函數(shù)前加上批歸一化(Batch Normalization，BN)層。整體結(jié)構(gòu)如圖3所示，其中每個(gè)Block層由三部分組成，分別是卷積層、BN層、ReLU激活層。卷積層用于提取圖片特征；BN層用于對(duì)特征數(shù)據(jù)歸一化，加快網(wǎng)絡(luò)訓(xùn)練；ReLU激活層用于加入非線性因素，提高模型的表達(dá)能力。

圖3 改進(jìn)型AlexNet整體結(jié)構(gòu)

模型剪枝是模型壓縮中較為核心的方法，它可以清除網(wǎng)絡(luò)中冗余的參數(shù)與計(jì)算量，讓模型更加緊湊高效，而模型稀疏化是一種模型剪枝的有效方法。先前的研究表明，稀疏性可以在不同的級(jí)別上實(shí)現(xiàn)，例如權(quán)重級(jí)別、核級(jí)別、通道級(jí)別或?qū)蛹?jí)別。相比于權(quán)重級(jí)的實(shí)現(xiàn)難度和層級(jí)的低靈活性，通道級(jí)稀疏性在靈活性和易于實(shí)現(xiàn)之間提供了一個(gè)很好的折中，它可以應(yīng)用于任何典型的CNN或完全連接的網(wǎng)絡(luò)(將每個(gè)神經(jīng)元視為一個(gè)通道)。通道級(jí)稀疏性為每個(gè)通道引入一個(gè)縮放因子γ，乘以該通道的輸出；然后，聯(lián)合網(wǎng)絡(luò)權(quán)重和這些縮放因子，并對(duì)后者施加稀疏性正則化；最后，修剪那些小縮放因子通道，并微調(diào)被修剪的網(wǎng)絡(luò)。本文以改進(jìn)型AlexNet為原模型，利用通道級(jí)稀疏性剪枝算法對(duì)模型進(jìn)行壓縮，具體流程如圖4所示。

圖4 模型壓縮流程圖

2.1 通道稀疏化

上述改進(jìn)型AlexNet模型中設(shè)置了BN層，不僅可以加快訓(xùn)練速度，提高網(wǎng)絡(luò)泛化能力，層中的縮放因子γ也可以用來評(píng)估模型通道的重要性。BN層運(yùn)算公式如下所示：

(5)

如公式(5)所示，縮放因子γ與通道的輸出相乘，所以γ的大小直接影響B(tài)N層輸出的大小。若BN層輸出越小，那么通過激活函數(shù)后的輸出就越接近于0，后續(xù)的輸出均近似0，因此該通道對(duì)整體網(wǎng)絡(luò)的增益微乎其微，可以認(rèn)為縮放因子γ的值近似等于該通道對(duì)網(wǎng)絡(luò)的貢獻(xiàn)值。因此可以將BN層的γ參數(shù)作為縮放因子與深度學(xué)習(xí)網(wǎng)絡(luò)中的每一個(gè)通道相關(guān)聯(lián)，評(píng)估每一個(gè)通道的重要性。

為了讓網(wǎng)絡(luò)自動(dòng)識(shí)別不重要的通道，對(duì)縮放因子γ實(shí)施稀疏性懲罰，在原來的損失函數(shù)中增加一項(xiàng)關(guān)于γ的正則化，讓縮放因子與網(wǎng)絡(luò)權(quán)重一起被優(yōu)化。公式如下：

(6)

式中：x,y是訓(xùn)練輸入和目標(biāo)；W是網(wǎng)絡(luò)中可訓(xùn)練參數(shù)；g(·)是在縮放因子上的懲罰項(xiàng)；λ是兩項(xiàng)的平衡因子。式(6)中的第一項(xiàng)是訓(xùn)練損失函數(shù)，第二項(xiàng)是稀疏正則化項(xiàng)。

2.2 剪枝和微調(diào)

通過稀疏正則化訓(xùn)練后，模型中許多縮放因子都會(huì)趨于0。接著按從小到大的順序?qū)s放因子的絕對(duì)值排序，然后為整個(gè)網(wǎng)絡(luò)所有層設(shè)置剪枝率作為所有縮放因子值的一個(gè)比例，剪枝時(shí)按照這個(gè)比例剪掉網(wǎng)絡(luò)中相應(yīng)的通道。如圖5所示，卷積層卷積核數(shù)目與輸出通道特征圖一一對(duì)應(yīng)，虛線矩形框?qū)?yīng)的縮放因子在剪枝范圍內(nèi)，剪枝后，經(jīng)過剔除冗余的卷積核，就可以得到一個(gè)較少參數(shù)、運(yùn)行時(shí)占內(nèi)存小、低計(jì)算量的緊湊網(wǎng)絡(luò)。

圖5 模型剪枝

經(jīng)過較大規(guī)模的剪枝后，改進(jìn)型AlexNet模型中各卷積層冗余的通道被剔除，網(wǎng)絡(luò)性能會(huì)有所降低。為了恢復(fù)網(wǎng)絡(luò)性能，需要對(duì)壓縮后的模型進(jìn)行微調(diào)(再訓(xùn)練)。如圖6所示，將上色星座圖輸入剪枝后的模型，調(diào)整網(wǎng)絡(luò)權(quán)重，恢復(fù)因剪枝損失的精度，其中，S(S={s1,s2,…,sn},n=8)為剪枝前各卷積層通道數(shù)集合，Sp(Sp={p1,p2,…,pn},n=8)為剪枝后通道數(shù)集合，pi

圖6 微調(diào)示意圖

3 實(shí)驗(yàn)與評(píng)估

實(shí)驗(yàn)選取的8種調(diào)制信號(hào)分別是4ASK、BPSK、QPSK、OQPSK、8PSK、16QAM、32QAM和64QAM，均由Matlab仿真生成。信道環(huán)境是加性高斯白噪聲，信噪比范圍是0～10 dB。數(shù)據(jù)集中，訓(xùn)練集與測(cè)試集的比為7∶3。訓(xùn)練集每類調(diào)制信號(hào)每個(gè)信噪比下生成700個(gè)樣本，測(cè)試集每類調(diào)制信號(hào)每個(gè)信噪比下生成300個(gè)樣本，每個(gè)樣本均由10 000個(gè)采樣點(diǎn)生成。實(shí)驗(yàn)基于PyTorch深度學(xué)習(xí)框架構(gòu)建了改進(jìn)型AlexNet和剪枝模型，選取Adam作為優(yōu)化器，分別對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。為驗(yàn)證本文提出的SDNN對(duì)于調(diào)制信號(hào)的識(shí)別性能以及資源消耗，實(shí)驗(yàn)主要分兩步：首先，針對(duì)不同剪枝率下模型性能有所差別，分析在不同剪枝率下模型對(duì)于調(diào)制信號(hào)的識(shí)別性能和資源消耗，選取合適的剪枝率；然后，為分析本文所提網(wǎng)絡(luò)SDNN對(duì)調(diào)制信號(hào)的識(shí)別性能以及資源消耗，與傳統(tǒng)AlexNet、VGG16模型以及剪枝前的IAlexM模型進(jìn)行對(duì)比分析。

3.1 剪枝率選取

隨著剪枝率的提高，模型參數(shù)量和計(jì)算量逐漸減少，與此同時(shí)，模型識(shí)別率也會(huì)下降，剪枝率過小或過大都不能同時(shí)兼顧模型資源消耗和識(shí)別性能。因此需要選取一個(gè)適中的剪枝率。實(shí)驗(yàn)選取10%～90%為剪枝率p范圍，間隔為10%依次對(duì)原模型進(jìn)行剪枝，分析各剪枝率下的模型壓縮情況。如表1所示(p=0代表原模型)，隨著剪枝率的提高，除了作為輸出層不參與剪枝的Conv8外，模型各卷積層通道數(shù)逐漸減少。

剪枝后，對(duì)模型進(jìn)行再訓(xùn)練(微調(diào))，恢復(fù)模型識(shí)別性能。微調(diào)后，為了比較不同剪枝率下的模型識(shí)別性能，分別以各剪枝率下的剪枝模型對(duì)電磁信號(hào)進(jìn)行訓(xùn)練和測(cè)試，得出不同剪枝率下的整體識(shí)別率，評(píng)估識(shí)別性能。如圖7(b)所示，模型收斂時(shí)，隨著剪枝率的提高，模型識(shí)別率逐漸降低。剪枝前，原模型的識(shí)別率為97%；剪枝后，剪枝率小于50%時(shí)模型總體識(shí)別率幾乎沒有損失，精度損失約在1%以內(nèi)；但是當(dāng)剪枝率大于50%時(shí)，模型總體識(shí)別率下降速度加快，剪枝率為60%時(shí)精度損失約3%，剪枝率為70%和80%時(shí)精度損失約6%，剪枝率為90%時(shí)精度下降嚴(yán)重，與原模型將近97%的識(shí)別率相差約10%。

表1 改進(jìn)型AlexNet各卷積層在不同剪枝率下剪枝后的通道數(shù)量

圖7 各剪枝率下剪枝前后整體識(shí)別率對(duì)比圖

從以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，隨著剪枝率的提高，模型通道數(shù)逐漸降低，識(shí)別準(zhǔn)確率逐漸減少。為了兼顧識(shí)別率和壓縮率，選取拐點(diǎn)50%為剪枝率時(shí)精度損失不大，且壓縮率較高。

3.2 識(shí)別性能分析

由3.1節(jié)實(shí)驗(yàn)分析，選取50%為剪枝率對(duì)改進(jìn)型AlexNet模型IAlexM進(jìn)行剪枝，并對(duì)模型再次訓(xùn)練，恢復(fù)損失的精度，最終獲得SDNN。為分析本文所提網(wǎng)絡(luò)對(duì)于調(diào)制信號(hào)的識(shí)別性能，首先將調(diào)制信號(hào)數(shù)據(jù)集分別輸入AlexNet、VGG16、IAlexM以及SDNN進(jìn)行對(duì)比實(shí)驗(yàn)。四類模型的整體識(shí)別率如圖8所示，不同信噪比下的識(shí)別率如圖9所示。從整體識(shí)別率分析，當(dāng)各模型收斂時(shí)，本文改進(jìn)模型IAlexM和剪枝后模型SDNN的整體識(shí)別率分別是97%和96.8%，而傳統(tǒng)模型AlexNet和VGG16只達(dá)到92%，與本文所提模型相比，相差約5%。從不同信噪比下的識(shí)別率分析，各模型的識(shí)別率隨著信噪比的增加呈現(xiàn)增長(zhǎng)的趨勢(shì)，而本文所提模型SDNN與IAlexM在不同信噪比下的識(shí)別性能都要優(yōu)于傳統(tǒng)的AlexNet和VGG16。由于剪枝后模型性能有所下降，剪枝后的模型SDNN在各信噪比下的識(shí)別率與剪枝前的IAlexM模型有細(xì)微的差別。

圖8 四類模型的整體識(shí)別率

圖9 四類模型在不同信噪比下的識(shí)別率

為了進(jìn)一步分析剪枝后模型對(duì)于電磁信號(hào)的識(shí)別性能，繪制模型分類后的混淆矩陣，如圖10所示，橫軸代表真實(shí)標(biāo)簽，縱軸代表預(yù)測(cè)標(biāo)簽，橫軸與縱軸交叉的部分便是混淆矩陣。圖10中所用測(cè)試集每類調(diào)制信號(hào)總共1 800個(gè)樣本，可以看出，4ASK、BPSK、QPSK、OQPSK調(diào)制信號(hào)實(shí)現(xiàn)了100%的識(shí)別，而16QAM、32QAM和64QAM之間互相產(chǎn)生混淆，并且32QAM與8PSK產(chǎn)生輕微混淆。從以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，混淆矩陣中的混淆現(xiàn)象是符合實(shí)際的，由于星座圖上色后，不同調(diào)制類型的低階信號(hào)區(qū)分度較大，而高階信號(hào)相似性強(qiáng)，所以本文所提稀疏深度神經(jīng)網(wǎng)絡(luò)對(duì)于ASK、PSK、QAM這三類不同調(diào)制類型的低階信號(hào)容易區(qū)分，不易發(fā)生混淆，而對(duì)于高階的QAM信號(hào)，對(duì)于不同階數(shù)的QAM容易發(fā)生混淆。

圖10 50%剪枝率下的模型的分類矩陣

3.3 模型壓縮效果評(píng)估

3.1節(jié)實(shí)驗(yàn)驗(yàn)證了不同剪枝率下模型對(duì)于電磁信號(hào)的識(shí)別性能和模型通道數(shù)變化情況，在選取50%為剪枝率對(duì)模型剪枝后，模型識(shí)別性能仍然保持一定的精度，總體識(shí)別率達(dá)到了96.8%，相較于原模型，精度僅損失0.2%。在此基礎(chǔ)上分析模型壓縮效果，定量分析剪枝后模型的資源消耗。從表1中可以發(fā)現(xiàn)，模型剪枝后，除了作為分類輸出的卷積層，其他各卷積層的通道數(shù)都相應(yīng)地減少了一定的比例，本節(jié)單獨(dú)抽出50%剪枝率下的通道數(shù)變化情況與原模型進(jìn)行對(duì)比，利用柱狀圖進(jìn)行可視化呈現(xiàn)，如圖11所示。為進(jìn)一步分析模型的壓縮效果，將模型通道數(shù)的變化映射到模型的存儲(chǔ)規(guī)模和計(jì)算速度變化的情況，以模型參數(shù)量作為模型規(guī)模的評(píng)價(jià)指標(biāo)，以每秒浮點(diǎn)運(yùn)算次數(shù)(FLOPs)作為模型運(yùn)行速度的評(píng)價(jià)指標(biāo)。AlexNet、VGG16、IAlexM和SDNN的資源消耗如表2所示。

圖11 50%剪枝率下剪枝前后卷積層通道數(shù)對(duì)比圖

表2 50%剪枝率下模型資源消耗結(jié)果

通過以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，本文提出的改進(jìn)型AlexNet模型IAlexM不管是參數(shù)量還是FLOPs都要低于傳統(tǒng)的AlexNet和VGG16模型，并且利用稀疏化通道剪枝算法修剪了網(wǎng)絡(luò)中冗余的通道后，相較于剪枝前，網(wǎng)絡(luò)中卷積層的參數(shù)量減少了72%，計(jì)算量(FLOPs)減少了42%，但是模型識(shí)別精度僅僅下降了0.2%，一方面驗(yàn)證了原模型是過參數(shù)化的，另一方面也驗(yàn)證了本文剪枝算法的有效性。

4 結(jié) 論

本文提出了一種基于稀疏深度神經(jīng)網(wǎng)絡(luò)的電磁信號(hào)調(diào)制識(shí)別方法，用于在低復(fù)雜度約束條件下提升電磁信號(hào)調(diào)制識(shí)別的性能。實(shí)驗(yàn)結(jié)果表明，稀疏深度神經(jīng)網(wǎng)絡(luò)在保證了電磁信號(hào)調(diào)制識(shí)別精度的前提下能夠有效降低模型參數(shù)和FLOPs。