李 濤，張煜培，趙知?jiǎng)牛?

（1.杭州電子科技大學(xué) 通信工程學(xué)院，浙江 杭州 310018；2.中國(guó)電子科技集團(tuán)第36 研究所通信系統(tǒng)信息控制技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室，浙江 嘉興 314001）

0 引言

近年來(lái)，隨著多媒體、大數(shù)據(jù)、物聯(lián)網(wǎng)等科學(xué)技術(shù)的快速發(fā)展，無(wú)線通信技術(shù)的應(yīng)用需要更多的頻譜資源，部分頻譜資源空閑和部分頻譜資源競(jìng)爭(zhēng)激烈已演變成為無(wú)線頻譜資源利用的主要問(wèn)題之一，而解決這一問(wèn)題的思路是盡量提高現(xiàn)有的頻譜利用率。為此，認(rèn)知無(wú)線電技術(shù)[1]應(yīng)運(yùn)而生。認(rèn)知無(wú)線電技術(shù)能夠動(dòng)態(tài)地利用暫時(shí)空閑的頻譜資源，在不對(duì)主用戶(PU）造成干擾的前提下實(shí)現(xiàn)與次用戶(CU)地頻譜共享，有效提高頻譜利用率。頻譜感知技術(shù)[2]是認(rèn)知無(wú)線電的關(guān)鍵一步，其主要目的是在復(fù)雜的無(wú)線通信環(huán)境中準(zhǔn)確、快速地檢測(cè)出主用戶信號(hào)是否存在。目前頻譜感知的研究主要分為單個(gè)次用戶頻譜感知技術(shù)和多個(gè)次用戶協(xié)作頻譜感知技術(shù)。相對(duì)于單個(gè)次用戶頻譜感知，協(xié)作頻譜感知技術(shù)可以充分利用次用戶感知環(huán)境的多樣性，避免單用戶由于多徑衰落和陰影效應(yīng)造成的誤差，能夠有效地提高整體感知系統(tǒng)性能。在協(xié)作頻譜感知中，融合策略是協(xié)作頻譜感知的關(guān)鍵所在，融合準(zhǔn)則可以分為硬判決[3]和軟判決[4]兩種。硬判決融合中，融合中心接收到的是所有次用戶的判決結(jié)果，常見(jiàn)的融合準(zhǔn)則有“與”準(zhǔn)則、“或”準(zhǔn)則和“K”秩準(zhǔn)則[5]。硬判決的優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，傳輸開(kāi)銷(xiāo)較小，但由于這些單比特的局部判決結(jié)果丟失了大量信息，不能為全局決策提供足夠的信息，因此其檢測(cè)性能一般。軟判決融合中，本地次用戶直接將檢測(cè)數(shù)據(jù)發(fā)送到融合中心，融合中心利用這些數(shù)據(jù)，根據(jù)“最大比合并”“等增益合并”和“選擇性合并”等準(zhǔn)則判決主用戶存在與否。由于檢測(cè)數(shù)據(jù)中包含了大量信息，因此檢測(cè)性能優(yōu)于硬判決融合方法。但是這些軟融合方式?jīng)]有充分利用各個(gè)次用戶檢測(cè)數(shù)據(jù)的信息，檢測(cè)性能有待提高。

機(jī)器學(xué)習(xí)具有強(qiáng)大的特征提取和學(xué)習(xí)能力，已在各個(gè)領(lǐng)域得到應(yīng)用。已有學(xué)者研究了利用機(jī)器學(xué)習(xí)進(jìn)行協(xié)作頻譜感知的相關(guān)算法[6-11]，該類算法無(wú)需理論推導(dǎo)準(zhǔn)確的檢測(cè)門(mén)限，且對(duì)不同噪聲環(huán)境的適應(yīng)度高。文獻(xiàn)[6]將頻譜感知問(wèn)題轉(zhuǎn)化為圖像二分類問(wèn)題,利用各次用戶傳輸?shù)饺诤现行牡恼幌嘁奇I控(QPSK)信號(hào)，計(jì)算協(xié)方差矩陣，并進(jìn)行歸一化灰度處理,作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入。文獻(xiàn)[7]利用各次用戶傳輸?shù)饺诤现行牡腎Q 信號(hào)，經(jīng)過(guò)IQ 分解與重建提取信號(hào)特征，使用K-Medoids 聚類算法對(duì)特征進(jìn)行分類，提高了在協(xié)作次用戶較少情況下的感知性能。文獻(xiàn)[8]首先利用各次用戶傳輸?shù)饺诤现行牡腎Q 信號(hào)分別按照順序拆分和間隔拆分為兩組新的信號(hào)序列，然后根據(jù)各次用戶接收的都是同一主用戶信號(hào)，利用它們之間是否具有相關(guān)性，用以判斷主用戶信號(hào)是否存在，因此將次用戶之間的相關(guān)系數(shù)作為提取的信號(hào)特征向量，使用K-Means 聚類算法對(duì)特征進(jìn)行分類，提高了協(xié)作感知性能。文獻(xiàn)[9]結(jié)合文獻(xiàn)[8]的IQ 信號(hào)拆分重組得到兩個(gè)協(xié)方差矩陣，通過(guò)計(jì)算重組得到的協(xié)方差矩陣到黎曼均值的測(cè)地線距離，作為信號(hào)的統(tǒng)計(jì)特征，結(jié)合Fuzzy C-Means 聚類算法提高了協(xié)作頻譜感知的性能。但文獻(xiàn)[6]-[9]方法都需要較大的傳輸開(kāi)銷(xiāo)。文獻(xiàn)[10]將各次用戶得到的能量傳輸?shù)饺诤现行慕M成能量向量，多次感知的能量向量組成特征矩陣，特征矩陣經(jīng)過(guò)主成分分析處理后轉(zhuǎn)換成低維特征矩陣，利用低維特征矩陣訓(xùn)練K-Means++聚類分類器，最后利用訓(xùn)練好的聚類分類器感知主用戶信號(hào)存在與否。文獻(xiàn)[11]將各次用戶得到的能量傳輸?shù)饺诤现行慕M成能量向量，然后融合中心對(duì)能量向量進(jìn)行數(shù)據(jù)處理變換為概率向量，并利用K-Mediods 和模糊支持向量機(jī)算法進(jìn)行訓(xùn)練和分類，有效降低了算法的訓(xùn)練時(shí)間與分類延遲。

但是文獻(xiàn)[10]-[11]算法沒(méi)有充分利用能量向量包含的深層特征信息，而且由于多徑衰落和信噪比等問(wèn)題，各個(gè)協(xié)作用戶的感知結(jié)果可信度不一致。對(duì)此，本文提出一種基于多頭自注意力機(jī)制的深度學(xué)習(xí)頻譜感知方法。多頭自注意力機(jī)制[12-13]是一類模擬人腦關(guān)注機(jī)制的算法，它可以實(shí)現(xiàn)將不同可信度的協(xié)作用戶賦予不同的權(quán)重，然后融合其結(jié)果做出最終決策。因此，本文由融合中心收集各次用戶得到的能量組成能量向量，針對(duì)各次用戶接收的信號(hào)能量與噪聲能量存在的明顯差異問(wèn)題，設(shè)計(jì)了多頭自注意力網(wǎng)絡(luò)結(jié)構(gòu)，用于提取能量向量的特征，從而抽取更加重要和關(guān)鍵的能量特征信息，并進(jìn)行特征分類做出最終決策，進(jìn)一步提高了協(xié)作頻譜感知的檢測(cè)性能。

1 算法設(shè)計(jì)

1.1 能量向量模型構(gòu)建

協(xié)作頻譜感知網(wǎng)絡(luò)模型如圖1 所示，由一個(gè)主用戶、M個(gè)次用戶和一個(gè)融合中心組成，所有次用戶感知同一頻段。H0假設(shè)表示頻段空閑，主用戶信號(hào)不存在，次用戶可以接入該頻段；H1假設(shè)表示頻段被占用，存在主用戶信號(hào)，次用戶不可接入該頻段。

圖1 協(xié)作頻譜感知網(wǎng)絡(luò)模型圖

因此，次用戶檢測(cè)主用戶信號(hào)可以表述為如下的二元假設(shè)檢驗(yàn)問(wèn)題:

式中，m=1,2,3,…,M，表示次用戶序數(shù)；n=0,1,…,N-1,N是總的采樣點(diǎn)數(shù)；ym(n) 是第m個(gè)次用戶接收到的基帶信號(hào)，vm(n)為第m個(gè)次用戶接收到的均值為0、方差為的復(fù)高斯噪聲,xm(n)表示第m個(gè)次用戶接收到的經(jīng)過(guò)信道后的主用戶信號(hào)。第m個(gè)次用戶接收到的能量統(tǒng)計(jì)量為:

在本文中，各次用戶將能量統(tǒng)計(jì)量Em傳輸給融合中心，融合中心根據(jù)得到的次用戶的能量統(tǒng)計(jì)量Em組成能量向量=[E1,E2,…,EM]，將能量向量作為網(wǎng)絡(luò)輸入，進(jìn)行頻譜感知。

1.2 基于多頭自注意力機(jī)制的協(xié)作頻譜感知網(wǎng)絡(luò)

由于多頭自注意力機(jī)制是對(duì)輸入序列總體信息的相互關(guān)系進(jìn)行建模和學(xué)習(xí)綜合之后，對(duì)局部焦點(diǎn)給予更多關(guān)注，實(shí)現(xiàn)自動(dòng)特征學(xué)習(xí)，可以有效提取局部特征，因此，本文在融合中心采用多頭自注意力網(wǎng)絡(luò)提取能量向量的特征，實(shí)現(xiàn)協(xié)作頻譜感知。

本文設(shè)計(jì)的基于多頭自注意力機(jī)制的協(xié)作頻譜感知網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，主要由輸入層、多頭自注意力網(wǎng)絡(luò)層、前饋神經(jīng)網(wǎng)絡(luò)層和輸出層組成。

圖2 基于多頭自注意力機(jī)制的協(xié)作頻譜感知模型圖

1.2.1 輸入層

圖2 中，將融合中心收集得到的批量各個(gè)次用戶感知能量向量作為協(xié)作頻譜感知網(wǎng)絡(luò)輸入向量集，使用全連接層(FC1)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的特征嵌入，然后輸入自注意力網(wǎng)絡(luò)層。其中，輸入層計(jì)算方式如下：

1.2.2 多頭自注意力網(wǎng)絡(luò)

使用FC 模塊提取空間特征后，本文通過(guò)多頭自注意力網(wǎng)絡(luò)模塊提取底層特征，強(qiáng)化對(duì)輸入數(shù)據(jù)的特征提取。多頭自注意力網(wǎng)絡(luò)由多個(gè)如圖3 所示的自注意力層并聯(lián)而成,對(duì)輸入數(shù)據(jù)利用并行計(jì)算方式從輸入信息中提取相關(guān)信息。

圖3 自注意力層網(wǎng)絡(luò)結(jié)構(gòu)圖

然后，通過(guò)縮放Qi和Ki的內(nèi)積運(yùn)算，并使用Softmax函數(shù)歸一化后與Vi相乘得到自注意力得分向量Zi如下所示：

式中，β是縮放系數(shù)，Zi∈R1×P；Softmax 函數(shù)的作用是將分類的結(jié)果以概率的形式展現(xiàn)出來(lái)，其表達(dá)式為：

其中，xi是向量x的第i個(gè)元素。最后，當(dāng)有h個(gè)自注意力層時(shí)，拼接h個(gè)自注意力的得分向量[14]如式(8)所示，利用全連接層FC2 進(jìn)行線性變換如式(9)所示，并保證輸出特征維度和輸入特征維度相同。

式中，w2∈R(P+h)×L和b2∈R1×L為FC2 的網(wǎng)絡(luò)參數(shù);Z(X)∈R1×(P+h)，ZFC∈R1×L。

多頭自注意力網(wǎng)絡(luò)層輸入與輸出之間采用Add&Norm 網(wǎng)絡(luò)結(jié)構(gòu)，Add 模塊是在經(jīng)過(guò)自注意力網(wǎng)絡(luò)模塊的基礎(chǔ)上加了一個(gè)殘差連接，目的是解決在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中發(fā)生的權(quán)重矩陣退化問(wèn)題和梯度消失；Norm 模塊是對(duì)輸入數(shù)據(jù)進(jìn)行歸一化。該步驟的計(jì)算過(guò)程如下：

式中，Y1∈R1×L。

1.2.3 前饋神經(jīng)網(wǎng)絡(luò)層

前饋神經(jīng)網(wǎng)絡(luò)層由兩層全連接層構(gòu)成，如圖4 所示，先進(jìn)行線性變換將輸入數(shù)據(jù)映射到高維空間，然后通過(guò)ReLU 激活函數(shù)非線性化，最后再進(jìn)行線性變換映射回原來(lái)的維度，保證輸出特征維度和輸入特征維度相同，同時(shí)提供非線性變換，用于進(jìn)一步處理提取的信號(hào)特征，提高模型的擬合效果。前饋神經(jīng)網(wǎng)絡(luò)層輸入和輸出之間也采用殘差連接結(jié)構(gòu)，并且經(jīng)過(guò)一層歸一化概率分布處理。其中，前饋神經(jīng)網(wǎng)絡(luò)層計(jì)算方式如下：

圖4 前饋神經(jīng)網(wǎng)絡(luò)層結(jié)構(gòu)

式中，Y1為前饋神經(jīng)網(wǎng)絡(luò)層的輸入，w3和b3為FC3 的網(wǎng)絡(luò)參數(shù)，w4和b4為FC4 的網(wǎng)絡(luò)參數(shù)。其中，w3∈RL×P，w4∈RP×L，b3∈R1×P，b4∈R1×L，Y2∈R1×L，Y3∈R1×L。

1.2.4 輸出層

本文自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型由2 個(gè)At‐tention 模塊串接而成。經(jīng)過(guò)網(wǎng)絡(luò)模型完成特征提取操作之后，最終將所提取的特征通過(guò)全連接層FC5 和Soft‐max 函數(shù)輸出類別概率分布，如式(13)所示：

本文采用給定虛警概率，使檢測(cè)概率盡可能大的準(zhǔn)則，因此采用如式(15)所示的判決規(guī)則：

其中，r是根據(jù)不同的虛警概率Pf設(shè)置的檢測(cè)門(mén)限。

綜上得到本文提出的協(xié)作頻譜感知算法主要分3 個(gè)階段實(shí)現(xiàn)：（1）第一階段中各個(gè)次用戶獨(dú)立采樣信號(hào)和計(jì)算信號(hào)能量，融合中心收集得到各個(gè)次用戶的感知能量向量，并作為自注意力網(wǎng)絡(luò)模型的輸入;(2)第二階段利用訓(xùn)練向量集訓(xùn)練基于多頭自注意力機(jī)制的網(wǎng)絡(luò)模型;(3)第三階段利用已訓(xùn)練好的基于多頭自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)進(jìn)行協(xié)作頻譜感知，輸入為單個(gè)能量向量，輸出為該向量的分類概率分布，最后根據(jù)判決規(guī)則進(jìn)行頻譜感知，即判斷主用戶信號(hào)存在與否。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

主用戶發(fā)送的是QPSK 信號(hào)，碼元數(shù)設(shè)為1 000，每個(gè)碼元采樣點(diǎn)數(shù)為8，噪聲是均值為0、方差為1 的復(fù)高斯噪聲。在仿真中，假設(shè)認(rèn)知無(wú)線電網(wǎng)絡(luò)中參與協(xié)作頻譜感知的用戶數(shù)量從3～12 不等，當(dāng)參與協(xié)作的各次用戶的信道條件和接收信噪比各不相同,各次用戶接收到的信噪比設(shè)置[15]如下所示：

CU1:snr dB、CU2:(snr-0.5)dB、CU3:(snr-1)dB、

CU4:(snr-0.25)dB、CU5:(snr-0.75)dB、

CU6:(snr-1.25)dB、CU7:(snr-0.5)dB、

CU8:(snr-1.75)dB、CU9:(snr-2)dB、

CU10:(snr-1.25)dB、CU11:(snr-1.5)dB、

CU12:(snr-2.25)dB、

其中，snr 為融合中心接收到的檢測(cè)信道的信噪比，snr-x表示該次用戶的接收信號(hào)信噪比。次用戶數(shù)為3 時(shí)選用次用戶CU1～CU3，次用戶數(shù)為6 時(shí)選用次用戶CU1～CU6，次用戶數(shù)為9 時(shí)選用次用戶CU1～CU9。

由MATLAB 仿真產(chǎn)生數(shù)據(jù)集，調(diào)整信號(hào)幅度得到不同信噪比下的主用戶信號(hào)數(shù)據(jù)。在不同的次用戶數(shù)量下，訓(xùn)練集信號(hào)樣本中的snr 為-16 dB～-10 dB，間隔1 dB，每個(gè)信噪比下產(chǎn)生1 000 個(gè)樣本；測(cè)試集信號(hào)樣本中的snr 為-20 dB～-9 dB，間隔1 dB，每個(gè)信噪比下產(chǎn)生1 000 個(gè)樣本。在相同條件下，生成與信號(hào)數(shù)據(jù)集相同維度和數(shù)量的高斯白噪聲樣本，分為訓(xùn)練集和測(cè)試集。

2.2 實(shí)驗(yàn)平臺(tái)及網(wǎng)絡(luò)參數(shù)設(shè)置

仿真硬件平臺(tái)為Intel 處理器CPU（Intel Core i7-7700），編程環(huán)境為Python 語(yǔ)言，PyTorch1.3 的深度學(xué)習(xí)框架，網(wǎng)絡(luò)訓(xùn)練周期為30 輪，訓(xùn)練批次大小batch 設(shè)置為128；設(shè)置學(xué)習(xí)率為0.000 1；縮放系數(shù)β設(shè)置為64；L和P均設(shè)置為64；使用隨機(jī)梯度下降法，其中，動(dòng)量參數(shù)設(shè)置為0.99。

2.3 算法性能分析

將本文算法、文獻(xiàn)[5] K 秩準(zhǔn)則算法和文獻(xiàn)[10]K-Means++聚類算法進(jìn)行性能對(duì)比，其中K選取文獻(xiàn)[5]的最優(yōu)K 值。

(1)采樣長(zhǎng)度對(duì)算法性能影響

當(dāng)信噪比為-20 dB～-9 dB,虛警概率Pf為0.01，協(xié)作次用戶數(shù)為6，本文算法在采樣長(zhǎng)度分別為2 000、4 000和8 000 點(diǎn)情況下的檢測(cè)概率曲線如圖5 所示。

圖5 不同采樣長(zhǎng)度下的檢測(cè)曲線

由圖5 可見(jiàn)，隨著信噪比的增加，算法的檢測(cè)概率隨之提高；隨著采樣點(diǎn)數(shù)的增加，算法的檢測(cè)性能隨之提高。但是各個(gè)次用戶的計(jì)算負(fù)擔(dān)也增加。綜合考慮，下文取采樣點(diǎn)數(shù)為4 000 點(diǎn)。

(2)次用戶數(shù)對(duì)算法性能影響

本節(jié)訓(xùn)練了協(xié)作次用戶數(shù)M為3、6、9 和12 的網(wǎng)絡(luò)模型，檢驗(yàn)算法性能。在信噪比為-20 dB～-9 dB,虛警概率Pf為0.01 時(shí)，本文算法在不同次用戶個(gè)數(shù)情況下的檢測(cè)概率曲線如圖6 所示。

圖6 不同次用戶數(shù)下的檢測(cè)曲線

由圖6 可見(jiàn)，隨著次用戶數(shù)的增加，本文算法的檢測(cè)性能越好。在信噪比為-17 dB 時(shí)，協(xié)作次用戶數(shù)分別為3、6、9 和12 時(shí)的檢測(cè)概率為32%、38%、46%和52%。但是，次用戶個(gè)數(shù)增加導(dǎo)致融合中心計(jì)算和存儲(chǔ)的復(fù)雜度增大。故下文折中選取6個(gè)次用戶與對(duì)比算法進(jìn)行性能對(duì)比。

(3)算法性能對(duì)比

當(dāng)信噪比為-20 dB～-9 dB,虛警概率Pf分別為0.01和0.001 時(shí)，本文算法、文獻(xiàn)[5]算法和文獻(xiàn)[10]算法的檢測(cè)概率曲線如圖7 所示。

圖7 3 種算法在不同虛警概率不同信噪比下的性能曲線

從圖7 可以看出，本文算法在兩種Pf下的檢測(cè)性能都遠(yuǎn)優(yōu)于兩種對(duì)比算法；甚至在Pf為0.001 時(shí)本文算法的檢測(cè)性能優(yōu)于Pf為0.01 時(shí)的兩種對(duì)比算法。這得益于自注意力網(wǎng)絡(luò)模型能夠充分提取次用戶的能量向量特征。

(4)算法ROC 對(duì)比

信噪比分別為-15 dB～-17 dB，虛警概率Pf在區(qū)間[0.001,0.2]取不同值情況下3 種算法的ROC 曲線如圖8所示。

圖8 3 種算法的ROC 性能

由圖8 可見(jiàn)，在相同信噪比、相同虛警概率下，本文算法檢測(cè)概率最高，進(jìn)一步說(shuō)明本文網(wǎng)絡(luò)模型的優(yōu)越性。

3 結(jié)論

為了進(jìn)一步提高協(xié)作頻譜感知算法的檢測(cè)性能，本文本文提出了一種基于多頭自注意力機(jī)制的協(xié)作頻譜感知算法，設(shè)計(jì)了多頭自注意力網(wǎng)絡(luò)，提取融合中心收集到的能量向量特征，進(jìn)行頻譜感知。仿真結(jié)果表明，相比K 秩準(zhǔn)則算法和基于降維及聚類的深度協(xié)作頻譜感知算法，本文算法在提升檢測(cè)概率的同時(shí)降低了虛警概率。由于頻譜感知算法檢測(cè)性能易受無(wú)線電環(huán)境的影響，因此后續(xù)將進(jìn)一步研究對(duì)于更低的信噪比環(huán)境以及更復(fù)雜的惡意攻擊下，如何保證感知算法的性能。