武苗苗，傅友華

（1.南京郵電大學(xué)電子與光學(xué)工程學(xué)院、微電子學(xué)院，江蘇 南京 210023 2.南京郵電大學(xué)射頻集成與微組裝技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，江蘇 南京 210023）

未來移動(dòng)通信網(wǎng)絡(luò)的發(fā)展旨在提高網(wǎng)絡(luò)容量、頻譜效率和降低延遲。大規(guī)模多輸入多輸出（Multiple?Input Multiple?Output，MIMO）技術(shù)是第五代移動(dòng)通信系統(tǒng)的關(guān)鍵技術(shù)之一，其中蜂窩網(wǎng)絡(luò)的基站配備了數(shù)十、數(shù)百或數(shù)千個(gè)天線［1］。然而，隨著天線數(shù)的增加，傳統(tǒng)的信號(hào)檢測(cè)算法的性能和復(fù)雜度難以滿足下一代通信系統(tǒng)的需求。

傳統(tǒng)的MIMO信號(hào)檢測(cè)方案大致可以分為兩類：線性檢測(cè)算法和非線性檢測(cè)算法。最大似然（Maximum Likelihood，ML）［2］檢測(cè)器的檢測(cè)性能雖是最優(yōu)的，但其復(fù)雜性令人望而卻步。線性檢測(cè)算法，如迫零檢測(cè)（Zero Forcing，ZF）［3］算法和最小均方誤差（Minimum Mean Square Error，MMSE）［4］算法，雖具有較低的復(fù)雜度，但它們的誤碼率較高。隨著MIMO系統(tǒng)天線數(shù)的增加，系統(tǒng)對(duì)檢測(cè)性能要求越來越高，線性檢測(cè)算法的檢測(cè)性能已經(jīng)無法滿足。為了提高檢測(cè)算法的性能，通信領(lǐng)域?qū)W者將研究重心轉(zhuǎn)向了非線性檢測(cè)算法的研究。例如，球形解碼器（Sphere Decoder，SD），雖然提供了接近最優(yōu)的性能，但其復(fù)雜性仍然隨著天線數(shù)目的增加呈指數(shù)增長(zhǎng)［5］。基于優(yōu)化的檢測(cè)器，如：半正定松弛（Semi?Definite Relaxation，SDR）［6］和近似消息傳遞（Approximate Message Passing，AMP）［7］，雖在某些情況下可實(shí)現(xiàn)接近最優(yōu)的性能，但前者的代價(jià)是高次多項(xiàng)式復(fù)雜度，后者的代價(jià)是迭代特性導(dǎo)致的發(fā)散。總之，大多數(shù)現(xiàn)有技術(shù)過于復(fù)雜，無法實(shí)現(xiàn)下一代大規(guī)模MIMO系統(tǒng)所需的規(guī)模。深度學(xué)習(xí)作為一種普適性算法，已經(jīng)在許多領(lǐng)域帶來了前所未有的性能提升，例如機(jī)器人、電子商務(wù)、計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域。在大規(guī)模MIMO系統(tǒng)中使用深度學(xué)習(xí)，這將會(huì)是一個(gè)很好的研究方向。

在深度學(xué)習(xí)中，最近的發(fā)展提出了“l(fā)earning to learn”的方法。該方法將一個(gè)迭代算法展開到固定的迭代次數(shù)，每次迭代被認(rèn)為是一個(gè)層，展開的結(jié)構(gòu)稱為深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）。這種模型驅(qū)動(dòng)的深度學(xué)習(xí)方法可以達(dá)到或超過相應(yīng)的迭代算法的性能［8］。胡鐘秀等［9］將簡(jiǎn)化近似消息傳遞迭代（Simplified Approximate Messaging Passing，SAMP）檢測(cè)算法與深度學(xué)習(xí)結(jié)合，提出了新型模型驅(qū)動(dòng)的深度學(xué)習(xí)網(wǎng)絡(luò)SAMP?Net，通過學(xué)習(xí)得到最優(yōu)可訓(xùn)練的參數(shù)，提高檢測(cè)性能。Samuel等［10］提出的檢測(cè)神經(jīng)網(wǎng)絡(luò)（Detection Network，DetNet）算法是深度展開技術(shù)在MIMO檢測(cè)中的成功應(yīng)用之一，它由投影梯度下降算法展開。Ma等［11］在傳統(tǒng)正交近似消息傳遞（Orthogonal Approximate Message Passing，OAMP）算法的基礎(chǔ)上，結(jié)合深度神經(jīng)網(wǎng)絡(luò)構(gòu)建了 OAMPNet［12］網(wǎng)絡(luò)模型，該模型在小尺度相關(guān)信道上有良好的性能。DetNet和 OAMPNet都是離線訓(xùn)練的。Khani等［13］提出了大規(guī)模MIMO獨(dú)立同分布模型（Massive MIMO?independent identically distributed，MMNet?iid），該神經(jīng)網(wǎng)絡(luò)是在AMP的基礎(chǔ)上迭代展開，并添加了可訓(xùn)練參數(shù)，在獨(dú)立同分布高斯信道上有良好的性能。

一般來說，通過設(shè)計(jì)更深層次的神經(jīng)網(wǎng)絡(luò)架構(gòu)來解決信號(hào)檢測(cè)問題，這會(huì)顯著增加訓(xùn)練時(shí)長(zhǎng)和計(jì)算復(fù)雜度，但并不會(huì)顯著提高檢測(cè)性能。因此就迫切需要設(shè)計(jì)具有可擴(kuò)展性的DNN架構(gòu)，使得該架構(gòu)可以加速訓(xùn)練的同時(shí)提高檢測(cè)性能。正是在這樣的背景下，DNN在訓(xùn)練和推理方面的加速成為深度學(xué)習(xí)領(lǐng)域一個(gè)活躍的研究領(lǐng)域。最近降低復(fù)雜度的方法有 Drop?Connect［14］，Pruning［15］和 Dropout［16］。然而，這些方法中的大多數(shù)都是用來防止過擬合的，并沒有被明確設(shè)計(jì)用來降低復(fù)雜度，提高性能。Dropout主要思想是在訓(xùn)練過程中隨機(jī)舍去一些神經(jīng)元，但這樣無法保證目標(biāo)函數(shù)單調(diào)性。雖然在計(jì)算機(jī)視覺中已經(jīng)提出了許多關(guān)于DNN加速訓(xùn)練和推理的方法，但很少有針對(duì)物理層通信設(shè)計(jì)系統(tǒng)的DNN加速。Mcdanel等［17］通過向卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的各層引入單調(diào)的非遞增信道系數(shù)動(dòng)態(tài)調(diào)整輸入通道的數(shù)量，從而降低功耗和降低延遲，基于此本文試圖通過提出一個(gè)可擴(kuò)展的DNN模型來填補(bǔ)這一空白，以獲得高效的大規(guī)模MIMO檢測(cè)。

本文在MMNet?iid的基礎(chǔ)上提出了新的基于權(quán)重衰減的網(wǎng)絡(luò)架構(gòu)（Weight Decay Network，WDNet），該網(wǎng)絡(luò)架構(gòu)基于投影梯度下降算法展開，并引入了單調(diào)非遞增函數(shù)的概念。該函數(shù)縮放神經(jīng)網(wǎng)絡(luò)的每一層，且單調(diào)非遞增函數(shù)本身是可訓(xùn)練的，從而允許網(wǎng)絡(luò)在訓(xùn)練期間動(dòng)態(tài)地學(xué)習(xí)其自身權(quán)重的最佳衰減策略。將單調(diào)非遞增函數(shù)設(shè)置為可訓(xùn)練參數(shù)，提高了WDNet的檢測(cè)性能。

1 系統(tǒng)模型

一個(gè)典型的多用戶MIMO系統(tǒng)模型如圖1所示?；九鋫溆蠳r根天線同時(shí)服務(wù)于Nt個(gè)具有單天線的用戶。

圖1 一個(gè)基站配備Nr根天線和Nt個(gè)單天線用戶的上行鏈路MIMO系統(tǒng)

為了能夠應(yīng)用于深度學(xué)習(xí)模型，將式（1）變換為實(shí)域

信號(hào)檢測(cè)的目的是根據(jù)接收到的向量y＝Hx+n推斷發(fā)送信號(hào)向量x，其中，H為信道矩陣，n為高斯噪聲。在MIMO信號(hào)檢測(cè)中，假設(shè)信道狀態(tài)信息已知。在ML中，對(duì)所有可用的傳輸信號(hào)組合進(jìn)行比較，并計(jì)算似然檢驗(yàn)，其表達(dá)式為

ML檢測(cè)通過尋找最小距離度量來選擇最終的信號(hào)組合。ML檢測(cè)理論上是恢復(fù)傳輸信號(hào)的最優(yōu)方法，但其計(jì)算復(fù)雜度隨著天線數(shù)的增多而呈指數(shù)增加，因此不適用于大規(guī)模MIMO系統(tǒng)。在下一節(jié)中，將使用深度學(xué)習(xí)方法解決這一問題。

2 基于可學(xué)習(xí)權(quán)重衰減的大規(guī)模MIMO檢測(cè)

WDNet是一種非線性估計(jì)器，通過投影梯度下降優(yōu)化的遞歸公式展開ML度量來設(shè)計(jì)。本文提出的檢測(cè)器將單調(diào)非遞增函數(shù)應(yīng)用于現(xiàn)有的檢測(cè)網(wǎng)絡(luò)。這種修改降低了訓(xùn)練檢測(cè)器的復(fù)雜度且提高了檢測(cè)性能。

2.1 單調(diào)非遞增函數(shù)β

不完全點(diǎn)積（Incomplete Dot Products，IDP）在正向傳播的點(diǎn)積計(jì)算中增加了一個(gè)由單調(diào)非遞增函數(shù)β組成的剖面。這使得系統(tǒng)以最高到最低遞減的方式優(yōu)先選擇層權(quán)重。數(shù)學(xué)上，對(duì)于兩個(gè)給定的向量x＝［x1，x2，…，xN］T和y＝［y1，y2，…，yN］T，其 IDP的截?cái)嘈问剑?9］為

式中，β1，β2，…，βN為單調(diào)非遞增函數(shù)系數(shù)。

在標(biāo)準(zhǔn)全連接網(wǎng)絡(luò)中，前饋傳遞輸出為

式中，j∈｛1，…，M｝，M為輸出分量的個(gè)數(shù)，N為輸入分量的個(gè)數(shù)，i，j分別為輸入、輸出維數(shù)；xi為第i個(gè)輸入分量，Wji為第j個(gè)輸出分量和第i個(gè)輸入分量對(duì)應(yīng)的信道或?qū)訖?quán)重，bj為偏倚。對(duì)不完全線性層進(jìn)行如下計(jì)算

本文為權(quán)重引入單調(diào)非遞增函數(shù)［17］，表達(dá)式為

式中N為發(fā)送天線數(shù)，由圖2可知單調(diào)非遞增函數(shù)β的閾值與a（0≤a≤1）有關(guān)，因此不同a所對(duì)應(yīng)的單調(diào)非遞增函數(shù)對(duì)WDNet性能的影響將在第3節(jié)給出，并通過仿真找到a的最佳值。從圖2可以看出，該函數(shù)后半部分為衰減函數(shù)，通過衰減函數(shù)衰減了一半的通道系數(shù)。這意味著它允許網(wǎng)絡(luò)訓(xùn)練調(diào)整梯度流，使重要的權(quán)重保存在未衰減的一半中，而不太重要的權(quán)重保存在衰減的一半中。

圖2 單調(diào)非遞增函數(shù)VS發(fā)送天線數(shù)

為了進(jìn)一步提高WDNet的性能且在訓(xùn)練期間動(dòng)態(tài)地對(duì)權(quán)重進(jìn)行優(yōu)先級(jí)排序，將單調(diào)非遞增函數(shù)設(shè)置為可訓(xùn)練參數(shù)。在訓(xùn)練和梯度更新過程中，單調(diào)性是通過式（7）函數(shù)的形狀來維持的。在訓(xùn)練過程中，對(duì)每一個(gè)權(quán)重進(jìn)行不同的縮放，當(dāng)訓(xùn)練次數(shù)達(dá)到一定時(shí)，每一個(gè)權(quán)重的單調(diào)非遞增系數(shù)都達(dá)到一個(gè)最優(yōu)值，從而提高WDNet的檢測(cè)性能。由于權(quán)重的飽和，a達(dá)到一定值后單調(diào)非遞增函數(shù)對(duì)WDNet性能的影響將趨于平穩(wěn)狀態(tài)。當(dāng)a較小時(shí)，由于大部分權(quán)重被衰減，使得網(wǎng)絡(luò)的前饋推理不完整，從而會(huì)降低算法的收斂性和檢測(cè)性能；當(dāng)a較大時(shí)，由于保留了大部分權(quán)重，增加了算法的復(fù)雜度。因此尋找一個(gè)合適的a以達(dá)到準(zhǔn)確性和復(fù)雜度的平衡是必要的。

2.2 WDNet算法

圖3 WDNet結(jié)構(gòu)框圖

該神經(jīng)網(wǎng)絡(luò)第t層（1≤t≤T）的計(jì)算過程如下

太宰治：我的不幸，恰恰在于我缺乏拒絕的能力。我害怕一旦拒絕別人，便會(huì)在彼此心里留下永遠(yuǎn)無法愈合的裂痕。

為了進(jìn)一步提高WDNet的檢測(cè)性能，引入式（10）所示 ResNet的殘差特性［22］。

WDNet連接了上述形式的T層。其損失函數(shù)為所有T層的平均L2損耗

3 仿真分析

本節(jié)通過仿真評(píng)估和比較WDNet與其他檢測(cè)方案在獨(dú)立同分布高斯信道的性能。首先描述仿真要素；然后分析單調(diào)非遞增函數(shù)對(duì)WDNet性能的影響，WDNet的復(fù)雜度、收斂性、誤碼率性能，以及對(duì)MIMO配置和調(diào)制的魯棒性。

3.1 仿真要素

（1）數(shù)據(jù)：訓(xùn)練和測(cè)試數(shù)據(jù)通過式（1）中所描述的模型生成，發(fā)送信號(hào)x經(jīng)過QAM16調(diào)制產(chǎn)生。瑞利衰落信道矩陣H從i.i.d高斯分布中采樣（即，H的每個(gè)元素是復(fù)數(shù)正態(tài)分布：H∈ CN（0，（1/Nr）INr））。系統(tǒng)的信噪比（Signal Noise Ratio，SNR）定義為

表1 訓(xùn)練網(wǎng)絡(luò)所需參數(shù)及取值

3.2 性能分析

（1）單調(diào)非遞增函數(shù)對(duì)WDNet性能的影響：圖4展示了在13 dB和15 dB信噪比下不同a所對(duì)應(yīng)的單調(diào)非遞增函數(shù)對(duì)WDNet性能的影響。從中可以看出，13 dB和15 dB信噪比的誤碼率性能隨著a的增加而提高，但由于權(quán)重飽和，誤碼率在a＝0.5時(shí)飽和，并且此時(shí)WDNet準(zhǔn)確性最高。因此在之后的訓(xùn)練中，將a設(shè)置為0.5。

圖4 不同a所對(duì)應(yīng)的單調(diào)非遞增函數(shù)對(duì)WDNet誤碼率性能的影響

圖5 WDNet和MMNet?iid的CPU運(yùn)行時(shí)間與天線數(shù)的關(guān)系

圖6 WDNet，MMNet?iid的誤碼率（BER）性能和層數(shù)的關(guān)系

（4）性能比較：圖7展示了當(dāng)天線配置為16×64且調(diào)制方式為QAM16時(shí)，神經(jīng)網(wǎng)絡(luò)算法WDNet、MMNet?iid、DetNet 及傳統(tǒng)檢測(cè)算法 AMP、SDR、MMSE的誤碼率性能。由圖7可知，所有方法的準(zhǔn)確性都隨著信噪比的增加而增強(qiáng)。從圖中可以看出，AMP在較高的信噪比情況下會(huì)遇到魯棒性問題。WDNet檢測(cè)方案在所有設(shè)置下都比傳統(tǒng)檢測(cè)方案MMSE，AMP和SDR擁有更好的準(zhǔn)確性。這表明深度學(xué)習(xí)在解決通信問題上具有優(yōu)越性。DetNet在高階調(diào)制下，準(zhǔn)確性低于MMSE。同時(shí)本文提出的 WDNet誤碼率性能優(yōu)于 MMNet?iid 和 DetNet，并且信噪比越高準(zhǔn)確性越好。誤碼率為10-5時(shí)，WDNet的性能與 MMNet?iid性能之間具有約1 dB的性能增益。

圖7 WDNet與其他檢測(cè)器誤碼率性能的比較

（5）對(duì)MIMO配置和調(diào)制的魯棒性：由于可用于在線訓(xùn)練的數(shù)據(jù)和計(jì)算資源有限，驗(yàn)證離線訓(xùn)練網(wǎng)絡(luò)的魯棒性尤為重要。圖8展示了MIMO配置和調(diào)制不匹配時(shí) WDNet的誤碼率性能。在 16×64MIMO系統(tǒng)中，用QAM16調(diào)制符號(hào)訓(xùn)練WDNet，并測(cè)試訓(xùn)練參數(shù)的魯棒性。

圖8 WDNet與 MMNet?iid在 MIMO 配置失配和調(diào)制符號(hào)失配情況下性能比較

圖8（a）展示了在 MIMO配置不匹配情況下WDNet的誤碼率，其中網(wǎng)絡(luò)在具有QAM16的8×32系統(tǒng)中進(jìn)行測(cè)試。雖然訓(xùn)練和測(cè)試采用了不同的配置，但WDNet性能仍然優(yōu)于MMNet?iid，且性能損失很小。這種魯棒性表明WDNet對(duì)不同的MIMO配置具有靈活性。此外，圖8（b）顯示了調(diào)制符號(hào)不匹配情況下WDNet的性能，其中網(wǎng)絡(luò)在16×64系統(tǒng)中使用BPSK調(diào)制方式進(jìn)行測(cè)試。當(dāng)BER＝10-4時(shí)，WDNet僅因調(diào)制符號(hào)失配造成0.2 dB的性能損失，這表明WDNet對(duì)調(diào)制符號(hào)失配具有魯棒性。因此，可以在具有不同調(diào)制符號(hào)的不同MIMO配置中直接使用已訓(xùn)練的網(wǎng)絡(luò)。

4 結(jié)束語

本文對(duì)基于深度學(xué)習(xí)的大規(guī)模MIMO信號(hào)檢測(cè)進(jìn)行了研究。在MMNet?iid的基礎(chǔ)上提出了WDNet算法。該算法使用單調(diào)非遞增函數(shù)在訓(xùn)練期間動(dòng)態(tài)地對(duì)層權(quán)重進(jìn)行優(yōu)先級(jí)排序。為了提高WDNet對(duì)激活函數(shù)變化的魯棒性，允許單調(diào)非遞增函數(shù)本身在所提出的體系結(jié)構(gòu)中是可訓(xùn)練的參數(shù)，這提高了檢測(cè)精度。從仿真結(jié)果可以看出，具有可訓(xùn)練參數(shù)的WDNet檢測(cè)性能優(yōu)于MMNet?iid檢測(cè)性能，并且對(duì)各種失配具有優(yōu)越的魯棒性。

附錄

假設(shè)2：zt-x由獨(dú)立于x的i.i.d零均值高斯項(xiàng)組成。

首先誤差向量zt-x可以重寫為

其中，矩陣 Ct＝I-βλtHHH，Bt＝βHH。