胡啟蕾，許佳龍，李 倫，鐘章隊(duì),3，艾 渤,4，陳 為,5*

(1.北京交通大學(xué) 軌道交通控制與安全國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京100044；2.中興通訊股份有限公司，廣東 深圳518057；3.寬帶移動(dòng)信息通信鐵路行業(yè)重點(diǎn)實(shí)驗(yàn)室，北京100044；4.智慧高鐵系統(tǒng)前沿科學(xué)中心，北京100044；5.北京市高速鐵路寬帶移動(dòng)通信工程技術(shù)研究中心，北京100044)

0 引言

信道編碼通過(guò)對(duì)信源壓縮后的信息序列添加校驗(yàn)和冗余，提高傳輸?shù)目煽啃?。香農(nóng)信道編碼定理指出當(dāng)信道傳輸率不超過(guò)信道容量時(shí)，采用合適的信道編碼方法，可以實(shí)現(xiàn)無(wú)差錯(cuò)傳輸。經(jīng)過(guò)不斷的努力和探索，研究者們相繼提出了漢明碼[1]、卷積碼[2]、Turbo碼[3]、LDPC碼[4]和Polar碼[5]等信道編碼，以期能夠接近香農(nóng)理論限。漢明碼[1]是第一個(gè)實(shí)用的差錯(cuò)編碼方案。卷積碼[2]充分利用各個(gè)信息塊之間的相關(guān)性，在維特比譯碼算法提出后，卷積碼在通信系統(tǒng)得到了極為廣泛的應(yīng)用。Turbo碼[3]和LDPC碼[4]可以接近香農(nóng)限，而Polar碼[5]則是唯一被證明能達(dá)到香農(nóng)限的編碼方法。在傳統(tǒng)的通信系統(tǒng)信道編譯碼算法設(shè)計(jì)中，首先通過(guò)優(yōu)化編碼器的某些數(shù)學(xué)特性(如最小碼距)設(shè)計(jì)編碼方案，然后根據(jù)最大后驗(yàn)概率(Maximum a Posteriori,MAP)原則得到最小化誤碼率時(shí)的譯碼算法。然而傳統(tǒng)的信道編譯碼算法設(shè)計(jì)存在以下問(wèn)題：譯碼器是在加性高斯白噪聲(Additive White Gaussian Noise,AWGN)下設(shè)計(jì)的，當(dāng)實(shí)際信道模型不為AWGN時(shí)，所設(shè)計(jì)的譯碼算法并不能達(dá)到最優(yōu)性能。其次，只有在編碼長(zhǎng)度無(wú)限長(zhǎng)時(shí)，才能保證信道編碼的性能是最優(yōu)的。實(shí)際中待編碼的信息序列并非無(wú)限長(zhǎng)，因此需要在中短碼長(zhǎng)上優(yōu)化編碼方法。此外，如何降低信道編譯碼算法的復(fù)雜度和誤碼率也是需要優(yōu)化的。

深度學(xué)習(xí)(Deep Learning,DL)作為一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)驅(qū)動(dòng)方法，已經(jīng)在計(jì)算機(jī)視覺、自然語(yǔ)言處理等領(lǐng)域表現(xiàn)出卓越的性能。受此啟發(fā)，通信研究者嘗試使用深度學(xué)習(xí)解決無(wú)線通信的物理層問(wèn)題[6]，如信道編譯碼[7-8]、信道估計(jì)[9-10]、信道狀態(tài)信息反饋[11]和信號(hào)檢測(cè)[12-14]?，F(xiàn)有基于DL的譯碼技術(shù)已對(duì)優(yōu)化譯碼性能的問(wèn)題進(jìn)行了研究。文獻(xiàn)[15]提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)結(jié)構(gòu)的信道譯碼方法，該方法可以譯碼卷積碼和Turbo碼，在AWGN信道下達(dá)到接近最優(yōu)的性能。文獻(xiàn)[16]提出一種以置信傳播(Belief Propagation,BP)算法為基礎(chǔ)的迭代BP-CNN譯碼算法，利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)學(xué)習(xí)真實(shí)噪聲與估計(jì)噪聲之間的誤差。實(shí)驗(yàn)表明，在噪聲相關(guān)性較強(qiáng)時(shí)，提出的BP-CNN譯碼算法的性能優(yōu)于BP算法。此外，由于CNN的高效性，BP-CNN結(jié)構(gòu)也具有更低的譯碼復(fù)雜度。

傳統(tǒng)信道編碼基于AWGN信道進(jìn)行設(shè)計(jì)以簡(jiǎn)化設(shè)計(jì)難度。而當(dāng)實(shí)際通信信道不為AWGN信道時(shí)[17]，信道編碼的性能難以保證。其次，實(shí)際通信中編碼長(zhǎng)度有限，針對(duì)無(wú)限碼長(zhǎng)下設(shè)計(jì)的編碼方案性能并非最優(yōu)。在譯碼端，一旦編碼方法已經(jīng)確定，算法所能達(dá)到的最優(yōu)性能接近MAP算法的性能。因此，考慮到譯碼的性能受到信道編碼方案的影響，聯(lián)合編譯碼器設(shè)計(jì)能夠獲得更多的性能增益。O′Shea等人將通信系統(tǒng)視為一個(gè)端到端的重構(gòu)任務(wù)，在文獻(xiàn)[18]中提出使用自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)共同設(shè)計(jì)編碼器和譯碼器。當(dāng)編碼器和譯碼器在相同的信噪比(Signal-to-Noise Ratio,SNR)下訓(xùn)練時(shí)，所提出的基于自編碼器的(7,4)碼編譯碼性能可達(dá)到(7,4)漢明碼采用最大似然譯碼(Maximum Likelihood Decoding,MLD)的性能。此外，Xu等人在文獻(xiàn)[19]中比較了自編碼器和漢明碼的性能，在真實(shí)的衰落信道下，所提出的自編碼器的性能與漢明碼采用MLD性能相近。在復(fù)雜的通信場(chǎng)景下，信道模型難以用數(shù)學(xué)模型精確描述[20]。Raj等人在信道狀態(tài)信息(Channel State Information,CSI)未知的情況下，提出一種端到端通信系統(tǒng)的優(yōu)化方法[21]。在無(wú)法準(zhǔn)確估計(jì)瞬時(shí)信道傳輸?shù)那闆r下，Ye等人在文獻(xiàn)[22]中使用生成對(duì)抗神經(jīng)網(wǎng)絡(luò)(Generative Adversarial Network,GAN)來(lái)學(xué)習(xí)信道生成模型，結(jié)果表明，所提出的端到端編譯碼結(jié)構(gòu)在AWGN信道、Rayleigh信道和頻率選擇性衰落信道中，該方法與傳統(tǒng)方法相比可以達(dá)到類似或更好的性能。此外，文獻(xiàn)[23]中提出了一種基于神經(jīng)網(wǎng)絡(luò)互信息估計(jì)器，在固定譯碼器的情況下，該估計(jì)器以達(dá)到最大互信息為目標(biāo)去學(xué)習(xí)信道特征進(jìn)而優(yōu)化編碼器。Jiang等人在文獻(xiàn)[24]中提出了一個(gè)基于CNN的端到端信道編譯碼系統(tǒng)Turbo Autoencoder(TurboAE)，該方法評(píng)估了中短碼長(zhǎng)(碼長(zhǎng)為100 bit)的TurboAE的性能，在-1～1 dB下，TurboAE的誤碼率低于Turbo碼的誤碼率；在1～4 dB時(shí)，TurboAE的誤碼率與Turbo碼的誤碼率相近。

然而，為了使訓(xùn)練好的TurboAE模型充分發(fā)揮其優(yōu)勢(shì)，在測(cè)試時(shí)需要匹配對(duì)應(yīng)的信道狀態(tài)，例如，在信道SNR為1 dB時(shí)訓(xùn)練的系統(tǒng)網(wǎng)絡(luò)模型，在信道SNR為1 dB下傳輸信息，其性能才最好。在實(shí)際通信系統(tǒng)中，信道SNR并不是恒定的，這意味著TurboAE需要在一段SNR范圍內(nèi)進(jìn)行訓(xùn)練并儲(chǔ)存多個(gè)模型，不僅增加了訓(xùn)練的時(shí)間復(fù)雜性，也增加了系統(tǒng)模型存儲(chǔ)量。本文設(shè)計(jì)了一個(gè)基于DL的端到端信道編譯碼系統(tǒng)，該系統(tǒng)可以在一段SNR范圍內(nèi)進(jìn)行訓(xùn)練和測(cè)試，在僅用一個(gè)模型的情況下，就可以達(dá)到在單個(gè)SNR下訓(xùn)練的最優(yōu)性能。

1 系統(tǒng)模型

本文所采用的系統(tǒng)模型如圖1所示。在編碼端，u∈{0,1}n為待編碼的信息序列，其中n為信息序列的長(zhǎng)度。在編碼端，在已知的信道信噪比s∈的情況下，信息序列u經(jīng)過(guò)信道編碼后被映射為碼字x∈k，其中k為碼字的長(zhǎng)度，信道編碼的碼率為R=n/k。信道編碼的過(guò)程可以表示為：

圖1 基于SNR信息的端到端信道編譯碼系統(tǒng)

x=fθ(u,s)，

(1)

式中，θ表示編碼器的參數(shù)集。令編碼器的輸出x滿足軟功率約束，即(x)=0與(x2)=1。

考慮系統(tǒng)處于獨(dú)立同分布(identically and independently distributed,i.i.d.)的AWGN信道下，則譯碼端接收到的信號(hào)y∈k可以表示為：

(2)

噪聲w∈k服從高斯分布(0,σ2)，其中，σ2為噪聲功率，與信道SNR的關(guān)系可以表示為：

(3)

本文提出的方法也適用于瑞利衰落信道。則譯碼端接收到的信號(hào)y∈k可以表示為：

(4)

式中，h表示信道增益。

在沙河的一個(gè)小河叉邊，兩個(gè)人老遠(yuǎn)就聞到一股惡臭，對(duì)面的岸邊浮著一具已經(jīng)泡脹的尸體，沒(méi)有衣服，面朝下。湯翠腿一軟，哆哆嗦嗦地癱坐到地上。侯大同沒(méi)有猶豫，跳下水，徑直撲到尸體跟前。那情景，完全是奮不顧身的詮釋。蒼蠅散開，侯大同小心地翻轉(zhuǎn)尸體，不是湯蓮！湯翠心里其實(shí)充滿了遺憾。找了這么多天，湯翠身心疲憊，她已經(jīng)不怕面對(duì)姐姐罹難的現(xiàn)實(shí)了。

(5)

式中，φ表示譯碼器的參數(shù)集。與現(xiàn)代通信系統(tǒng)的模塊化設(shè)計(jì)結(jié)構(gòu)相比，本文使用的編碼器包含信道編碼模塊和調(diào)制模塊的功能，譯碼器包含信道譯碼模塊和解調(diào)模塊的功能。

因此，對(duì)于基于DL的端到端信道編譯碼系統(tǒng)，當(dāng)碼長(zhǎng)n和碼率R固定時(shí)，優(yōu)化目標(biāo)是找到使誤差最小化時(shí)的編碼器和譯碼器的最優(yōu)參數(shù)集θ*和φ*。該優(yōu)化問(wèn)題可以被建模為：

(6)

(7)

2 Attention-TurboAE結(jié)構(gòu)

Jiang等人在文獻(xiàn)[24]中提出了一個(gè)基于一維CNN的端到端信道編譯碼系統(tǒng)TurboAE。在AWGN信道下，該系統(tǒng)在中短碼長(zhǎng)(碼長(zhǎng)為100 bit)上表現(xiàn)出接近或優(yōu)于使用Bahl-Cocke-Jelinek-Raviv譯碼算法的Turbo碼的性能。但是，為了使TurboAE在各種信道條件下都能達(dá)到最優(yōu)性能，需要針對(duì)不同的信道SNR下訓(xùn)練不同的TurboAE模型，并在實(shí)際的信道SNR下采用相匹配的訓(xùn)練模型。在實(shí)際移動(dòng)通信系統(tǒng)中，信道復(fù)雜多變，信道的SNR難以維持恒定不變，為保證系統(tǒng)的最優(yōu)性，對(duì)于不同的SNR，需要訓(xùn)練并儲(chǔ)存多個(gè)模型，以應(yīng)對(duì)信道的變化，然而，該策略增加了對(duì)實(shí)際通信設(shè)備存儲(chǔ)容量的需求。因此，本文提出一種自適應(yīng)SNR的端到端信道編譯碼結(jié)構(gòu)Attention-TurboAE，在確保編譯碼性能的同時(shí)，大幅減少了模型的存儲(chǔ)容量。

2.1 TurboAE

(a) TurboAE編碼器結(jié)構(gòu)

(8)

接收機(jī)收到帶有噪聲的接收序列后，進(jìn)行譯碼。類比于TurboAE編碼器的設(shè)計(jì)，譯碼器采用基于CNN的深度分量譯碼器替代原有Turbo譯碼器中分量譯碼器。卷積層和ELU激活函數(shù)迭代5次后，經(jīng)過(guò)一層線性層，構(gòu)成了深度分量譯碼器，如圖2(b)所示。將接收序列y首先拆分為對(duì)應(yīng)的y1、y2和y3。y1、y2與先驗(yàn)p(第一次迭代置為0)作為每一次迭代中第一分量譯碼器的輸入，產(chǎn)生后驗(yàn)q。交織后的y1、y3與交織后的q作為第二分量譯碼器的輸入，產(chǎn)生先驗(yàn)p。經(jīng)過(guò)去交織操作的p作為下一次迭代的輸入。進(jìn)行多次迭代后，通過(guò)Sigmoid激活函數(shù)(如式9所示)，將輸出控制在(0,1)范圍內(nèi)，表示估計(jì)的原始信息比特為1的概率。

(9)

為了達(dá)到最優(yōu)性能，TurboAE需要在單個(gè)SNR下訓(xùn)練模型，并在相同的SNR下進(jìn)行測(cè)試。然而，當(dāng)SNR發(fā)生變化時(shí)，所訓(xùn)練的模型不再保證其是最優(yōu)的。因此，考慮設(shè)計(jì)一個(gè)自適應(yīng)SNR的編譯碼方法，能夠根據(jù)不同的SNR，自適應(yīng)進(jìn)行模型的調(diào)整，以達(dá)到在不同的SNR下，系統(tǒng)性能都是最優(yōu)的。由于TurboAE優(yōu)越的性能和良好的設(shè)計(jì)，本文將TurboAE的編碼器和譯碼器結(jié)構(gòu)作為Attention-TurboAE的基礎(chǔ)編碼器和譯碼器結(jié)構(gòu)，以設(shè)計(jì)信噪比自適應(yīng)的Turbo自編碼器信道編譯碼系統(tǒng)。

2.2 基于注意力機(jī)制的自適應(yīng)SNR設(shè)計(jì)

Xu等人在文獻(xiàn)[24]中提出Attention DJSCC(ADJSCC)結(jié)構(gòu)，將注意力機(jī)制引入基于DL的聯(lián)合信源信道編碼(DL Based Joint Source Channel Coding,DJSCC)中。在不同的信道SNR下，ADJSCC可以動(dòng)態(tài)調(diào)整信源編碼壓縮率和信道編碼率。受此啟發(fā)，本文提出基于注意力機(jī)制的自適應(yīng)SNR模塊，用以感知信道SNR的變化。在不同的信道條件下，通過(guò)對(duì)碼字分配不同的貢獻(xiàn)度，生成與信道條件相匹配的編碼碼字。

基于注意力機(jī)制的自適應(yīng)SNR模塊設(shè)計(jì)如圖3所示。自適應(yīng)SNR模塊主要包括三部分：特征提取、貢獻(xiàn)度預(yù)測(cè)和貢獻(xiàn)度分配。其中，特征提取模塊通過(guò)平均池化操作提取特征，引入信道SNR作為特征的一部分。貢獻(xiàn)度預(yù)測(cè)模塊用以感知信道SNR，學(xué)習(xí)不同SNR下各個(gè)特征圖中通道之間的非線性關(guān)系。在實(shí)際中，可以達(dá)到不同的信道條件下，自適應(yīng)調(diào)整各個(gè)特征之間的關(guān)系，進(jìn)而預(yù)測(cè)出不同的貢獻(xiàn)度。最后，預(yù)測(cè)的貢獻(xiàn)度與原始特征圖進(jìn)行運(yùn)算，完成貢獻(xiàn)度的分配，生成與信道條件相匹配的碼字。

圖3 基于注意力機(jī)制的自適應(yīng)SNR模塊結(jié)構(gòu)

本文提出的自適應(yīng)SNR模塊連接于卷積層之間。在特征提取模塊中，首先使用全局平均池化操作獲取全局描述特征Gi，操作過(guò)程可表示為：

(10)

式中，AVG(·)表示全局平均池化操作，F(xiàn)=[F1,F2,…,Fc]∈n×c為卷積層輸出的特征圖，其中，c為特征圖通道的數(shù)量，fi為Fi中的元素。信道信噪比s作為全局描述特征的一部分被引入，產(chǎn)生特征信息G，過(guò)程可表示為：

(11)

貢獻(xiàn)度預(yù)測(cè)模塊P(·)用來(lái)預(yù)測(cè)不同特征的貢獻(xiàn)度。該模塊由兩層線性層組成，第一層線性層連接Relu激活函數(shù)，第二層線性層連接Sigmoid激活函數(shù)。Sigmoid激活函數(shù)使輸出介于0和1之間，表示預(yù)測(cè)的貢獻(xiàn)度C，其過(guò)程可表示為：

(12)

式中，α和β分別表示激活函數(shù)Sigmoid和ReLU，w1和b1分別表示第一層線性層的權(quán)重和偏差，w2和b2分別表示第二層線性層的權(quán)重和偏差。

最后，在貢獻(xiàn)度分配模塊中，將預(yù)測(cè)的貢獻(xiàn)度與原始特征圖相乘，使模型對(duì)不同特征有更多的辨別能力，很好地學(xué)習(xí)不同信道SNR下特征圖之間的關(guān)系。重新分配后的特征圖F′可以表示為：

(13)

將上述自適應(yīng)SNR模塊應(yīng)用于TurboAE編碼器和譯碼器中，所得到的Attention-TurboAE結(jié)構(gòu)如圖4所示。

(a) Attention-TurboAE編碼器結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果

本節(jié)通過(guò)對(duì)TurboAE和Attention-TurboAE進(jìn)行實(shí)驗(yàn)仿真，以證明注意力機(jī)制在自適應(yīng)信道SNR的信道編譯碼方案中的可行性和有效性。首先，在AWGN信道和瑞利衰落信道下，分別對(duì)比Attention-TurboAE和TurboAE的性能。其次，對(duì)Attention-TurboAE的擴(kuò)展性進(jìn)行了實(shí)驗(yàn)，即將在固定碼長(zhǎng)下訓(xùn)練的模型，在不同碼長(zhǎng)上測(cè)試。最后，對(duì)自適應(yīng)SNR模塊的作用效果給出了相應(yīng)的解釋。

實(shí)驗(yàn)在Linux服務(wù)器上進(jìn)行，該服務(wù)器包括12個(gè)8核Intel(R) Xeon(R) Silver 4110 CPU和16個(gè)GTX 1080Ti GPU，每次實(shí)驗(yàn)使用1個(gè)GPU。實(shí)驗(yàn)在Python3.6的環(huán)境下采用PyTorch 1.0版本。使用初始學(xué)習(xí)率為0.000 1的Adam優(yōu)化器來(lái)搜索最佳網(wǎng)絡(luò)參數(shù)。隨機(jī)生成100 000個(gè)碼長(zhǎng)為100的二進(jìn)制數(shù)據(jù)樣本作為訓(xùn)練集，隨機(jī)生成100 000個(gè)碼長(zhǎng)為100的二進(jìn)制數(shù)據(jù)樣本作為測(cè)試集，訓(xùn)練800次以保存最佳參數(shù)模型。Attention-TurboAE與TurboAE編碼器碼率R都設(shè)置為1/3，譯碼器中的迭代次數(shù)為6次，特征圖的通道數(shù)為100。

3.1 AWGN信道

在AWGN信道下，分別采用圖2所示的TurboAE結(jié)構(gòu)和圖4所示的Attention-TurboAE結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)。當(dāng)碼長(zhǎng)為100時(shí)，在信道SNR為0～4 dB內(nèi)訓(xùn)練并測(cè)試Attention-TurboAE，在SNR分別為0，1，2，3，4 dB下訓(xùn)練Turbo模型，并在SNR為0～4 dB范圍內(nèi)測(cè)試，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 AWGN信道下,100碼長(zhǎng)訓(xùn)練并測(cè)試時(shí)，Attention-TurboAE與TurboAE性能對(duì)比

實(shí)驗(yàn)證明，在特定SNR下訓(xùn)練的TurboAE模型只有在相同的SNR下測(cè)試時(shí)才能展示出其最佳性能。為了滿足信道編譯碼系統(tǒng)的性能在一段SNR范圍內(nèi)都能達(dá)到最優(yōu)，需要訓(xùn)練多個(gè)模型，進(jìn)而導(dǎo)致存儲(chǔ)量的增加。然而對(duì)于實(shí)際通信來(lái)說(shuō)，系統(tǒng)需要能夠自適應(yīng)不同的信道條件，產(chǎn)生相匹配的編碼碼字。Attention-TurboAE雖然在一段SNR范圍內(nèi)進(jìn)行訓(xùn)練，卻可以達(dá)到TurboAE單個(gè)SNR下訓(xùn)練和測(cè)試時(shí)的最優(yōu)性能，大大減少了通信系統(tǒng)的儲(chǔ)存量。此外，實(shí)驗(yàn)設(shè)置碼長(zhǎng)100、碼率1/3的Turbo碼作對(duì)照,實(shí)驗(yàn)結(jié)果(圖6)表明Attention-TurboAE在低SNR(0～2 dB)下接近Turbo碼性能，在高SNR(2～4 dB)優(yōu)于Turbo碼性能。

3.2 瑞利衰落信道

瑞利衰落信道(Rayleigh Fading Channel)模型假設(shè)信號(hào)通過(guò)無(wú)線信道之后，其信號(hào)幅度是隨機(jī)的，并且其包絡(luò)服從瑞利分布?？紤]信道為瑞利衰落信道時(shí)，在100碼長(zhǎng)下，對(duì)Attention-TurboAE和TurboAE的性能進(jìn)行對(duì)比。采用基于3.1節(jié)中在AWGN信道上訓(xùn)練好的Attention-TurboAE和TurboAE模型進(jìn)行微調(diào)(Fine-tune)。此外，設(shè)置瑞利衰落信道下的Turbo碼性能作為對(duì)照，實(shí)驗(yàn)結(jié)果如圖6所示。Attention-TurboAE在瑞利衰落信道下，也基本可以達(dá)到Turbo碼單個(gè)SNR下訓(xùn)練的性能。與Turbo碼相比，Attention-TurboAE在2～4 dB下性能略低。這是因?yàn)?，Attention-TurboAE是在基于AWGN信道下訓(xùn)練好的模型進(jìn)行微調(diào)，因此，在較高SNR下，性能比Turbo碼較低。

圖6 瑞利衰落信道下,100碼長(zhǎng)下訓(xùn)練時(shí)，Attention-TurboAE與Turbo性能對(duì)比

3.3 擴(kuò)展性

當(dāng)實(shí)際系統(tǒng)模型的輸入與訓(xùn)練模型時(shí)的輸入不匹配時(shí)，例如，對(duì)于一個(gè)在特定碼長(zhǎng)下訓(xùn)練的系統(tǒng)，如果輸入碼長(zhǎng)發(fā)生了變化，我們?nèi)匀幌Ｍ湫阅茌^優(yōu)。因此，在信道SNR分別為0，1，2，3，4 dB，碼長(zhǎng)為100時(shí)訓(xùn)練TurboAE；而在SNR為0～4 dB，碼長(zhǎng)分別為50和200進(jìn)行測(cè)試。對(duì)于Attention-TurboAE結(jié)構(gòu)，在信道SNR為0～4 dB、碼長(zhǎng)為100時(shí)進(jìn)行訓(xùn)練，并分別在碼長(zhǎng)為50和200的情況下進(jìn)行測(cè)試。設(shè)置碼長(zhǎng)分別為50和200的Turbo碼作為對(duì)照實(shí)驗(yàn)。

圖7(a)展示了TurboAE和Attention-TurboAE在碼長(zhǎng)為100時(shí)訓(xùn)練，碼長(zhǎng)為50時(shí)的測(cè)試結(jié)果；圖7(b)展示了TurboAE和Attention-TurboAE在碼長(zhǎng)為100時(shí)訓(xùn)練，碼長(zhǎng)為200時(shí)的測(cè)試結(jié)果。實(shí)驗(yàn)結(jié)果顯示無(wú)論輸入碼長(zhǎng)的大小，Attention-TurboAE的性能基本能達(dá)到單個(gè)SNR下訓(xùn)練TurboAE的性能。

(a) 測(cè)試碼長(zhǎng)為50

此外，當(dāng)測(cè)試碼長(zhǎng)為50時(shí)，Attention-TurboAE在1.5～4 dB下的性能優(yōu)于Turbo碼。對(duì)比測(cè)試碼長(zhǎng)為200時(shí)的性能，隨著碼長(zhǎng)的增加，Attention-TurboAE的誤碼率越低，例如，在SNR為2 dB下，Attention-TurboAE在測(cè)試碼長(zhǎng)為200時(shí)的誤碼率比測(cè)試碼長(zhǎng)為50時(shí)的誤碼率低。由于測(cè)試環(huán)境(測(cè)試碼長(zhǎng)為200)與訓(xùn)練環(huán)境(訓(xùn)練碼長(zhǎng)為100)并不匹配，且Attention-TurboAE是自適應(yīng)信道SNR的編譯碼系統(tǒng)，并非自適應(yīng)碼長(zhǎng)，因此，在測(cè)試碼長(zhǎng)為200時(shí)，與Turbo碼相比性能略差；且碼長(zhǎng)越長(zhǎng)，SNR越高時(shí)，Turbo碼的性能會(huì)越好。

3.4 解釋

為了探索在不同的SNR下，自適應(yīng)SNR模塊是如何根據(jù)不同的信道噪聲影響特征圖中各個(gè)通道的貢獻(xiàn)度，實(shí)驗(yàn)基于碼長(zhǎng)為100下訓(xùn)練的Attention-TurboAE模型。首先比較分析了不同信道噪聲下Attention-TurboAE編碼器中第3個(gè)自適應(yīng)SNR模塊產(chǎn)生的貢獻(xiàn)度，結(jié)果如圖8所示?？梢钥闯?，在訓(xùn)練和測(cè)試碼長(zhǎng)都為100時(shí)，針對(duì)不同的信道SNR，貢獻(xiàn)度是不同的，這意味著對(duì)于不同的信道條件，本文所提出的自適應(yīng)SNR結(jié)構(gòu)將生成不同的編碼碼字。此外，為了分析Attention-TurboAE的擴(kuò)展性，當(dāng)訓(xùn)練碼長(zhǎng)為100時(shí)，分別在SNR為2 dB下選取測(cè)試碼長(zhǎng)為50、100、200下第3個(gè)自適應(yīng)SNR模塊的貢獻(xiàn)度，結(jié)果如圖9所示?？梢园l(fā)現(xiàn)，對(duì)于相同的SNR，不同測(cè)試碼長(zhǎng)對(duì)貢獻(xiàn)度的影響很小，注意力機(jī)制只對(duì)不同的SNR起作用。通過(guò)引入SNR自適應(yīng)模塊，Attention-TurboAE可以更加關(guān)注信道SNR的影響，根據(jù)信道條件，為特征圖中不同的通道分配不同的貢獻(xiàn)度。

圖8 訓(xùn)練和測(cè)試碼長(zhǎng)都為100時(shí)，不同SNR下各個(gè)通道的貢獻(xiàn)度

圖9 SNR=2 dB、訓(xùn)練碼長(zhǎng)為100時(shí)，不同測(cè)試碼長(zhǎng)下各個(gè)通道的貢獻(xiàn)度

4 結(jié)論

本文分析了TurboAE的結(jié)構(gòu)，并通過(guò)引入注意力機(jī)制提出了信噪比自適應(yīng)Turbo自編碼器信道編譯碼方案Attention-TurboAE。盡管TurboAE在AWGN信道下比Turbo碼有更好的性能，但在實(shí)際部署中，訓(xùn)練好的模型只有在相匹配的信道條件下才能達(dá)到最優(yōu)性能。通過(guò)在信道編譯碼中引入注意力機(jī)制，提出的自適應(yīng)信道SNR結(jié)構(gòu)可以根據(jù)不同的信道條件，生成與之匹配的編碼碼字。在一段SNR范圍內(nèi)訓(xùn)練的系統(tǒng)模型可以達(dá)到在單個(gè)SNR下訓(xùn)練的TurboAE的性能，大大減少了設(shè)備端的存儲(chǔ)量。此外，Attention-TurboAE展示出了注意力機(jī)制在自適應(yīng)SNR信道編譯碼系統(tǒng)中的有效性。