魯信金，黃璐瑩，陳繼林，雷 菁，李 為

(國(guó)防科技大學(xué) 電子科學(xué)學(xué)院，湖南 長(zhǎng)沙 410073)

0 引言

伴隨著移動(dòng)通信技術(shù)的迅猛發(fā)展，未來(lái)6G研究創(chuàng)新窗口悄然而至[1]。衛(wèi)星通信納入6G網(wǎng)絡(luò)作為其中一個(gè)重要子系統(tǒng)得到普遍認(rèn)可，目前將衛(wèi)星送入太空的競(jìng)賽正在火熱進(jìn)行中，人造衛(wèi)星數(shù)量日益暴增[2]。為實(shí)現(xiàn)真正全球覆蓋和數(shù)據(jù)傳輸，衛(wèi)星網(wǎng)絡(luò)與地面網(wǎng)絡(luò)融合形成的“天網(wǎng)-地網(wǎng)”衛(wèi)星互聯(lián)網(wǎng)體系設(shè)計(jì)將不斷完善，這使得網(wǎng)絡(luò)通信從硬件到軟件，再到網(wǎng)絡(luò)管理都存在著不安全因素[3-4]。為此衛(wèi)星互聯(lián)網(wǎng)受到威脅和攻擊的可能性越來(lái)越大，移動(dòng)通信的脆弱性和安全問(wèn)題日益突出。

天基衛(wèi)星通信網(wǎng)絡(luò)、空基通信網(wǎng)絡(luò)、陸地通信網(wǎng)絡(luò)和海洋通信網(wǎng)絡(luò)構(gòu)成了衛(wèi)星互聯(lián)網(wǎng)系統(tǒng)，其組成的復(fù)雜性和特殊性使得衛(wèi)星互聯(lián)網(wǎng)具有信道開(kāi)放、節(jié)點(diǎn)暴露、拓?fù)涓叨葎?dòng)態(tài)變化等特點(diǎn)[5]。衛(wèi)星節(jié)點(diǎn)暴露且信道開(kāi)放使得衛(wèi)星互聯(lián)網(wǎng)中的衛(wèi)星節(jié)點(diǎn)長(zhǎng)期直接暴露于空間軌道上，從而星間、星地等鏈路極易受到竊聽(tīng)、偽造和干擾等威脅[6-7]。

① 竊聽(tīng)威脅：衛(wèi)星互聯(lián)網(wǎng)通信具有傳輸距離遠(yuǎn)、通信速率慢、衛(wèi)星集群密集等特點(diǎn)，使得衛(wèi)星間的通信更容易被敵方竊聽(tīng)。竊聽(tīng)方只需一個(gè)低成本的衛(wèi)星接收終端，就可截獲到衛(wèi)星通信的傳輸信號(hào)，通過(guò)專業(yè)的信號(hào)分析進(jìn)一步得到傳輸內(nèi)容，解析出整個(gè)衛(wèi)星系統(tǒng)的通信編碼體制。

② 偽造威脅：目前衛(wèi)星通信中的控制指令是由明文指令發(fā)送或者只進(jìn)行簡(jiǎn)單的加密傳輸，很容易被敵方偽造出假的控制指令向衛(wèi)星發(fā)出指令，造成衛(wèi)星合法通信中斷，使正常數(shù)據(jù)無(wú)法進(jìn)行傳輸，甚至導(dǎo)致整個(gè)衛(wèi)星互聯(lián)網(wǎng)系統(tǒng)癱瘓。

③ 通信干擾威脅：衛(wèi)星互聯(lián)網(wǎng)的電磁環(huán)境復(fù)雜，極易受到惡意信號(hào)的電磁干擾以及大氣中的電磁信號(hào)及宇宙射線等各類干擾，使得正常衛(wèi)星通信的數(shù)據(jù)傳輸受到影響甚至發(fā)生中斷[8]。另一方面，由于衛(wèi)星互聯(lián)網(wǎng)中的通信都是低功率傳輸，敵方可以通過(guò)大功率壓制，使得合法的衛(wèi)星通信業(yè)務(wù)無(wú)法正常傳輸，造成衛(wèi)星的事實(shí)癱瘓。

為解決未來(lái)6G衛(wèi)星互聯(lián)網(wǎng)存在的上述問(wèn)題，本文提出了衛(wèi)星互聯(lián)網(wǎng)無(wú)線通信安全抗干擾技術(shù)方案。首先，對(duì)于衛(wèi)星互聯(lián)網(wǎng)無(wú)線安全傳輸方案的設(shè)計(jì)，設(shè)計(jì)可變碼率的安全polar編譯碼，使得編碼碼字更具有靈活性和適用性，而且編碼和加密同時(shí)進(jìn)行，保證系統(tǒng)的可靠性和安全性。此外，針對(duì)高速移動(dòng)場(chǎng)景，設(shè)計(jì)新型調(diào)制即正交時(shí)頻空(Orthogonal Time and Frequency Space, OTFS)調(diào)制加密方案，從而可以對(duì)抗信道的動(dòng)態(tài)時(shí)變性。在OTFS調(diào)制系統(tǒng)中進(jìn)行復(fù)數(shù)域等距變換，使得變換后的星座圖呈現(xiàn)球狀混亂，因而調(diào)制方式和信息得以隱蔽，增大了竊聽(tīng)者的解密難度。

其次，對(duì)于衛(wèi)星互聯(lián)網(wǎng)物理層用戶身份認(rèn)證，采用無(wú)線信道狀態(tài)信息、設(shè)備射頻(Radio Frequency, RF)指紋、物理層信號(hào)水印作為認(rèn)證媒介，從而在底層有效防止用戶的偽裝和非法截獲。衛(wèi)星互聯(lián)網(wǎng)的身份認(rèn)證可以在對(duì)信號(hào)進(jìn)行解調(diào)和解碼之前進(jìn)行，避免浪費(fèi)信號(hào)處理資源。此外，物理層認(rèn)證技術(shù)不用考慮數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、應(yīng)用層的安全機(jī)制的執(zhí)行方式，有很好的兼容性。

最后，針對(duì)衛(wèi)星互聯(lián)網(wǎng)干擾環(huán)境下用戶通信問(wèn)題，研究中繼-信道聯(lián)合選擇抗干擾決策優(yōu)化方法。采用強(qiáng)化學(xué)習(xí)算法，將中繼和信道決策過(guò)程建模為馬爾科夫決策過(guò)程(MDP)。為了避免控制信道被干擾，同時(shí)考慮了控制信道的動(dòng)態(tài)頻譜接入。用戶和中繼節(jié)點(diǎn)通過(guò)不斷地和環(huán)境進(jìn)行交互，加強(qiáng)對(duì)環(huán)境的認(rèn)知，使用戶和中繼節(jié)點(diǎn)能夠在頻譜環(huán)境動(dòng)態(tài)變化且中繼節(jié)點(diǎn)分布未知的情況下，分別獲得最優(yōu)的中繼節(jié)點(diǎn)和傳輸信道策略。

1 衛(wèi)星互聯(lián)網(wǎng)無(wú)線安全傳輸技術(shù)

1.1 安全編碼技術(shù)

針對(duì)衛(wèi)星互聯(lián)網(wǎng)信道編碼層的安全，安全編碼的目的是保證私密信息安全且可靠的前提下，盡量提高私密信息的信息傳輸速率。首先，在有密鑰安全編碼技術(shù)中，需要的密鑰體積往往很大，如McEliece公鑰密碼算法[9]。其次，在無(wú)密鑰安全編碼技術(shù)中，通過(guò)加入校驗(yàn)冗余增強(qiáng)信息之間的聯(lián)系來(lái)糾正和檢測(cè)錯(cuò)誤，使得合法接收端的信息誤比特率低于正常工作所需的最小誤比特率，從而增加可靠性；通過(guò)加入隨機(jī)冗余減少信息間的聯(lián)系，使竊聽(tīng)者無(wú)法從接收到的部分消息獲知私密信息，增加了安全性；通過(guò)盡可能減少各種冗余，提高信息傳輸速率，增加了有效性。

由于polar碼的編譯碼算法[10]都對(duì)碼長(zhǎng)有限定條件，即碼長(zhǎng)必須滿足2的冪次方：N=2n。雖然當(dāng)碼長(zhǎng)N固定時(shí)，信息比特長(zhǎng)度K可以任意取值，編碼速率R=K/N也能隨之自由變化；但當(dāng)信息比特長(zhǎng)度K固定時(shí)，編碼速率無(wú)法通過(guò)調(diào)整碼長(zhǎng)實(shí)現(xiàn)自由變化。從實(shí)際出發(fā)，希望設(shè)計(jì)編譯碼器在不改變基本編譯碼結(jié)構(gòu)的情況下，使碼長(zhǎng)和編碼速率都能夠自適應(yīng)調(diào)節(jié)。在設(shè)計(jì)速率可變的編碼時(shí)，刪余是碼元縮減的重要手段，可以提高信道編碼的效率，實(shí)現(xiàn)碼字的速率可變性。基于polar碼的編碼結(jié)構(gòu)和物理層加密技術(shù)，在進(jìn)行polar碼編碼的過(guò)程中通過(guò)對(duì)生成矩陣的刪余和polar碼凍結(jié)位的刪余進(jìn)一步引入碼字縮減，使得polar碼碼字長(zhǎng)度減少，這樣可以在不改變基本編譯碼結(jié)構(gòu)的情況下，使碼長(zhǎng)和編碼速率都能夠自適應(yīng)調(diào)節(jié)[11]。另外，收發(fā)雙方通過(guò)物理層密鑰提取技術(shù)，利用信道特點(diǎn)提取初始密鑰，再利用混沌發(fā)生器進(jìn)一步擴(kuò)展生成混沌序列，用于控制刪余碼字，從而進(jìn)一步提升Polar碼傳輸安全性。圖1為一種基于刪余Polar碼的通信系統(tǒng)方案。

圖1 基于刪余Polar碼的通信系統(tǒng)模型

在物理層編碼加密系統(tǒng)中，加密和糾錯(cuò)在物理層同時(shí)完成。首先，合法通信雙方Alice和Bob對(duì)主信道進(jìn)行密鑰提取，由于無(wú)線信道的時(shí)空唯一性以及混沌系統(tǒng)的初值敏感性，竊聽(tīng)方Eve無(wú)法獲取任何關(guān)于密鑰的消息。其次，將提取的密鑰傳輸至混沌序列發(fā)生器，產(chǎn)生擴(kuò)展密鑰即混沌序列。當(dāng)Alice傳輸消息給Bob時(shí)，將明文通過(guò)編碼加密模塊，即利用混沌訓(xùn)練進(jìn)行polar碼刪余的具體控制，得到刪余碼字X再傳送至信道。Bob接收到信息Y后，利用譯碼解密模塊，從而得到消息U。由于編碼加密模塊的存在，Eve竊聽(tīng)到的是加密刪余后的碼字Z，由于Eve無(wú)法獲得密鑰，因此無(wú)法得到刪余方式。

接下來(lái)對(duì)其polar碼的刪余控制具體操作進(jìn)行詳細(xì)論述。令N和R表示刪余前polar碼的碼長(zhǎng)和碼率，N′和R′表示自適應(yīng)碼長(zhǎng)的polar碼的碼長(zhǎng)和碼率。一般的方案中通常不知道被刪除的比特并且將鑿空處的碼字比特設(shè)置為無(wú)限大或者無(wú)限小，這使得誤碼率很大。本文提出的方案將通過(guò)在原生成矩陣GN刪掉N-N′行和N-N′列構(gòu)造一個(gè)新的N′×N′矩陣。同時(shí)，對(duì)應(yīng)于生成矩陣所刪掉行的N-N′個(gè)凍結(jié)位也被進(jìn)一步刪除。

圖2 N′=6時(shí)的自適應(yīng)碼長(zhǎng)的polar碼構(gòu)造

圖3 生成矩陣和凍結(jié)位的刪除選擇

1.2 新型調(diào)制加密技術(shù)

廣泛采用的OFDM系統(tǒng)固有的一個(gè)缺點(diǎn)是對(duì)頻偏非常敏感，而面對(duì)快時(shí)變信道，OFDM受到了多普勒效應(yīng)的影響，將會(huì)產(chǎn)生載波間干擾，導(dǎo)致性能極速惡化。而目前高鐵、車(chē)聯(lián)網(wǎng)等高速移動(dòng)場(chǎng)景中，多普勒效應(yīng)的存在又是無(wú)法避免的。針對(duì)這個(gè)問(wèn)題，Hadani等人提出了一種新型調(diào)制方式，即OTFS調(diào)制[12]。OTFS在高時(shí)延高多普勒頻移的快時(shí)變信道中實(shí)現(xiàn)可靠、高速的數(shù)據(jù)傳輸。

圖4為OTFS系統(tǒng)的基本結(jié)構(gòu)，顯然OTFS在OFDM的發(fā)送端前，加了一級(jí)逆辛傅里葉變換(Inverse Symplectic Finite Fourier Transform, ISFFT),在OFDM的接收端后，加了一級(jí)辛傅里葉變換(Symplectic Finite Fourier Transform, SFFT)。通過(guò)這兩級(jí)二維變換，將信息符號(hào)調(diào)制在時(shí)延-多普勒域上，使傳輸單元中的所有符號(hào)都經(jīng)歷幾乎相同且變換緩慢的稀疏信道，能夠獲得時(shí)間和頻率上的全部信道分集，從而可以對(duì)抗信道的動(dòng)態(tài)時(shí)變性。OTFS的這些優(yōu)點(diǎn)使其非常適合應(yīng)用在具有嚴(yán)重時(shí)頻雙色散信道的衛(wèi)星互聯(lián)網(wǎng)通信場(chǎng)景中。

圖4 OTFS系統(tǒng)框圖

如圖5所示，快時(shí)變信道響應(yīng)在時(shí)延-多普勒(Delay-Doppler, DD)域中是稀疏的，在時(shí)間-頻率(Time-Frequency, TF)域中表現(xiàn)則相反。信道的稀疏有利于提取到信道信息的一致性，可以節(jié)省密鑰提取過(guò)程中信息協(xié)商時(shí)的通信資源[13-14]。此外，從稀疏信道中也可以更加輕易提取信道響應(yīng)信息。該方案提取DD域中每條子信道的信道響應(yīng)強(qiáng)度為初始值，經(jīng)過(guò)混沌生成器產(chǎn)生密鑰，從而進(jìn)一步增加可用密鑰數(shù)量。接下來(lái)，結(jié)合密鑰對(duì)OTFS信號(hào)星座圖進(jìn)行相位旋轉(zhuǎn)加密。

(a) DD域的信道響應(yīng)

圖6為合法接收方Bob和竊聽(tīng)方Eve的星座圖對(duì)比。圖6(a)為Bob經(jīng)過(guò)相位旋轉(zhuǎn)解密后的星座圖集合，其點(diǎn)位清晰，可以很輕易地解調(diào)出星座圖中的信息；在圖6(b)Eve接收到的星座圖集合中，由于隨機(jī)旋轉(zhuǎn)使得星座圖相位信息全部缺失，在不知道密鑰的情況下無(wú)法從中恢復(fù)出星座圖原本的信息。

(a) Bob的接收星座圖

面向OTFS安全傳輸是一個(gè)融合了通信波形設(shè)計(jì)和信息安全傳輸?shù)慕徊婵茖W(xué)問(wèn)題，將新型調(diào)制技術(shù)和物理層安全傳輸技術(shù)緊密結(jié)合在一起，能夠同時(shí)滿足衛(wèi)星互聯(lián)網(wǎng)通信網(wǎng)絡(luò)中信息安全、高效、可靠傳輸?shù)默F(xiàn)實(shí)需求。

2 衛(wèi)星互聯(lián)網(wǎng)用戶身份認(rèn)證技術(shù)

衛(wèi)星互聯(lián)網(wǎng)物理層用戶身份認(rèn)證模型如圖7所示，主要有非法偽裝者、合法發(fā)送方和合法接收方構(gòu)成。非法偽裝者通過(guò)無(wú)線信道非法竊聽(tīng)獲取合法用戶的傳輸信息。發(fā)送方發(fā)來(lái)信息后，合法接收方將接收到數(shù)據(jù)進(jìn)行鑒別。此時(shí)通過(guò)認(rèn)證檢測(cè)，判定是來(lái)自合法方還是偽裝者，以達(dá)到身份認(rèn)證的目的。

圖7 物理層認(rèn)證模型

衛(wèi)星互聯(lián)網(wǎng)物理層安全認(rèn)證技術(shù)具有機(jī)密性、可靠性及易實(shí)現(xiàn)等許多特點(diǎn)和諸多優(yōu)勢(shì)。首先，物理層認(rèn)證技術(shù)利用通信介質(zhì)唯一性、時(shí)變性和復(fù)雜性的特點(diǎn)，能很好實(shí)現(xiàn)身份加密和認(rèn)證，并且其特征很難被模仿，具有優(yōu)良的機(jī)密性。其次，物理層認(rèn)證技術(shù)不需要考慮物理層之上的安全機(jī)制執(zhí)行方式，有很好的兼容性。最后，物理層認(rèn)證技術(shù)可以在對(duì)信號(hào)進(jìn)行解調(diào)和解碼之前快速地對(duì)通信節(jié)點(diǎn)進(jìn)行身份認(rèn)證，從而避免對(duì)信號(hào)處理資源的浪費(fèi)。

2.1 基于無(wú)線信道的身份認(rèn)證

衛(wèi)星互聯(lián)網(wǎng)通信中由于路徑損耗和信道衰落的存在，不同位置的用戶信道狀態(tài)也不同?？紤]在時(shí)變信道中，利用無(wú)線信道的時(shí)間相關(guān)性輔助消息認(rèn)證[15]。如果接收到的兩個(gè)數(shù)據(jù)幀間的時(shí)間間隔比信道相干時(shí)間小，當(dāng)這兩個(gè)數(shù)據(jù)幀的信道狀態(tài)高度相關(guān)時(shí)，則這兩個(gè)數(shù)據(jù)幀由同一發(fā)送方發(fā)出；若不相關(guān)，則很可能是偽裝者端發(fā)出。對(duì)此，可以從機(jī)器學(xué)習(xí)的角度對(duì)信道狀態(tài)信息進(jìn)行學(xué)習(xí)和檢測(cè)，比如采用支持向量機(jī)(Support Vector Machine，SVM)算法[16]，將SVM算法引入物理層通信中，通過(guò)對(duì)無(wú)線信道特征的訓(xùn)練和檢測(cè)，實(shí)現(xiàn)對(duì)用戶身份特征進(jìn)行分類判別，從而完成對(duì)用戶身份的認(rèn)證。

采用二元假設(shè)檢驗(yàn)的方式進(jìn)行身份認(rèn)證合法雙方共享兩組不同的密鑰，將密鑰信息隱藏在發(fā)送信號(hào)的相位中，通過(guò)信息符號(hào)進(jìn)行問(wèn)詢和響應(yīng)信息交互，如圖8所示。兩個(gè)信息符號(hào)經(jīng)歷相同的信道衰落，最后通過(guò)二元假設(shè)檢驗(yàn)的方法實(shí)現(xiàn)身份認(rèn)證判斷。文獻(xiàn)[17]提出了一種基于二元假設(shè)檢驗(yàn)統(tǒng)計(jì)量改進(jìn)的物理層認(rèn)證方案，該方案可以使得竊聽(tīng)者的統(tǒng)計(jì)分布更容易與合法的通信節(jié)點(diǎn)區(qū)分開(kāi)，在不同信道條件下具有良好的魯棒性和優(yōu)越性。此外，推導(dǎo)了所提統(tǒng)計(jì)量的均值和方差的近似理論閉式表達(dá)式。

圖8 基于“問(wèn)詢-響應(yīng)”的身份認(rèn)證

2.2 基于RF指紋的設(shè)備認(rèn)證

RF指紋[18]可通過(guò)收發(fā)機(jī)的硬件區(qū)別來(lái)識(shí)別不同的無(wú)線設(shè)備，衛(wèi)星互聯(lián)網(wǎng)用戶可通過(guò)RF指紋設(shè)計(jì)識(shí)別系統(tǒng)進(jìn)行身份認(rèn)證。RF指紋分為基于瞬態(tài)信號(hào)的方法和基于調(diào)制域信號(hào)的方法[19]?；谒矐B(tài)信號(hào)的識(shí)別方法通過(guò)設(shè)備開(kāi)/關(guān)機(jī)瞬態(tài)的無(wú)線電信號(hào)特征來(lái)進(jìn)行識(shí)別，基于調(diào)制域信號(hào)的識(shí)別方法通過(guò)從部分已調(diào)制的信號(hào)中提取特征，根據(jù)這些特征進(jìn)行識(shí)別。RF指紋信息具有普遍性、唯一性、穩(wěn)定性、獨(dú)立性和可測(cè)性等特點(diǎn)。

接收端的RF認(rèn)證設(shè)計(jì)如圖9所示，首先合法接收方對(duì)射頻信號(hào)進(jìn)行接收，然后進(jìn)行濾波去噪預(yù)處理，再選取合適的提取算法獲得RF指紋特征。將提取的RF指紋連同用戶標(biāo)簽一起入庫(kù)并且對(duì)這些特征進(jìn)行訓(xùn)練，得到相應(yīng)分類器。在實(shí)際衛(wèi)星互聯(lián)網(wǎng)場(chǎng)景下，隨著用戶數(shù)目的增加及通信機(jī)器的老化等因素，信號(hào)特征庫(kù)需要進(jìn)行不斷地更新，分類器也需要定期進(jìn)行重新訓(xùn)練。

圖9 通信輻射源個(gè)體識(shí)別流程圖

然而，針對(duì)現(xiàn)有的RF指紋身份識(shí)別，偽裝者可通過(guò)重放/復(fù)現(xiàn)其用來(lái)做RF指紋識(shí)別的信號(hào)攻擊合法用戶端。但是復(fù)現(xiàn)RF指紋需要高端的信號(hào)分析儀來(lái)提取信號(hào)中的微小差異，且提取環(huán)境需要一個(gè)相對(duì)靜止的信道。因此，可進(jìn)一步對(duì)RF指紋識(shí)別信號(hào)進(jìn)行設(shè)計(jì)，使攻擊端難以提取RF指紋并復(fù)現(xiàn)。

2.3 基于物理層信號(hào)水印的認(rèn)證

物理層信號(hào)水印[20-21]是將秘密的安全認(rèn)證信息或標(biāo)簽疊加在主傳輸信息的波形上一起進(jìn)行傳輸，不需要額外增加傳輸帶寬。另外，還有一種在物理層認(rèn)證射頻信號(hào)的水印機(jī)制，通過(guò)將認(rèn)證信息的每個(gè)水印比特與調(diào)制后的數(shù)據(jù)比特進(jìn)行算數(shù)相加。接收端在解調(diào)之前采用相同的擴(kuò)頻碼提取出水印比特，認(rèn)證信號(hào)，并去除水印比特后，可以得到發(fā)送端原始發(fā)送的數(shù)據(jù)。

如圖10所示，根據(jù)射頻指紋和射頻水印存在的位置，可以將其分為以下幾類：編碼水印、調(diào)制水印、頻率指紋、輻射指紋和信道指紋。其中射頻水印在基帶信號(hào)處理以前，射頻指紋集中在基帶處理之后。

圖10 射頻指紋和射頻水印的分類

然而射頻指紋的存在會(huì)對(duì)無(wú)線信道的互易性產(chǎn)生較大的影響，從而間接影響無(wú)線信道密鑰的生成效果。剝離了射頻指紋的無(wú)線信道互易性增強(qiáng)，提高了密鑰熵和密鑰的生成速率，從而降低了比特錯(cuò)誤概率。但是，發(fā)送接收設(shè)備的射頻指紋無(wú)法同時(shí)剝離[22]。因此，可以對(duì)發(fā)送設(shè)備的射頻指紋進(jìn)行剝離，然后基于該指紋來(lái)實(shí)現(xiàn)認(rèn)證操作；與此同時(shí)，采用一致性增強(qiáng)的方法來(lái)消除收發(fā)設(shè)備射頻指紋的非對(duì)稱性對(duì)密鑰生成帶來(lái)的影響。

3 衛(wèi)星互聯(lián)網(wǎng)通信抗干擾技術(shù)

圖11 系統(tǒng)模型圖

假設(shè)干擾環(huán)境設(shè)為雙掃頻干擾，并且干擾范圍有限，通信方在未知?jiǎng)討B(tài)環(huán)境下找出最優(yōu)的傳輸策略(中繼節(jié)點(diǎn)、傳輸信道)防止通信被干擾，最大化系統(tǒng)的吞吐量。

強(qiáng)化學(xué)習(xí)是一種重要的機(jī)器學(xué)習(xí)方法[23-24]，它可有效解決智能體根據(jù)環(huán)境如何采取行動(dòng)以獲得最大回報(bào)值的問(wèn)題。強(qiáng)化學(xué)習(xí)的學(xué)習(xí)過(guò)程可以看做是智能體與環(huán)境不斷交互的過(guò)程，從而強(qiáng)化對(duì)環(huán)境的認(rèn)知。在每次交互的過(guò)程中，智能體得到環(huán)境當(dāng)前的狀態(tài)St，然后做出動(dòng)作At后，智能體會(huì)得到一個(gè)回報(bào)值Rt。智能體和環(huán)境間的交互會(huì)產(chǎn)生一個(gè)連續(xù)的決策序列：。MDP是一個(gè)典型的順序決策優(yōu)化模型[25]，在惡意干擾情況下，將衛(wèi)星節(jié)點(diǎn)和各中繼節(jié)點(diǎn)分別作為智能體做出決策，提高地面用戶接收信號(hào)的質(zhì)量。將衛(wèi)星節(jié)點(diǎn)的中繼選擇以及中繼節(jié)點(diǎn)的信道選擇建模為MDP，標(biāo)準(zhǔn)的MDP可用M=(S,A,P,r)來(lái)描述，其中S表示狀態(tài)集，A表示動(dòng)作集，P表示狀態(tài)轉(zhuǎn)移概率，r表示回報(bào)值。

Q學(xué)習(xí)是一種常用的抗干擾強(qiáng)化學(xué)習(xí)方法[26-27]，Q學(xué)習(xí)的核心是Q值表Q(S,a)被用來(lái)評(píng)估在狀態(tài)S下采取動(dòng)作a的質(zhì)量。將衛(wèi)星節(jié)點(diǎn)和所有的中繼節(jié)點(diǎn)都作為智能體，每一個(gè)智能體都維護(hù)各自的Q值表，用來(lái)評(píng)估每個(gè)狀態(tài)下的不同動(dòng)作的質(zhì)量。由于智能體不斷地和環(huán)境進(jìn)行交互，Q值表不斷進(jìn)行更新，直到強(qiáng)化學(xué)習(xí)結(jié)束，最后，Q值表中的值會(huì)趨向于穩(wěn)定狀態(tài)。

在一個(gè)相干時(shí)間內(nèi)將通信傳輸時(shí)隙分為若干個(gè)長(zhǎng)度相等的時(shí)隙單元，傳輸時(shí)隙定義為K={1,2,…，K}，將每個(gè)時(shí)隙劃分為以下幾個(gè)階段，如圖12所示。

圖12 時(shí)隙結(jié)構(gòu)圖

① 數(shù)據(jù)傳輸階段：給定初始狀態(tài)S0=fj(0)，衛(wèi)星節(jié)點(diǎn)隨機(jī)選擇一個(gè)中繼節(jié)點(diǎn)Ri，即在初始時(shí)隙衛(wèi)星節(jié)點(diǎn)選擇中繼節(jié)點(diǎn)Ri并且發(fā)送數(shù)據(jù)。中繼節(jié)點(diǎn)Ri任意選擇一個(gè)信道ft(0)向地面用戶節(jié)點(diǎn)轉(zhuǎn)發(fā)信息；

② 寬帶頻譜感知階段：中繼節(jié)點(diǎn)通過(guò)寬帶頻譜感知探測(cè)當(dāng)前時(shí)刻各信道的占用情況并獲得干擾信道fj(k)；

③ ACK反饋階段：地面用戶節(jié)點(diǎn)接收到數(shù)據(jù)信息后，計(jì)算當(dāng)前時(shí)隙的接收信噪比，將當(dāng)前感知到的干擾信道和接收信噪比通過(guò)ACK反饋給衛(wèi)星節(jié)點(diǎn)和中繼節(jié)點(diǎn)；

在接下來(lái)的K-1個(gè)時(shí)隙內(nèi)，通過(guò)強(qiáng)化學(xué)習(xí)每個(gè)智能體都經(jīng)歷同樣的過(guò)程來(lái)做出新的決策。在初始時(shí)隙，Q值表為全零矩陣，在后續(xù)時(shí)隙中，智能體通過(guò)Q學(xué)習(xí)更新Q值表來(lái)反映當(dāng)前狀態(tài)下所選動(dòng)作的質(zhì)量。這樣的循環(huán)執(zhí)行可以不斷地強(qiáng)化智能體對(duì)環(huán)境的認(rèn)知，從而使智能體在動(dòng)態(tài)變化的環(huán)境中獲取最優(yōu)策略并達(dá)到持續(xù)穩(wěn)定的狀態(tài)。

圖13顯示了Q學(xué)習(xí)收斂前后干擾機(jī)和中繼節(jié)點(diǎn)的信道選擇時(shí)頻。紅色方框表示干擾信道，綠色方框表示中繼節(jié)點(diǎn)的傳輸信道。二者的重疊部分表示中繼節(jié)點(diǎn)的傳輸受到干擾。從圖13(a)可以看出在學(xué)習(xí)的早期階段，中繼節(jié)點(diǎn)嘗試在不同的信道中進(jìn)行傳輸，被干擾的可能性很大高。如圖13(b)所示，Q學(xué)習(xí)收斂后，中繼節(jié)點(diǎn)完全可以避免干擾。

(a) 學(xué)習(xí)初期中繼和干擾的時(shí)頻信息

4 結(jié)束語(yǔ)

衛(wèi)星互聯(lián)網(wǎng)由于缺乏安全標(biāo)準(zhǔn)以及足夠防護(hù)能力，安全問(wèn)題可能隨時(shí)發(fā)生。從竊取隱私到衛(wèi)星被控制，敵方可以很容易地關(guān)閉衛(wèi)星，拒絕提供服務(wù)。此外，還可以對(duì)衛(wèi)星信號(hào)施加干擾或欺騙甚至可以實(shí)現(xiàn)對(duì)衛(wèi)星的完全控制，因而對(duì)衛(wèi)星互聯(lián)網(wǎng)通信安全抗干擾技術(shù)研究勢(shì)在必行。

衛(wèi)星互聯(lián)網(wǎng)無(wú)線安全傳輸可充分利用無(wú)線通信本身的信號(hào)格式和無(wú)線信道的物理特征，對(duì)物理層傳輸信息的特定格式進(jìn)行加密從而實(shí)現(xiàn)安全設(shè)計(jì)。此外，利用無(wú)線媒介和物理層獨(dú)特的性質(zhì)可有效加強(qiáng)網(wǎng)絡(luò)用戶的身份認(rèn)證工作。這些性質(zhì)包括通信信道特征、收發(fā)硬件特征以及傳輸信號(hào)特征。最后利用智能化抗干擾技術(shù)，基于“感知-學(xué)習(xí)-預(yù)測(cè)-決策-反饋”的邏輯閉環(huán)，進(jìn)行主動(dòng)抗干擾決策，設(shè)計(jì)基于強(qiáng)化學(xué)習(xí)的中繼和信道聯(lián)合優(yōu)化抗干擾方案，保證其數(shù)據(jù)傳輸?shù)挠行院涂煽啃浴?/p>