李中捷，吳園君 ，金閃，鐘小輝

(中南民族大學(xué) 電子信息工程學(xué)院&智能無線通信湖北重點(diǎn)實(shí)驗(yàn)室，武漢 430074)

足夠高的可用帶寬、小型化的天線和設(shè)備、較高的天線增益使得毫米波(mmWave)成為5G通信系統(tǒng)的關(guān)鍵技術(shù)之一[1].支持高移動(dòng)性、高數(shù)據(jù)速率的毫米波通信系統(tǒng)，可實(shí)現(xiàn)廣泛的重要應(yīng)用，如車載通信和無線虛擬/增強(qiáng)現(xiàn)實(shí)(AR/VR)等.但是在實(shí)踐應(yīng)用中需克服毫米波頻段傳輸距離短、自由空間傳損耗大、穿透和繞射能力差、易受氧氣吸收等氣候環(huán)境影響等缺點(diǎn)[2].尤其在車聯(lián)網(wǎng)這類快速移動(dòng)場(chǎng)景下，由于其相干時(shí)間很小，多普勒效應(yīng)將變得更加明顯，無線信道會(huì)同時(shí)受到頻率選擇性衰落和時(shí)間選擇性衰落的影響，因此極大制約了用戶的移動(dòng)性和系統(tǒng)的可靠性[3].波束成形的主要任務(wù)是補(bǔ)償無線傳播過程中由空間損耗、多徑效應(yīng)等因素引入的信號(hào)衰落與失真，同時(shí)降低同信道用戶間的干擾[4].在快速移動(dòng)場(chǎng)景下，為實(shí)現(xiàn)mmWave通信的傳輸可靠性，發(fā)射和接收波束的精確快速對(duì)準(zhǔn)至關(guān)重要，因此在毫米波通信系統(tǒng)引入結(jié)合功率控制和干擾約束的波束成形技術(shù)以增強(qiáng)終端用戶的性能是一項(xiàng)重大挑戰(zhàn).

目前國(guó)內(nèi)外的研究針對(duì)上述問題，提出了若干解決方案.文獻(xiàn)[5]-文獻(xiàn)[11]研究了在上行鏈路和下行鏈路中聯(lián)合優(yōu)化功率控制和波束成形的相關(guān)問題.其中，文獻(xiàn)[5]在沒有考慮mmWave傳播中的散射或陰影的情況下，提出了聯(lián)合優(yōu)化傳輸功率和波束成形矢量以達(dá)到最大化SINR的方案.文獻(xiàn)[6]采用幾乎空白子幀(almost blank subframe，ABS)的方法來解決兩個(gè)基站的同信道小區(qū)間干擾問題.文獻(xiàn)[7]提出雖然ABS在固定波束天線模式中運(yùn)行良好，但波束成形的動(dòng)態(tài)特性降低了ABS的有效性.文獻(xiàn)[8]針對(duì)SINR平衡、功率最小化、速率和容量最大化這三種典型的下行鏈路波束成形優(yōu)化問題，分別提出了不同的深度學(xué)習(xí)優(yōu)化方案.文獻(xiàn)[9]研究了上行鏈路波束成形聯(lián)合功率控制的優(yōu)化問題，提出最大化兩個(gè)用戶的和速率，同時(shí)確保每個(gè)用戶滿足最小速率的優(yōu)化方案.但該算法采用的強(qiáng)化學(xué)習(xí)算法計(jì)算復(fù)雜度高，導(dǎo)致用戶設(shè)備(user equipment，UE)的電池耗盡過快.文獻(xiàn)[10]基于深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning，DRL)提出了一種分布式動(dòng)態(tài)下行波束成形協(xié)調(diào)(dynamic downlink-beamforming coordination，DDBC)方案，其中每個(gè)基站根據(jù)有限信息交換協(xié)議訓(xùn)練各自的DQN網(wǎng)絡(luò)，決策出最佳的波束形成向量.文獻(xiàn)[11]基于DQN算法提出了28GHz毫米波MISO系統(tǒng)下行鏈路波束成形優(yōu)化算法，但該方案僅考慮了UEs以2 km/h的低速移動(dòng)場(chǎng)景中的可靠性通信問題.

本文在文獻(xiàn)[11]的基礎(chǔ)上，研究在快速移動(dòng)環(huán)境下引入功率控制和干擾協(xié)調(diào)的毫米波MISO系統(tǒng)下行鏈路波束成形聯(lián)合優(yōu)化問題.首先考慮到UEs快速移動(dòng)時(shí)毫米波系統(tǒng)中的時(shí)變特性和延遲問題，基于文獻(xiàn)[12]中的信道模型推導(dǎo)引入多普勒頻移的快速移動(dòng)毫米波系統(tǒng)信道模型；然后考慮功率限制和干擾約束，以移動(dòng)用戶接收信號(hào)干擾噪聲比(signal to interference plus noise ratio，SINR)最優(yōu)為準(zhǔn)則，將毫米波下行鏈路的波束成形建模為聯(lián)合優(yōu)化問題.最后提出一種基于DQN的在線學(xué)習(xí)算法，通過學(xué)習(xí)小區(qū)間干擾和波束間干擾的隱含特征，推導(dǎo)出近似最優(yōu)策略以最大化用戶SINR.該算法利用強(qiáng)化學(xué)習(xí)的優(yōu)點(diǎn)，通過交互學(xué)習(xí)探索一種同時(shí)控制服務(wù)BS發(fā)射功率及協(xié)調(diào)干擾BS發(fā)射功率的聯(lián)合優(yōu)化方案.

1 系統(tǒng)模型和信道模型

1.1 網(wǎng)絡(luò)模型

包含N個(gè)基站的正交頻分復(fù)用(orthogonal frequency division multiplexing，OFDM)多址下行鏈路蜂窩網(wǎng)絡(luò)如圖1所示.該網(wǎng)絡(luò)包括一個(gè)服務(wù)基站k和至少一個(gè)干擾基站j，基站間距為R，小區(qū)半徑r>R/2，覆蓋范圍允許重疊.移動(dòng)用戶隨機(jī)分散在它們的服務(wù)區(qū)域中，并且以速度v勻速移動(dòng).移動(dòng)用戶通過上行鏈路將測(cè)量的SINR信息反饋到其服務(wù)基站k，再由該基站通過回程鏈路中繼到云端控制單元，最后在云端執(zhí)行聯(lián)合動(dòng)作來選擇服務(wù)基站和其他干擾基站的碼本索引和發(fā)射功率.

1.2 MISO信道系統(tǒng)模型

圖1所示的系統(tǒng)模型中，每個(gè)基站配備M個(gè)均勻線性陣列(uniform linear array, ULA)天線，用戶配備單根天線，第k個(gè)用戶在服務(wù)基站k處的接收信號(hào)為：

(1)

圖1 系統(tǒng)模型框圖Fig.1 System transmission model

鑒于毫米波收發(fā)器的硬件限制，基站僅使用模擬波束成形向量，其中每個(gè)波束成形向量fk,k=1,2,…,N的波束成形權(quán)重由恒模移相器即[fk]m=ejθm定義.假定每個(gè)波束成形向量均選自基于波束導(dǎo)向的波束成形碼本F.此碼本大小為|F|=NCB，第k個(gè)元素定義為：

(2)

其中d和K表示天線間距和子載波數(shù)量，而θk表示轉(zhuǎn)向角度，a(θk)是沿θk方向的陣列響應(yīng)向量，值θk通過將0和π弧度之間的天線角度除以天線數(shù)M獲得的.

設(shè)基站k的發(fā)射功率PTX,k∈P，其中P是候選發(fā)射功率集合.本文依據(jù)文獻(xiàn)[13]選擇P,選定基站發(fā)射功率以上(或以下)的功率偏移值為發(fā)射功率.

1.3 高速移動(dòng)環(huán)境中的信道模型

本文采用有L個(gè)簇的窄帶幾何信道模型[12]，引入用戶移動(dòng)導(dǎo)致的多普勒頻移來構(gòu)建高速移動(dòng)毫米波時(shí)變信道模型.t時(shí)刻基站k到用戶k之間下行鏈路信道可建模為：

(3)

(4)

在時(shí)間t內(nèi)用戶在一組物理資源塊(physical resource blocks，PRBs)上接收到的下行鏈路功率PUE[t]可定義為：

(5)

其中PTX,k是基站k的PRB發(fā)射功率.故在時(shí)間間隔t中計(jì)算用戶k在服務(wù)基站k處接收到的有效SINR可定義為：

(6)

2 問題描述

2.1 聯(lián)合優(yōu)化問題建模

本方案旨在聯(lián)合優(yōu)化N個(gè)基站處的波束成形向量和發(fā)射功率，以最大化UEs可實(shí)現(xiàn)的速率和，即將包含功率約束和干擾約束的波束成形優(yōu)化問題建模為：

(7)

其中γtarget表示下行鏈路傳輸?shù)哪繕?biāo)SINR.P和F分別表示候選傳輸功率集和波束成形碼本集.由于前兩個(gè)約束的非凸性，此優(yōu)化問題是一個(gè)非凸優(yōu)化問題.為找到t時(shí)刻基站i的最優(yōu)PTX,i和fi，通常采用在P×F的笛卡爾積空間上進(jìn)行全局窮舉搜索即暴風(fēng)算法(Brute Force, BF)算法來找到最佳解決方案.已知Brute Force的復(fù)雜度是基站數(shù)量的指數(shù)級(jí)，即使用經(jīng)典算法(非機(jī)器學(xué)習(xí)技術(shù))解決此問題通常需要在大空間上進(jìn)行窮舉搜索以找到最優(yōu)解，因此本文基于深度強(qiáng)化學(xué)習(xí)技術(shù)解決以上問題.

2.2 性能指標(biāo)

(1)時(shí)間復(fù)雜度：傳統(tǒng)算法運(yùn)行時(shí)間復(fù)雜度上限可以計(jì)算，但由于缺乏收斂性和穩(wěn)定性保證，故給所提出的DQN算法定義類似表達(dá)式具有一定挑戰(zhàn)性[14].因此通過天線大小為M時(shí)的運(yùn)行時(shí)間來表征計(jì)算復(fù)雜度.

(2)收斂性：針對(duì)網(wǎng)絡(luò)中所有用戶在采樣周期TS內(nèi)達(dá)到目標(biāo)SINR的episode定義收斂性ζ.預(yù)計(jì)隨著天線數(shù)量M的增加，ζ也將增加.

(4)速率和容量：根據(jù)下行鏈路有效SINR值，平均傳輸速率和容量(sum-rate capacity)C可表示為：

(8)

其中Ts表示采樣的無線幀長(zhǎng)度.

3 深度強(qiáng)化學(xué)習(xí)聯(lián)合優(yōu)化算法

3.1 深度強(qiáng)化學(xué)習(xí)智能體-環(huán)境交互模型

本節(jié)描述了深度強(qiáng)化學(xué)習(xí)中智能體通過不斷探索，學(xué)習(xí)到如何選擇最優(yōu)動(dòng)作來最大化其在交互環(huán)境中的預(yù)期未來獎(jiǎng)勵(lì).所提出的JB-PCIC方案同時(shí)控制基站的波束成形向量和發(fā)射功率，以最大化(7)中的目標(biāo)函數(shù)算法. JB-PCIC方案中智能體與環(huán)境之間的交互如圖2所示.

圖2 所提方案中智能體與環(huán)境交互流程圖fig.2 The flow chart of interaction between agent and environment

首先，智能體依據(jù)公式(9)中的增量(n+1)或減量(n-1)來分別為服務(wù)基站k和干擾基站j選擇波束成形向量對(duì)應(yīng)的碼本索引值：

n|→fn[t]:n=(n±1)modM,

(9)

為給定用戶選擇波束成形向量后，智能體通過一串比特位動(dòng)作寄存器同時(shí)執(zhí)行一系列二進(jìn)制動(dòng)作，來更改服務(wù)基站(或干擾基站)的發(fā)射功率，實(shí)現(xiàn)該波束的功率控制和干擾協(xié)調(diào).當(dāng)服務(wù)基站k執(zhí)行功率控制動(dòng)作PCk[t]后，其發(fā)射功率可描述為：

(10)

(11)

其中IC、PC命令實(shí)際上相同，主要作用是區(qū)分基站中的服務(wù)者(需要功率控制)或干擾者(需要協(xié)調(diào)干擾).綜上基于DQN算法的PCIC優(yōu)化問題可建模如圖3所示.

圖3 下行鏈路中考慮功率約束和干擾約束的波束成形優(yōu)化問題模塊Fig.3 Downlink joint beamforming, power control, and interference coordination module

表1 二進(jìn)制編碼動(dòng)作集Tab.1 Binary coded action set

(12)

當(dāng)對(duì)數(shù)據(jù)傳輸采取聯(lián)合功率控制和波束成形動(dòng)作時(shí)，會(huì)在每個(gè)時(shí)間段對(duì)智能體給予最大的獎(jiǎng)勵(lì).如果公式(7)中的任一約束不滿足條件，則中止該episode，且智能體收到的獎(jiǎng)勵(lì)為γs,s′,a[t]=γmin.如下一節(jié)算法1所示，根據(jù)是否小余最小值γmin或達(dá)到γtarget，給定γmin或最大獎(jiǎng)勵(lì)γmax.

3.2 JB-PCIC算法

其中有效目標(biāo)SINR定義為：

(13)

4 仿真結(jié)果與分析

采用第2節(jié)中的網(wǎng)絡(luò)、系統(tǒng)和信道模型，無線環(huán)境參數(shù)如表2所示，所提出方案的DQN超參列表如表3所示.仿真實(shí)驗(yàn)部分依據(jù)不同性能指標(biāo)與Brute Force算法進(jìn)行比較.

表2 無線環(huán)境參數(shù)列表Tab.2 wireless environment parameters

表3 強(qiáng)化學(xué)習(xí)超參列表Tab.3 Reinforcement learning hyperparameters

根據(jù)以上參數(shù)設(shè)置和2.2節(jié)中的性能指標(biāo)做出以下仿真實(shí)驗(yàn)，分析了所提出的JB-PCIC算法在顯著降低運(yùn)行復(fù)雜度的情況下，可以近似達(dá)到Brute Force算法的性能(圖4).

圖4 歸一化運(yùn)行時(shí)間與天線數(shù)量M的關(guān)系Fig.4 The normalized run time for the optimal and JB-PCIC algorithm vs M.

如圖4所示，運(yùn)行時(shí)間隨著天線數(shù)量M增大而增加，在Brute Force算法中運(yùn)行時(shí)間復(fù)雜度隨M呈指數(shù)性變化，因此曲線更為陡峭.以M=16時(shí)為例，所提算法的運(yùn)行時(shí)間顯著減少，僅需要Brute Force算法的6.7%，即本方案顯著降低了時(shí)間復(fù)雜度.

圖5 JB-PCIC算法γeff的CDF函數(shù)與天線數(shù)量M關(guān)系Fig.5 Coverage CDF of γeff for the JB-PCIC algorithm vs M.

圖5表示UE移動(dòng)速度v=30 km/h時(shí)γeff[t]的累積函數(shù)分布圖，在同等概率值下，隨著基站天線數(shù)量增加，用戶能達(dá)到的的SINRγeff[t]也隨之增加，因?yàn)楦鶕?jù)公式(9)所定義，γeff[t]取決于與M有關(guān)的波束成形陣列增益.此CDF圖還表明隨著M增大，服務(wù)基站的覆蓋范圍能滿足更多的UEs實(shí)現(xiàn)可靠通信.

圖6 JB-PCIC算法的歸一化收斂時(shí)間與天線數(shù)量M的關(guān)系Fig.6 The normalized convergence time for the JB-PCIC algorithm vs M.

如圖7所示，所獲得的有效SINRγeff與天線數(shù)量M成正比，且歸一化傳輸功率幾乎等于最優(yōu)值，即所提出的JB-PCIC算法能達(dá)到與Brute Force算法相當(dāng)?shù)男阅?而且可觀察到，因?yàn)橛?xùn)練好的DQN網(wǎng)絡(luò)能夠估算出性能上限,傳輸功率和SINR的性能差距幾乎在所有M取值范圍內(nèi)都減小了.

圖7 兩種算法歸一化傳輸功率和γeff值與天線數(shù)量M的關(guān)系Fig.7 Achievable SINR and normalized transmit power for the two algorithm vs M.

如圖8所示，選取了500個(gè)episode中某一次10幀片段.當(dāng)模型訓(xùn)練過程中，所提出的算法在UEs勻速移動(dòng)的整個(gè)10ms過程中，智能體每毫秒執(zhí)行二進(jìn)制動(dòng)作PC、IC來控制服務(wù)BS和干擾BS的傳輸功率，均能保證下行鏈路每個(gè)UE正常通信(即SINR達(dá)到最小值以上)，且最大化UEs速率和容量.

圖8 JB-PCIC算法使UEs達(dá)到目標(biāo)SINR值的某次訓(xùn)練過程Fig.8 Training process of the JB-PCIC algorithm enables UEs to reach the target SINR.

圖9顯示了JB-PCIC算法的速率和容量的性能上限，可以觀察到UEs以不同速度移動(dòng)時(shí)都能達(dá)到與Brute Force相近的速率和容量.仿真表明UEs移動(dòng)速度的變化對(duì)性能的影響較小，證明了根據(jù)多普勒頻移特性建模的高速移動(dòng)環(huán)境下的信道模型較為可靠，且說明了所提出的算法能夠滿足快速移動(dòng)環(huán)境下多用戶的可靠性傳輸.

圖9 所提出算法的速率和容量與天線數(shù)量M的關(guān)系Fig.9 Sum-rate capacity for the optimal and JB-PCIC algorithm vs M.

5 結(jié)語

本文旨在解決移動(dòng)場(chǎng)景下MISO系統(tǒng)的OFDM多址蜂窩網(wǎng)絡(luò)中，聯(lián)合優(yōu)化服務(wù)BS和干擾BS的發(fā)射功率來最大化下行鏈路的SINR值.所提出的JB-PCIC方案不需要完整的信道狀態(tài)信息，只需要UEs每毫秒將其坐標(biāo)及其接收的SINR發(fā)送到基站，從而消除了對(duì)信道估計(jì)和相關(guān)訓(xùn)練序列的開銷.此外，還降低了來自UE的總反饋量，因?yàn)閁E不需要發(fā)送用于波束成形向量改變、功率等級(jí)控制或協(xié)調(diào)干擾BS的顯式命令.假定每個(gè)BS可以從有限集合中選擇波束成形向量和功率控制命令,本文表明找到最佳波束需要進(jìn)行詳盡的搜索，且窮舉搜索的運(yùn)行時(shí)間是基站數(shù)量的指數(shù)級(jí).為避免窮舉搜索，本文基于DQN提出了適應(yīng)動(dòng)態(tài)環(huán)境的JB-PCIC算法，仿真表明該算法能近似達(dá)到Brute Force方案的性能，且運(yùn)行時(shí)間復(fù)雜性比Brute Force方案低得多。未來研究可考慮MIMO系統(tǒng)或更復(fù)雜的混合異構(gòu)網(wǎng)絡(luò)環(huán)境，也可考慮采用收斂效果更好的Double DQN或適用于連續(xù)動(dòng)作空間的深度確定性策略梯度(Deep Deterministic Policy Gradient，DDPG)算法等其他深度強(qiáng)化學(xué)習(xí)算法來尋找最佳的混合波束成形方案.