谷 靜,鄧逸飛,張 新

(西安郵電大學(xué) 電子工程學(xué)院,西安 710121)

0 概述

第五代移動(dòng)通信技術(shù)(5G)具有超高的頻譜利用率和能效,和第四代移動(dòng)通信技術(shù)(4G)相比,其傳輸速率和資源利用率提高了至少一個(gè)數(shù)量級(jí),并且在無線覆蓋、傳輸時(shí)延、系統(tǒng)安全和用戶體驗(yàn)等方面也有顯著提高[1]。異構(gòu)網(wǎng)絡(luò)作為第三代合作伙伴計(jì)劃(3GPP)組織在長(zhǎng)期演進(jìn)(Long Term Evolution,LTE)系統(tǒng)中所提出的網(wǎng)絡(luò)種類,在4G網(wǎng)絡(luò)中解決了業(yè)務(wù)多樣性的問題。但是,在異構(gòu)網(wǎng)絡(luò)中位于低功率基站附近和宏小區(qū)邊緣的宏用戶設(shè)備(Macro User Equipment,MUE)會(huì)受到低功率基站較強(qiáng)的信號(hào)干擾,因此,3GPP組織在長(zhǎng)期演進(jìn)擴(kuò)展(Long Term Evolution-Advanced,LTE-A)通信系統(tǒng)中引用了小區(qū)范圍擴(kuò)展(Cell Rang Expansion,CRE)技術(shù)[2],以均衡宏基站與微基站之間的負(fù)載。由于引入CRE后宏小區(qū)邊緣的用戶設(shè)備依然受到較強(qiáng)的信號(hào)干擾,因此擴(kuò)展區(qū)域中的小區(qū)間干擾協(xié)調(diào)(Inter Cell Interference Coordination,ICIC)成為研究人員關(guān)注的熱點(diǎn)。

文獻(xiàn)[3]提出家庭基站(Femtocell)合作模型CRE框架,提高了家庭基站接入點(diǎn)范圍擴(kuò)展系統(tǒng)的靈活性,但未提高宏小區(qū)邊緣用戶的通信質(zhì)量。文獻(xiàn)[4]提出一種分布式自適應(yīng)CRE偏置方法,其基站間信息交互不足,CRE偏置不能達(dá)到全局最優(yōu)。文獻(xiàn)[5-7]有效提高了宏小區(qū)用戶的整體吞吐量并實(shí)現(xiàn)了基站負(fù)載均衡,但所用算法過程過于復(fù)雜。文獻(xiàn)[8]針對(duì)上行鏈路干擾提出一種虛擬軟切換方法,該方法對(duì)邊緣用戶信干噪比的提升效果較差。文獻(xiàn)[9]提出一種基于大數(shù)據(jù)驅(qū)動(dòng)框架和多臂Bandit算法的在線學(xué)習(xí)機(jī)制,但其樣本數(shù)量過少,不符合實(shí)際要求。

本文提出一種基于啟發(fā)函數(shù)的HSARSA(λ)算法,以動(dòng)態(tài)設(shè)置Femto基站(Femto-Base Station,FBS)的CRE偏置值。每個(gè)FBS獨(dú)立地從經(jīng)驗(yàn)中學(xué)習(xí)CRE偏置值,從而最大限度地提高宏小區(qū)邊緣用戶的整體通信速率,實(shí)現(xiàn)較好的負(fù)載均衡效果。

1 系統(tǒng)模型與偏置方法

1.1 系統(tǒng)模型

本文系統(tǒng)由雙層異構(gòu)網(wǎng)絡(luò)構(gòu)成,可供選擇的低功率基站有微基站(Pico-Base Station,PBS)、FBS以及中繼基站(Relay-BS,RBS),如圖1所示。該系統(tǒng)選擇FBS作為低功耗基站,這是因?yàn)榻陙沓^80%的無線數(shù)據(jù)吞吐量發(fā)生在室內(nèi),在上述低功率基站中,FBS體積最小,部署最靈活且成本最低,網(wǎng)絡(luò)安全性能較高,研究FBS的性能可以更好地解決室內(nèi)通信問題[10]。在系統(tǒng)中隨機(jī)分布n個(gè)用戶設(shè)備,其中包括m個(gè)MUE以及k個(gè)微用戶設(shè)備(Femto User Equipment,FUE)。所有用戶設(shè)備采用開放式接入(Open Access,OA)方式,和封閉式接入(Closed Access,CA)相比,OA在用戶設(shè)備密度較大時(shí)優(yōu)勢(shì)更加明顯[11]。

圖1 雙層異構(gòu)網(wǎng)絡(luò)示意圖

FBS的傳輸功率一般為23 dB～30 dB,在存在宏基站(Macro Base Station,MBS)的情況下,FBS的傳輸速率范圍將變小。MBS的發(fā)射功率約為45 dB,與FBS的傳輸功率最少相差16 dB,這使得有過多用戶接入MBS,從而造成MBS過載和能效降低的現(xiàn)象,進(jìn)而導(dǎo)致FBS功率資源浪費(fèi)。系統(tǒng)中的上行鏈路并非如此,上行鏈路中不同基站(Base Station,BS)的信號(hào)強(qiáng)度主要取決于其在上行鏈路的傳輸功率[12],因此,本文系統(tǒng)只考慮下行鏈路的傳輸功率。

圖1中的實(shí)線為小區(qū)當(dāng)前的范圍,虛線為小區(qū)應(yīng)調(diào)整的范圍。將分布在不同小區(qū)的FBS、MUE、FUE分別編號(hào)為FBS1、FBS2、FBS3、MUE1、MUE2、MUE3、FUE1、FUE2、FUE3等。系統(tǒng)主要存在以下3種干擾情況:

1)FBS1距MBS較近,FUE1位于FBS1小區(qū)邊緣且距MBS也較近,這時(shí)FUE1將受到MBS較強(qiáng)的信號(hào)干擾,應(yīng)降低FBS1的CRE偏置值使FUE1接入MBS。

2)MUE1位于MBS小區(qū)邊緣處且距MBS較遠(yuǎn),MUE1距FBS2很近但位于FBS2小區(qū)邊緣外。MUE1經(jīng)過長(zhǎng)距離路徑損耗與陰影衰落后接收到的MBS信號(hào)質(zhì)量大幅降低,同時(shí)還會(huì)受到來自FBS2與FBS3下行鏈路的信號(hào)干擾,應(yīng)增大FBS2的CRE值使MUE1接入FBS2。

3)MUE2到FBS3的距離與MUE2到MBS的距離相差不大,但MUE2位于建筑物后,導(dǎo)致其接收MBS信號(hào)受阻。因此,在MBS信號(hào)覆蓋較弱的建筑密集區(qū),應(yīng)增大FBS3的CRE偏置值使MUE2接入FBS3。

總結(jié)以上3種情況,本文將針對(duì)同層與跨層干擾使各種類型基站邊緣用戶的通信質(zhì)量與通信速率下降等問題進(jìn)行分析。在下行鏈路中,根據(jù)系統(tǒng)模型,第i個(gè)MUE的信干噪比為:

(1)

由文獻(xiàn)[3]得到路徑損耗公式為:

PLm=c(dM)n

(2)

其中,c為常數(shù),dM為用戶到基站的距離,n為介質(zhì)指數(shù)。

將式(2)代入式(1)中得到式(3):

(3)

同理可得到第i個(gè)FUE的信干噪比為:

(4)

由香農(nóng)公式可得第i個(gè)MUE到MBS的通信速率為:

(5)

同理可得第i個(gè)FUE到第k個(gè)PBS的通信速率為:

(6)

所有用戶的總通信速率為:

(7)

總用戶功耗[13]為:

PMD=N[PW·Rt+Ps(1-Rt)]

(8)

其中,PW為用戶活躍時(shí)的總功耗,PS為用戶非活躍時(shí)的總功耗。系統(tǒng)最終能效為:

(9)

其中,PMA為系統(tǒng)總功耗,PBS為MBS的發(fā)射功率,S為宏小區(qū)的面積。

1.2 CRE偏置方法

本文在考慮參考信號(hào)接收功率(Reference Signal Received Power,RSRP)大小的基礎(chǔ)上,通過評(píng)估導(dǎo)頻信號(hào)(參考信號(hào))的強(qiáng)度來觸發(fā)移交程序。用戶在比較來自各基站參考信號(hào)的功率大小后,會(huì)連接到信干噪比相對(duì)較高的基站。此外,使用CRE將偏壓值加到FBS發(fā)射信號(hào)上可使更多的用戶連接到FBS,相當(dāng)于將FBS小區(qū)范圍人為擴(kuò)大。若MBS和PBS的發(fā)射功率滿足以下關(guān)系:

此時(shí),用戶會(huì)連接到MBS。若MBS和PBS的發(fā)射功率滿足以下關(guān)系:

此時(shí),用戶會(huì)連接到FBS。MBS和PBS的發(fā)射功率差會(huì)使得邊緣用戶受到相鄰小區(qū)基站信號(hào)的干擾[12],因此,需要通過調(diào)整CRE偏置值(Δbias)來降低邊緣用戶受到的干擾。

傳統(tǒng)經(jīng)驗(yàn)將CRE偏置值設(shè)定為6 dB,華為公司提供的GRE偏置值為9 dB。下文以邊緣用戶的平均吞吐量為參考來尋求合理的GRE偏置值。

2 基于HSARSA(λ)算法的CRE偏置選擇

通過調(diào)整GRE偏置值來降低邊緣用戶受到的干擾,既要考慮各基站間的信息交互,又要根據(jù)時(shí)延與用戶分布的變化來動(dòng)態(tài)調(diào)整偏置值。經(jīng)驗(yàn)偏置值與其他算法基本無法簡(jiǎn)單有效地解決最佳偏置值的選擇問題。為此,本文在強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)的基礎(chǔ)上提出一種基于啟發(fā)函數(shù)的改進(jìn)SARSA(λ)算法,即HSARSA(λ)算法。和SARSA(λ)算法相比,HSARSA(λ)算法的獎(jiǎng)賞反饋更快,其學(xué)習(xí)性能顯著提高。

2.1 強(qiáng)化學(xué)習(xí)與SARSA(λ)算法

RL是人工智能體實(shí)現(xiàn)自主行為的理論基礎(chǔ),其對(duì)策略和狀態(tài)具有強(qiáng)大的表征能力,能夠模擬復(fù)雜的決策過程。RL還賦予人工智能體自監(jiān)督學(xué)習(xí)能力,使其能夠自主與環(huán)境交互,在試錯(cuò)(Trial and Error)中不斷進(jìn)步[14]。RL作為人工智能領(lǐng)域的一個(gè)重要分支,被認(rèn)為是實(shí)現(xiàn)類人工智能的關(guān)鍵,受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。RL主要以馬爾科夫決策過程為基礎(chǔ),該過程用狀態(tài)(State)、動(dòng)作(Action)、狀態(tài)轉(zhuǎn)移率(Possibility)和獎(jiǎng)賞(Reward)構(gòu)成的四元組{s,a,p,r}表示[15]。其中,動(dòng)作與狀態(tài)構(gòu)成動(dòng)作狀態(tài)表,用以表示在某種狀態(tài)下對(duì)根據(jù)策略π執(zhí)行的動(dòng)作進(jìn)行的價(jià)值評(píng)估,也稱為狀態(tài)-動(dòng)作對(duì)值函數(shù),具體如下:

Qπ(s,a)=E(R|st=s,at=a)

(10)

式(10)表示狀態(tài)-動(dòng)作對(duì)值函數(shù)是在反饋獎(jiǎng)賞R下狀態(tài)值St等于某一狀態(tài)S、動(dòng)作值at取某一動(dòng)作a時(shí)的數(shù)學(xué)期望。

最佳Q表值為:

(11)

人工智能體在每種狀態(tài)下能獲得最佳動(dòng)作的策略為:

(12)

目前,諸如Q-Learning、TD(λ)、SARSA等強(qiáng)化學(xué)習(xí)算法已經(jīng)在理論和應(yīng)用方面取得較多成果[16]。SARSA算法借鑒Q-Learning算法的思想并利用TD算法的核心理論,使得行為決策與值函數(shù)迭代的一致性得到保障[17],這表明在學(xué)習(xí)控制方面SARSA算法優(yōu)于Q-Learning算法。SARSA(λ)算法在SARSA算法的動(dòng)作-狀態(tài)對(duì)值函數(shù)更新過程中加入了資格跡,如下:

(13)

其中,γ與λ均為折扣因子。

資格跡是基于有效跟蹤原理形成的多步在線學(xué)習(xí)理論,其能有效地使原算法在獲得獎(jiǎng)賞時(shí)更貼近目標(biāo)值。但是,SARSA(λ)算法在新環(huán)境中學(xué)習(xí)速率較慢,忽略了很多有價(jià)值的信息。由于缺乏有效的策略選擇機(jī)制,SARSA(λ)算法在狀態(tài)空間需要多次遍歷才能收斂。引入啟發(fā)函數(shù)對(duì)SARSA(λ)算法在貪婪選擇與狀態(tài)動(dòng)作對(duì)更新時(shí)進(jìn)行改進(jìn),可使其在策略選擇與匯報(bào)獎(jiǎng)賞中取得更快的學(xué)習(xí)速率和更多的有效信息。

2.2 HSARSA(λ)算法

2.2.1 啟發(fā)函數(shù)

啟發(fā)式強(qiáng)化學(xué)習(xí)(HARL)采用啟發(fā)函數(shù)來影響人工智能體在學(xué)習(xí)中的動(dòng)作選擇。文獻(xiàn)[18]較早提出啟發(fā)加速的Q-Learning算法,啟發(fā)函數(shù)Ht(st,at)表示在當(dāng)前狀態(tài)下執(zhí)行此動(dòng)作的重要性。該方法將經(jīng)驗(yàn)值作為啟發(fā)信息,給特定行動(dòng)加以獎(jiǎng)賞,并可作為約束條件來縮小搜索范圍使算法更快達(dá)到收斂效果。

對(duì)于某一狀態(tài)st,啟發(fā)值Ht(st,at)只有普遍高于值函數(shù)Qt(st,at)的變化值時(shí)才能影響動(dòng)作選擇,且要盡量減小誤差。啟發(fā)函數(shù)與策略緊密相關(guān),選擇動(dòng)作的策略是決定整個(gè)過程是否更接近最優(yōu)狀態(tài)的重要因素。策略從形式上可定義為:

π(s)=argmax[Qt(st,at)+μHt(st,at)β]

(14)

其中,μ∈R,β∈R均為評(píng)定啟發(fā)函數(shù)重要性的參數(shù),數(shù)值越大其影響越大。在式(14)的基礎(chǔ)定義下,啟發(fā)函數(shù)可定義為:

(15)

2.2.2 更新公式

SARSA(λ)算法在選擇動(dòng)作時(shí)使用ε-貪婪策略,HSARSA(λ)算法將ε-貪婪策略改進(jìn)為:

(16)

上述改進(jìn)可以使人工智能體在根據(jù)策略選擇動(dòng)作時(shí)通過Ht(st,at)來分析動(dòng)作的優(yōu)劣,不斷保留優(yōu)勢(shì)摒棄劣勢(shì),有效減少了無用搜索,最終使算法加速收斂。

2.2.3 算法流程

HSARSA(λ)算法將系統(tǒng)模型中的偏置值bi={CRE1,CRE2,…,CREi,…,CREn}和用戶的SINR分布值與HSARSA(λ)算法中的狀態(tài)表和動(dòng)作表相結(jié)合。動(dòng)作是決定最終結(jié)果的因素,因此將偏置值CREi的分布設(shè)定為動(dòng)作分布表。狀態(tài)是在執(zhí)行動(dòng)作后所造成的影響效果。將CRE偏置值代入路徑損耗公式可求出偏置范圍ΔL,根據(jù)ΔL可求出邊緣用戶的信干噪比。將調(diào)整CRE偏置值后會(huì)受影響的用戶信干噪比分布列為狀態(tài)表,再根據(jù)動(dòng)作和狀態(tài)建立值函數(shù)表Qπ(SINRi,bi),HSARSA(λ)算法流程如圖2所示。

圖2 HSARSA(λ)算法流程

HSARSA(λ)算法的偽代碼為:

Begin:

建立動(dòng)作表bi

建立狀態(tài)表SINRi

初始化Qπ(SINRi,bi),et(SINRi,bi)

For each episode:

Ⅰ.在當(dāng)前狀態(tài)下,用Hε-貪婪策略選取Ht(SINRi,bi)動(dòng)作bi

Ⅱ.若當(dāng)前動(dòng)作不為最優(yōu),則重復(fù)以下步驟:

B.在當(dāng)前新狀態(tài)SINR′i下,利用Hε-貪婪策略在SINR′i中選擇新的偏置值b′i

Ⅲ.更新Ht(SINR′i,b′i)與Qπ(SINR′i,b′i)

δ=R+γQπ(SINR′i,b′i)-Qπ(SINRi,bi)

et(SINR′i,b′i)=et(SINRi,bi)+1

Ⅳ.更新狀態(tài)動(dòng)作對(duì)表

Q′π(SINRi,bi)=Qπ(SINRi,bi)+αδet(SINR′i,b′i)

et(SINR′i,b′i)=γλet(SINR′i,b′i)

直到SINRi=SINR′i,bi=b′i,算法終止

其中,α為學(xué)習(xí)率

在本文系統(tǒng)中,當(dāng)人工智能體發(fā)現(xiàn)新的狀態(tài)時(shí),如果一直將狀態(tài)添加到Q表中,Q表值就會(huì)增加,這違背了內(nèi)存約束條件,且會(huì)延長(zhǎng)學(xué)習(xí)時(shí)間。為解決該問題,使用經(jīng)驗(yàn)偏置值以實(shí)現(xiàn)更快的收斂。由于經(jīng)驗(yàn)偏置值較易得知,在開始學(xué)習(xí)和發(fā)送數(shù)據(jù)前,可用試錯(cuò)法檢查所有的經(jīng)驗(yàn)偏置值以縮短學(xué)習(xí)時(shí)間。

所有用戶的共同偏置值雖然不是每個(gè)用戶的最優(yōu)偏置值[19],但其通常較接近最優(yōu)偏置值。引入共同偏置值可減小內(nèi)存并加快收斂速度。當(dāng)用戶移動(dòng)到另一個(gè)FBS信號(hào)覆蓋區(qū)域時(shí),Q表數(shù)據(jù)即使發(fā)生變化也仍具有相似性,在一種情況下獲得的數(shù)據(jù)也有助于在另一種情況下的學(xué)習(xí)[20]。使用這些數(shù)據(jù)作為下一次學(xué)習(xí)的初始值,即使情況不同,用戶也會(huì)學(xué)習(xí)環(huán)境以進(jìn)行Q表的更新。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用蒙特卡羅仿真方法,在Matlab2014R環(huán)境下進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)參數(shù)如表1所示[10,18],設(shè)置1個(gè)MBS和6個(gè)FBS,結(jié)果取20次實(shí)驗(yàn)的平均值。

表1 實(shí)驗(yàn)參數(shù)設(shè)置

根據(jù)服務(wù)質(zhì)量(Quality of Service,QoS)評(píng)判標(biāo)準(zhǔn),本文對(duì)系統(tǒng)邊緣用戶的通信速率、能效以及吞吐量進(jìn)行分析。

從圖3可以看出,通信較差與通信較好的用戶已進(jìn)行均衡化處理,兩類用戶的通信質(zhì)量趨于一致,即采用HSARSA(λ)算法得到的CRE偏置值能有效均衡邊緣負(fù)載,使整個(gè)系統(tǒng)的通信質(zhì)量得到提高。

圖3 MUE與FUE的SINR累積分布

從圖4可以看出,隨著用戶分布量的增加,應(yīng)用Origin、Q-Learning、SARSA(λ)和HSARSA(λ) 4種算法得到的系統(tǒng)用戶平均吞吐量逐漸上升。當(dāng)用戶分布量超過0.3時(shí),系統(tǒng)用戶的平均吞吐量均顯著上升,當(dāng)用戶分布量為0.5～0.7時(shí),應(yīng)用HSARSA(λ)算法得到的系統(tǒng)用戶平均吞吐量比SARSA(λ)算法高約7%,比Q-Learning算法高約15%。

圖4 不同算法的系統(tǒng)用戶平均吞吐量分布

Fig.4 Average throughput distribution of system users of different algorithms

從圖5可以看出,隨著邊緣用戶分布量的增加,應(yīng)用Origin、Q-Learning、SARSA(λ)和HSARSA(λ) 4種算法得到的系統(tǒng)邊緣用戶的平均吞吐量逐漸提升。當(dāng)邊緣用戶分布量為0.6～0.8時(shí),應(yīng)用HSARSA(λ)算法得到的系統(tǒng)邊緣用戶平均吞吐量比SARSA(λ)算法高約6%,比Q-Learning算法高約12%。由此可知,HSARSA(λ)算法可使系統(tǒng)邊緣用戶的吞吐量得到較大提升。

圖5 不同算法的系統(tǒng)邊緣用戶平均吞吐量分布

Fig.5 Average throughput distribution of system edge users of different algorithms

從圖6可以看出,HSARSA(λ)算法的平均能效最高,該算法在保證宏小區(qū)基本通信質(zhì)量的前提下可大幅提高小區(qū)邊緣用戶的通信速率。HSARSA(λ)算法的平均能效比SARSA(λ)算法高11%,比Q-Learning算法高13%。

圖6 不同算法的平均能效對(duì)比

Fig.6 Comparison of average energy efficiency of different algorithms

從圖7可以看出,隨著學(xué)習(xí)幕數(shù)的增加,Q-Learning、SARSA(λ)和HSARSA(λ)算法尋找最優(yōu)CRE偏置值的步數(shù)逐漸減少。當(dāng)學(xué)習(xí)幕數(shù)為15節(jié)時(shí),HSARSA(λ)算法已收斂,SARSA(λ)、Q-Learning算法的收斂速率分別為40和60。HSARSA(λ)算法收斂時(shí)步數(shù)小于Q-Learning、SARSA(λ)算法,這表明HSARSA(λ)算法的收斂速率和搜索效率比其他2種算法更優(yōu)。從圖8可以看出,隨著學(xué)習(xí)幕數(shù)的增加,Q-Learning、SARSA(λ)和HSARSA(λ)算法獲得獎(jiǎng)賞的數(shù)量均呈現(xiàn)出先降后增的趨勢(shì)。當(dāng)學(xué)習(xí)幕數(shù)為0～15節(jié)時(shí),3種算法獲得獎(jiǎng)賞的數(shù)量均逐漸降低,其中,HSARSA(λ)算法的降幅最小。當(dāng)學(xué)習(xí)幕數(shù)超過15節(jié)時(shí),HSARSA(λ)算法獲得的獎(jiǎng)賞數(shù)量逐步上升。在學(xué)習(xí)幕數(shù)增加的過程中,當(dāng)學(xué)習(xí)幕數(shù)相同時(shí),HSARSA(λ)算法得到的獎(jiǎng)賞更多,這表明HSARSA(λ)算法每步搜索的結(jié)果均比其他2種算法更接近最佳值。

圖7 不同算法的收斂性能對(duì)比

Fig.7 Comparison of convergence performance of different algorithms

圖8 不同算法獲得獎(jiǎng)賞的能力對(duì)比

Fig.8 Comparison of ability of different algorithms to obtain rewards

4 結(jié)束語(yǔ)

本文采用啟發(fā)函數(shù)對(duì)強(qiáng)化學(xué)習(xí)中的SARSA(λ)算法進(jìn)行改進(jìn),提出一種HSARSA(λ)算法,以動(dòng)態(tài)設(shè)置FBS的小區(qū)范圍擴(kuò)展偏置值。該算法使宏基站功率資源卸載分流的同時(shí)使得微基站功率資源得到充分利用,從而實(shí)現(xiàn)系統(tǒng)的負(fù)載均衡。仿真結(jié)果表明,相比Q-Learning、SARSA(λ)算法,HSARSA(λ)算法的收斂速率和用戶通信速率較高,其能同時(shí)保證宏用戶與邊緣用戶的通信質(zhì)量。下一步將在本文算法的基礎(chǔ)上研究頻譜資源的有效利用問題,以提升系統(tǒng)的通信質(zhì)量。