楊秀清 陳 禹 李正富

?

Femtocell雙層網(wǎng)絡(luò)中基于Q-learning的子信道分配方案

楊秀清*①陳 禹①李正富②

①(北京電子科技職業(yè)學(xué)院電信工程學(xué)院 北京 100176)②(北京郵電大學(xué)信息與通信工程學(xué)院 北京 100876)

在Femtocell家庭基站(Femtocell Base Station, FBS)組成的異構(gòu)網(wǎng)絡(luò)中，為提升網(wǎng)絡(luò)的頻譜效率，F(xiàn)BS與Macrocell宏基站(Macrocell Base Station, MBS)一般要求是同頻部署，然而同頻部署會(huì)產(chǎn)生同信道干擾。為了實(shí)現(xiàn)FBS的大規(guī)模部署，降低網(wǎng)絡(luò)同信道干擾影響變得尤為重要。該文提出一種基于Q-learning的子信道分配方案，既保證大量部署的FBS不會(huì)對MBS帶來過高的跨層干擾，同時(shí)也降低了FBS之間的同層干擾。同時(shí)針對FBS稀疏部署和密集部署的場景，分別進(jìn)行了算法的仿真驗(yàn)證，其仿真結(jié)果表明該算法降低了干擾，驗(yàn)證了理論的正確性。

Femtocell；雙層網(wǎng)絡(luò)；Q-learning；子信道分配

1 引言

由于FBS與MBS形成的異構(gòu)網(wǎng)絡(luò)遭受的干擾復(fù)雜多變，用戶對網(wǎng)絡(luò)的QoS(Quality of Service)要求也越來越高，因此，抑制FBS網(wǎng)絡(luò)帶來的干擾，保證用戶時(shí)延、最低數(shù)據(jù)速率要求等QoS指標(biāo)是亟需解決的重要問題。目前在Femtocell異構(gòu)雙層網(wǎng)絡(luò)中的干擾管理和抑制的具體策略可以分為干擾消除、干擾避免以及小區(qū)間干擾協(xié)調(diào)3大類。

干擾消除是一種基于物理層的處理技術(shù)，通過接收機(jī)的處理增益從而消除干擾[1]。文獻(xiàn)[2]設(shè)計(jì)FBS之間的頻率復(fù)用機(jī)制來降低FBS之間的同層同頻干擾。文獻(xiàn)[3]考慮引入疊加編碼技術(shù)，并設(shè)計(jì)合理的功率控制方式實(shí)現(xiàn)干擾消除。由于干擾消除技術(shù)要求小區(qū)間嚴(yán)格同步、信令開銷大、算法復(fù)雜，因此在目前FBS網(wǎng)絡(luò)中并沒有得到廣泛采用。

Vikram等人[4]提出了異構(gòu)雙層網(wǎng)絡(luò)中的頻譜分割，不同類型的用戶接入不同的頻段以實(shí)現(xiàn)干擾避免。文獻(xiàn)[5]分析了基于CDMA的FBS網(wǎng)絡(luò)中的網(wǎng)絡(luò)容量與干擾避免問題。杜曉玉等人[6]提出了一種動(dòng)態(tài)調(diào)整異構(gòu)雙層網(wǎng)絡(luò)中頻率劃分的方式。文獻(xiàn)[7]提出了一種基于圖論聚合的干擾避免策略。文獻(xiàn)[8]提出一種基于干擾余量的干擾避免策略。文獻(xiàn)[9]提出了一種基于混合頻率指定的干擾避免策略。文獻(xiàn)[10]中提出了基于信道分配的干擾避免方式?？紤]到未來具大移動(dòng)數(shù)據(jù)流量需求，在FBS中引入多天線技術(shù)將成為必然，因此，對具有多天線FBS通過波束選擇與波束賦形進(jìn)行干擾避免也得到了廣泛的關(guān)注，但頻率利用率相對較低的缺陷成為干擾避免不得不解決的問題。

在FBS異構(gòu)雙層網(wǎng)絡(luò)中，F(xiàn)BS可以將小區(qū)間干擾協(xié)調(diào)與自組織技術(shù)結(jié)合，自適應(yīng)地調(diào)整其對信道的使用和發(fā)射功率，優(yōu)化室內(nèi)覆蓋，降低同層和跨層干擾，提升網(wǎng)絡(luò)容量和頻譜效率。文獻(xiàn)[14]提出了基于斯塔克伯格博弈的分布式功率控制算法，減小了雙層網(wǎng)絡(luò)中的跨層干擾問題。文獻(xiàn)[15]引入了超模博弈模型，并考慮了Femtocell的公平性，設(shè)計(jì)了Femtocell網(wǎng)絡(luò)的干擾抑制算法。文獻(xiàn)[16-19]研究了軟頻率復(fù)用技術(shù)在FBS異構(gòu)雙層網(wǎng)絡(luò)中的應(yīng)用，雖然復(fù)用度有所提高，但是由于在密集部署的FBS執(zhí)行軟頻率復(fù)用而進(jìn)行頻率規(guī)劃、基站間的大量協(xié)調(diào)或者集中式的節(jié)點(diǎn)等，與FBS自組織的特征不符。

為保障FBS與MBS形成的異構(gòu)雙層網(wǎng)絡(luò)中不同基站的和諧共存和正常運(yùn)行，本文對降低網(wǎng)絡(luò)同信道干擾進(jìn)行了研究，提出了在優(yōu)先保證宏用戶的效用，不對其造成干擾的情況下來進(jìn)行FBS的最優(yōu)子信道分配方案?？紤]到不同業(yè)務(wù)對網(wǎng)絡(luò)性能參數(shù)的要求不同，及針對抑制業(yè)務(wù)的需求不同，在子信道充足的情況下應(yīng)分配相應(yīng)數(shù)量的子信道，以滿足業(yè)務(wù)的吞吐量需求。因此，本文將把有效容量引入到效用函數(shù)中，保證用戶對多媒體業(yè)務(wù)的時(shí)延QoS要求，并提出根據(jù)抑制用戶的吞吐量需求自適應(yīng)分配子信道的算法。

同時(shí)，考慮到FBS是由用戶隨機(jī)部署，F(xiàn)BS會(huì)隨時(shí)接入或離開網(wǎng)絡(luò)， FBS需要有自組織能力，而Q-learning強(qiáng)化學(xué)習(xí)算法可以根據(jù)環(huán)境狀態(tài)的變化優(yōu)化自身的參數(shù)、性能指標(biāo)等，因此，本文將采用Q-learning機(jī)制設(shè)計(jì)分布式的子信道分配算法，其中，各個(gè)FBS都被設(shè)計(jì)成智能體，通過學(xué)習(xí)選擇最優(yōu)的子信道分配方案。采用Q算法的優(yōu)越性主要有：(1)收斂速度快；(2)把有效容量用Q學(xué)習(xí)實(shí)現(xiàn)；(3)考慮了同層跨層干擾。因此基于該學(xué)習(xí)理論可以大大增強(qiáng)FBS基站的自組織，自我學(xué)習(xí)的能力。

本文所提出的一種基于Q-learning的子信道分配方案，既保證大量部署的FBS不會(huì)對MBS帶來過高的跨層干擾，同時(shí)也降低了FBS之間的同層干擾。在仿真中，本文針對FBS稀疏部署和密集部署的場景分別進(jìn)行了算法的仿真驗(yàn)證。

2 Femtocell雙層網(wǎng)絡(luò)建模

2.1 建立Femtocell雙層網(wǎng)絡(luò)模型

本節(jié)提出FBS異構(gòu)雙層網(wǎng)絡(luò)下行鏈路場景，如圖1所示。一個(gè)代表性的MBS下面覆蓋了若干個(gè)FBS，每個(gè)FBS服務(wù)于它的家庭用戶(Femtocell User, FUE)，并且一個(gè)FUE只受控于一個(gè)FBS。FBS與MBS采用共信道的方式公用所有頻譜。

為了方便理解，現(xiàn)做下述定義：設(shè)所有基站(包括MBS和FBS)集合為,,表示MBS,表示FBS。設(shè)表示全部用戶集合，表示基站中的用戶集合，由于每個(gè)用戶僅由其中一個(gè)基站服務(wù)，因此，有如下等式成立,;。設(shè)所有子信道集合為,表示子信道，若表示基站分配給用戶的子信道集合，為了避免小區(qū)內(nèi)部用戶間的干擾，同一時(shí)刻每個(gè)小區(qū)中的某個(gè)子信道只能分配給其中一個(gè)用戶，即，,。用表示在子信道上基站到用戶的增益，用表示信道的高斯白噪聲，用表示在子信道上基站向用戶發(fā)射的功率，基站向用戶發(fā)射的功率的集合應(yīng)滿足：

圖1 Femtocell雙層網(wǎng)絡(luò)場景圖

由于無線網(wǎng)絡(luò)的時(shí)變特性，保障時(shí)延敏感業(yè)務(wù)(如視頻電話，視頻會(huì)議，在線視頻，游戲等)的QoS要求是當(dāng)前無線網(wǎng)絡(luò)面臨的非常重要且具有很大挑戰(zhàn)的問題，尤其是為移動(dòng)業(yè)務(wù)提供確定的時(shí)延保障。為了解決這個(gè)問題，一些學(xué)者提出了有效容量的概念，文獻(xiàn)[20]引入了超模博弈模型，并考慮了Femtocell的公平性，設(shè)計(jì)了Femtocell網(wǎng)絡(luò)的干擾抑制算法。有效容量被定義為在時(shí)變信道中有統(tǒng)計(jì)時(shí)延QoS指數(shù)約束下能達(dá)到的最大持續(xù)到達(dá)率。有效容量可以表示為

(4)

2.3 問題建模

除了不同業(yè)務(wù)對時(shí)延QoS要求不同外，有些用戶的業(yè)務(wù)對網(wǎng)絡(luò)最低吞吐量也有一定的要求，例如視頻會(huì)議、在線游戲、視頻直播等。因此，保證用戶最低吞吐量的要求是實(shí)現(xiàn)視頻會(huì)議、在線游戲、視頻直播等業(yè)務(wù)的前提。本文中基于Q-learning的子信道分配的目標(biāo)即為

(7)

3 基于Q-learning的子信道分配算法

由于無線頻譜資源的有限性，F(xiàn)emtocell異構(gòu)網(wǎng)絡(luò)可分配的子信道數(shù)量是有限的，這和Q-learning強(qiáng)化學(xué)習(xí)算法中有限的可執(zhí)行動(dòng)作非常匹配，因此，將Q-learning理論應(yīng)用于Femtocell異構(gòu)網(wǎng)絡(luò)中實(shí)現(xiàn)FBS的子信道分配具有先天優(yōu)勢。

(10)

下面分析非確定環(huán)境下Q-learning算法學(xué)習(xí)規(guī)則。在非確定性環(huán)境下，Q值和值可以定義為折算累積回報(bào)的期望值，則可定義Q值的表達(dá)式為

(12)

為了消除FBS對MBS造成的跨層干擾，宏蜂窩用戶MUE和MBS以及FBS和MBS之間存在如下信息交互，MUE將檢測的FBS信息周期性的傳遞給MBS，然后MBS向FBS發(fā)送自組織信號(hào)，即MUE周圍的干擾基站信息，MBS分配給MUE子信道信息(可以通過X2接口，或空中接口實(shí)現(xiàn))，如圖1所示，一個(gè)MBS覆蓋3個(gè)FBS，每個(gè)FBS采用封閉式接入，MBS控制其覆蓋下的FBS不對MUE產(chǎn)生干擾。

3.1 基于Q-learning的子信道分配架構(gòu)

為了利用Q-learning理論實(shí)現(xiàn)Femtocell異構(gòu)網(wǎng)絡(luò)中的子信道分配，需首先設(shè)計(jì)智能體，環(huán)境狀態(tài)，動(dòng)作，以及立即回報(bào)：

環(huán)境狀態(tài)：由于MBS已將MUE的位置信息以及已占用的子信道信息發(fā)送給各個(gè)FBS，時(shí)刻的狀態(tài)為，其中表示時(shí)刻FBS是否將對MUE產(chǎn)生干擾，若對MUE產(chǎn)生干擾，則表示為1，否則為0;表示時(shí)刻FBS將會(huì)干擾到的MUE數(shù)目，，MBS用戶所占用的子信道集合用表示；表示時(shí)刻在當(dāng)前Femtocell中FBS分配給其他用戶的子信道集合。前兩個(gè)參量和可通過MUE上傳給MBS的檢測信息得到。

(15)

Q-learning相對于其他強(qiáng)化學(xué)習(xí)算法的一個(gè)明顯優(yōu)勢就是在狀態(tài)轉(zhuǎn)移概率未知的情況下更新Q值，具體迭代更新公式如式(16)：

另外，F(xiàn)BS在更新策略時(shí)根據(jù)玻爾茲曼探索的方式更新策略空間，具體地，時(shí)刻的策略根據(jù)式(17)更新：

3.2 基于Q-learning的子信道分配算法

考慮不同業(yè)務(wù)對網(wǎng)絡(luò)吞吐量的需求差異，不同用戶需要的最低數(shù)據(jù)速率差異很大，基于以上Q-learning框架，本節(jié)提出具有數(shù)據(jù)速率QoS保障的基于Q-learning的子信道分配算法，具體算法步驟為：

4.3.2 物鏡頭污染 解決辦法：（1）標(biāo)本加樣不可太多，否則堆積在一起厚度較大，可以攤開平鋪，擴(kuò)大面積，也易于尋找，避免目標(biāo)重疊；（2）在不違反規(guī)則的情況下用低倍鏡觀察，因?yàn)槭褂玫捅剁R時(shí)，物鏡頭距離觀察目標(biāo)尚有一段安全距離，可以避免標(biāo)本接觸物鏡頭；（3）加蓋蓋玻片，并且保持蓋玻片上方面的干燥；（4）油浸鏡頭使用后應(yīng)用擦鏡紙蘸二甲苯及時(shí)擦拭，如果干結(jié)，清潔難度較大，應(yīng)用擦鏡紙沾濕清潔液浸潤，擦拭時(shí)要用力。

開始學(xué)習(xí)

學(xué)習(xí)結(jié)束。

4 仿真配置與分析

在仿真中，本文基于Matlab建立Femtocell異構(gòu)雙層網(wǎng)絡(luò)靜態(tài)仿真系統(tǒng)，為了驗(yàn)證本文所提保證用戶數(shù)據(jù)速率的基于Q-learning的子信道分配算法(QSA)的可行性，本文對FBS稀疏部署場景與FBS密集部署場景分別進(jìn)行了仿真驗(yàn)證。

(1)FBS稀疏部署場景如圖2所示，MBS基站位于網(wǎng)絡(luò)中心，覆蓋半徑為500 m, 3個(gè)(以3個(gè)為例進(jìn)行說明)FBS部署距離大于100 m，信道是符合獨(dú)立同分布的瑞利衰落信道，宏用戶MUE和家庭用戶FUE的路徑損耗分別是和，其中，是收發(fā)信機(jī)之間的距離，，其他仿真參數(shù)如表1所示，仿真結(jié)果以FBS 1為例進(jìn)行說明，F(xiàn)BS周圍有兩個(gè)MUE，在FBS 1中有兩個(gè)FUE, FUE1的最低數(shù)據(jù)速率要求是100 kbit/s, FUE2的最低數(shù)據(jù)速率要求是300 kbit/s。根據(jù)所提算法進(jìn)行子信道分配后的情況如表2所示。其中“0”表示該子信道未分配給該用戶，“1”表示子信道已經(jīng)分配給該用戶。MUE的子信道是已經(jīng)分配好的，基于Q-learning的子信道分配算法完成后，F(xiàn)BS 1將第7個(gè)子信道分配給FUE 1，將第2,3,6個(gè)子信道分配給FUE 2。該算法將除了分配給宏用戶以外的其他信道{2,3,6,7}都分配給了FBS1，這是因?yàn)樵贔BS稀疏部署場景中，例如在偏遠(yuǎn)鄉(xiāng)村中，F(xiàn)BS之間距離遠(yuǎn)，并且其發(fā)射功率較小，因此FBS之間的干擾可以忽略；即，F(xiàn)BS在進(jìn)行子信道分配時(shí)，不需要考慮其他FBS的影響，只需考慮是否對周圍宏用戶造成干擾。FBS1將1個(gè)子信道分配給了FUE1，3個(gè)子信道分配給FUE2，是由于兩個(gè)用戶的最低數(shù)據(jù)速率要求不同，F(xiàn)UE2要求的最低數(shù)據(jù)速率較高因此分配的子信道數(shù)較多。

(2)FBS密集部署場景如圖3所示，與FBS稀疏部署不同之處在于FBS彼此相鄰部署，F(xiàn)BS之間的相互干擾不可忽略。在仿真中以FBS1和FBS2為例，F(xiàn)BS1和FBS2周邊有1個(gè)宏用戶受到干擾，即MUE2，另外，F(xiàn)BS1中有兩個(gè)家庭用戶(FUE 1和FUE 2)，它們的最低數(shù)據(jù)速率要求分別是和, FBS2中也有兩個(gè)家庭用戶，分別是FUE A和FUE B，它們的最低數(shù)據(jù)速率要求分別是和，其他仿真參數(shù)同樣參見表1。經(jīng)過子信道分配得出結(jié)果如表3所示。分配給FBS1中兩用戶的子信道分別是,；分配給FBS2中兩用戶的子信道分別是，。兩個(gè)FBS在進(jìn)行子信道分配時(shí)不僅要考慮是否對宏用戶產(chǎn)生干擾，同時(shí)也需要考慮FBS之間的相互干擾，所以FBS2沒有將分配給FUE2的子信道分配給他所控制的家庭用戶。仿真結(jié)果與理論分析相一致，證實(shí)了所提算法的可行性。

圖2 FBS稀疏部署場景圖

表1 仿真相關(guān)參數(shù)

表2 FBS稀疏部署場景下子信道分配結(jié)果

圖3 Femtocell密集部署場景

圖4顯示的是宏用戶單個(gè)子信道上的平均有效容量隨家庭小區(qū)數(shù)的變化趨勢。從圖中可以看出所提算法有效地保障了宏用戶的吞吐量，隨著家庭小區(qū)數(shù)目的增加，宏用戶單個(gè)子信道上的平均有效容量略有減少，但宏用戶的吞吐量不低于250 kbit/s，這是因?yàn)镕BS在分配子信道時(shí)與MBS有信息交互，可以保障家庭基站不對附近宏用戶產(chǎn)生干擾，宏用戶有效容量略微下降是因?yàn)?，隨著家庭基站數(shù)目的增多，家庭基站有可能會(huì)對遠(yuǎn)處宏用戶產(chǎn)生輕微干擾。另外，從圖4中也可以看到所提算法(QSA)的宏用戶有效容量遠(yuǎn)遠(yuǎn)大于隨機(jī)分配子信道(RSA)宏用戶的有效容量，因?yàn)樗崴惴ㄓ行У乇苊饬思彝セ緦Ω浇暧脩舻母蓴_。

表3 FBS密集部署子信道分配結(jié)果

圖5顯示了家庭用戶單個(gè)子信道的平均有效容量隨統(tǒng)計(jì)時(shí)延指數(shù)的變化趨勢，從圖5中可以看出，家庭用戶單個(gè)子信道的平均有效容量隨統(tǒng)計(jì)時(shí)延指數(shù)的增加而降低，但是當(dāng)時(shí)延指數(shù)較小時(shí)，即, FUE有效容量變化不大，這是由于當(dāng)時(shí)延指數(shù)很小時(shí)，對有效容量的影響很小，用戶可獲得的有效容量接近于香農(nóng)容量，時(shí)，F(xiàn)UE有效容量變化明顯，因此，時(shí)延指數(shù)的有效設(shè)定可以保證不同用戶對時(shí)延QoS指標(biāo)的要求。另外，可以發(fā)現(xiàn)所提算法獲得的平均有效容量遠(yuǎn)遠(yuǎn)大于隨機(jī)分配子信道獲得的有效容量，并且隨著家庭小區(qū)數(shù)的增多，所提算法家庭用戶單個(gè)子信道上的平均有效容量略有下降，而隨機(jī)分配子信道算法的家庭用戶單個(gè)子信道上的平均有效容量迅速下降，這是由于所提子信道分配算法有效地降低了家庭用戶之間的同層干擾，從而獲得更大的有效容量。

5 結(jié)束語

本文研究了在保障用戶時(shí)延QoS和抑制用戶對網(wǎng)絡(luò)吞吐量不同要求指標(biāo)的基礎(chǔ)上研究了Femtocell異構(gòu)雙層網(wǎng)絡(luò)中基于Q-learning的子信道分配策略。為了保障用戶時(shí)延QoS，本文首先基于有效容量的概念建立了Femtocell異構(gòu)雙層網(wǎng)絡(luò)模型。再者考慮到家庭基站是隨機(jī)接入網(wǎng)絡(luò)，需要有自配置網(wǎng)絡(luò)參數(shù)，自我優(yōu)化的能力，因此，本文基于Q-learning理論建立Q-學(xué)習(xí)框架，設(shè)計(jì)了基于Q-learning的子信道分配算法，在該算法中，每個(gè)家庭基站都是一個(gè)智能體，在分配子信道時(shí)既避免了FBS與MBS之間的跨層干擾，又降低了FBS之間的同層干擾，并且各家庭基站可根據(jù)用戶對網(wǎng)絡(luò)吞吐量不同需求自適應(yīng)地分配子信道數(shù)目。最后，本文分別針對FBS稀疏部署與密集部署場景對所提算法進(jìn)行了仿真驗(yàn)證，并與隨機(jī)分配子信道算法進(jìn)行對比，證實(shí)了所提算法的有效性、優(yōu)越性。但本研究還有待完善的地方，例如子信道分配證明收斂性的問題，這也是下一步的研究方向。

圖4 宏用戶單個(gè)子信道的平均有效容量與家庭小區(qū)數(shù)的關(guān)系

圖5 家庭用戶單個(gè)子信道的平均有效容量與統(tǒng)計(jì)時(shí)延指數(shù)的關(guān)系

[1] CHEN W T. Analytic estimation for uplink capacity reduction due to co-channel interference in LTE networks[J]., 2014, 21(6): 1775-1782. doi:10.1007/s11276-014-0883-y.

[2] ALADE T, ZHU H, and WANG J. Uplink co-channel interference analysis and cancellation in femtocell based distributed antenna system[C]. IEEE International Conference on Communication (ICC) 2010, Cape Town, South Africa, 2010: 1-5.doi:10.1109/ICC.2010.5501848.

[3] MOHSEN M and MAJID G. Uplink scheduling in wireless networks with successive interference cancellation[J]., 2014, 13(5): 1132-1144. doi:10.1109/TMC.2013.56.

[4] VIKRAM C and JEFFREY J A. Spectrum allocation in tiered cellular networks[J]., 2009, 57(10): 3059-3068. doi:10.1109/TCOMM.2009.10.080529.

[5] TSIROPOU E E, VAMVAKAS P, PAPAVASSILIOU S,Combined power and rate allocation in self-optimized multi-service two-tier femtocell networks[J]., 2015, 72(12): 38-48. doi:10.1016/j.comcom.2015.05.012.

[6] 杜曉玉, 孫力娟, 郭劍,等. 異構(gòu)無線傳感器網(wǎng)絡(luò)覆蓋優(yōu)化算法[J]. 電子與信息學(xué)報(bào), 2014, 36(3): 696-702. doi:10.3724/SP.J.1146.2013.00730.

DU Xiaoyu, SUN Lijuan,GUO Jian,. Coverage optimization algorithm for heterogeneous WSNs[J].&, 2014, 36(3): 696-702. doi:10.3724/SP.J.1146.2013.00730.

[7] LI Hongjia, XU Xiaodong, HU Dan,. Clustering strategy based on graph method and power control for frequency resource management in femtocell and MBS overlaid system[J]., 2011, 13(6): 664-677. doi:10.1109/JCN.2011.6157483.

[8] HAN Bin, WANG Wenbo,LI Yong,. Investigation of interference margin for the co-existence of MBS and femtocell in orthogonal frequency division multiple access systems[J]., 2013, 7(1):59-67. doi:10.1109/JSYST.2012.2223536.

[9] GUVENC I, JEONG M R, WATANABE F J,A hybrid frequency assignment for femtocells and coverage area analysis for co-channel operation[J]., 2008, 12(12): 880-882. doi:10.1109/LCOMM.2008.081273.

[10] ZHENG K, WANG Y, LIN C,.Graph-based interference coordination scheme in orthogonal frequency-division multiplexing access femtocell networks[J]., 2011, 5(17): 2533-2541. doi:10.1049/iet-com.2011.0134.

[11] PARK S S, SEO W H, KIM Y J,. Beam subset selection strategy for interference reduction in two-tier femtocell networks[J]., 2010, 9(11): 3440-3449. doi:10.1109/TWC.2010.092410.091171.

[12] 張海波, 穆立雄, 陳善學(xué), 等. OFDMA毫微微小區(qū)雙層網(wǎng)絡(luò)中基于分組的資源分配[J]. 電子與信息學(xué)報(bào)，2016，38(2): 262-268. doi:10.11999/JEIT150699.

ZHANG Haibo, MU Lixiong, CHEN Shanxue,. A cluster-based resource allocation in a two-tier OFDMA femtocell networks[J].&, 2016, 38(2): 262-268. doi:10.11999/JEIT150699.

[13] CHANG Chihwen. An interference-avoidance code assignment strategy for the hierarchical two-dimensional-spread MC-DS-CDMA system: aprototype of cognitive radio femtocell system[J]., 2012, 61(1): 166-184. doi:10.1109/TVT.2011.2173808.

[14] KANG Xin, LIANG Yingchang, and GARG H K. Distributed power control for spectrum-sharing femtocell networks using stackelberg game[C]. 2011 IEEE International Conference on Communications (ICC), Kyoto, Japan, 2011: 1-5. doi:10.1109/icc.2011.5962650.

[15] AHMED M and YOON S G. Dynamic access and power control scheme for interference mitigation in femtocell networks[J].(TIIS), 2015, 9(11): 4331-4346. dio: 10.3837/tiis. 2015.11.004.

[16] JIN Fan, ZHANG Rong, and HANZO L. Fractional frequency reuse aided twin-layer femtocell networks: Analysis, aesign and optimization[J]., 2013, 61(5): 2074-2085. doi:10.1109/TCOMM.2013.022713.120340.

[17] JIN Fan, ZHANG Rong, and HANZO L. Frequency-swapping aided femtocells in twin-layer cellular networks relying on fractional frequency reuse[C]. 2012 IEEE Wireless Communications and Networking Conference (WCNC), Paris, France, 2012: 3097-3101. doi:10.1109/WCNC.2012.6214337.

[18] SALATI A H, NASIRI-KENARI M, and SADEGHI P. Distributed subband, rate and power allocation in OFDMA based two-tier femtocell networks using fractional frequency reuse[C]. 2012 IEEE Wireless Communications and Networking Conference (WCNC), Paris, France, 2012: 2626-2630. doi:10.1109/WCNC.2012.6214243.

[19] VALCARCE A, LUCAS M, and LOPEZ-PEREZ D. In-cabin downlink cell planning with fractional frequency reuse[C]. 18th European Wireless Conference European Wireless, Poznan, Poland, 2012: 1-5.

[20] WU Dapeng and NEGI R. Effective capacity: A wireless link model for support of quality of service[J]., 2003, 2(4): 630-643. doi: 11.1109/TWC.2003.814353.

[21] WATKINS C and DAYANP. Technical note: Q-Learning[J]., 1992, 8(3/4): 279-292. dio: 10.1023/A:1022676722315.

Subchannel Allocation Scheme for Two-tire Femtocell Networks Based on Q-learning

YANG Xiuqing①CHEN Yu①LI Zhengfu②

①(,,100176,)②(,,100876,)

In order to improve the spectrum efficiency in the Femtocell home Base Station (FBS) heterogeneous network, FBS and Macrocell Base Station (MBS) are usually deployed with the same frequency. However, the same frequency deployment will inevitably lead to larger co-channel interference. In order to achieve the large-scale deployment of FBS, reducing the interference of the network with the channel is particularly important.In this paper, a sub channel allocation scheme is propsed based on Q-learning. It can ensure that FBS will not bring high cross-layer interference of MBS, while it reduces the same layer interference between two FBS. The simulation of the algorithm of FBS sparse deployment and dense deployment situation are performed, respectively. Simulation results show that this algorithm reduces the same layer interference and verifies the correctness of the theory.

Femtocell; Two-tire networks; Q-learning; Subchannel allocation

TN929.5

A

1009-5896(2017)03-0598-07

10.11999/JEIT160453

2016-05-03；改回日期：2016-11-15；

2016-12-29

楊秀清 yangxql@163.com

北京市教育委員會(huì)科技計(jì)劃一般項(xiàng)目(KM201710858003)

The Science and Technology Projects of Beijing Municipal Education Commission(KM201710858003)

楊秀清： 女，1967年生，副教授，研究方向?yàn)闊o線通信技術(shù).

陳 禹： 男，1977年生，講師，研究方向?yàn)橐苿?dòng)通信技術(shù)與理論.

李正富： 男，1991年生，碩士生，研究方向?yàn)槲磥硪苿?dòng)通信網(wǎng)絡(luò).