金仙美，王佳妮，趙力強(qiáng)， 朱伏生

(1.西安電子科技大學(xué) 通信工程學(xué)院，陜西 西安 710068;2.廣東省新一代通信與網(wǎng)絡(luò)創(chuàng)新研究院,廣東 廣州 510700)

0 引言

隨著信息技術(shù)的發(fā)展，接入互聯(lián)網(wǎng)的流量大小 與移動(dòng)網(wǎng)絡(luò)應(yīng)用場(chǎng)景數(shù)量都在飛速增長(zhǎng)[1]。多樣化的業(yè)務(wù)場(chǎng)景對(duì)時(shí)延、可靠性、帶寬、接入數(shù)量等通信需求越發(fā)嚴(yán)苛，數(shù)目激增的無(wú)線通信和IoT設(shè)備導(dǎo)致用戶需求和無(wú)線資源與算力資源之間的矛盾愈發(fā)突出?，F(xiàn)有的資源分配模式單一，且缺少用戶行為感知，難以精確刻畫(huà)業(yè)務(wù)需求變化趨勢(shì)，導(dǎo)致運(yùn)營(yíng)商提供的網(wǎng)絡(luò)服務(wù)質(zhì)量和網(wǎng)絡(luò)管理質(zhì)量下降[2]。解決問(wèn)題要求運(yùn)營(yíng)商實(shí)時(shí)感知網(wǎng)絡(luò)狀態(tài)，預(yù)測(cè)用戶需求變化，提前調(diào)配、預(yù)留網(wǎng)絡(luò)資源，避免資源緊缺現(xiàn)象發(fā)生。因此需要設(shè)計(jì)面向6G(6th Generation Mobile Communication System)網(wǎng)絡(luò)的通感算融合資源分配算法，實(shí)現(xiàn)無(wú)線資源精確、按需分配，提高網(wǎng)絡(luò)資源利用率的同時(shí)保證用戶的服務(wù)質(zhì)量(Quality of Service，QoS)。

而無(wú)線接入網(wǎng)中，網(wǎng)絡(luò)環(huán)境復(fù)雜多變，網(wǎng)絡(luò)中的資源種類繁多，但資源總量有限[3]，傳統(tǒng)的基于數(shù)學(xué)模型的網(wǎng)絡(luò)優(yōu)化方法不再適用[4-6],因此算力、存儲(chǔ)以及網(wǎng)絡(luò)資源分配問(wèn)題得到許多研究人員的關(guān)注。其中深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning，DRL)算法可以通過(guò)與未知環(huán)境交互來(lái)實(shí)現(xiàn)系統(tǒng)性能的自我優(yōu)化，從而受到極大的研究關(guān)注[7-9]。文獻(xiàn)[10]使用幾種DRL算法敏銳地捕捉來(lái)自不同切片的用戶需求，從而產(chǎn)生資源分配策略，并在平臺(tái)上實(shí)施和評(píng)估這些算法，驗(yàn)證所研究方法的優(yōu)越性能。為使資源分配更加精細(xì)化，有研究者提出基于多時(shí)間尺度的資源分配方法。文獻(xiàn)[11]提出一個(gè)分層DL框架，在每個(gè)長(zhǎng)時(shí)隙中，服務(wù)提供商采用DRL算法來(lái)確定切片配置參數(shù)，在每個(gè)短時(shí)隙和小時(shí)隙中增強(qiáng)移動(dòng)帶寬(Enhanced Mobile Broadband，eMBB)和低時(shí)延高可靠通信(Ultra-Reliable Low-Latency Communications，uRLLC)調(diào)度器使用DNN算法分別將無(wú)線資源分配給相應(yīng)的用戶。文獻(xiàn)[12]中也提出一種雙層控制粒度的智能無(wú)線接入網(wǎng)(Radio Access Network，RAN)切片策略，旨在最大化服務(wù)的長(zhǎng)期QoS和切片SE，其中上層控制器通過(guò)業(yè)務(wù)流量的動(dòng)態(tài)變化自適應(yīng)調(diào)節(jié)切片配置以確保QoS性能，而下層控制器在小時(shí)間尺度上給用戶分配無(wú)線資源來(lái)提高切片的SE。但是上述資源分配算法沒(méi)有考慮頻繁調(diào)整資源分配策略帶來(lái)的損耗問(wèn)題。

綜上，常見(jiàn)的資源分配算法均只考慮在同一時(shí)間粒度內(nèi)對(duì)資源進(jìn)行調(diào)整，資源管理粒度單一，難以應(yīng)對(duì)高度復(fù)雜的場(chǎng)景建模，隨后衍生出雙時(shí)間尺度資源分配算法。雙時(shí)間尺度的資源分配算法在兩個(gè)不同的層面分別采用大尺度的粗粒度資源管控和小尺度的精細(xì)化資源調(diào)配，對(duì)資源的管理更加高效方便。但在無(wú)線通信的實(shí)際應(yīng)用場(chǎng)景中，基站內(nèi)資源分配操作的更新，需要耗費(fèi)基站本身的計(jì)算資源。因此，適當(dāng)?shù)母倪M(jìn)資源調(diào)整的頻率，在多時(shí)間粒度上給基站和用戶的資源進(jìn)行調(diào)整，可以減少調(diào)整資源的成本，從而緩解算法在實(shí)際場(chǎng)景中占用資源較多的問(wèn)題。

針對(duì)上述面臨的一些復(fù)雜的無(wú)線接入網(wǎng)智能感知與資源分配問(wèn)題，提出一種面向6G通感算融合的多粒度資源分配算法。將RAN中的通信、感知、計(jì)算資源聯(lián)合優(yōu)化問(wèn)題建模為最大化效用函數(shù)問(wèn)題(即所有用戶的時(shí)延、頻譜效率以及調(diào)整資源成本的加權(quán)和)，并滿足用戶所能容忍的最小數(shù)據(jù)傳輸速率、所有用戶與基站占用的資源不超過(guò)系統(tǒng)總資源等約束，進(jìn)而獲得最優(yōu)的資源分配策略。

1 系統(tǒng)模型

對(duì)于用戶的感知信息(用戶未來(lái)流量、業(yè)務(wù)類型)，采用常用的方法進(jìn)行感知。文中對(duì)流量的預(yù)測(cè)包含用戶的流量預(yù)測(cè)和基站的流量預(yù)測(cè)，統(tǒng)稱為流量預(yù)測(cè)，采用多步預(yù)測(cè)的Seq2Seq模型，由于其內(nèi)部存在編碼器和解碼器兩部分，可以更好地表征歷史數(shù)據(jù)特征并且用此特征進(jìn)行未來(lái)數(shù)據(jù)的預(yù)測(cè)。在業(yè)務(wù)估計(jì)方面采用的卷積神經(jīng)網(wǎng)絡(luò)(CNN)自動(dòng)提取流量數(shù)據(jù)特征進(jìn)行業(yè)務(wù)估計(jì)。本文重點(diǎn)在于利用流量預(yù)測(cè)與業(yè)務(wù)估計(jì)的結(jié)果實(shí)現(xiàn)基于通感算融合的多粒度資源分配算法，下面重點(diǎn)說(shuō)明對(duì)多粒度資源分配算法的建模。

1.1 數(shù)據(jù)傳輸模型

時(shí)間維度被劃分為多個(gè)傳輸時(shí)間間隔(Transmission Time Interval，TTI)，某一時(shí)間間隔被記為t∈{0,1,2,3,…,T}，T為資源分配策略中的最大有效時(shí)間長(zhǎng)度。共有N個(gè)用戶設(shè)備與基站之間通過(guò)無(wú)線鏈路進(jìn)行信息傳輸，某一用戶設(shè)備被記為n∈{1,2,3,…,N}。則用戶n在某一時(shí)間間隔t內(nèi)占用的帶寬資源表示為：

Bn,t=1.8×105×en,t,

(1)

式中，en,t為基站在某一時(shí)間間隔t內(nèi)分配給用戶n的RB數(shù)量，而每個(gè)RB所占用的帶寬為180 kHz。

在時(shí)間間隔t內(nèi)用戶n與基站之間的信噪比(signal-to-Noise Ratio，SNR)可以定義為：

(2)

式中，σ2為加性高斯白噪聲功率，gn,t為用戶n與基站相連接的無(wú)線信道在時(shí)間間隔t內(nèi)的信道增益，pn,t為無(wú)線信道的發(fā)射功率，那么基站在時(shí)間間隔t內(nèi)向用戶n傳輸數(shù)據(jù)的速率可以表示為：

(3)

(4)

1.2 基站計(jì)算模型

基站處理數(shù)據(jù)的速率也是影響用戶QoE的一個(gè)重要因素，而基站處理數(shù)據(jù)的速率與基站的計(jì)算資源有關(guān)。因此，本節(jié)對(duì)基站的計(jì)算過(guò)程進(jìn)行建模。

基站在某一時(shí)隙t內(nèi)的計(jì)算速率定義為：

(5)

式中，ωt為基站分配的計(jì)算資源，單位為cycles/s，φBS>0表示基站處理一位數(shù)據(jù)流所需的計(jì)算周期，單位為cycles/bit，由應(yīng)用程序的屬性決定，假設(shè)該值為一個(gè)定值，不會(huì)隨時(shí)間的變化而變化，則基站在時(shí)間間隔t內(nèi)處理所有數(shù)據(jù)的時(shí)延可以表示為：

(6)

式中，ft為基站在某一時(shí)間間隔t內(nèi)需要處理的數(shù)據(jù)量大小，為所有用戶的流量之和。

1.3 用戶QoE建模

記基站在時(shí)間間隔t內(nèi)發(fā)送給某一用戶設(shè)備n的數(shù)據(jù)量為fn,t，則下一個(gè)時(shí)間間隔t+1內(nèi)基站需要發(fā)送給用戶n的流量可以表示為：

(7)

(8)

數(shù)據(jù)流從基站側(cè)傳輸?shù)接脩舳说臅r(shí)延包括傳輸延遲和基站處理延遲兩部分，其中傳輸時(shí)延由基站與用戶n之間的數(shù)據(jù)傳輸速率決定，而基站處理時(shí)延由基站的計(jì)算資源決定。在本節(jié)所述的系統(tǒng)模型中，時(shí)延被定義為傳輸時(shí)延和基站處理時(shí)延的總和。因此，數(shù)據(jù)流從基站傳輸?shù)接脩舳薾的總時(shí)延被建模為：

Dn,t=μt+δn,t,

(9)

式中，μt為基站處理時(shí)延，δn,t為傳輸時(shí)延。當(dāng)基站需要傳輸?shù)接脩舳说臄?shù)據(jù)流較小時(shí)，基站處理時(shí)延接近于0，此時(shí)，Dn,t主要由傳輸時(shí)延決定；當(dāng)基站需要傳輸?shù)接脩舳说臄?shù)據(jù)流較大時(shí)，Dn,t主要由基站處理時(shí)延和傳輸時(shí)延共同決定。

1.4 優(yōu)化問(wèn)題建模

本文所提算法與其他資源分配算法的不同之處在于考慮由于實(shí)時(shí)調(diào)整資源分配策略而造成的資源損耗問(wèn)題，并將該問(wèn)題轉(zhuǎn)化為一個(gè)多時(shí)間粒度資源分配問(wèn)題，多時(shí)間粒度體現(xiàn)在算法所生成策略的有效作用時(shí)間，盡可能減少資源調(diào)整的次數(shù)。本文通過(guò)調(diào)整兩次資源調(diào)整之間的時(shí)間間隔實(shí)現(xiàn)資源調(diào)整頻率的降低，而該時(shí)間間隔的大小是由資源分配算法本身所決定的，與當(dāng)前以及未來(lái)的環(huán)境狀態(tài)有關(guān)，是一個(gè)不確定的值，也就是在多個(gè)時(shí)間粒度上進(jìn)行資源分配，不是以固定的頻次分配資源，即多粒度資源分配。所設(shè)計(jì)的資源分配算法在狀態(tài)Si下進(jìn)行第i次決策時(shí)所產(chǎn)生的資源分配策略Ai中不僅包含多種資源分配的數(shù)值大小，也包含這些資源的有效作用時(shí)間τi，其中Si與Ai將在下一節(jié)進(jìn)行詳細(xì)介紹。本節(jié)從用戶的QoE、SE和執(zhí)行動(dòng)作的成本三個(gè)角度出發(fā)構(gòu)建系統(tǒng)的效用函數(shù)，可表示為：

(10)

(11)

(12)

式中，βn,t,1,β2分別為數(shù)據(jù)流總時(shí)延和平均SE的權(quán)重因子，η為資源調(diào)整成本的權(quán)重因子，表示這三個(gè)量在效用函數(shù)中的重要性。由于不同的業(yè)務(wù)對(duì)時(shí)延需求不同，因此權(quán)重因子βn,t,1在用戶訪問(wèn)不同的業(yè)務(wù)時(shí)所取的值也不相同。對(duì)于用戶的業(yè)務(wù)估計(jì)采用常用的CNN進(jìn)行。

本文的目標(biāo)是獲得最優(yōu)的RAN資源分配策略，該策略能夠在滿足資源調(diào)度約束的同時(shí)，最大化系統(tǒng)的效用函數(shù)，總結(jié)如下：

maxUi(Si,Ai)

C4:ωt+ωE<ωmax,?t∈τi,

(13)

2 基于Dueling DQN的多粒度資源分配方案設(shè)計(jì)

決斗深度Q網(wǎng)絡(luò)(Dueling Deep Q-network，Dueling DQN)算法是DQN算法的改進(jìn)版。兩者的主要區(qū)別在于所采用的用于擬合Q函數(shù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不同，如圖1所示。

圖1 DQN算法與Dueling DQN算法Q網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比圖

DQN算法中采用Q網(wǎng)絡(luò)由三個(gè)卷積層以及兩個(gè)全連接層構(gòu)成，DQN的Q網(wǎng)絡(luò)是單流的，該網(wǎng)絡(luò)結(jié)構(gòu)只考慮在當(dāng)前狀態(tài)下采用哪個(gè)動(dòng)作可以獲得最大的獎(jiǎng)勵(lì)值。而Dueling DQN算法中采用的Q網(wǎng)絡(luò)是雙流的，分別表示狀態(tài)值函數(shù)和動(dòng)作優(yōu)勢(shì)函數(shù)，利用匯聚的兩種狀態(tài)函數(shù)擬合Q函數(shù)，該網(wǎng)絡(luò)結(jié)構(gòu)著重關(guān)注重要狀態(tài)，忽略不重要狀態(tài)，因此收斂速度更快，更容易尋找最優(yōu)策略。

根據(jù)Dueling DQN算法的網(wǎng)絡(luò)結(jié)構(gòu)，狀態(tài)值函數(shù)可以表示為Vπ(Si;θ,ξ)，動(dòng)作優(yōu)勢(shì)函數(shù)可以表示為Aπ(Si,Ai;θ,α)。其中，θ為三個(gè)卷積層的網(wǎng)絡(luò)參數(shù)，ξ表示狀態(tài)值函數(shù)的全連接層的網(wǎng)絡(luò)參數(shù)，α表示動(dòng)作優(yōu)勢(shì)函數(shù)全連接層的網(wǎng)絡(luò)參數(shù)，為得到唯一的V(Si;θ,ξ)和A(Si,Ai;θ,α)，得到Q函數(shù)為：

Q(Si,Ai;θ,α,ξ)=V(Si;θ,ξ)+

(14)

由于DQN算法架構(gòu)均需要構(gòu)建狀態(tài)集、動(dòng)作集以及獎(jiǎng)勵(lì)函數(shù)，因此根據(jù)本文的場(chǎng)景，將分別介紹這三者在本文中的定義。

(1) 狀態(tài)集定義

(15)

所以，本系統(tǒng)的狀態(tài)集可以表示為：

S={S1,S2,…,Si}。

(16)

(2) 動(dòng)作集定義

在本文所構(gòu)建的模型中，資源分配算法需要求解出基站所需的計(jì)算資源、基站為每個(gè)用戶分配的RB資源和發(fā)射功率資源。因此每一次動(dòng)作Ai包含需要分配的各種資源的數(shù)值大小以及資源分配結(jié)果的有效作用時(shí)間，可以表示為：

(17)

(3) 獎(jiǎng)勵(lì)函數(shù)

在強(qiáng)化學(xué)習(xí)中獎(jiǎng)勵(lì)值越大，代表選擇的策略越符合優(yōu)化目標(biāo)。在本節(jié)中，目標(biāo)是在滿足約束的同時(shí)最大化系統(tǒng)效用函數(shù)值。所以系統(tǒng)效用函數(shù)值越大，策略獲得的獎(jiǎng)賞越大，獎(jiǎng)賞可以表示為：

R(Si,Ai)=Ui(Si,Ai)。

(18)

DQN的目標(biāo)在于求解出累積獎(jiǎng)賞最大時(shí)所對(duì)應(yīng)的策略，表示為：

(19)

式中，Q(Si,Ai)是一個(gè)無(wú)限期折扣報(bào)酬，λi是一個(gè)折扣因子，當(dāng)i足夠大時(shí)，λi趨近于零。

在狀態(tài)Si下采取行動(dòng)Ai是一個(gè)馬爾科夫過(guò)程，根據(jù)馬爾科夫狀態(tài)轉(zhuǎn)移的過(guò)程可知，下一個(gè)狀態(tài)Si，與之前的狀態(tài)均無(wú)關(guān)，僅僅與此刻的狀態(tài)以及所采取的行動(dòng)有關(guān)，因此Q函數(shù)的更新可以為：

Q(Si,Ai)→Q(Si,Ai)+ψ(R(Si,Ai)+

λmaxQ(Si，,Ai，)-Q(Si,Ai))，

(20)

式中，ψ為學(xué)習(xí)率。

在Dueling DQN算法中包含兩個(gè)與Q函數(shù)相關(guān)并且結(jié)構(gòu)相同的DNN，其中一個(gè)DNN用于擬合Q函數(shù)的值，被稱為評(píng)估Q網(wǎng)絡(luò)，表示為：

Q(Ai,Si;θ,α,ξ)≈Q*(Ai,Si),

(21)

式中，θ為評(píng)估Q網(wǎng)絡(luò)中設(shè)定的三個(gè)卷積層的網(wǎng)絡(luò)參數(shù)，ξ表示評(píng)估Q網(wǎng)絡(luò)中狀態(tài)值函數(shù)全連接層的網(wǎng)絡(luò)參數(shù)，α表示評(píng)估Q網(wǎng)絡(luò)中動(dòng)作優(yōu)勢(shì)函數(shù)全連接層的網(wǎng)絡(luò)參數(shù)。另一個(gè)DNN用于得到目標(biāo)Q值，被稱為目標(biāo)Q網(wǎng)絡(luò)，表示為：

(22)

式中，θ-為目標(biāo)Q網(wǎng)絡(luò)中設(shè)定的三個(gè)卷積層的網(wǎng)絡(luò)參數(shù)，ξ-表示目標(biāo)Q網(wǎng)絡(luò)中狀態(tài)值函數(shù)全連接層的網(wǎng)絡(luò)參數(shù)，α-表示目標(biāo)Q網(wǎng)絡(luò)中動(dòng)作優(yōu)勢(shì)函數(shù)全連接層的網(wǎng)絡(luò)參數(shù)。

在學(xué)習(xí)階段，會(huì)將隨機(jī)抽樣的樣本(Si,Ai,R(Si,Ai),Si，)存放到經(jīng)驗(yàn)池中，只有當(dāng)經(jīng)驗(yàn)池中所存儲(chǔ)的樣本數(shù)量大于隨機(jī)抽樣的樣本數(shù)量時(shí)才開(kāi)始訓(xùn)練。在訓(xùn)練階段，agent從經(jīng)驗(yàn)池中隨機(jī)抽取小批量樣本(si,ai,r(si,ai),si，)，將si作為評(píng)估Q網(wǎng)絡(luò)的輸入，(r(si,ai),si，)作為目標(biāo)Q網(wǎng)絡(luò)的輸入。在每一步訓(xùn)練中，Dueling DQN都通過(guò)最小化損失函數(shù)的方式對(duì)兩個(gè)DNN的參數(shù)進(jìn)行更新，損失函數(shù)可以表示為：

將從經(jīng)驗(yàn)池中抽取的樣本輸入到評(píng)估Q網(wǎng)絡(luò)中計(jì)算該網(wǎng)絡(luò)參數(shù)θ對(duì)應(yīng)的梯度θ，再使用Adam算法對(duì)網(wǎng)絡(luò)參數(shù)θ進(jìn)行更新。并每隔一段時(shí)間將評(píng)估Q網(wǎng)絡(luò)的參數(shù)〈θ,α,ξ〉直接賦值給〈θ-,α-,ξ-〉，實(shí)現(xiàn)目標(biāo)Q網(wǎng)絡(luò)參數(shù)更新。整體算法流程如算法1所示。

算法1 基于Dueling DQN的多粒度資源分配算法輸入:動(dòng)作集A,獎(jiǎng)勵(lì)衰減因子λ,經(jīng)驗(yàn)池K的最大容量,最大允許誤差ε,更新參數(shù)的樣本批次,目標(biāo)Q網(wǎng)絡(luò)參數(shù)<θ-,α-,ξ->更新間隔Z。輸出:最優(yōu)策略,滿足用戶QoS條件下,得到資源分配的結(jié)果以及資源分配的有效時(shí)間所組成的最佳動(dòng)作序列。1. 初始化:經(jīng)驗(yàn)池K,評(píng)估Q網(wǎng)絡(luò)參數(shù)<θ,α,ξ>,目標(biāo)Q網(wǎng)絡(luò)參數(shù)<θ-,α-,ξ->=<θ,α,ξ>。2. 初始化存儲(chǔ)空間3. Step = 04. for episode = 1,2,... do5. for t= 1,2,... do6. 初始化網(wǎng)絡(luò)狀態(tài)Si;7. agent的Q網(wǎng)絡(luò)使用狀態(tài)Si作為輸入,輸出所有動(dòng)作對(duì)應(yīng)的Q值,根據(jù)公式π*從所有Q值中選擇動(dòng)作Ai;8. 將agent所選定的動(dòng)作Ai輸入環(huán)境中執(zhí)行,然后獲得R(Si,Ai)以及下一個(gè)狀態(tài)Si,;9. agent將經(jīng)驗(yàn)(Si,Ai,R(Si,Ai),Si,)存入經(jīng)驗(yàn)池D中;10. Si←Si,;11. if Step > 10012. 從經(jīng)驗(yàn)池K中隨機(jī)抽取G個(gè)樣本(si,ai,r(si,ai),si,)進(jìn)行訓(xùn)練;13. 利用DNN計(jì)算Q值,用式(4)～(22)計(jì)算損失函數(shù),并使用Adam算法對(duì)評(píng)估Q網(wǎng)絡(luò)參數(shù)<θ,α,ξ>進(jìn)行更新;每迭代Z步后,進(jìn)行一次操作;14. end if;15. Step += 1;16. end for17. end for

3 平臺(tái)部署與方案驗(yàn)證

本小節(jié)搭建的長(zhǎng)期演進(jìn)(Long Term Evolution，LTE)實(shí)驗(yàn)平臺(tái)均借助開(kāi)源軟件實(shí)現(xiàn)，并且全部網(wǎng)元、算法實(shí)現(xiàn)等都部署在Docker容器中，統(tǒng)稱為網(wǎng)絡(luò)功能(Network Functions，NFs)，從而實(shí)現(xiàn)網(wǎng)絡(luò)功能的虛擬化，然后由Kubenetes對(duì)這些NFs進(jìn)行統(tǒng)一管理。

3.1 平臺(tái)部署

平臺(tái)所需的硬件環(huán)境包括三臺(tái)x86通用服務(wù)器、一個(gè)NETGEAR開(kāi)放虛擬交換機(jī)(Open vSwitch，OVS)型號(hào)為MT7621AT、一個(gè)通用軟件無(wú)線電外設(shè)(Universal Software Radiio Peripheral，USRP)型號(hào)為USRP210、三個(gè)用戶手機(jī)型號(hào)為華為Mate7。其中三臺(tái)通用服務(wù)器分別用作CNN、SequentialSeq模型的訓(xùn)練與在線推理，實(shí)現(xiàn)網(wǎng)絡(luò)感知；部署開(kāi)源軟件LTE無(wú)線接入網(wǎng)OAI-eNB和FlexRAN，實(shí)現(xiàn)無(wú)線接入網(wǎng)控制面與用戶面；部署開(kāi)源OAI軟件核心網(wǎng)。

FlexRAN，用于給用戶分配無(wú)線資源；Docker，用于承載各個(gè)面中每個(gè)虛擬化后的NFs，對(duì)服務(wù)器底層的硬件資源進(jìn)行虛擬化處理，保證各個(gè)NFs能夠正常工作；Python，主要用于感知面、智能融合面中各種與AI相關(guān)的網(wǎng)絡(luò)功能的開(kāi)發(fā)與實(shí)現(xiàn)；Nginx，用于搭建相關(guān)業(yè)務(wù)的服務(wù)器，滿足用戶對(duì)業(yè)務(wù)多樣性的需求。

由于受到軟硬件條件的限制，無(wú)法針對(duì)每個(gè)用戶調(diào)整發(fā)射功率，因此在將算法部署到實(shí)驗(yàn)平臺(tái)中時(shí)對(duì)其進(jìn)行一定的簡(jiǎn)化。將資源分配算法部署在Dockers容器中。當(dāng)該節(jié)點(diǎn)中所有的pod從containerCreating到running狀態(tài)后即說(shuō)明K8s集群以及基于網(wǎng)絡(luò)智能感知的多粒度資源分配算法平臺(tái)已經(jīng)部署成功。

3.2 方案驗(yàn)證及結(jié)果分析

本節(jié)中基于深度強(qiáng)化學(xué)習(xí)的多粒度資源分配算法的參數(shù)配置主要根據(jù)經(jīng)驗(yàn)進(jìn)行選取,學(xué)習(xí)率為0.001，折扣因子為0.95，經(jīng)驗(yàn)回放為5 000，隨機(jī)采樣樣本數(shù)為128，更新頻率為100，迭代次數(shù)為8 000?？紤]到流量采樣時(shí)間對(duì)流量預(yù)測(cè)與業(yè)務(wù)估計(jì)的影響，實(shí)驗(yàn)驗(yàn)證在保存完整流量信息的流量采樣時(shí)間為1 s和10 s的情況，在結(jié)果圖中用括號(hào)標(biāo)注。

3.2.1 資源分配算法對(duì)頻譜效率的影響

圖2對(duì)比用戶在訪問(wèn)電子書(shū)業(yè)務(wù)時(shí)采用不同分配算法對(duì)頻譜效率的影響。

從圖2(a)可以看出，采用平均分配算法時(shí)頻譜效率只達(dá)到2.4 bit·s-1·Hz-1，而采用其他兩種資源分配算法為用戶分配RB資源時(shí)頻譜效率可達(dá)3.2 bit·s-1·Hz-1左右。此外，采用基于網(wǎng)絡(luò)智能感知的多粒度資源分配算法的頻譜效率與單粒度接近。

從圖2(b)圖中看出，采用平均分配算法時(shí)頻譜效率只達(dá)到2.4 bit·s-1·Hz-1，而采用其他兩種資源分配算法為用戶分配RB資源時(shí)頻譜效率可達(dá)3.2 bit·s-1·Hz-1左右；同樣，采用基于網(wǎng)絡(luò)智能感知的多粒度資源分配算法的頻譜效率與單粒度接近。

(a) 流量采樣時(shí)間為1 s

導(dǎo)致以上結(jié)果的原因是平均資源分配方法給每個(gè)用戶都分配15個(gè)RB資源，在用戶下載電子書(shū)時(shí)RB資源非常充足，因此頻譜效率較低，而其他兩種資源分配算法綜合考慮業(yè)務(wù)的時(shí)延和頻譜效率兩個(gè)因素，因此頻譜效率較高。但是，由于基于網(wǎng)絡(luò)智能感知的單粒度資源分配算法在每個(gè)TTI內(nèi)都會(huì)執(zhí)行一次資源分配動(dòng)作，可以根據(jù)網(wǎng)絡(luò)和資源狀況靈活調(diào)整資源分配策略，而基于網(wǎng)絡(luò)智能感知的多粒度資源分配算法每隔幾個(gè)TTI才會(huì)重新執(zhí)行一次資源分配動(dòng)作，因此，基于網(wǎng)絡(luò)智能感知的單粒度資源分配算法的頻譜效率比較穩(wěn)定。

3.2.2 不同分配算法對(duì)總時(shí)延的影響

圖3對(duì)比采用不同資源分配算法后對(duì)數(shù)據(jù)傳輸總時(shí)延的影響。定義總時(shí)延為基站處理數(shù)據(jù)的時(shí)延與數(shù)據(jù)通過(guò)無(wú)線信道傳輸時(shí)的時(shí)延之和。圖3(a)為流量采樣時(shí)間為1 s的情況下流量傳輸所產(chǎn)生時(shí)延的累計(jì)概率分布圖，可以看出，當(dāng)采用平均資源分配算法時(shí)，只有一部分業(yè)務(wù)流量可以在1 s以內(nèi)到達(dá)用戶端，而采用其他兩種資源分配算法，大多數(shù)業(yè)務(wù)流量可以在1 s以內(nèi)到達(dá)用戶端，而且單粒度資源分配算法的時(shí)延總體上稍微小于多粒度資源分配算法。

圖3(b)為流量采樣時(shí)間為10 s的情況下流量傳輸所產(chǎn)生時(shí)延的累計(jì)概率分布圖，可以看出，采用平均資源分配算法時(shí)，只有一部分業(yè)務(wù)流量可以在10 s內(nèi)到達(dá)用戶端，而采用其他兩種資源分配算法，大多數(shù)業(yè)務(wù)流量可以在1 s以內(nèi)到達(dá)用戶端，并且兩種算法相差不大。

(a) 流量采樣時(shí)間為1 s

這是由于采用平均資源分配算法時(shí)每個(gè)用戶平均分配RB資源，當(dāng)用戶訪問(wèn)視頻業(yè)務(wù)時(shí)會(huì)發(fā)生卡頓，造成傳輸時(shí)延增大，而其他兩種資源分配算法會(huì)由于流量預(yù)測(cè)誤差等因素，也會(huì)偶爾有RB資源分配不足的情況，造成傳輸時(shí)延稍微增大，但是本文所提出的算法根據(jù)基站所需發(fā)送的流量數(shù)據(jù)調(diào)整基站的計(jì)算資源從而降低處理時(shí)延，根據(jù)用戶的未來(lái)流量調(diào)整用戶的RB資源從而降低傳輸時(shí)延，因此總時(shí)延都小于平均資源分配算法。

3.2.3 不同流量采樣時(shí)間對(duì)執(zhí)行動(dòng)作成本的影響

由于本文所提算法相較于其他資源分配算法，考慮基站執(zhí)行資源分配動(dòng)作時(shí)所消耗的成本，因此對(duì)相同建模下采用單粒度和多粒度資源分配算法的成本進(jìn)行對(duì)比，如圖4所示。

其中基站執(zhí)行資源分配動(dòng)作的成本使用perf工具進(jìn)行測(cè)試。結(jié)合圖2～圖4可以看出，隨著資源分配執(zhí)行時(shí)間的增加，執(zhí)行資源分配動(dòng)作所耗費(fèi)的成本越來(lái)越多，但是在頻譜效率和總時(shí)延都達(dá)到類似性能的情況下，流量采樣時(shí)間為1 s單粒度資源分配算法所耗費(fèi)的成本遠(yuǎn)高于多粒度資源分配算法，流量采樣時(shí)間為10 s單粒度資源分配算法所耗費(fèi)的成本也高于多粒度資源分配算法，這是因?yàn)閱瘟６荣Y源分配算法頻繁更改資源分配策略所造成的。

圖4 不同流量采樣時(shí)間對(duì)執(zhí)行動(dòng)作成本的影響

3.2.4 用戶的RB資源分配結(jié)果測(cè)試

本文中使用50 M帶寬的LTE網(wǎng)絡(luò)，以RBG(3個(gè)RB)[14]為單位給用戶分配RB資源。圖5和圖6分別為在流量采樣時(shí)間為1 s和流量采樣時(shí)間為10 s的前提下基于網(wǎng)絡(luò)智能感知的多粒度資源分配算法為用戶分配的RB資源。

圖5 用戶的RB資源分配結(jié)果圖(流量采樣時(shí)間為1 s)

圖6 用戶的RB資源分配結(jié)果圖(流量采樣時(shí)間為10 s)

由圖5和圖6可以看出，當(dāng)用戶訪問(wèn)高清視頻業(yè)務(wù)時(shí)，資源分配算法為其分配18個(gè)RB，當(dāng)用戶訪問(wèn)無(wú)損音樂(lè)時(shí)，資源分配算法為其分配3個(gè)RB，當(dāng)用戶訪問(wèn)電子書(shū)業(yè)務(wù)時(shí)，資源分配算法為其分配9個(gè)RB，均可以滿足用戶的需求。

3.2.5 流量預(yù)測(cè)精度對(duì)用戶QoE的影響

QoE能夠準(zhǔn)確反映當(dāng)前資源分配策略下用戶的體驗(yàn)，而用戶的QoE是由各項(xiàng)QoS綜合后的結(jié)果，不能使用單一的指標(biāo)描述各種業(yè)務(wù)的QoE[15]。有研究[16]針對(duì)視頻業(yè)務(wù)給出常見(jiàn)的評(píng)估指標(biāo)，如起始時(shí)延、卡頓次數(shù)等，本文將這些指標(biāo)推廣到本文所提供的高清視頻、無(wú)損音樂(lè)和電子書(shū)業(yè)務(wù)，具體的評(píng)估指標(biāo)定義如下文所述。

起始時(shí)延是指每項(xiàng)業(yè)務(wù)開(kāi)始之前的持續(xù)時(shí)間。針對(duì)高清視頻業(yè)務(wù)，是指從用戶發(fā)出請(qǐng)求到視頻開(kāi)始播放的時(shí)間；針對(duì)無(wú)損音樂(lè)業(yè)務(wù)，是指從用戶發(fā)出請(qǐng)求到音樂(lè)開(kāi)始播放的時(shí)間；針對(duì)電子書(shū)業(yè)務(wù)，是指從用戶發(fā)出請(qǐng)求到電子書(shū)內(nèi)容展示在瀏覽器中經(jīng)過(guò)的時(shí)間。

卡頓次數(shù)由于瀏覽器在業(yè)務(wù)開(kāi)始前會(huì)將業(yè)務(wù)內(nèi)容先放在緩沖區(qū)，只有當(dāng)業(yè)務(wù)流填充緩沖區(qū)的速率大于或者等于業(yè)務(wù)播放的速率時(shí)，業(yè)務(wù)才不會(huì)發(fā)生卡頓。針對(duì)高清視頻和無(wú)損音樂(lè)業(yè)務(wù)，是指視頻或音樂(lè)在播放過(guò)程中發(fā)生卡頓的次數(shù)。針對(duì)電子書(shū)業(yè)務(wù)，是指電子書(shū)加載內(nèi)容總量不變且持續(xù)時(shí)間大于2 s時(shí)發(fā)生的次數(shù)。

圖7為流量采樣時(shí)間為1 s的情況下，設(shè)置不同歷史步長(zhǎng)(H)和未來(lái)步長(zhǎng)(T)的流量預(yù)測(cè)參數(shù)對(duì)業(yè)務(wù)平均起始時(shí)延的影響。從圖中可以看出，無(wú)損音樂(lè)的平均起始時(shí)延最低，電子書(shū)的平均起始時(shí)延在0.5～1.9 s，高清視頻的平均起始時(shí)延最高，在1.6～3.8 s，而且每種業(yè)務(wù)的平均起始時(shí)延大小與決定系數(shù)R2成負(fù)相關(guān)，即決定系數(shù)越大，該參數(shù)設(shè)置下的流量預(yù)測(cè)精度越高，資源分配策略越好，每種業(yè)務(wù)的平均起始時(shí)延越小。

(a) 歷史步長(zhǎng)為4 (b) 歷史步長(zhǎng)為6 (c) 歷史步長(zhǎng)為8

圖8為流量采樣時(shí)間為10 s的情況下，設(shè)置不同歷史步長(zhǎng)(H)和未來(lái)步長(zhǎng)(T)的流量預(yù)測(cè)參數(shù)對(duì)業(yè)務(wù)平均起始時(shí)延的影響。從圖中可以看出，無(wú)損音樂(lè)的平均起始時(shí)延最低，電子書(shū)的平均起始時(shí)延為0.8～2.4 s，高清視頻的平均起始時(shí)延最高，為3.5～5.6 s，而且每種業(yè)務(wù)的平均起始時(shí)延大小與決定系數(shù)R2也成負(fù)相關(guān)。

(a) 歷史步長(zhǎng)為2 (b) 歷史步長(zhǎng)為4 (c) 歷史步長(zhǎng)為6

圖9為流量采樣時(shí)間為1 s的情況下，設(shè)置不同歷史步長(zhǎng)和未來(lái)步長(zhǎng)的流量預(yù)測(cè)參數(shù)對(duì)業(yè)務(wù)平均中斷次數(shù)的影響。從圖中可以看出，無(wú)損音樂(lè)在播放過(guò)程中基本不會(huì)發(fā)生中斷，電子書(shū)的平均中斷次數(shù)在一次以下，高清視頻的平均中斷次數(shù)最高，而且每種業(yè)務(wù)的平均中斷次數(shù)與決定系數(shù)R2成負(fù)相關(guān)，即決定系數(shù)越大，該參數(shù)設(shè)置下的流量預(yù)測(cè)精度越高，資源分配策略越好，每種業(yè)務(wù)的平均中斷次數(shù)越小。

(a) 歷史步長(zhǎng)為4 (b) 歷史步長(zhǎng)為6 (c) 歷史步長(zhǎng)為8

圖10為流量采樣時(shí)間為10 s的情況下，設(shè)置不同歷史步長(zhǎng)和未來(lái)步長(zhǎng)的流量預(yù)測(cè)參數(shù)對(duì)業(yè)務(wù)平均中斷次數(shù)的影響。從圖中可以看出，無(wú)損音樂(lè)在播放過(guò)程中基本不會(huì)發(fā)生中斷，電子書(shū)的平均中斷次數(shù)在2次以下，高清視頻的平均中斷次數(shù)最高，在3～6次之間。

(a) 歷史步長(zhǎng)為2 (b) 歷史步長(zhǎng)為4 (c) 歷史步長(zhǎng)為6

對(duì)比圖7和圖8、圖9和圖10可知，流量采樣時(shí)間為1 s的用戶QoE比流量采樣時(shí)間為10 s的用戶QoE好，這是由于流量采樣時(shí)間越小，多粒度資源調(diào)整越精細(xì)，用戶的QoE越好。

綜上，實(shí)驗(yàn)結(jié)果證明，在面向6G通感算融合的多粒度資源分配算法可以滿足用戶QoE的情況下，本文算法能夠提高網(wǎng)絡(luò)頻譜效率，并降低傳輸時(shí)延、處理時(shí)延和資源分配動(dòng)作執(zhí)行的成本。

4 結(jié)束語(yǔ)

本文提出一種面向6G通感算融合的多粒度資源分配算法，多時(shí)間粒度體現(xiàn)在算法所生成策略的有效作用時(shí)間。首先，將通信、感知、計(jì)算資源聯(lián)合優(yōu)化問(wèn)題建模為多時(shí)間粒度上的最大化效用函數(shù)問(wèn)題，并滿足用戶所能容忍的最小數(shù)據(jù)傳輸速率、所有用戶與基站占用的資源不超過(guò)系統(tǒng)總資源等約束。其次，采用Dueling DQN算法對(duì)該問(wèn)題進(jìn)行求解，將感知信息(流量預(yù)測(cè)與業(yè)務(wù)類型估計(jì)結(jié)果)、通信信息(信噪比、發(fā)射功率、資源塊數(shù)等)和計(jì)算信息(基站的計(jì)算資源)作為狀態(tài)集；將資源分配策略有效作用時(shí)間粒度、資源塊數(shù)、發(fā)射功率、基站的計(jì)算資源作為動(dòng)作集；將所有用戶的時(shí)延、頻譜效率以及執(zhí)行動(dòng)作成本的加權(quán)和作為獎(jiǎng)勵(lì)值；最后，在基于開(kāi)源軟件搭建的實(shí)驗(yàn)平臺(tái)中，將本文的算法與現(xiàn)有資源分配算法進(jìn)行對(duì)比，驗(yàn)證本文所提的算法能夠提高網(wǎng)絡(luò)頻譜效率，并降低傳輸時(shí)延、處理時(shí)延和資源分配動(dòng)作執(zhí)行的成本。