葉萬余

(廣東電網(wǎng)有限責(zé)任公司 清遠(yuǎn)供電局，廣東 清遠(yuǎn) 511510)

電力物聯(lián)網(wǎng)是物聯(lián)網(wǎng)技術(shù)在電力領(lǐng)域的應(yīng)用。隨著5G通信技術(shù)的迅速發(fā)展，5G電力物聯(lián)網(wǎng)將5G通信基礎(chǔ)設(shè)施與電力系統(tǒng)設(shè)施有效融合，使得電力系統(tǒng)高度信息化，從而提高電力設(shè)施的利用效率，為電網(wǎng)服務(wù)的各個(gè)階段提供重要的技術(shù)支撐[1]。5G電力物聯(lián)網(wǎng)衍生出很多基于5G的電力物聯(lián)網(wǎng)業(yè)務(wù)，如用電信息采集，輸變電狀態(tài)監(jiān)測以及精準(zhǔn)負(fù)荷控制等[2]。這些業(yè)務(wù)也對(duì)5G接入網(wǎng)和承載網(wǎng)絡(luò)的時(shí)延和可靠性有更高的要求。為了實(shí)現(xiàn)對(duì)電力設(shè)備的精準(zhǔn)控制，電力業(yè)務(wù)需要低時(shí)延與高可靠性的5G通信技術(shù)進(jìn)行支撐，為了處理海量的電力業(yè)務(wù)，也需要更加強(qiáng)大的算力。目前，隨著計(jì)算任務(wù)和通信業(yè)務(wù)的迅速增加，只有輕量級(jí)算力的終端設(shè)備已經(jīng)無法承受業(yè)務(wù)對(duì)算力的需求。利用遠(yuǎn)端云中心進(jìn)行計(jì)算卸載的現(xiàn)有方案也不能滿足電力業(yè)務(wù)超低時(shí)延的要求[3]。綜上所述，電力物聯(lián)網(wǎng)需要一個(gè)能夠應(yīng)對(duì)大量計(jì)算任務(wù)，又能保證低時(shí)延與高可靠性的智能網(wǎng)絡(luò)切片管理方案。

因此，本文利用5G切片和移動(dòng)邊緣計(jì)算技術(shù)(MEC)來進(jìn)行電力物聯(lián)網(wǎng)資源的控制和調(diào)度。隨著云計(jì)算、軟件定義網(wǎng)絡(luò) (SDN)以及網(wǎng)絡(luò)功能虛擬化(NFV)等新技術(shù)的發(fā)展，5G切片技術(shù)應(yīng)運(yùn)而生。運(yùn)營商利用5G切片技術(shù)，在一個(gè)物理平臺(tái)上構(gòu)建多個(gè)專用的邏輯網(wǎng)絡(luò)，可以滿足客戶對(duì)不同網(wǎng)絡(luò)能力的需求，實(shí)現(xiàn)業(yè)務(wù)的靈活定制，從而最大化網(wǎng)絡(luò)資源利用效率[4]。另一方面，移動(dòng)邊緣計(jì)算是一種使計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)更接近終端用戶的分布式計(jì)算模式。其將數(shù)據(jù)與應(yīng)用程序等下放到邊緣服務(wù)器節(jié)點(diǎn)上，相當(dāng)于將云計(jì)算的功能下沉到用戶近端執(zhí)行，可以有效降低網(wǎng)絡(luò)時(shí)延，提高網(wǎng)絡(luò)資源的利用率，保證高效可靠的數(shù)據(jù)傳輸與計(jì)算[5]。

目前，國內(nèi)外積極開展了5G切片、移動(dòng)邊緣計(jì)算技術(shù)在降低時(shí)延與提高可靠性方面的研究與應(yīng)用。唐昊洋等[6]從5G的URLLC切片技術(shù)入手，提出利用分布式CRC-Polar碼，減少電網(wǎng)下行通道時(shí)延，并增加系統(tǒng)的可靠性。呂聰敏等[7]討論5G切片技術(shù)與MEC邊緣計(jì)算技術(shù)在電力物聯(lián)網(wǎng)下的框架設(shè)計(jì)思想，以滿足電網(wǎng)業(yè)務(wù)的低時(shí)延與高可靠性等新需求。魏向欣等[8]討論5G網(wǎng)絡(luò)切片技術(shù)用于降低電力物聯(lián)網(wǎng)業(yè)務(wù)時(shí)延的可行性。Elbamby等[9]提出利用用戶本地設(shè)備與邊緣小云集群以減少計(jì)算時(shí)延并提高可靠性的算法。Ji等[10]討論5G下行鏈路中的高可靠與低延遲通信的可行性。Liu等[11]提出低延遲與高可靠性的代碼分區(qū)卸載策略。Yilmaz等[12]提出從5G無線接口入手提供超高可靠與超低時(shí)延的通信。

當(dāng)前，國內(nèi)利用多個(gè)MEC服務(wù)器進(jìn)行5G切片資源分配，實(shí)現(xiàn)多業(yè)務(wù)處理的研究較為欠缺?；诖?，本文針對(duì)電力物聯(lián)網(wǎng)領(lǐng)域，提出一種基于URLLC業(yè)務(wù)的智能網(wǎng)絡(luò)切片管理方法。電力業(yè)務(wù)將計(jì)算任務(wù)卸載到MEC，設(shè)備的時(shí)延、能耗與可靠性的影響主要體現(xiàn)在數(shù)據(jù)傳輸以及計(jì)算卸載兩個(gè)環(huán)節(jié)上[11]。因此，本方法首先針對(duì)上述傳輸和計(jì)算兩個(gè)環(huán)節(jié)，建立系統(tǒng)時(shí)延、能耗以及可靠性模型；然后利用深度強(qiáng)化學(xué)習(xí)算法[13]，將所有資源管理方案轉(zhuǎn)化成Agent (能模擬人類學(xué)習(xí)行為的智能體)的狀態(tài)，并給予滿足約束條件的狀態(tài)獎(jiǎng)勵(lì)；最后讓Agent不斷地進(jìn)行迭代學(xué)習(xí)，自主選擇最優(yōu)的資源管理策略。

1 系統(tǒng)模型

云計(jì)算擁有龐大的服務(wù)器集群，其強(qiáng)大的性能可應(yīng)對(duì)大量計(jì)算任務(wù)。然而，由于成本高昂以及地理分布不均勻的問題，云計(jì)算的部署存在著一定的挑戰(zhàn)性。另外，長距離的數(shù)據(jù)傳輸和海量的電力物聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)會(huì)導(dǎo)致云計(jì)算服務(wù)器產(chǎn)生業(yè)務(wù)堵塞和較大的時(shí)延，造成其處理效率低下[9]。在網(wǎng)絡(luò)邊緣部署MEC可以解決業(yè)務(wù)對(duì)高可靠和低時(shí)延的需求等上述問題?；诖?，本文建立基于5G的電力物聯(lián)網(wǎng)MEC卸載系統(tǒng)模型。

如圖1所示，電力物聯(lián)網(wǎng)業(yè)務(wù)的計(jì)算任務(wù)可以卸載到MEC服務(wù)器，以降低本地設(shè)備計(jì)算的壓力并滿足電力物聯(lián)網(wǎng)業(yè)務(wù)的時(shí)延要求。另外，本文考慮5G電力物聯(lián)網(wǎng)業(yè)務(wù)的可靠性問題，5G電力物聯(lián)網(wǎng)業(yè)務(wù)對(duì)時(shí)延和可靠性的要求很高。計(jì)算與傳輸?shù)臅r(shí)延超過最大容忍時(shí)延會(huì)導(dǎo)致任務(wù)的失敗，并給電力用戶的體驗(yàn)帶來巨大的負(fù)面影響。因此，本地任務(wù)在MEC切片上進(jìn)行卸載時(shí)，需要建立合適的時(shí)延模型。

圖1 系統(tǒng)模型Figure 1 System model

實(shí)際情況下，MEC服務(wù)器在整個(gè)系統(tǒng)運(yùn)行的過程中，可能會(huì)受到環(huán)境等外界不良因素影響，出現(xiàn)通信中斷或者軟件和硬件計(jì)算失敗等情況，這些都是不可控的災(zāi)害。因此，在實(shí)際工程中，電力企業(yè)為了在遇到不可控的災(zāi)害的時(shí)候仍能讓系統(tǒng)正常運(yùn)行，以及應(yīng)對(duì)災(zāi)害可能造成的數(shù)據(jù)丟失問題，會(huì)做好防護(hù)措施，即容災(zāi)備份。綜上所述，針對(duì)電力物聯(lián)網(wǎng)業(yè)務(wù)，本文提出一種具備容災(zāi)備份機(jī)制的5G切片方法，其可以滿足5G電力互聯(lián)網(wǎng)業(yè)務(wù)的高可靠性和低時(shí)延的要求。該方法使用多MEC服務(wù)器，保證本地設(shè)備或者一部分MEC服務(wù)器出現(xiàn)故障的時(shí)候整個(gè)系統(tǒng)仍能夠繼續(xù)正常運(yùn)作，提升系統(tǒng)的容災(zāi)能力。同時(shí)，利用MEC服務(wù)器也能夠?yàn)橛脩籼峁└憬莸臄?shù)據(jù)異地備份，以應(yīng)對(duì)數(shù)據(jù)丟失問題。

1.1 傳輸和計(jì)算時(shí)延模型

1.2 傳輸和計(jì)算能耗模型

1.3 可靠性模型

2 目標(biāo)函數(shù)及解決方法

2.1 問題描述

設(shè)計(jì)一個(gè)面向電力物聯(lián)網(wǎng)的切片容災(zāi)備份承載方案，在保障超低時(shí)延與較低能耗的限制下，優(yōu)化計(jì)算任務(wù)的穩(wěn)定性。因此，將系統(tǒng)的可靠性函數(shù)作為優(yōu)化目標(biāo)，得出以下優(yōu)化問題。

2.2 問題分析

考慮上述的優(yōu)化問題，可以知道不同電網(wǎng)用戶的不同業(yè)務(wù)，會(huì)分配到不同的帶寬以及計(jì)算頻率。這是一種目標(biāo)函數(shù)和約束關(guān)于優(yōu)化變量部分可分的結(jié)構(gòu)，且目標(biāo)函數(shù)連續(xù)可微，可考慮用一種經(jīng)典方法，即坐標(biāo)塊下降法 (block coordinate descent，BCD)來將原問題劃分為多個(gè)子問題求解。已知BCD算法在目標(biāo)函數(shù)在連續(xù)可微的情況下是收斂的[15]。

按上述求解過程求解本文的優(yōu)化問題，能夠得到可用結(jié)果。然而，BCD算法需要逐次對(duì)逐個(gè)變量的逐個(gè)元素優(yōu)化，是一種串行計(jì)算算法。因此，在解決一些多變量、數(shù)據(jù)量大的實(shí)際問題時(shí)，該算法的計(jì)算效率極低，尋找最優(yōu)解能力差。尤其是處理一些時(shí)延敏感的電網(wǎng)業(yè)務(wù)時(shí)，該算法效果極差。這時(shí)候，為了提高計(jì)算效率，使用一種能夠并行優(yōu)化多個(gè)變量，自適應(yīng)能力強(qiáng)的算法尤為重要。因此，考慮使用深度強(qiáng)化學(xué)習(xí)算法來進(jìn)行模型的訓(xùn)練優(yōu)化。

2.3 智能網(wǎng)絡(luò)切片管理方法

為了實(shí)現(xiàn)電力物聯(lián)網(wǎng)業(yè)務(wù)的海量數(shù)據(jù)的智能處理和自主決策，引入深度強(qiáng)化學(xué)習(xí)算法中的DQN(deep Q network)進(jìn)行數(shù)據(jù)訓(xùn)練和模型優(yōu)化。該算法在強(qiáng)化學(xué)習(xí)中的Q-learning算法基礎(chǔ)上，引入深度神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)在解決高維數(shù)據(jù)問題上表現(xiàn)良好[16]，再結(jié)合強(qiáng)化學(xué)習(xí)，非常適用于處理電網(wǎng)業(yè)務(wù)。DQN算法的結(jié)構(gòu)如圖2所示。值輸入DQN模型中進(jìn)行訓(xùn)練，選擇最佳動(dòng)作，即自主選擇出最優(yōu)的方案進(jìn)行部署。

圖2 DQN結(jié)構(gòu)Figure 2 Structure of DQN

圖3 切片管理方法流程Figure 3 The flow chart of the slicing management

3 仿真結(jié)果

3.1 仿真準(zhǔn)備

DQN算法是用來優(yōu)化電力業(yè)務(wù)通信資源的分配問題，因此DQN算法中的狀態(tài)、動(dòng)作和回報(bào)等相關(guān)要素與通信領(lǐng)域相關(guān)，相關(guān)參數(shù)主要借鑒文獻(xiàn)[17]和[18]。另外，所采用的電力業(yè)務(wù)數(shù)據(jù)包括電力用戶數(shù)目、電力用戶到基站的距離范圍、電力業(yè)務(wù)數(shù)據(jù)包的大小、電力業(yè)務(wù)每比特的數(shù)據(jù)復(fù)雜度、電力業(yè)務(wù)單個(gè)用戶的最大容忍時(shí)延和電力設(shè)備電容開關(guān)參數(shù)，主要借鑒文獻(xiàn)[17]和[19]。實(shí)驗(yàn)主要選用Matlab作為仿真平臺(tái)。

本文的仿真環(huán)境中，電力用戶數(shù)目為I=[2 ～4]，MEC切片數(shù)目為J=2，電力用戶到基站的距離范圍為di=[0 ～400] m，白噪聲N0=-114 dBm。

設(shè)置兩種切片管理實(shí)驗(yàn)方案對(duì)比。

1) 基于資源平均分配的切片管理方案。該方案將電力用戶平均分配到正在使用的各個(gè)MEC切片上，然后把MEC切片上可分配資源平均分配到其管理的每個(gè)用戶上。

2) 基于坐標(biāo)塊下降算法的切片管理方案。該方案使用坐標(biāo)塊下降算法，將每個(gè)電力用戶的任務(wù)卸載到MEC切片上，然后找出每臺(tái)MEC可以滿足時(shí)延與能耗要求的最佳資源分配方案。

由于真實(shí)環(huán)境下MEC切片不可能分配給同一個(gè)用戶過多的資源，為了突出比較，本文仿真中設(shè)置的兩個(gè)MEC切片可分配資源有差別，且一臺(tái)MEC設(shè)備最多可以分配給每個(gè)用戶的帶寬資源為Bmiax=4×106MHz，最多可以分配給每個(gè)用戶的計(jì)算資源為Fimax=2×109MHz。其他具體參數(shù)的取值見表1。為了體現(xiàn)本方案結(jié)果的合理性，可參照表2的常見AI模型的推斷準(zhǔn)確率數(shù)據(jù)。

表1 仿真參數(shù)Table 1 Simulation parameters

表2 常見AI模型推斷準(zhǔn)確率Table 2 Common AI model inference accuracy

3.2 仿真算法效果

使用BCD算法并輸出其損失量變化曲線，如圖4所示。實(shí)驗(yàn)的迭代一次時(shí)間較長，可以找到局部最優(yōu)值。為了檢驗(yàn)DQN算法尋找最優(yōu)方案的效果，圖4輸出agent學(xué)習(xí)過程中的損失量變化曲線。

圖4 BCD算法的迭代次數(shù)與損失量關(guān)系Figure 4 The relationship between interation and cost of the BCD algorithm

如圖5所示，該曲線并點(diǎn)，其輸入數(shù)據(jù)是一步步改變的，并且會(huì)根據(jù)當(dāng)前學(xué)習(xí)的具體情況去獲取不同的數(shù)據(jù)。可以看出，損失量曲線整體上是往最小的值收斂，可以找到最優(yōu)值。

圖5 DQN算法的訓(xùn)練步數(shù)與損失量關(guān)系Figure 5 The relationship between training steps and cost of the DQN algorithm

3.3 仿真分析

圖6給出在不同用戶數(shù)目下，3個(gè)方案的系統(tǒng)可靠性的條形對(duì)比圖。系統(tǒng)可靠性的精度要求較高，稍小的差距也會(huì)造成巨大的影響。如圖6所示，在允許用戶數(shù)目的范圍內(nèi)，本文提出的切片資源管理方法的可靠性均勝于其他兩種方案。

圖6 不同方案下的電力用戶數(shù)目與系統(tǒng)可靠性的關(guān)系Figure 6 The relationship between the number of power users and system reliability in different cases

圖7給出不同計(jì)算復(fù)雜度下，3個(gè)方案的系統(tǒng)可靠性的條形對(duì)比圖。實(shí)際環(huán)境下，不同電網(wǎng)業(yè)務(wù)的數(shù)據(jù)計(jì)算復(fù)雜度也有所不同，有些要求更加精細(xì)的業(yè)務(wù)也需要用到更加復(fù)雜的算法，其計(jì)算量也會(huì)有顯著的提升。如圖7所示，在3種不同計(jì)算復(fù)雜度下，本文提出的切片資源管理方法的可靠性也要優(yōu)于其他兩種方案。

圖7 不同方案下的不同計(jì)算復(fù)雜度與系統(tǒng)可靠性的關(guān)系Figure 7 The relationship between computational complexity and system reliability in different cases

本文提出的切片資源管理方法能夠利用深度強(qiáng)化學(xué)習(xí)算法，讓agent不斷地進(jìn)行學(xué)習(xí)訓(xùn)練，從而找到最優(yōu)的資源分配方案。平均分配方案只是將不同MEC的資源平均分配給其管轄的用戶，大多數(shù)情況非最優(yōu)。坐標(biāo)塊下降方案進(jìn)行一維搜索找到的是局部最優(yōu)方案。因此，本文的方案優(yōu)于這兩種方案，實(shí)驗(yàn)結(jié)果也很好地驗(yàn)證了這一結(jié)論。

4 結(jié)語

5G通信技術(shù)為電力物聯(lián)網(wǎng)帶來諸多便利，能夠更大程度地優(yōu)化電網(wǎng)業(yè)務(wù)的用戶體驗(yàn)。為了滿足某些特定的電網(wǎng)業(yè)務(wù)的低時(shí)延、高可靠性的新需求，本文設(shè)計(jì)了面向電力物聯(lián)網(wǎng)URLLC業(yè)務(wù)的智能網(wǎng)絡(luò)切片管理方法。該方法具備容災(zāi)備份機(jī)制，可將電力業(yè)務(wù)卸載到多個(gè)MEC服務(wù)器上進(jìn)行計(jì)算，并滿足其低時(shí)延要求。本文利用深度強(qiáng)化學(xué)習(xí)算法中的DQN模型自主優(yōu)化帶寬資源與計(jì)算資源的分配，最大化電力業(yè)務(wù)的可靠性要求。仿真結(jié)果說明，相較于基于坐標(biāo)塊下降算法和基于資源平均分配的資源管理方法，本文提出的方法可靠性更高，能夠最大程度優(yōu)化用戶體驗(yàn)。