張鳳荔，趙佳君，劉 東，王瑞錦

(1.電子科技大學(xué)信息與軟件工程學(xué)院 成都610054；2.網(wǎng)絡(luò)與數(shù)據(jù)安全四川省重點(diǎn)實(shí)驗(yàn)室 成都610054)

近年來(lái)，移動(dòng)應(yīng)用程序在各行各業(yè)都有著廣泛的應(yīng)用，但在實(shí)現(xiàn)諸如媒體處理、在線游戲、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和在移動(dòng)設(shè)備中執(zhí)行各種創(chuàng)新移動(dòng)應(yīng)用程序的時(shí)間、能量、成本和安全性等相關(guān)方面仍存在一些困難和挑戰(zhàn)。由于這些移動(dòng)設(shè)備的資源限制，為了滿足應(yīng)用程序運(yùn)行的低延遲和高數(shù)據(jù)速率的需求，產(chǎn)生了一種新的計(jì)算模式——移動(dòng)邊緣計(jì)算(mobile edgecomputing,MEC)[1]。

在MEC場(chǎng)景中，通過(guò)在用戶設(shè)備周圍的無(wú)線基站部署MEC服務(wù)器，將處于遠(yuǎn)距離云端的計(jì)算資源延伸至網(wǎng)絡(luò)邊緣，為用戶設(shè)備提供物理距離更近的服務(wù)，降低由網(wǎng)絡(luò)延遲造成的任務(wù)時(shí)延，同時(shí)也可以緩解應(yīng)用數(shù)據(jù)傳輸對(duì)核心網(wǎng)造成的壓力。當(dāng)進(jìn)行任務(wù)卸載操作時(shí)，用戶設(shè)備將計(jì)算任務(wù)數(shù)據(jù)通過(guò)無(wú)線基站傳輸至MEC服務(wù)器上進(jìn)行計(jì)算，MEC服務(wù)器完成計(jì)算后將計(jì)算結(jié)果返回至用戶設(shè)備，從而完成一次任務(wù)卸載操作，如此可以使得用戶應(yīng)用獲得更低的延遲體驗(yàn)，變相地增加用戶設(shè)備應(yīng)用程序擁有的計(jì)算能力。

目前大量的研究是基于用戶設(shè)備與MEC服務(wù)器之間的任務(wù)卸載，并未考慮云端依舊擁有大量的計(jì)算資源，且能夠針對(duì)特定場(chǎng)景優(yōu)化計(jì)算環(huán)境的情況。在大量移動(dòng)設(shè)備和物聯(lián)網(wǎng)設(shè)備的高度計(jì)算資源需求下，僅依靠MEC服務(wù)器進(jìn)行計(jì)算是難以完成的，仍然會(huì)出現(xiàn)資源瓶頸。在考慮用戶設(shè)備與MEC服務(wù)器之間的網(wǎng)絡(luò)邊緣任務(wù)卸載的同時(shí)，還需要云端的強(qiáng)大計(jì)算能力來(lái)輔助MEC服務(wù)器，通過(guò)邊云協(xié)同來(lái)共同為移動(dòng)設(shè)備提供相對(duì)低時(shí)延、高計(jì)算能力的服務(wù)。由于云端需要考慮網(wǎng)絡(luò)傳輸時(shí)延和特定任務(wù)需求，在進(jìn)行任務(wù)細(xì)粒度卸載時(shí)，對(duì)任務(wù)不同的環(huán)節(jié)需要有優(yōu)先級(jí)考量，這也使得整個(gè)任務(wù)卸載工作的復(fù)雜程度增加。

近幾年，移動(dòng)邊緣計(jì)算任務(wù)卸載問(wèn)題一直是研究熱點(diǎn)問(wèn)題，因?yàn)槿蝿?wù)卸載在決策時(shí)需要考慮諸多因素，在尋找最優(yōu)解的過(guò)程中充滿挑戰(zhàn)。其中文獻(xiàn)[2]針對(duì)MEC服務(wù)器和用戶設(shè)備間通信和資源分配，提出了hJTORA啟發(fā)式算法，在小規(guī)模的任務(wù)卸載中，實(shí)現(xiàn)了相對(duì)基線算法的更優(yōu)解。文獻(xiàn)[3]提出一種基于匈牙利和貪心算法的啟發(fā)式算法，對(duì)密集網(wǎng)絡(luò)下信道分配進(jìn)行了優(yōu)化。文獻(xiàn)[4]針對(duì)資源受限的串行任務(wù)，提出一種基于化學(xué)反應(yīng)優(yōu)化算法的MSTDOS算法，實(shí)現(xiàn)對(duì)串行任務(wù)細(xì)粒度卸載的優(yōu)化。文獻(xiàn)[5]提出一種基于組合拍賣模型的算法，解決車聯(lián)網(wǎng)中的任務(wù)卸載問(wèn)題。文獻(xiàn)[6]中提出了一種基于博弈論的啟發(fā)式算法，從云?邊?用戶3層結(jié)構(gòu)中尋找任務(wù)卸載策略。以上文獻(xiàn)采用的是傳統(tǒng)的啟發(fā)式算法，在面對(duì)復(fù)雜環(huán)境時(shí)，計(jì)算能力會(huì)大幅下降，更好的解決辦法是采用深度學(xué)習(xí)或強(qiáng)化學(xué)習(xí)的方式來(lái)處理高度復(fù)雜的場(chǎng)景中任務(wù)卸載問(wèn)題。文獻(xiàn)[7]提出一種AHP和DQN相結(jié)合的任務(wù)卸載算法，解決在車輛網(wǎng)環(huán)境下車載設(shè)備與MEC服務(wù)器間的任務(wù)卸載問(wèn)題。文獻(xiàn)[8]基于LSTM和HER改進(jìn)深度學(xué)習(xí)算法，解決單用戶多服務(wù)器的任務(wù)卸載問(wèn)題，對(duì)能耗時(shí)延費(fèi)用等多種指標(biāo)進(jìn)行比較。文獻(xiàn)[9]提出了一種基于DQN的MEC環(huán)境下的多任務(wù)卸載和資源分配算法。通過(guò)此方法，將混合整數(shù)非線性規(guī)劃轉(zhuǎn)變?yōu)橐粋€(gè)RL問(wèn)題，找到了更優(yōu)的解決方案。

但上述研究仍存在以下不足：1)沒(méi)有考慮云邊協(xié)同問(wèn)題；2)粗粒度的卸載算法缺乏靈活性。本文算法基于云?邊?用戶的3層結(jié)構(gòu)，針對(duì)邊云協(xié)同場(chǎng)景下的任務(wù)卸載資源分配進(jìn)行研究，基于Rainbow DQN[10]算法提出了一種面向邊云協(xié)同帶有權(quán)重串行任務(wù)卸載算法(edge-cloud weighted serial task offloading algorithm based on rainbow DQN,ECWS-RDQN)，考慮多用戶的串行任務(wù)卸載對(duì)MEC服務(wù)器和云端的計(jì)算資源競(jìng)爭(zhēng)，以及不同用戶應(yīng)用的優(yōu)先級(jí)，以任務(wù)延遲時(shí)間、任務(wù)能量消耗和服務(wù)質(zhì)量保證作為評(píng)價(jià)標(biāo)準(zhǔn)。

1 系統(tǒng)模型及問(wèn)題定義

本文的任務(wù)卸載模型由多個(gè)移動(dòng)用戶設(shè)備(UE)、擁有MEC服務(wù)器的無(wú)線基站(BS)和云端服務(wù)器(CS)組成，構(gòu)成一個(gè)云?邊?用戶的3層結(jié)構(gòu)，如圖1所示。用戶設(shè)備產(chǎn)生串行任務(wù)，MEC服務(wù)器在中間層為用戶和云端提供任務(wù)的資源分配、任務(wù)卸載調(diào)度工作，同時(shí)可以為用戶分擔(dān)一定程度的計(jì)算任務(wù)，云端則擁有強(qiáng)大的計(jì)算能力，可以更加快速地解決復(fù)雜計(jì)算問(wèn)題，但相對(duì)邊緣服務(wù)器會(huì)擁有更高的網(wǎng)絡(luò)延遲。

圖1 邊云協(xié)同系統(tǒng)模型

其中，用戶設(shè)備用集合{1,2,···,U}表示，用戶設(shè)備擁有有限的計(jì)算資源，并且僅帶有一個(gè)串行任務(wù)Wi；每個(gè)用戶u可 以用一個(gè)5元組表示u={i,Wi,Ti,Ri,Qi}，i∈{1,2,···,u}為用戶編號(hào)；Wi是該用戶設(shè)備當(dāng)前擁有的串行任務(wù)；Tu是該用戶設(shè)備當(dāng)前任務(wù)的預(yù)計(jì)完成時(shí)間；Ru表示為用戶設(shè)備與無(wú)線基站的通信帶寬；Qu表示為該用戶設(shè)備的服務(wù)質(zhì)量保證，該值越高代表該用戶的服務(wù)優(yōu)先級(jí)越高；系統(tǒng)中MEC服務(wù)器用M表示，M={Cm,Tm,Rc}，其中Cm為 該MEC服務(wù)器的計(jì)算能力，Tm為該服務(wù)器當(dāng)前任務(wù)的預(yù)計(jì)完成時(shí)間；云端服務(wù)器用C表示，C={Cc,Tc}，其中Cc為 該云服務(wù)器的計(jì)算能力，Tc為該服務(wù)器當(dāng)前任務(wù)的預(yù)計(jì)完成時(shí)間。

用戶設(shè)備在產(chǎn)生任務(wù)后，會(huì)將任務(wù)卸載決策請(qǐng)求發(fā)送至MEC服務(wù)器，MEC服務(wù)器會(huì)根據(jù)當(dāng)前系統(tǒng)狀態(tài)決定任務(wù)是在本地執(zhí)行還是上傳至MEC服務(wù)器或是云端執(zhí)行。卸載策略由X表示，其中X∈{0,1,2,3}，0表示本次策略為空操作，1表示任務(wù)將會(huì)在本地執(zhí)行，2表示任務(wù)將會(huì)卸載至MEC服務(wù)器執(zhí)行，3表示任務(wù)將會(huì)卸載至云端服務(wù)器執(zhí)行。

1.1 串行任務(wù)模型

本文中的任務(wù)假設(shè)為多個(gè)微任務(wù)串行組成的任務(wù)，一個(gè)任務(wù)應(yīng)用由多個(gè)串行微任務(wù)組成，其中微任務(wù)中的起始和末尾代表該任務(wù)中的輸入和輸出部分，并且輸入必須由本地完成。本文使用鏈表Wi={t,l},i∈{1,2,···,u}表示任務(wù)，t為當(dāng)前微任務(wù)，l為下一個(gè)任務(wù)指針，其中用三元組來(lái)表示微任務(wù)t，ct為該任務(wù)計(jì)算所需的CPU周期數(shù)(cycle)，dt為該任務(wù)卸載時(shí)需要傳輸?shù)臄?shù)據(jù)量(kb)，m axT為該任務(wù)的時(shí)延上限要求(ms)。

串行任務(wù)的特點(diǎn)在于其任務(wù)之間的依賴關(guān)系，微任務(wù)i?1項(xiàng)完成才可以執(zhí)行微任務(wù)i，直至執(zhí)行至最后一個(gè)微任務(wù)，該項(xiàng)串行任務(wù)才全部執(zhí)行完成。在實(shí)際應(yīng)用場(chǎng)景中，串行任務(wù)也是最為常見的任務(wù)類型之一，如圖像識(shí)別等應(yīng)用。

1.2 時(shí)延模型

時(shí)延在各種任務(wù)場(chǎng)景中都是一項(xiàng)至關(guān)重要的指標(biāo)，時(shí)延表示一項(xiàng)任務(wù)從任務(wù)請(qǐng)求開始至任務(wù)全部完成的時(shí)間，并且時(shí)延大小決定了一項(xiàng)任務(wù)的完成時(shí)間是否可以滿足應(yīng)用需求。本節(jié)中的時(shí)延為用戶設(shè)備完成其當(dāng)前微任務(wù)的時(shí)延，分別從本地、邊緣和云端3個(gè)部分討論其任務(wù)時(shí)延的組成。

1.2.1本地執(zhí)行

在本地執(zhí)行策略中，代表該微任務(wù)會(huì)在本地進(jìn)行計(jì)算，不會(huì)將數(shù)據(jù)傳輸至MEC服務(wù)器，所以當(dāng)前的任務(wù)時(shí)延d Tu表示為：

式中，ct為該任務(wù)所需的CPU周期數(shù)(cycle)；fu為用戶設(shè)備的CPU頻率(Hz)。

1.2.2邊緣服務(wù)器執(zhí)行

在邊緣服務(wù)器執(zhí)行策略中，代表該微任務(wù)將會(huì)通過(guò)無(wú)線傳輸進(jìn)行任務(wù)卸載，把計(jì)算該微任務(wù)的必要數(shù)據(jù)傳輸至MEC服務(wù)器中。在此策略中，時(shí)延由計(jì)算時(shí)延、傳輸時(shí)延、排隊(duì)時(shí)延組成，所以當(dāng)前的任務(wù)時(shí)延d Tu表示為：

式中，fs為邊緣服務(wù)器的CPU周期數(shù)；為回傳數(shù)據(jù)的數(shù)據(jù)量；Ru為用戶設(shè)備和MEC服務(wù)器的傳輸速率。

1.2.3云端執(zhí)行

在云端執(zhí)行策略中，代表該任務(wù)將會(huì)通過(guò)無(wú)線傳輸和主干網(wǎng)將任務(wù)所需的數(shù)據(jù)提交至云端服務(wù)器。在此策略中，時(shí)延由計(jì)算時(shí)延、傳輸時(shí)延、傳播時(shí)延、排隊(duì)時(shí)延組成，所以當(dāng)前的任務(wù)時(shí)延dTu表示為：

式中，fc為云服務(wù)器的CPU周期數(shù)；Rc為MEC服務(wù)器與云端服務(wù)器的傳輸速率；dt為MEC服務(wù)器與云端的傳播時(shí)延。

1.3 能耗模型

能耗在實(shí)際場(chǎng)景中也是十分重要的指標(biāo)之一，采用電池供電的用戶設(shè)備會(huì)對(duì)能耗大小更加敏感。在此場(chǎng)景中，能耗由CPU的計(jì)算和閑置消耗、無(wú)線傳輸時(shí)的能量消耗構(gòu)成，以下將會(huì)從本地、邊緣和云端3部分分別討論系統(tǒng)能耗的組成。

1.3.1本地執(zhí)行

在本地執(zhí)行策略中，將會(huì)使用本地用戶設(shè)備的CPU執(zhí)行計(jì)算任務(wù)，所以該策略的執(zhí)行能耗為：

式中，κ為CPU的能量效率系數(shù)[11]；fu為用戶設(shè)備的CPU周期數(shù)。

1.3.2邊緣服務(wù)器執(zhí)行

在邊緣服務(wù)器執(zhí)行策略中，計(jì)算任務(wù)將會(huì)提交至MEC服務(wù)器進(jìn)行計(jì)算，在提交和計(jì)算的過(guò)程中，能耗由用戶設(shè)備的傳輸能耗和空閑能耗組成：

式中，Pup為用戶設(shè)備在無(wú)線傳輸時(shí)消耗的能量；Pidle為用戶設(shè)備空閑時(shí)消耗的能量。

1.3.3云端執(zhí)行

在云端執(zhí)行策略中，計(jì)算任務(wù)數(shù)據(jù)將會(huì)通過(guò)無(wú)線和主干網(wǎng)傳輸至云端服務(wù)器，能耗由用戶設(shè)備的傳輸能耗和空閑能耗組成：

1.4 服務(wù)質(zhì)量保證

服務(wù)質(zhì)量保證在任務(wù)調(diào)度場(chǎng)景中是決定不同優(yōu)先級(jí)的用戶服務(wù)質(zhì)量的關(guān)鍵，使得具有更低時(shí)延或能耗要求的用戶在資源競(jìng)爭(zhēng)時(shí)會(huì)在請(qǐng)求中更有優(yōu)勢(shì)。在此場(chǎng)景中，服務(wù)質(zhì)量保證的組成為：

式中， α+β=1,α,β≥0；α為 基礎(chǔ)值；β為該目標(biāo)函數(shù)中服務(wù)質(zhì)量占比；qu為各用戶的優(yōu)先級(jí)。

1.5 問(wèn)題定義

本文的目標(biāo)是使用RainbowDQN生成決策實(shí)現(xiàn)時(shí)延和能耗的降低，前文已經(jīng)給出了時(shí)延和能耗模型，采用線性加權(quán)的方式來(lái)規(guī)劃目標(biāo)函數(shù)。因此，原問(wèn)題可以定義為：

式中， λe,λt,λq∈[0,1]， 并且 λe+λt+λq=1，分別表示能耗、時(shí)延和服務(wù)質(zhì)量保證在目標(biāo)函數(shù)中的占比。

2 算法模型

本文研究的任務(wù)卸載問(wèn)題根本上是一個(gè)多目標(biāo)優(yōu)化問(wèn)題，通常使用啟發(fā)式算法或機(jī)器學(xué)習(xí)方法。在啟發(fā)式算法中一般使用遺傳算法、粒子群算法、化學(xué)反應(yīng)算法等；在機(jī)器學(xué)習(xí)領(lǐng)域更多采用的是強(qiáng)化學(xué)習(xí)方法[12]，如Q學(xué)習(xí)、DQN等[13]。在系統(tǒng)環(huán)境相對(duì)復(fù)雜的條件下，往往采用DQN來(lái)進(jìn)行更高效的任務(wù)卸載分配工作處理。本文基于改進(jìn)后的DQN?rainbow DQN。rainbow DQN是在原始DQN的基礎(chǔ)上結(jié)合了Double DQN、優(yōu)先經(jīng)驗(yàn)回放(prioritized experience replay)、決 斗 網(wǎng) 絡(luò)(duelling network)、多步學(xué)習(xí)(multi-step learning)、分布式網(wǎng)絡(luò)(distributional network)、噪聲網(wǎng)絡(luò)(noisy network)[14-18]后改進(jìn)的DQN算法，在訓(xùn)練速度、樣本效率和性能方面與初始DQN算法相比有顯著的增強(qiáng)。

DQN作為強(qiáng)化學(xué)習(xí)的一種，其核心思想是通過(guò)獲取環(huán)境狀態(tài)和輸出動(dòng)作互動(dòng)后的獎(jiǎng)勵(lì)，使用神經(jīng)網(wǎng)絡(luò)來(lái)近似值函數(shù)，使用經(jīng)驗(yàn)回放來(lái)儲(chǔ)存之前經(jīng)歷的數(shù)據(jù)，在更新參數(shù)時(shí)在其中選取一部分來(lái)使用。rainbowDQN采用multi-step learning更新Loss函數(shù)：

式中，A和S分別為系統(tǒng)狀態(tài)和動(dòng)作；γ為折扣因子；R為 獎(jiǎng)勵(lì)函數(shù)；θ為目標(biāo)網(wǎng)絡(luò)參數(shù)；θ根據(jù)損失來(lái)更新；St為迭代時(shí)動(dòng)作A t的 觀測(cè)值；a′為在St+n狀態(tài)下獎(jiǎng)勵(lì)最優(yōu)解。之后最小化Loss函數(shù)來(lái)更新網(wǎng)絡(luò)參數(shù)θ。

在更新后存入經(jīng)驗(yàn)池時(shí)，采用的是優(yōu)先經(jīng)驗(yàn)值回放，根據(jù)損失函數(shù)來(lái)決定該項(xiàng)采樣的權(quán)值pt：

式中，pt將 會(huì)從損失函數(shù)中獲取；w為優(yōu)先經(jīng)驗(yàn)回放的優(yōu)先級(jí)因子?；谏鲜龈倪M(jìn)以及其余擴(kuò)展，在本文提出的ECWS-RDQN中，還需根據(jù)系統(tǒng)需求重新定義狀態(tài)空間、動(dòng)作空間以及獎(jiǎng)勵(lì)函數(shù)，在獎(jiǎng)勵(lì)函數(shù)中引入權(quán)重來(lái)更加貼合實(shí)際的運(yùn)行場(chǎng)景，優(yōu)化串行任務(wù)調(diào)度策略。

其中動(dòng)作決策值X∈{0,1,2,3}，表示對(duì)任務(wù)w做出的決策，0表示該次請(qǐng)求暫時(shí)跳過(guò)；1表示該任務(wù)將在本地執(zhí)行；2表示該任務(wù)將卸載至MEC服務(wù)器執(zhí)行；3表示該任務(wù)將卸載至云端執(zhí)行。

在獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)中，考慮到能耗、時(shí)延和服務(wù)質(zhì)量等優(yōu)先級(jí)問(wèn)題，不同的用戶設(shè)備本身的優(yōu)先級(jí)、任務(wù)組中某些微任務(wù)在不同計(jì)算場(chǎng)景下的效率或是系統(tǒng)的費(fèi)用成本，都會(huì)影響每個(gè)微任務(wù)的權(quán)重。并且由于串行任務(wù)的特殊性，會(huì)導(dǎo)致多個(gè)任務(wù)交叉進(jìn)行，僅對(duì)單個(gè)微任務(wù)的優(yōu)化可能會(huì)導(dǎo)致某些串行任務(wù)總時(shí)延或總成本升高，所以在對(duì)單個(gè)微任務(wù)計(jì)算時(shí)延、能耗的同時(shí)，也需要對(duì)串行任務(wù)進(jìn)行約束。

本文確定各項(xiàng)串行任務(wù)權(quán)重時(shí)，考慮當(dāng)前任務(wù)計(jì)算成本標(biāo)準(zhǔn)du、參考容忍時(shí)延標(biāo)準(zhǔn)tu、用戶設(shè)備服務(wù)質(zhì)量保證優(yōu)先級(jí)qu這3項(xiàng)評(píng)價(jià)因素。權(quán)重矩陣A表示為：

計(jì)算成本和參考容忍時(shí)延使用z-score標(biāo)準(zhǔn)化所有用戶的實(shí)際使用情況作為參考標(biāo)準(zhǔn)，質(zhì)量保證為用戶預(yù)設(shè)優(yōu)先級(jí)。成本計(jì)算和容忍時(shí)延計(jì)算標(biāo)準(zhǔn)化如下：

利用式(12)求得當(dāng)前用戶正規(guī)化值，即得到該用戶與該環(huán)境中其余用戶在時(shí)延要求和成本要求的相對(duì)值。再根據(jù)此相對(duì)值進(jìn)行歸一化和區(qū)間調(diào)整，即可獲取各個(gè)用戶的權(quán)重向量，從而優(yōu)化系統(tǒng)中串行任務(wù)的卸載執(zhí)行效率，使得偏離標(biāo)準(zhǔn)的用戶可以在下一次請(qǐng)求中擁有更高的優(yōu)先級(jí)，從而提升系統(tǒng)的穩(wěn)定性。

結(jié)合目標(biāo)函數(shù)，采用min-max標(biāo)準(zhǔn)化方法對(duì)綜合能耗、時(shí)延和服務(wù)質(zhì)量3項(xiàng)評(píng)價(jià)指標(biāo)進(jìn)行歸一化，最后得到獎(jiǎng)勵(lì)函數(shù)為：

在ECWS-RDQN算法中，當(dāng)MEC服務(wù)器接收到用戶設(shè)備發(fā)送的任務(wù)卸載請(qǐng)求后，獲取當(dāng)前系統(tǒng)狀態(tài)，通過(guò)計(jì)算獲得權(quán)重向量，可以根據(jù)當(dāng)前狀態(tài)得到最優(yōu)的卸載策略輸出。綜合以上模型，ECWSRDQN算法如下。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

本節(jié)通過(guò)python語(yǔ)言對(duì)本文提出算法進(jìn)行仿真以評(píng)估其性能，仿真場(chǎng)景為云?邊?用戶3層結(jié)構(gòu)，由一個(gè)云端服務(wù)器、一個(gè)帶有MEC服務(wù)器的無(wú)線基站和多個(gè)用戶設(shè)備組成。主要通過(guò)與本地計(jì)算(local)、全卸載至邊緣(MEC)、全卸載至云端(cloud)、隨機(jī)(平均)分配(random)方案、文獻(xiàn)[8]中的DQN方案和僅使用基于RainbowDQN算法對(duì)比本文給出的ECWS-RDQN算法。在時(shí)延、能量、服務(wù)質(zhì)量等約束條件下的策略對(duì)比，來(lái)驗(yàn)證算法的有效性。其中環(huán)境參數(shù)設(shè)置參考文獻(xiàn)[3,8]，如表1所示。

表1 環(huán)境參數(shù)設(shè)置

ECWS-RDQN算法首先針對(duì)Rainbow DQN進(jìn)行優(yōu)化，將串行任務(wù)拆解成多個(gè)微任務(wù)后需對(duì)獎(jiǎng)勵(lì)值獲取頻率以及數(shù)值標(biāo)準(zhǔn)化進(jìn)行處理。其中考慮環(huán)境復(fù)雜度和學(xué)習(xí)速度，學(xué)習(xí)速率設(shè)置為r=0.001，multi-step值為10；考慮其經(jīng)驗(yàn)-探索策略，折扣因子γ=0.99，優(yōu)先經(jīng)驗(yàn)回放參數(shù)采用α =0.5、β =0.4[16]，噪聲網(wǎng)絡(luò)標(biāo)準(zhǔn)差為σ=0.01。最終本文算法的loss值收斂如圖2所示，在150 000步時(shí)基本收斂，因評(píng)估中仍會(huì)使用貪婪策略跳出，因此在步數(shù)較高等情況下還會(huì)出現(xiàn)波動(dòng)。

圖2 Loss值隨學(xué)習(xí)步數(shù)的變化

在實(shí)驗(yàn)中使用表1給出的環(huán)境配置，使用10個(gè)用戶設(shè)備來(lái)生成串行任務(wù)，總計(jì)需完成100個(gè)串行任務(wù)，每個(gè)串行任務(wù)由5個(gè)微任務(wù)組成，通過(guò)調(diào)整串行任務(wù)的生成速率和計(jì)算復(fù)雜度進(jìn)行對(duì)比。

在圖3中，y軸目標(biāo)函數(shù)值由目標(biāo)函數(shù)歸一加權(quán)后得到，x軸為串行任務(wù)卸載請(qǐng)求的間隔時(shí)間，以10 ms為單位時(shí)間。對(duì)比發(fā)現(xiàn)在任務(wù)生成間隔較大、總的任務(wù)計(jì)算壓力較低時(shí)，卸載至邊緣服務(wù)器的效果較好。隨著間隔變短，計(jì)算傳輸量都增加的情況下，僅靠邊緣服務(wù)器已經(jīng)無(wú)法承載。而使用本文提供的ECWS-RDQN算法后，各種情況下的表現(xiàn)都遠(yuǎn)優(yōu)于傳統(tǒng)策略，相較于DQN算法也有一定優(yōu)勢(shì)。

圖3 目標(biāo)函數(shù)值隨串行任務(wù)生成速度的變化

同樣，在固定任務(wù)間隔的情況下，改變串行任務(wù)中高計(jì)算復(fù)雜度的占比，如圖4給出的目標(biāo)函數(shù)數(shù)值曲線，在計(jì)算復(fù)雜度快速升高的情況下，計(jì)算能力較低的本地設(shè)備難以完成任務(wù)；邊緣服務(wù)器由于計(jì)算量超過(guò)承載能力出現(xiàn)任務(wù)堆積，擁有高計(jì)算能力和高網(wǎng)絡(luò)延遲的云端幾乎不受影響。圖5和圖6分別從系統(tǒng)時(shí)延和能耗開銷兩方面進(jìn)行評(píng)價(jià)，針對(duì)串行任務(wù)的權(quán)值分配策略也在任務(wù)復(fù)雜度較高的情況下，有效降低了平均時(shí)延和成本。相較于其他策略和算法，本文給出的ECWS-RDQN算法總體穩(wěn)定，能夠提供更低時(shí)延、更低能耗的服務(wù)，有效提升了服務(wù)質(zhì)量。

圖4 目標(biāo)函數(shù)隨任務(wù)計(jì)算復(fù)雜度的變化

圖5 串行任務(wù)完成時(shí)延隨任務(wù)計(jì)算復(fù)雜度的變化

圖6 串行任務(wù)能耗成本隨任務(wù)計(jì)算復(fù)雜度的變化

而在圖7中，改變不同的計(jì)算復(fù)雜度觀察ECWSRDQN算法在不同情況下對(duì)不同優(yōu)先級(jí)的用戶組的調(diào)度優(yōu)化，其中獎(jiǎng)勵(lì)值為時(shí)延、能耗的獎(jiǎng)勵(lì)值歸一化得到?？梢钥闯鲭S著優(yōu)先級(jí)的提高，更高優(yōu)先級(jí)的用戶可以在時(shí)延和能耗上獲得更好的服務(wù)。

圖7 不同優(yōu)先級(jí)用戶組隨計(jì)算復(fù)雜度的目標(biāo)函數(shù)值變化

4 結(jié)束語(yǔ)

為面對(duì)邊云協(xié)同串行任務(wù)卸載調(diào)度場(chǎng)景，本文提出了ECWS-RDQN算法，并且針對(duì)串行任務(wù)特點(diǎn)進(jìn)行優(yōu)化，在時(shí)延、能量和服務(wù)質(zhì)量的約束條件下能夠?qū)崿F(xiàn)智能任務(wù)卸載，并且通過(guò)實(shí)驗(yàn)驗(yàn)證了其有效性，本算法在各項(xiàng)參數(shù)下均有較明顯優(yōu)勢(shì)。今后將會(huì)考慮算法的細(xì)節(jié)優(yōu)化，同時(shí)在通信資源分配和多服務(wù)器調(diào)度等方面進(jìn)行研究。