劉雷，陳晨，馮杰，裴慶祺，何辭，竇志斌

（1.西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點實驗室，陜西 西安 710071；2.中國電子科技集團公司第54 研究所，河北 石家莊 050081）

1 引言

作為交通強國的重要抓手，車聯(lián)網(wǎng)在國家發(fā)展戰(zhàn)略中起著舉足輕重的作用[1-3]。隨著車聯(lián)網(wǎng)的飛速發(fā)展，車輛變得愈發(fā)普及和智能化。由此，催生了一大批車載應(yīng)用，涵蓋信息服務(wù)、行駛安全和交通效率各個方面[4-6]。這些應(yīng)用服務(wù)在給人們生活帶來便利的同時，將會造成數(shù)據(jù)的幾何增長，增加了網(wǎng)絡(luò)的負(fù)荷，對網(wǎng)絡(luò)帶寬提出了更高的需求。車載邊緣計算通過把移動邊緣計算應(yīng)用在車聯(lián)網(wǎng)，可以實現(xiàn)計算和存儲能力的下沉，能夠極大緩解網(wǎng)絡(luò)的帶寬壓力，有效降低任務(wù)的響應(yīng)時延[7-8]。

在復(fù)雜的車載網(wǎng)絡(luò)環(huán)境下，為了保障大量用戶多樣化的服務(wù)需求，亟須設(shè)計有效的車載邊緣計算機制[9]。利用計算卸載技術(shù)，用戶可以把任務(wù)卸載給具有豐富資源的邊緣節(jié)點計算，有助于響應(yīng)時延的減少。然而，現(xiàn)有的車載計算卸載工作，在用戶端往往集中在本地處理，未能充分發(fā)掘鄰居車輛的資源，而在邊緣端大多側(cè)重于計算資源的管理，忽視了其與服務(wù)緩存之間的關(guān)系。特別地，邊緣端服務(wù)器為了計算用戶卸載的任務(wù)，需要具備一定的計算資源，也需要提前緩存相應(yīng)的服務(wù)應(yīng)用。換言之，計算卸載和服務(wù)緩存彼此關(guān)聯(lián)，相互耦合?？紤]到路邊設(shè)施存儲資源的限制，如何通過服務(wù)緩存的決策保障計算卸載的質(zhì)量是要解決的重要問題。鑒于車聯(lián)網(wǎng)的動態(tài)、隨機和時變特性，需要引入更加智能的算法實現(xiàn)網(wǎng)絡(luò)通信、計算和緩存資源的有效管理，以應(yīng)對傳統(tǒng)數(shù)學(xué)方法的不足[10]。

針對以上問題，本文首先設(shè)計了縱向和橫向協(xié)同的智能車載邊緣計算網(wǎng)絡(luò)架構(gòu)，然后通過分析網(wǎng)絡(luò)通信、計算和服務(wù)緩存資源之間相互作用的機理，提出了通信、計算和服務(wù)緩存資源的聯(lián)合優(yōu)化模型，進(jìn)而利用異步分布式強化學(xué)習(xí)實現(xiàn)了任務(wù)的靈活卸載和資源的智能管理。

2 相關(guān)工作

區(qū)別于一般的移動網(wǎng)絡(luò)[11]，車聯(lián)網(wǎng)的典型特點在于車輛的快速移動。車輛的移動會導(dǎo)致網(wǎng)絡(luò)拓?fù)涞膭討B(tài)變化，決定車間的連通特性，從而影響任務(wù)的正常卸載。為此，車載邊緣計算需要和車輛的移動性密切結(jié)合。文獻(xiàn)[12]考慮網(wǎng)絡(luò)負(fù)荷和任務(wù)卸載，研究了多服務(wù)器多用戶場景下的資源管理。每輛車通過移動可以將任務(wù)選擇性地卸載給期望的邊緣服務(wù)器。文獻(xiàn)[13]呈現(xiàn)了一個移動模型用于設(shè)計鏈路穩(wěn)定性指標(biāo)?；谠撝笜?biāo)可以發(fā)現(xiàn)任務(wù)車輛周邊可用的服務(wù)車輛，從中可以挑選滿足任務(wù)車輛偏好和服務(wù)需求的車輛作為最優(yōu)的服務(wù)提供者。不同于傳統(tǒng)計算卸載工作主要考慮通信和計算資源的調(diào)度，文獻(xiàn)[14]設(shè)計的基于車輛移動的卸載機制同時也考慮了任務(wù)卸載時間的決策。特別地，任務(wù)車輛與服務(wù)器之間的數(shù)據(jù)傳輸速率隨兩者之間的距離動態(tài)變化，由此影響了任務(wù)的卸載時間。

在車載環(huán)境下，路邊單元廣泛部署于路測，通常作為主要的邊緣服務(wù)器節(jié)點參與用戶任務(wù)的處理。文獻(xiàn)[15]考慮車輛的移動及其與關(guān)聯(lián)的邊緣服務(wù)器的連接時間，研究了負(fù)載卸載和任務(wù)調(diào)度問題。文獻(xiàn)[16]提出的雙端優(yōu)化問題旨在同時保障用戶端和服務(wù)器端的利益。以上工作主要側(cè)重于單服務(wù)器場景，文獻(xiàn)[17-18]則聚焦于多服務(wù)場景。文獻(xiàn)[17]提出了具有高可靠性、低時延的車–設(shè)施通信架構(gòu)，優(yōu)化了車和基站的耦合及無線資源的管理。文獻(xiàn)[18]的任務(wù)卸載機制則同時優(yōu)化了服務(wù)器和傳輸模式的選擇。

鑒于車聯(lián)網(wǎng)的復(fù)雜特性，人工智能算法以其巨大的優(yōu)勢也被用于車載邊緣計算，以實現(xiàn)資源的智能管理。文獻(xiàn)[19]利用Q–學(xué)習(xí)算法實現(xiàn)閑置車輛資源和服務(wù)器資源的管理，以加強用戶的服務(wù)質(zhì)量。文獻(xiàn)[20-21]均通過深度Q–學(xué)習(xí)聯(lián)合優(yōu)化了網(wǎng)絡(luò)的通信、計算和緩存資源，旨在提升系統(tǒng)的整體收益。文獻(xiàn)[22]則利用深度確定性策略梯度算法實現(xiàn)任務(wù)的調(diào)度和資源的管理，最大程度保障移動運營商的收益。

以上工作主要集中在車載計算卸載方面，忽視了車輛資源的發(fā)掘和服務(wù)緩存對計算卸載的影響。相比于文獻(xiàn)[12-18]，文獻(xiàn)[19-22]雖然采用智能方法實現(xiàn)任務(wù)的調(diào)度，但依然存在一定的局限性。為此，本文提出了計算卸載和服務(wù)緩存智能聯(lián)合優(yōu)化算法。

3 系統(tǒng)模型

本文構(gòu)建了一個邊緣智能驅(qū)動的車載網(wǎng)絡(luò)架構(gòu)，如圖1 所示。該架構(gòu)包括三層，即用戶層、邊緣層和云層，特點介紹如下。

縱向協(xié)作。用戶層位于網(wǎng)絡(luò)的最底端，主要由車輛組成。部署于道路一側(cè)的路邊單元配置相應(yīng)的邊緣服務(wù)器，作為邊緣層的關(guān)鍵節(jié)點。特別地，在邊緣層引入智能模塊，協(xié)助實現(xiàn)資源的有效管理和任務(wù)的靈活決策。云層位于網(wǎng)絡(luò)的最上端，具有豐富的計算和存儲資源。在用戶和邊緣服務(wù)器資源受限的情況下，云層可提供必要的資源支持。

橫向協(xié)作。當(dāng)車輛有任務(wù)處理時，可以選擇本地執(zhí)行并通過鄰居車輛計算任務(wù)，還可利用車–設(shè)施通信方式交由路邊單元協(xié)助處理。路邊單元的資源往往在空時維度分布不均：輕負(fù)載的服務(wù)器資源會呈現(xiàn)閑置狀態(tài)造成浪費，過負(fù)載的服務(wù)器則對應(yīng)接不暇的任務(wù)捉襟見肘。為此路邊單元之間可以加強橫向協(xié)作，通過任務(wù)遷移的策略，最大化網(wǎng)絡(luò)資源的利用率。

移動感知。由于高速的移動性，車輛可能頻繁地在不同的路邊單元之間切換。所以，需要能夠基于對車輛移動行為的分析對車輛的軌跡準(zhǔn)確定位，以便路邊單元將計算結(jié)果順利反饋給車輛。

假設(shè)M個路邊單元均勻分布于道路一側(cè)，組成集合M。每個路邊單元配備一個計算能力為Fj、存儲資源為Sj的服務(wù)器。N個車輛自由移動在道路上，組成集合N 。每個車輛i攜帶一個任務(wù)，該任務(wù)可以表征為{di,ci}，其中，di表示輸入數(shù)據(jù)的大小，ci表示該任務(wù)的計算量。路邊單元通過有線方式互聯(lián)。用戶與路邊通過無線通信方式進(jìn)行交互。車輛本地的卸載決策用xi0表示，其中，xi0=1表示車輛在用戶側(cè)處理任務(wù)；車輛邊緣的卸載決策用xij表示，其中，xij=1表示車輛將任務(wù)卸載給路邊單元j處理。特別地，當(dāng)車輛執(zhí)行邊緣卸載處理時，優(yōu)先鄰近關(guān)聯(lián)的路邊單元。如果當(dāng)前關(guān)聯(lián)的路邊單元負(fù)荷較重，則可以由該服務(wù)器將任務(wù)遷移至周邊的路邊單元。這樣有利于負(fù)載均衡，提升資源的利用率，從而加強用戶的服務(wù)體驗。對于每個路邊單元，為了實現(xiàn)任務(wù)的處理，需要安裝相應(yīng)的服務(wù)應(yīng)用。換言之，當(dāng)其存儲了相應(yīng)的服務(wù)應(yīng)用，即緩存決策wij=1時，路邊單元j能夠處理車輛i卸載的任務(wù)；否則它需要從云端下載該應(yīng)用，從而帶來了額外的時延開銷。

3.1 移動模型

定義δab為相鄰車輛a 和b 的連通時間，R為車輛的通信范圍。令va(t)和vb(t)分別為兩車在t時刻的速度，(xa(t),(ya(t))和(xb(t),(yb(t))分別為兩車在t時刻的坐標(biāo)。那么，兩車的連通時間可以表示[23]為

其中，當(dāng)φ=?1、?=1時，后車a 和前車b 同向行駛，且前車速度小于后車；當(dāng)φ=1、?=1時，后車a 和前車b 同向行駛，且前車速度大于后車；當(dāng)φ=?1、?=?1 時，車輛a 和車輛b 位于不同車道且相向行駛；當(dāng)φ=1，?=?1 時，車輛a 和車輛b位于相同車道，且反向行駛。

3.2 通信模型

車–車通信模型。車–車通信采用基于分布式協(xié)調(diào)功能（DCF,distributed coordination function）的IEEE 802.11p 協(xié)議。車輛利用CSMA/CA 機制競爭信道。令E[sn]表示成功傳輸一個數(shù)據(jù)所需要的平均時隙數(shù)目，E[sl]表示每個時隙的平均長度。那么，在車輛i和相鄰車輛k之間成功傳輸一個數(shù)據(jù)所需的平均時延[24]為

車?設(shè)施通信模型。任務(wù)車輛在執(zhí)行邊緣卸載時，通過車?設(shè)施通信方式將任務(wù)上傳給路邊單元，其中通信采用LTE-V2X 協(xié)議。定義hi和Bi分別為車輛與路邊單元之間的信道增益和信道帶寬。令ρi表示用戶的傳輸功率，σ2表示傳輸?shù)脑肼?。那么，根?jù)香農(nóng)定理可得，數(shù)據(jù)的上傳速率為

3.3 緩存模型

路邊單元執(zhí)行車輛卸載任務(wù)的前提在于其預(yù)先安裝了所需要的服務(wù)應(yīng)用。考慮到存儲空間的有限性，路邊單元不可能緩存所有需要的服務(wù)應(yīng)用。定義路邊單元j的存儲大小為Cj，任務(wù)車輛i服務(wù)應(yīng)用的大小為，則有式(4)成立。

3.4 計算模型

任務(wù)車輛可以通過用戶層計算和邊緣層卸載2 種方式處理任務(wù)。下面，對兩者的時延性能分別進(jìn)行分析。

3.4.1 用戶層計算

為了充分利用車輛資源，任務(wù)車輛除了可以在本地處理任務(wù)外，還可以借助其通信范圍內(nèi)的鄰居車輛實現(xiàn)任務(wù)的計算。定義fi為任務(wù)車輛i自身的計算能力。那么，車輛i通過本地計算方式處理自己任務(wù)所需要的時間可表示為

定義Ni為車輛i通信范圍內(nèi)的車輛集合。當(dāng)任務(wù)車輛利用其鄰居車輛k∈Ni計算任務(wù)時，時延包括任務(wù)在兩車之間的傳輸時延、任務(wù)在鄰居車輛的計算時延和結(jié)果的反饋時延。這里，本文忽略結(jié)果的反饋時延。對于傳輸時延而言，根據(jù)式(2)可求得平均傳輸時延tik；對于計算時延來說，通過式(5)可以求得平均計算時延。

綜上可得，完成任務(wù)車輛任務(wù)計算所需要的最小時延為

約束條件為

其中，約束條件是為了保障選定的鄰居車輛能夠在兩車有效通信時間δik內(nèi)完成任務(wù)的處理和反饋。

3.4.2 邊緣層卸載

當(dāng)任務(wù)車輛執(zhí)行邊緣卸載時，一般包括以下階段：任務(wù)上傳、任務(wù)執(zhí)行和結(jié)果反饋。本文忽略結(jié)果反饋的時延假設(shè)任務(wù)車輛i選擇卸載的路邊單位為j，分別對不同階段的時延進(jìn)行分析。

任務(wù)上傳階段。車輛i首先把任務(wù)上傳給當(dāng)前關(guān)聯(lián)的路邊單元si，該過程的傳輸時延取決于任務(wù)的大小和數(shù)據(jù)的傳輸速率。由式(3)可得

任務(wù)執(zhí)行階段。根據(jù)所選定卸載服務(wù)器的位置，任務(wù)執(zhí)行分為以下2 種情況。

情況1路邊單元si和j相同。該情況下，任務(wù)在當(dāng)前路邊單元計算。如果路邊單元存儲了計算該任務(wù)所需的服務(wù)應(yīng)用，則可以直接計算任務(wù)，所需時延取決于任務(wù)的算力需求和路邊單元分配的計算資源；否則，還要考慮從云端下載相應(yīng)服務(wù)應(yīng)用的額外時延。綜上，完成任務(wù)計算所需要的時間為

其中，fij表示路邊單元給車輛分配的算力。

情況2路邊單元si和j不同。該情況下，需要考慮任務(wù)在兩者之間的遷移時延。路邊單元之間通過有線鏈路連接。假設(shè)si和j之間存在個鏈路，而每個鏈路的平均傳輸時延為tone-link，那么，任務(wù)在2個路邊單元之間的遷移時間為。結(jié)合式(8)，可得完成任務(wù)處理所需要的時間為

結(jié)果反饋階段。一旦選定的路邊單元完成任務(wù)的處理，就需要將結(jié)果反饋給車輛。由于移動性，需要考慮車輛此時是否可能駛出了起初關(guān)聯(lián)的路邊單元。因此，可將任務(wù)在上傳和執(zhí)行階段的時間Tij與車輛在起初關(guān)聯(lián)服務(wù)器傳輸范圍內(nèi)的時間做比較。其中，取決于用戶駛出服務(wù)器通信范圍的時間和移動速度的比值。如果，可將結(jié)果首先傳輸給該路邊單元，然后反饋給車輛；否則，需要對車輛的移動定位，判斷當(dāng)前位于哪個路邊單元，以便將結(jié)果傳輸給該服務(wù)器，進(jìn)而反饋給車輛。

3.5 計算卸載和服務(wù)緩存聯(lián)合優(yōu)化模型

本文旨在動態(tài)、隨機和時變的車載環(huán)境下，面對有限網(wǎng)絡(luò)資源和不同用戶需求之間的矛盾，通過計算卸載和服務(wù)緩存資源聯(lián)合優(yōu)化，在保障用戶服務(wù)需求的前提下，最小化系統(tǒng)整體的處理時延。鑒于此，設(shè)計目標(biāo)函數(shù)如下

其中，x={xij}，w={wij}，f={fij}。根據(jù)式(6)～式(9)，可分別得到和Tij。這里，假設(shè)車輛分配的帶寬資源一樣。限制性條件C1 表示每個任務(wù)有用戶層處理和邊緣層卸載2 種處理方式；C2 表示每個任務(wù)僅在一個地方執(zhí)行；C3 表示服務(wù)器的計算資源限制；C4 表示服務(wù)器的緩存資源限制，其中，? i表示執(zhí)行任務(wù)所需要的服務(wù)應(yīng)用的大?。籆5 表示車輛卸載給路邊單位的任務(wù)應(yīng)該在其離開關(guān)聯(lián)的服務(wù)器傳輸范圍之前完成，其中，δ i表示用戶和其關(guān)聯(lián)的服務(wù)器的連接時間，取決于用戶駛出服務(wù)器通信范圍的時間和移動速度的比值。

4 基于異步分布式強化學(xué)習(xí)的問題求解

鑒于車載網(wǎng)絡(luò)的動態(tài)性、隨機性和時變性，人工智能算法相比于傳統(tǒng)數(shù)學(xué)方法更適合資源的管理和任務(wù)的調(diào)度。相比較而言，Q–學(xué)習(xí)需要維護Q表格，不適應(yīng)于具有較多狀態(tài)的網(wǎng)絡(luò)。深度確定性策略梯度算法需要利用經(jīng)驗回放機制消除訓(xùn)練數(shù)據(jù)間的相關(guān)性。對于經(jīng)驗回放機制來說，代理在與環(huán)境的每次交互都需耗費較多的資源，而所采用的離策略學(xué)習(xí)方法只能基于舊策略生成的數(shù)據(jù)進(jìn)行更新。所以，考慮利用異步優(yōu)勢的actor-critic 算法減少算法執(zhí)行所需的開銷，同時基于實時的網(wǎng)絡(luò)環(huán)境提供最優(yōu)的卸載決策和資源管理。

利用異步優(yōu)勢的actor-critic 算法對系統(tǒng)環(huán)境建模，需要確定其狀態(tài)空間、動作空間和獎勵函數(shù)，具體如下。

狀態(tài)空間。狀態(tài)空間S由車載網(wǎng)絡(luò)的計算資源和緩存資源組成，S={F1,F2,…,FM,S1,S2,…,SM}。其中，F(xiàn)i和Si分別表示路邊單元i的計算能力和存儲能力。

動作空間。動作空間由車輛的卸載決策、路邊單元的緩存和計算資源管理組成，A=(xi,wi,fi)。其中，xi、wi和fi分別代表車輛i的卸載決策、路邊單元存儲和計算資源管理的集合，xi={xi0,xi1,…,xiM}，wi={wi1,wi2,…,wiM}，fi={f i1,fi2,…,fiM}。

異步優(yōu)勢的actor-critic 算法中的公共神經(jīng)網(wǎng)絡(luò)包括多個線程，每個線程具有和公共神經(jīng)網(wǎng)絡(luò)一樣的2 個模塊：策略（actor）網(wǎng)絡(luò)和評價（critic）網(wǎng)絡(luò)。actor 網(wǎng)絡(luò)用于優(yōu)化參數(shù)為θ策略π(at|st;θ)；critic 網(wǎng)絡(luò)嘗試估計參數(shù)為θ v的價值函數(shù)V(s t;θ)。在時刻t，actor 網(wǎng)絡(luò)基于當(dāng)前狀態(tài)st執(zhí)行動作at，得到獎賞rt并進(jìn)入下一個狀態(tài)st+1。

利用優(yōu)勢函數(shù)A(at,st)表示動作價值函數(shù)Q(at,st)和狀態(tài)價值函數(shù)V(st)的差值，如式(16)所示。

其中，a表示動量，Δθ表示損失函數(shù)的累計梯度。

RMSProp 算法可以通過式(23)進(jìn)行梯度下降的更新。

其中，η表示學(xué)習(xí)速率，ε表示一個正數(shù)。

單個線程獨立地與環(huán)境交互并獲取經(jīng)驗，彼此之間互不干擾。經(jīng)過一定的交互之后，每個線程獨立地使用累計的梯度更新公共神經(jīng)網(wǎng)絡(luò)模型參數(shù)，如圖2 所示。進(jìn)而，公共神經(jīng)網(wǎng)絡(luò)會分發(fā)自己的參數(shù)更新每個線程的神經(jīng)網(wǎng)絡(luò)參數(shù)，指導(dǎo)線程與環(huán)境的交互。本文算法詳細(xì)描述如下。

圖2 本文算法網(wǎng)絡(luò)模型

算法1基于異步分布式強化學(xué)習(xí)的計算卸載和服務(wù)緩存聯(lián)合優(yōu)化機制

輸入車輛的任務(wù)屬性和需求

輸出車輛的卸載決策，路邊單元計算和緩存資源管理決策

初始化定義?和? v為全局網(wǎng)絡(luò)中actor 網(wǎng)絡(luò)和critic 網(wǎng)絡(luò)的參數(shù)；定義為局部網(wǎng)絡(luò)中actor 網(wǎng)絡(luò)和critic 網(wǎng)絡(luò)的參數(shù)；設(shè)置全局計數(shù)器T=0，設(shè)置局部步進(jìn)計數(shù)器t=1，設(shè)置Tmax、tg、γ、ε、tmax、學(xué)習(xí)的速率η和代理的數(shù)目W

迭代：

5 仿真分析

本節(jié)利用Python 對車載邊緣計算卸載算法進(jìn)行仿真驗證，通過比較各算法隨車輛數(shù)目、路邊單元計算能力和存儲能力的變化在時延和獎賞方面展現(xiàn)的性能，來評估不同算法的優(yōu)劣。其中，實現(xiàn)的算法除了本文算法之外，還包括基于隨機卸載策略random processing 和完全卸載策略的offloading processing。在車載環(huán)境下，設(shè)置一個云中心和3 個路邊單元。仿真參數(shù)如表1 所示。車輛的計算能力分布于[100,500]Mcycle/s，邊緣服務(wù)器計算能力分布于[2,6]Gcycle/s，邊緣服務(wù)器緩存能力分布于[200,1 000]MB，車輛計算能力分布于[100,500]Mcycle/s，每個任務(wù)的計算強度為297.62 cycle/bit。

表1 仿真參數(shù)

圖3 顯示了車輛數(shù)目對不同算法時延的影響。此時，設(shè)置每個路邊單元的計算能力為 2 GHz，存儲大小為300 MB。從圖3 中可以發(fā)現(xiàn)，系統(tǒng)任務(wù)處理的時延隨著車輛數(shù)目的增多而增加。這一方面是因為處理任務(wù)的增多，另外一方面是因為有限計算資源的競爭。在所有的算法中，random processing的時延最大。相對于offloading processing 和本文算法，當(dāng)采用random processing 時，車輛會承擔(dān)較多任務(wù)的計算。由于車輛自身計算資源的限制，單獨處理任務(wù)會造成較大的時延。offloading processing取得了比random processing 更好的性能。這主要歸因于邊緣服務(wù)器具有豐富的計算資源。邊緣服務(wù)器參與任務(wù)的計算，會加快任務(wù)的處理，降低任務(wù)的處理時延。本文算法相對于以上2 種算法，完成任務(wù)處理所需的時延最小，這是因為本文算法考慮了縱向的端、邊和云的協(xié)作。為此，所有可用的資源均可以通過協(xié)同用于處理任務(wù)，提升了資源的利用效率，促進(jìn)了時延的減少。特別地，在端側(cè)，任務(wù)的處理不僅考慮了本地資源，也充分發(fā)掘了任務(wù)車輛一跳的鄰居車輛資源。本文算法的目標(biāo)在于最小化任務(wù)的處理時延，而所在用的深度強化學(xué)習(xí)策略能夠適應(yīng)車載網(wǎng)絡(luò)的動態(tài)、隨機和時變特性獲取相應(yīng)的最優(yōu)解。

圖3 車輛數(shù)目對不同算法時延的影響

圖4 顯示了邊緣服務(wù)器的計算能力對不同算法時延的影響。隨著邊緣服務(wù)器的計算能力的增加，不同算法處理任務(wù)的時延隨之減少。這是因為任務(wù)的計算與邊緣服務(wù)器的資源呈正相關(guān)的關(guān)系。對于random processing 而言，任務(wù)可以在端側(cè)處理，也可以由邊緣服務(wù)器計算。由于未能充分發(fā)掘邊緣服務(wù)器的計算資源，random processing 所帶來的時延最大。對于offloading processing 而言，任務(wù)全部交由邊緣服務(wù)器處理。雖然可以充分發(fā)揮邊緣服務(wù)器的計算資源，但是，未能考慮計算資源和服務(wù)緩存資源的相互關(guān)系。邊緣服務(wù)器因為緩存資源不足將從云端下載任務(wù)計算所需的服務(wù)應(yīng)用，帶來額外的時延。對于本文算法而言，它聯(lián)合考慮了計算卸載和服務(wù)緩存，通過本地處理和邊緣處理的合理調(diào)度，促使了計算資源和緩存資源的充分利用，進(jìn)一步減少了任務(wù)的處理時延。此外，深度強化學(xué)習(xí)算法有利于在動態(tài)的網(wǎng)絡(luò)環(huán)境當(dāng)中做出最優(yōu)的卸載決策，有效地處理好計算資源和服務(wù)緩存資源之間的關(guān)系，進(jìn)而保障任務(wù)的快速處理。

圖4 邊緣服務(wù)器的計算能力對不同算法時延的影響

圖5 描述了邊緣服務(wù)器的緩存能力對不同算法時延的影響。從圖5 中可以發(fā)現(xiàn)，隨著邊緣服務(wù)器緩存能力的增加，不同算法處理任務(wù)的時延隨之減少。這主要是因為邊緣服務(wù)器為了執(zhí)行任務(wù)，需要安裝相應(yīng)的服務(wù)應(yīng)用，否則就需要從云端下載，從而帶來了額外的開銷。當(dāng)邊緣服務(wù)器的緩存能力增加時，可以緩存更多任務(wù)處理所需要的服務(wù)應(yīng)用。這樣方便任務(wù)卸載給邊緣服務(wù)器之后直接計算，從而降低了時延。

圖5 邊緣服務(wù)器的緩存能力對不同算法時延的影響

圖6 描述了本文算法在不同學(xué)習(xí)速率場景下的收斂情況。其中，實線表示當(dāng)actor 和critic 網(wǎng)絡(luò)的學(xué)習(xí)速率分別為1×10?5和1×10?4時episode數(shù)目對獎勵的影響。虛線表示當(dāng)actor 和critic 網(wǎng)絡(luò)的學(xué)習(xí)速率分別為1×10?4和1×10?3時episode數(shù)目對獎勵的影響。從兩者的比較可以發(fā)現(xiàn)，隨著episode 的增加，獎賞將會趨于穩(wěn)定。

圖6 本文算法在不同學(xué)習(xí)速率場景下的收斂情況

6 結(jié)束語

面對車聯(lián)網(wǎng)中有限的網(wǎng)絡(luò)資源，為了保障大量用戶多樣化的服務(wù)需求，本文提出了智能驅(qū)動的車載邊緣計算架構(gòu)。該架構(gòu)實現(xiàn)了縱向端-邊-云資源的協(xié)作和橫向端側(cè)、邊側(cè)資源的協(xié)同，有利于實現(xiàn)資源的最大化利用。基于該架構(gòu)，探究了計算卸載和服務(wù)緩存相互作用的機理，進(jìn)而提出了兩者的聯(lián)合優(yōu)化模型?？紤]到復(fù)雜的車載環(huán)境，利用異步優(yōu)勢的actor-critic 算法，給出了最優(yōu)的任務(wù)卸載的策略和資源管理方案。實驗結(jié)果表明，相對于對比算法，本文算法在任務(wù)處理時延方面取得了良好的性能提升。