喬德文，郭松濤*，何 靜，朱永東

(1.重慶大學(xué) 計(jì)算機(jī)學(xué)院,重慶 400044；2.之江實(shí)驗(yàn)室 智能網(wǎng)絡(luò)研究院，浙江 杭州311121)

0 引言

隨著5G技術(shù)的發(fā)展和物聯(lián)網(wǎng)(Internet of Things，IoT)的普及，網(wǎng)絡(luò)邊緣的數(shù)據(jù)由地理上分布廣泛的移動終端和IoT設(shè)備所創(chuàng)建，這些在網(wǎng)絡(luò)邊緣生成的數(shù)據(jù)比大型云數(shù)據(jù)中心[1]生成的數(shù)據(jù)還要多。另外，根據(jù)IDC的預(yù)測，到2025年[2]，全球物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)的70%都要在網(wǎng)絡(luò)邊緣處理。同時(shí)，人們在日常生活中使用這些智能終端設(shè)備時(shí)對其服務(wù)質(zhì)量的需求有了進(jìn)一步的提高[3]。因此，在這種情形下，用傳統(tǒng)的云集中式處理模式將無法高效率地處理這些網(wǎng)絡(luò)邊緣數(shù)據(jù)，也不能滿足用戶對智能終端高服務(wù)質(zhì)量的需求。具體來說，傳統(tǒng)云計(jì)算在處理這些網(wǎng)絡(luò)邊緣數(shù)據(jù)時(shí)存在三點(diǎn)不足：① 實(shí)時(shí)性不夠；② 帶寬不足；③ 能耗較大。因此，為了解決以上問題，更適用的方式是直接在邊緣網(wǎng)絡(luò)側(cè)處理用戶需求，這催生了一種全新的計(jì)算范式——邊緣計(jì)算(Edge Computing，EC)[4]。

EC將云服務(wù)從網(wǎng)絡(luò)核心推向更接近物聯(lián)網(wǎng)設(shè)備和數(shù)據(jù)源的網(wǎng)絡(luò)邊緣，它是一種在終端設(shè)備中分析和處理數(shù)據(jù)的技術(shù)。通過這種技術(shù)，數(shù)據(jù)可以在網(wǎng)絡(luò)邊緣進(jìn)行實(shí)時(shí)處理，以實(shí)現(xiàn)數(shù)據(jù)流加速的目的。從本質(zhì)上講，與傳統(tǒng)基于云的計(jì)算模式相比，EC使得計(jì)算和數(shù)據(jù)源之間的物理距離更加接近，大大降低了數(shù)據(jù)傳輸?shù)臅r(shí)延，緩解了網(wǎng)絡(luò)帶寬的壓力，減少了數(shù)據(jù)通信的能耗,使得用戶的服務(wù)質(zhì)量大大提升[5-7]。

近些年來，得益于摩爾定律的突破，使得人工智能(Artificial Intelligence，AI)的發(fā)展再一次迎來了高潮。日常生活中，熟知的AlphaGo[8]、無人駕駛汽車[9]、智慧醫(yī)療[10]等，都是AI發(fā)展的延伸?？梢哉f，我們目前生活在一個(gè)AI蓬勃發(fā)展的時(shí)代。另外，在算法、算力、大數(shù)據(jù)等最新進(jìn)展的推動下，深度學(xué)習(xí)(Deep Learning，DL)[11]作為AI領(lǐng)域最耀眼的領(lǐng)域，在計(jì)算機(jī)視覺、語音識別、自然語言處理等多個(gè)領(lǐng)域取得了實(shí)質(zhì)性突破。得益于這些突破，以智能個(gè)人助理、個(gè)性化購物推薦、智能家電等為代表的一系列智能應(yīng)用迅速進(jìn)入了人們的視野，得到了巨大的青睞。現(xiàn)代社會普遍認(rèn)為這些智能應(yīng)用極大地豐富了人們的生活方式，提高了社會生產(chǎn)效率。由于AI算法的實(shí)現(xiàn)需要大量的計(jì)算，當(dāng)前AI大部分的計(jì)算任務(wù)都是依靠部署在云及其他大規(guī)模計(jì)算資源密集的平臺上實(shí)現(xiàn)的，但考慮到大規(guī)模計(jì)算資源密集平臺與智能終端的物理距離以及網(wǎng)絡(luò)邊緣海量數(shù)據(jù)的現(xiàn)實(shí)，就極大地限制了AI帶來的便利。因此，催生了人們將EC與AI進(jìn)行結(jié)合的想法，這也就產(chǎn)生了邊緣智能(Edge Intelligence，EI)。

EI并不是將EC和AI進(jìn)行簡單的結(jié)合，EI涉及到的主題十分廣泛，目前學(xué)術(shù)界還沒有給出一個(gè)統(tǒng)一的定義。但是，很多涉足EI的學(xué)者都給出了自己對EI的理解，例如，Zhou等人認(rèn)為EI的范圍不應(yīng)該僅僅局限于邊-端上運(yùn)行AI算法，而也應(yīng)該包括在邊-云上運(yùn)行AI算法[12]；Zhang等人將EI定義為使邊緣設(shè)備能夠執(zhí)行AI算法的能力[13]；李肯立等人將EI定義為融合網(wǎng)絡(luò)、計(jì)算、存儲、應(yīng)用核心能力的開放平臺[14]。

處于初級階段的EI吸引了學(xué)者的廣泛關(guān)注。他們對EI的進(jìn)展做了較為全面的研究總結(jié)，例如，Zhou等人從AI模型的訓(xùn)練、推理以及邊-云和端-邊-云協(xié)作等方面對EI進(jìn)行了較為全面的闡述[12]；Chen等人對網(wǎng)絡(luò)邊緣DL應(yīng)用的場景以及在網(wǎng)絡(luò)邊緣部署分布式DL算法的常見方法進(jìn)行了研究[15]；Wang等人從AI、EC各自的應(yīng)用場景以及二者相結(jié)合的應(yīng)用場景角度更加全面地介紹了EI[16]；也有一些文獻(xiàn)從AI驅(qū)動的霧計(jì)算的角度對EI進(jìn)行了研究[17-18]。例如，Peng和Zhang全面總結(jié)了霧-無線電接入網(wǎng)的性能分析和無線電資源分配的最新進(jìn)展。然而，EI的主題涉及范圍廣泛，無論是起源還是性質(zhì)，這些文獻(xiàn)都沒有完全涵蓋。還有許多問題沒有得到解決，正因?yàn)槿绱耍疚膶I進(jìn)行分類闡述，以一種簡單明了的方式將EI的重點(diǎn)內(nèi)容呈現(xiàn)出來。具體來說，本文將EI分為基于EC的AI(AI on edge)和基于AI的EC(AI for edge)。AI on edge可以理解為在邊緣環(huán)境中部署AI算法；AI for edge可以理解為利用AI算法解決EC中的優(yōu)化問題，現(xiàn)有關(guān)于EI的研究都可以大致分為這兩大類。

1 EC和AI的關(guān)系

AI和EC的結(jié)合是必然，它們之間存在著一種互動關(guān)系。AI為EC提供解決問題的技術(shù)和方案，而EC為AI提供釋放潛力的平臺。

1.1 AI為EC提供技術(shù)和方法

EC是一種分布式計(jì)算范式，通過構(gòu)建軟件定義的網(wǎng)絡(luò)來分散數(shù)據(jù)，提供具有魯棒性和彈性的服務(wù)。EC在不同的層次上面臨資源分配問題，如CPU周期頻率、訪問權(quán)限、射頻、帶寬等。因此，對各種功能強(qiáng)大的優(yōu)化算法提出了很高的要求，以提高系統(tǒng)的效率。從本質(zhì)上講，EC將真實(shí)場景中的優(yōu)化問題進(jìn)行建模，然后用梯度下降方法迭代地尋找漸近最優(yōu)解。無論是統(tǒng)計(jì)學(xué)習(xí)方法還是DL方法都可以為邊緣提供幫助。此外，包括多智能體學(xué)習(xí)、深度Q-網(wǎng)絡(luò)(Deep Q-Network，DQN)在內(nèi)的強(qiáng)化學(xué)習(xí)在邊緣資源分配問題中發(fā)揮著越來越重要的作用。

1.2 EC為AI提供場景和平臺

IoT設(shè)備的激增使萬物互聯(lián)成為現(xiàn)實(shí)。除了云數(shù)據(jù)中心外，更多的數(shù)據(jù)是由邊緣網(wǎng)絡(luò)設(shè)備創(chuàng)建的。更多的應(yīng)用場景，如自動駕駛、智能家居、智慧城市等，都可以極大地促進(jìn)AI從理論到實(shí)踐的實(shí)現(xiàn)。此外，通信質(zhì)量高、計(jì)算能力要求低的AI應(yīng)用可以從云遷移到邊緣，可以說，EC為AI提供了一個(gè)功能豐富的平臺，得以讓AI盡情地釋放其內(nèi)在潛力。

2 AI on edge

在這一部分，本文將AI on edge的研究工作分為模型訓(xùn)練和模型推理兩部分。其中模型訓(xùn)練部分重點(diǎn)介紹目前流行的聯(lián)邦學(xué)習(xí)(Federated Learning，F(xiàn)L)在邊緣環(huán)境中的一些研究工作；在模型推理部分，本文主要介紹模型的優(yōu)化、分割以及共享三方面的工作。最后，本文對上述兩部分的工作做相應(yīng)的總結(jié)分析。

2.1 模型訓(xùn)練

在邊緣環(huán)境中，本文將在邊緣側(cè)進(jìn)行的AI模型訓(xùn)練稱之為“AI on edge”。這種訓(xùn)練需要大量資源來進(jìn)行數(shù)據(jù)參數(shù)的交換更新，但往往存在著數(shù)據(jù)隱私暴露的風(fēng)險(xiǎn)。幸運(yùn)的是，F(xiàn)L作為一種新興的分布式學(xué)習(xí)架構(gòu)，能夠很好地解決AI on edge存在的一些問題。對于EC中能力多樣、網(wǎng)絡(luò)條件有限的設(shè)備，F(xiàn)L可以在處理Non-IID訓(xùn)練數(shù)據(jù)時(shí)保護(hù)隱私，在高效通信、資源優(yōu)化和安全等方面具有良好的擴(kuò)展性。表1中列出了一些關(guān)于FL的工作。

表1 FL的相關(guān)工作

2.1.1 標(biāo)準(zhǔn)FL

FL[19]作為端-邊-云之間的一種實(shí)用的深度學(xué)習(xí)訓(xùn)練機(jī)制而出現(xiàn)。在FL的框架下，移動設(shè)備被視為執(zhí)行本地訓(xùn)練的客戶端。同時(shí)，云中的終端設(shè)備、邊緣節(jié)點(diǎn)和服務(wù)器在一定條件下也可以等價(jià)地視為FL中的客戶端。下面討論基于邊緣計(jì)算的聯(lián)邦學(xué)習(xí)基本原理。FL不需要上傳數(shù)據(jù)到中心云進(jìn)行訓(xùn)練，邊緣設(shè)備只需要使用本地?cái)?shù)據(jù)訓(xùn)練本地DL模型，然后上傳更新后的DL模型參數(shù)。在標(biāo)準(zhǔn)FL中有兩個(gè)角色：具有本地?cái)?shù)據(jù)的客戶端和負(fù)責(zé)模型聚合的聚合服務(wù)器。整個(gè)FL的過程如下：① 請求一組客戶端從服務(wù)器下載初始化全局DL模型參數(shù)；② 用本地?cái)?shù)據(jù)在下載的全局模型參數(shù)上訓(xùn)練本地模型；③ 將更新后的本地模型參數(shù)上傳到服務(wù)器，接著對本地模型參數(shù)進(jìn)行加權(quán)聚合得到全局模型參數(shù)。如圖1所示，根據(jù)FL中的兩個(gè)角色和EC三個(gè)層次之間的關(guān)系，有3種可行的訓(xùn)練FL的解決方案：① 端-邊合作：邊緣節(jié)點(diǎn)代替云作為服務(wù)器，端側(cè)作為客戶端；② 邊-云合作：邊側(cè)作為客戶端參與FL，而云作為聚合服務(wù)器；③ 端-邊-云合作：端邊兩側(cè)作為客戶端參與FL，而云作為聚合服務(wù)器，這種方式可以結(jié)合上述兩種方式的優(yōu)點(diǎn)。

圖1 端-邊-云網(wǎng)絡(luò)架構(gòu)下的FLFig.1 FL of end-edge-cloud network architecture

2.1.2 高效通信FL

在FL訓(xùn)練過程中，不用將原始數(shù)據(jù)上傳到服務(wù)器，可以說在很大程度上降低了通信代價(jià)。但如果本地訓(xùn)練的DL模型足夠大，從邊緣設(shè)備向中心服務(wù)器上傳模型參數(shù)也會消耗大量的通信資源。為了解決這一問題，有學(xué)者提出讓FL邊緣設(shè)備定期地(不是持續(xù)地)與中央服務(wù)器通信，以尋求關(guān)于全局DL模型的共識[20]。此外，F(xiàn)L框架下，DL模型參數(shù)的壓縮和學(xué)習(xí)策略的創(chuàng)新也能實(shí)現(xiàn)FL高效通信的目的。例如，在文獻(xiàn)[21-22]中，提出了一種稀疏三元壓縮方法，實(shí)現(xiàn)客戶端和服務(wù)器之間參數(shù)傳輸?shù)纳舷掠瓮ㄐ艍嚎s，達(dá)到降低通信代價(jià)的目的；文獻(xiàn)[23]提出了一種異步學(xué)習(xí)策略，該學(xué)習(xí)策略將不同層次的深度神經(jīng)網(wǎng)絡(luò)分為淺層和深層，深層的參數(shù)更新頻率低于淺層。此外，在服務(wù)器上引入時(shí)間加權(quán)聚合策略，利用之前訓(xùn)練的局部模型，從而提高中心模型的準(zhǔn)確性和收斂性。

另外，與云相比，邊緣設(shè)備的計(jì)算資源非常稀缺。提高通信效率還需要考慮其他挑戰(zhàn)：① 計(jì)算資源在邊緣設(shè)備上是異構(gòu)的和有限的；② 邊緣設(shè)備上的訓(xùn)練數(shù)據(jù)可能是Non-IID的?；诖耍墨I(xiàn)[24]推導(dǎo)出的Non-IID分布式學(xué)習(xí)的收斂界，可以保證在理論上優(yōu)化所有參與設(shè)備在給定資源預(yù)算下的聚集頻率。

2.1.3 資源優(yōu)化FL

當(dāng)FL將相同的神經(jīng)網(wǎng)絡(luò)模型部署到異構(gòu)的邊緣設(shè)備時(shí)，計(jì)算能力較弱的設(shè)備可能會極大地延遲全局模型的聚合。雖然將掉隊(duì)者從協(xié)作中剔除可以在一定程度上緩解延遲問題，但掉隊(duì)者可能會保留從非相同數(shù)據(jù)集學(xué)習(xí)到的獨(dú)特和關(guān)鍵信息，直接剔除會損害整體協(xié)作性能。因此，文獻(xiàn)[25]中提出了異構(gòu)感知FL框架Helios來解決設(shè)備能力異構(gòu)的問題。Helios識別單個(gè)設(shè)備的異構(gòu)訓(xùn)練能力，因此預(yù)期的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練量與協(xié)作訓(xùn)練速度有關(guān)。針對掉隊(duì)設(shè)備，提出了一種軟訓(xùn)練方法，通過旋轉(zhuǎn)神經(jīng)元訓(xùn)練方法將原始相同訓(xùn)練模型動態(tài)壓縮到期望體積。通過廣泛的算法分析和優(yōu)化方案，可以在保持局部訓(xùn)練和聯(lián)邦協(xié)作收斂的同時(shí)，充分利用掉隊(duì)者的信息。實(shí)驗(yàn)表明，在不同的協(xié)作設(shè)置下，Helios可以提供高達(dá)2.5倍的訓(xùn)練加速度并提高4.64%的收斂精度。

同時(shí)，在移動EC場景中部署FL時(shí)，F(xiàn)L的執(zhí)行時(shí)間主要取決于客戶端數(shù)量及其計(jì)算能力。因此，為了最小化FL的訓(xùn)練時(shí)間，對FL進(jìn)行適當(dāng)?shù)馁Y源分配不僅需要考慮FL參數(shù)(如計(jì)算通信的精度水平)，還需要考慮客戶端的資源分配(如功率和CPU周期)。但是，客戶端能耗的最小化和FL執(zhí)行時(shí)間存在沖突。例如，客戶端可以通過始終保持低頻率的CPU來節(jié)省能源，但這肯定會增加訓(xùn)練時(shí)間。因此，為了在能量消耗和訓(xùn)練時(shí)間之間取得平衡，文獻(xiàn)[26]首先為每個(gè)客戶端設(shè)計(jì)了一種新的算法——FEDL，對其局部問題進(jìn)行近似求解，直到達(dá)到局部精度水平。然后，利用帕累托效率模型，提出了無線網(wǎng)絡(luò)中FEDL的非凸資源分配問題，以獲取客戶端能量成本和FL執(zhí)行時(shí)間之間的權(quán)衡。最后，利用該問題的特殊結(jié)構(gòu)，將其分解為3個(gè)子問題，并據(jù)此推導(dǎo)出閉解，表征了帕累托效率控制旋鈕對最優(yōu)解的影響。

此外，F(xiàn)L中涉及的設(shè)備數(shù)量通常很大，從數(shù)億到數(shù)百萬不等。當(dāng)設(shè)備數(shù)量巨大時(shí)，在每輪客戶端和服務(wù)器進(jìn)行通信時(shí)，將這些設(shè)備的本地模型參數(shù)全部上傳到服務(wù)器進(jìn)行加權(quán)聚合是不現(xiàn)實(shí)的。為了解決設(shè)備數(shù)量帶來的通信壓力問題，文獻(xiàn)[27]提出了一個(gè)經(jīng)驗(yàn)驅(qū)動的控制框架，該框架利用強(qiáng)化學(xué)習(xí)智能地選擇客戶端設(shè)備參與每一輪的全局聚合，在減少通信輪數(shù)的情況下達(dá)到同等模型精度的實(shí)現(xiàn)。

2.1.4 安全增強(qiáng)FL

在分布式訓(xùn)練場景中，客戶端的信息交流是涉及到分布式機(jī)器學(xué)習(xí)中的隱私核心問題。FL避免了上傳訓(xùn)練數(shù)據(jù)可能導(dǎo)致的隱私泄露，但同時(shí)也引入了模型更新的隱私問題?？梢砸氩罘蛛[私(Differential Privacy，DP)的技術(shù)，在敏感數(shù)據(jù)中添加噪聲來嚴(yán)格量化表達(dá)式控制信息的公開，有助于降低FL訓(xùn)練更新中隱私泄露的威脅，常見的幾種FL的模型如圖2所示。

(a) 集中學(xué)習(xí)

為了解決FL訓(xùn)練時(shí)的隱私問題，客戶端首先利用自己的數(shù)據(jù)計(jì)算模型參數(shù)更新，然后進(jìn)行差分隱私處理，最后上傳處理后的模型參數(shù)并進(jìn)行模型聚合。從另一個(gè)角度來看，聚合服務(wù)器對訓(xùn)練設(shè)備也不應(yīng)該完全信任，因?yàn)閷κ挚赡軙竞λ麄兊挠?xùn)練數(shù)據(jù)或直接篡改模型更新，從而導(dǎo)致對全局模型的破壞。為了使FL能夠容忍擁有中毒數(shù)據(jù)集的少量設(shè)備參與訓(xùn)練，魯棒聯(lián)邦優(yōu)化[28]定義了一個(gè)修剪的平均操作。通過過濾有毒設(shè)備產(chǎn)生的值和正常設(shè)備中的自然離群值，實(shí)現(xiàn)了魯棒聚合，保護(hù)全局模型不受中毒數(shù)據(jù)的影響。

除故意攻擊外，還應(yīng)關(guān)注不可預(yù)測的網(wǎng)絡(luò)條件和計(jì)算能力給安全帶來的被動不利影響。無線通信噪聲不可避免地阻礙了訓(xùn)練設(shè)備與聚合服務(wù)器之間的信息交換，這可能對訓(xùn)練延遲和模型可靠性產(chǎn)生重大影響。在文獻(xiàn)[29]中，提出了基于期望模型和最壞情況模型下的并行優(yōu)化問題，并分別采用正則化的損失函數(shù)逼近算法和基于抽樣的逐次凸逼近算法求解這兩個(gè)模型。理論分析表明，該方法具有可接受的收斂速度;仿真結(jié)果表明，該方法提高了模型精度，降低了損耗函數(shù)。

反過來，F(xiàn)L中聚合服務(wù)器的故障也可能導(dǎo)致不準(zhǔn)確的全局模型更新，從而污染所有本地模型參數(shù)的更新過程。此外，數(shù)據(jù)樣本數(shù)量較多的邊緣設(shè)備可能不太愿意與貢獻(xiàn)較少的其他設(shè)備一起參與FL。因此，在文獻(xiàn)[30]中，提出了將區(qū)塊鏈和FL結(jié)合為BlockFL，以實(shí)現(xiàn)：① 在每個(gè)邊緣設(shè)備而不是特定服務(wù)器上進(jìn)行局部全局模型更新，確保在更新全局模型時(shí)，設(shè)備故障不會影響其他局部更新；② 刺激邊緣裝置參與FL的適當(dāng)獎(jiǎng)勵(lì)機(jī)制。

2.2 模型推理

隨著對精度要求的提高，深度神經(jīng)網(wǎng)絡(luò)(DNN)的層數(shù)也越來越深，如此就需要更大規(guī)模的數(shù)據(jù)集，這樣會造成昂貴的計(jì)算費(fèi)用。因此，之前的AI模型都是部署在高性能的云計(jì)算平臺上，而終端設(shè)備只是將輸入數(shù)據(jù)發(fā)送到云端，然后等待AI推理結(jié)果。然而，僅云推理限制了AI服務(wù)的部署。此外，對于重要的數(shù)據(jù)源，應(yīng)解決數(shù)據(jù)安全和隱私保護(hù)問題。為了解決這些問題，AI服務(wù)往往訴諸EC。因此，AI模型需要進(jìn)一步定制，以適應(yīng)資源受限的邊緣，同時(shí)仔細(xì)處理其推理精度和執(zhí)行延遲之間的權(quán)衡。本小節(jié)從模型優(yōu)化、模型分割以及模型共享三方面對模型推理做了詳細(xì)的闡述。

2.2.1 模型優(yōu)化

AI任務(wù)通常是計(jì)算密集型的，需要很大的內(nèi)存占用。但在邊緣，沒有足夠的資源來支持原始的大規(guī)模AI模型。優(yōu)化AI模型并量化其權(quán)重可以降低資源成本。下面討論3種常用的模型優(yōu)化方法。

(1) 參數(shù)剪枝與共享

大量的參數(shù)是制約AI模型訓(xùn)練效率的重要因素。因此，為了實(shí)現(xiàn)更高效、快速的AI模型訓(xùn)練，一些研究者對AI模型進(jìn)行了參數(shù)剪枝和共享的優(yōu)化。文獻(xiàn)[31]中提出了緩存相鄰層之間的中間數(shù)據(jù)，以減少數(shù)據(jù)移動。此外，像二值化一樣的量化也是一個(gè)很好的分支。在XNOR-Net[32]中，不僅濾波器近似于二進(jìn)制值，卷積層的輸入也是二進(jìn)制的。卷積主要是用二元運(yùn)算來近似的。這些措施提供了58倍的加速，同時(shí)在某些數(shù)據(jù)集(如CIFAR-10)上實(shí)現(xiàn)了類似的精度。

(2) 傳輸/緊湊卷積濾波器

為了實(shí)現(xiàn)AI模型的優(yōu)化，可以設(shè)計(jì)一種特殊結(jié)構(gòu)的卷積濾波器來節(jié)省參數(shù)。但該方法只適用于卷積層。在文獻(xiàn)[33]中，提出的SqueezeNet比AlexNet的參數(shù)減少了50倍，且在ImageNet上實(shí)現(xiàn)了相同的精度水平。減少參數(shù)的方法是用1 × 1濾波器代替3 × 3濾波器，并減少輸入通道的數(shù)量。同時(shí)，在網(wǎng)絡(luò)后期進(jìn)行降采樣是為了使精度最大化。

(3) 知識蒸餾

文獻(xiàn)[34]中首次提出了知識蒸餾的概念，它是一種將知識從復(fù)雜的AI模型轉(zhuǎn)移到緊湊的AI模型的方法。一般來說，復(fù)雜的AI模型是強(qiáng)大的，而緊湊的AI模型更靈活和高效。知識蒸餾可以利用一個(gè)復(fù)雜的AI模型來訓(xùn)練一個(gè)緊湊的AI模型，使其具有與復(fù)雜AI模型相似的性能。

這些方法可以應(yīng)用于不同類型DNN或組合來優(yōu)化復(fù)雜的邊緣AI模型。

2.2.2 模型分割

以往，大多數(shù)智能應(yīng)用程序只在云中執(zhí)行，而邊緣設(shè)備只扮演收集和上傳數(shù)據(jù)的角色。如今，隨著技術(shù)的進(jìn)步，邊緣設(shè)備有了更好的硬件配置，研究人員開始思考是否通過深度學(xué)習(xí)模型的分割將部分或全部計(jì)算任務(wù)推到邊緣。這樣可以將大量的計(jì)算任務(wù)分解成不同的部分，不同的設(shè)備可以協(xié)同解決問題。

在文獻(xiàn)[35]中，對最先進(jìn)的AI模型在云和邊緣設(shè)備上的延遲和功耗進(jìn)行了評估，發(fā)現(xiàn)將數(shù)據(jù)上傳到云是當(dāng)前AI服務(wù)方法的瓶頸(導(dǎo)致傳輸開銷很大)。劃分AI模型并進(jìn)行分布式計(jì)算，可以獲得更好的端到端延遲性能和能源效率。此外，通過將部分DL任務(wù)從云推送到邊緣，可以提高云的吞吐量。

最常用的一種分割方法是將AI模型水平分割，即沿端-邊-云進(jìn)行分割。數(shù)據(jù)分析的過程通常分為兩部分[36]，一部分在邊緣處理，另一部分在云中處理。由于上傳數(shù)據(jù)減少了中間數(shù)據(jù)，這樣既減少了邊緣與云之間的網(wǎng)絡(luò)流量，又避免了數(shù)據(jù)傳輸中安全隱私泄露的風(fēng)險(xiǎn)。

另一種模型分割方法是垂直分割，特別是CNN。相對于水平分區(qū)，垂直分區(qū)將層進(jìn)行融合，以網(wǎng)格的方式進(jìn)行垂直分區(qū)，將CNN各層劃分為獨(dú)立的可分布計(jì)算任務(wù)。Deep Things[37]利用了一種名為“融合Tiles Partitioning (FTP)”的新方法,融合層以網(wǎng)格方式垂直劃分。實(shí)驗(yàn)結(jié)果表明，在不降低精度的情況下，F(xiàn)TP至少可以將內(nèi)存占用減少到32%。同樣，J.Zhang的團(tuán)隊(duì)在文獻(xiàn)[38]中為本地分布式移動計(jì)算設(shè)計(jì)了一個(gè)框架,提出了一種通用的神經(jīng)網(wǎng)絡(luò)層分割工具,測試了一些常見的神經(jīng)網(wǎng)絡(luò)，其中Google Net的實(shí)驗(yàn)得到了最好的性能，該系統(tǒng)幾乎將總延遲減少了一半。

2.2.3 模型共享

AI的計(jì)算往往是復(fù)雜的，密集的計(jì)算是對設(shè)備資源的巨大考驗(yàn)。然而，AI計(jì)算具有高度的邏輯性，使得不同的DL操作過程具有一定的相關(guān)性。因此，如何利用DL操作的相關(guān)性成為優(yōu)化AI模型的出發(fā)點(diǎn)。對于AI計(jì)算的共享，一種思路是對推理結(jié)果進(jìn)行緩存和重用，以避免冗余操作，該思路在一些場景中取得了良好的實(shí)踐效果。

邊緣節(jié)點(diǎn)覆蓋范圍內(nèi)附近用戶的請求可能表現(xiàn)出時(shí)空局域性[39]。例如，同一區(qū)域內(nèi)的用戶可能會請求對同一感興趣的對象進(jìn)行識別任務(wù)，這可能會引入DL推理的冗余計(jì)算。在這種情況下，Cachier[39]在對應(yīng)用進(jìn)行離線分析和在線估計(jì)網(wǎng)絡(luò)條件的基礎(chǔ)上，提出將識別應(yīng)用的相關(guān)AI模型緩存到邊緣節(jié)點(diǎn)，并通過動態(tài)調(diào)整其緩存大小來最小化預(yù)期的端到端延遲。因此，當(dāng)緩存中的AI模型能夠滿足請求的要求時(shí)，可以直接從緩存中獲取AI模型進(jìn)行使用。通過這種方式，可以通過使用緩存和重用來避免冗余操作。

此外，為了繼續(xù)進(jìn)行有效的緩存和結(jié)果重用，必須解決可重用結(jié)果的精確查找問題，即緩存框架必須系統(tǒng)地容忍變化并評估關(guān)鍵的相似性。Foggy Cache[40]首先將異構(gòu)原始輸入數(shù)據(jù)嵌入到具有通用表示的特征向量中;然后，提出了自適應(yīng)局部敏感哈希(Adaptive Locality Sensitive Hashing,A-LSH)，即一種常用來索引高維數(shù)據(jù)的局部敏感哈希的變體，對這些向量進(jìn)行索引，以實(shí)現(xiàn)快速準(zhǔn)確的查找；最后，基于K-緊鄰(K-Nearest Neighbor,KNN)實(shí)現(xiàn)均勻化，利用緩存的值去除離群值，確保初始選擇的k條記錄之間存在主導(dǎo)聚類，從而確定A-LSH查詢記錄的重用輸出。因此，通過對可重用結(jié)果的精確查找和計(jì)算結(jié)果的緩存，可以減少AI模型的計(jì)算量，減輕對硬件資源的壓力。

與共享推理結(jié)果不同的是，文獻(xiàn)[41]通過不同AI模型之間的共享來減少計(jì)算量。通過考慮訓(xùn)練樣本之間的相關(guān)性，作者提出了同一目標(biāo)區(qū)域內(nèi)的遷移學(xué)習(xí)算法，即如果一個(gè)目標(biāo)區(qū)域內(nèi)存在多個(gè)相關(guān)的AI模型，那么一個(gè)AI模型的訓(xùn)練也可以使其他相關(guān)的AI模型受益。該方法通過共享訓(xùn)練良好的AI模型，減少了未訓(xùn)練的AI模型在同一目標(biāo)區(qū)域的AI計(jì)算量。

2.3 目前面臨的挑戰(zhàn)

盡管AI on edge的工作研究很多，但也存在一些很明顯的挑戰(zhàn)。本文分別從數(shù)據(jù)可用性、模型訓(xùn)練、協(xié)調(diào)機(jī)制和性能指標(biāo)四方面列舉了AI on edge的重大挑戰(zhàn)。

數(shù)據(jù)質(zhì)量數(shù)據(jù)的可用性是一切模型訓(xùn)練的基礎(chǔ)。首先，對于提供原始數(shù)據(jù)的用戶需要提供一定的激勵(lì)才能獲得更加有用的真實(shí)數(shù)據(jù)，所以對提供數(shù)據(jù)的用戶設(shè)計(jì)合理的激勵(lì)機(jī)制是十分重要的。否則，原始數(shù)據(jù)可能無法用于模型訓(xùn)練和推斷。此外，來自各個(gè)終端設(shè)備的原始數(shù)據(jù)可能會有明顯的偏差，這將極大地影響學(xué)習(xí)性能。盡管聯(lián)合學(xué)習(xí)可以克服Non-IID所帶來的問題，在一定程度上，訓(xùn)練過程在設(shè)計(jì)魯棒通信協(xié)議方面仍面臨很大困難。因此，在數(shù)據(jù)可用性方面存在著巨大的挑戰(zhàn)。

模型訓(xùn)練目前，從模型本身到訓(xùn)練框架和硬件，AI模型的訓(xùn)練面臨著以下兩方面的嚴(yán)峻挑戰(zhàn)。第一，基于AI模型時(shí)效的考量，如何確定合適的模型學(xué)習(xí)精度閾值，以利于AI模型的快速交付和部署；第二，如何在有限的資源下選擇探索性訓(xùn)練框架和加速器架構(gòu)。模型選擇、資源配置和管理耦合，問題復(fù)雜而富有挑戰(zhàn)性。

協(xié)調(diào)機(jī)制考慮到異構(gòu)設(shè)備之間的計(jì)算能力和通信資源的差異，得到的AI模型無法在所有的設(shè)備適用，這可能會導(dǎo)致相同的方法在不同的移動設(shè)備集群中獲得不同的學(xué)習(xí)結(jié)果。因此，考慮異構(gòu)邊緣器件之間的兼容性和協(xié)調(diào)具有重要的意義。所以，在端-邊-云之間設(shè)計(jì)一種協(xié)調(diào)機(jī)制是十分必要的，這種機(jī)制將為不同的邊緣設(shè)備提供一個(gè)統(tǒng)一的API接口。

性能指標(biāo)由于EC網(wǎng)絡(luò)的不確定性特征(無線信道質(zhì)量變化、并發(fā)業(yè)務(wù)請求不可預(yù)測等)，常用的標(biāo)準(zhǔn)性能指標(biāo)(如Top-k精度或平均精度)不能反映邊緣環(huán)境中AI模型推理的運(yùn)行性能。因此，這將導(dǎo)致無法準(zhǔn)確量化和比較不同AI模型的性能。除了模型精度之外，推理延遲、資源消耗和服務(wù)收入也是關(guān)鍵指標(biāo)。由于服務(wù)類型和應(yīng)用場景的不同，一個(gè)邊緣AI服務(wù)往往涉及多個(gè)指標(biāo)，這時(shí)就會出現(xiàn)一個(gè)新的問題，即多個(gè)指標(biāo)之間的權(quán)衡。由于EI服務(wù)的特點(diǎn)，不同的指標(biāo)對服務(wù)的影響也不同。然而，如何準(zhǔn)確地平衡多個(gè)指標(biāo)，使綜合績效最大化，已成為定量EI服務(wù)性能的關(guān)鍵。因此需要識別EI的關(guān)鍵性能指標(biāo)，并探索這些指標(biāo)之間的權(quán)衡，以幫助提高EI部署的效率。

3 AI for edge

在這一部分，將AI for edge的研究工作分為任務(wù)卸載和邊緣緩存兩部分。

3.1 任務(wù)卸載

邊緣計(jì)算允許邊緣設(shè)備在能量、延遲、計(jì)算能力等約束下，將部分計(jì)算任務(wù)卸載給邊緣節(jié)點(diǎn)[42]。但如圖3所示，存在如下一些挑戰(zhàn)：① 當(dāng)一個(gè)邊緣設(shè)備處于多個(gè)邊緣節(jié)點(diǎn)的服務(wù)范圍時(shí)，如何選擇合適的節(jié)點(diǎn)進(jìn)行任務(wù)卸載；② 對于有一定計(jì)算資源的邊緣設(shè)備，需要平衡在本地和在邊緣節(jié)點(diǎn)執(zhí)行任務(wù)時(shí)的資源消耗和延遲程度，以此達(dá)到一個(gè)最優(yōu)的執(zhí)行策略；③ 由于應(yīng)用程序服務(wù)的多樣性，邊緣設(shè)備也需要處理各種各樣的任務(wù)。但是，不同類型的任務(wù)對資源的需求不同。因此，對各種資源的分配也是一個(gè)挑戰(zhàn)。

圖3 EC中的任務(wù)卸載問題Fig.3 Task offloading problem in EC

解決這類任務(wù)卸載問題是NP-hard[43]，因?yàn)橹辽傩枰Y(jié)合優(yōu)化通信和計(jì)算資源以及邊緣設(shè)備的競爭。特別是，優(yōu)化需要考慮無線環(huán)境的時(shí)變(如信道質(zhì)量的變化)和任務(wù)卸載的要求，因此需要使用學(xué)習(xí)方法。在所有與基于學(xué)習(xí)的優(yōu)化方法相關(guān)的工作中，當(dāng)有多個(gè)邊緣節(jié)點(diǎn)和無線信道可進(jìn)行計(jì)算卸載時(shí)，基于DL的方法比其他方法更具有優(yōu)勢。下面介紹兩種基于DL的方法。

3.1.1 DNN用例

為了更高效地利用網(wǎng)絡(luò)資源，在DNN的基礎(chǔ)上研究者提出了許多高效卸載方案。例如，文獻(xiàn)[44]提出了一種將DNN劃分為多個(gè)分區(qū)的技術(shù)，這些分區(qū)可以在本地由終端設(shè)備處理，也可以卸載到一個(gè)或多個(gè)強(qiáng)大的節(jié)點(diǎn)上。文獻(xiàn)[45]采用最短路徑法和懲罰因子法確定DNN分區(qū)，并在每個(gè)DNN分區(qū)到達(dá)時(shí)增量構(gòu)建DNN模型，允許客戶端在上傳整個(gè)DNN模型之前就開始部分上傳，從而提高查詢性能；基于上傳開銷罰因子法，文獻(xiàn)[46]提出了一種增強(qiáng)分區(qū)法，該方法利用客戶端與云/邊緣服務(wù)器之間的DNN執(zhí)行圖上的最短路徑法對DNN層進(jìn)行分區(qū)，生成更細(xì)粒度的上傳計(jì)劃；文獻(xiàn)[47]將DNN最優(yōu)計(jì)算調(diào)度問題轉(zhuǎn)化為移動云計(jì)算環(huán)境下的最短路徑問題和整數(shù)線性規(guī)劃(ILP)，并通過層粒度優(yōu)化公式對DNN架構(gòu)進(jìn)行劃分，從而實(shí)現(xiàn)移動設(shè)備和云之間的協(xié)同計(jì)算。文獻(xiàn)[48]提出了一種端邊云協(xié)同環(huán)境下的DNN推理加速高效卸載方案(EosDNN)，其中DNN推理加速主要體現(xiàn)在遷移延遲的優(yōu)化和實(shí)時(shí)DNN查詢的實(shí)現(xiàn)。

此外，文獻(xiàn)[49]研究了關(guān)于區(qū)塊鏈的一個(gè)特殊卸載場景。邊緣設(shè)備上挖掘任務(wù)的計(jì)算和能量消耗可能會限制區(qū)塊鏈在EC網(wǎng)絡(luò)中的實(shí)際應(yīng)用。當(dāng)然，這些挖掘任務(wù)可以從邊緣設(shè)備卸載到邊緣節(jié)點(diǎn)，但這可能導(dǎo)致邊緣資源分配不公平。

3.1.2 DRL用例

雖然將計(jì)算任務(wù)卸載到邊緣節(jié)點(diǎn)可以提高計(jì)算任務(wù)的處理效率，但由于無線環(huán)境的潛在質(zhì)量較低，卸載的可靠性受到影響。在文獻(xiàn)[50]中，為了使卸載效用最大化，作者首先量化了各種通信模式對任務(wù)卸載性能的影響，并據(jù)此提出了應(yīng)用DQL(Deep Q-Learning)在線選擇最優(yōu)目標(biāo)邊緣節(jié)點(diǎn)和傳輸模式的方法。文獻(xiàn)[51]不僅考慮了延遲違反概率，還考慮了解碼錯(cuò)誤概率，指出了傳輸數(shù)據(jù)的編碼速率是使卸載達(dá)到要求的可靠性水平的關(guān)鍵；考慮了編碼塊長度的影響，提出了計(jì)算資源分配的馬爾可夫決策過程(MDP)，以提高平均卸載可靠性。

此外，還有不少文獻(xiàn)討論了邊緣設(shè)備細(xì)粒度計(jì)算資源的調(diào)度問題，主要涉及到任務(wù)卸載中的能量收集問題。例如，文獻(xiàn)[52]使用DDQL提出了一種最佳的動態(tài)電壓頻率縮放算法，實(shí)驗(yàn)結(jié)果顯示與DQL相比，DDQL可以節(jié)省更多的能量，實(shí)現(xiàn)更高的卸載效率。與之前基于DQL的離散功率控制策略不同，文獻(xiàn)[53]提出了一種具有連續(xù)動作空間(而非離散動作空間)的DRL方法DDPG，對局部執(zhí)行和任務(wù)卸載進(jìn)行更細(xì)粒度的功率控制。該方法可以自適應(yīng)地分配邊緣設(shè)備的功率，以使其長期平均成本最小，數(shù)值仿真驗(yàn)證了該方法相對于基于DQL的離散功率控制策略的優(yōu)越性。

3.2 邊緣緩存

隨著各類智能終端設(shè)備的興起，多媒體應(yīng)用、手機(jī)游戲、社交應(yīng)用等服務(wù)也得到了快速發(fā)展。這一趨勢在給網(wǎng)絡(luò)架構(gòu)帶來越來越大流量壓力的同時(shí)，也展示了一個(gè)有趣的特性，即相同的內(nèi)容經(jīng)常被同一區(qū)域的設(shè)備多次請求。這一特性促使研究人員考慮如何緩存內(nèi)容，以實(shí)現(xiàn)對請求的快速響應(yīng)，并減少網(wǎng)絡(luò)上的流量負(fù)載。從內(nèi)容交付網(wǎng)絡(luò)到蜂窩網(wǎng)絡(luò)的內(nèi)容緩存，網(wǎng)絡(luò)中的內(nèi)容緩存研究從未停歇，以此來應(yīng)對不斷增長的多媒體業(yè)務(wù)需求。邊緣緩存[54]符合向用戶推送內(nèi)容的理念，被認(rèn)為是進(jìn)一步減少冗余數(shù)據(jù)傳輸、緩解云數(shù)據(jù)中心壓力、提高QoE(Quality of Experience)的一種很有前景的解決方案。

邊緣緩存可以利用地理位置上離用戶較近的邊緣節(jié)點(diǎn)緩存熱點(diǎn)內(nèi)容，從而實(shí)現(xiàn)對服務(wù)范圍內(nèi)請求的快速響應(yīng)。因此，邊緣緩存不僅可以實(shí)現(xiàn)更快的請求響應(yīng)，還可以減少網(wǎng)絡(luò)中相同內(nèi)容的重復(fù)傳輸。然而，邊緣緩存也面臨許多挑戰(zhàn)。通常，邊緣緩存需要解決兩個(gè)密切相關(guān)的問題：① 邊緣節(jié)點(diǎn)覆蓋范圍內(nèi)熱門內(nèi)容的分布難以估計(jì)，可能會隨時(shí)空變化而不同，并發(fā)生變化[55]； ② 針對EC環(huán)境中海量異構(gòu)設(shè)備的特點(diǎn)，層級化的緩存體系結(jié)構(gòu)和復(fù)雜的網(wǎng)絡(luò)特性使內(nèi)容緩存策略的設(shè)計(jì)更加困難[56]。具體來說，只有當(dāng)內(nèi)容流行度分布已知時(shí)，才能推導(dǎo)出最佳邊緣緩存策略。然而，用戶對內(nèi)容的偏好實(shí)際上是未知的，因?yàn)樗麄兊囊苿有浴€(gè)人偏好和連通性可能一直在變化。在本小節(jié)中，將討論用于確定邊緣緩存策略的DL學(xué)習(xí)算法。

3.2.1 DNN用例

傳統(tǒng)的緩存方法通常計(jì)算復(fù)雜度較高，因?yàn)樗鼈冃枰罅康脑诰€優(yōu)化迭代來確定用戶和內(nèi)容的特征以及內(nèi)容放置和傳遞策略。

① DL可以用來處理從用戶的移動設(shè)備上收集到的原始數(shù)據(jù)，從而提取用戶和內(nèi)容的特征，作為基于特征的內(nèi)容流行矩陣。這個(gè)流行度矩陣可以量化用戶和內(nèi)容的流行度，為緩存決策提供數(shù)字基礎(chǔ)。例如，文獻(xiàn)[57]提出在FL的框架下使用自動編碼器實(shí)現(xiàn)用戶信息和文件信息的特征提取，然后根據(jù)相似度矩陣給出推薦的緩存列表。

② 在使用DNN優(yōu)化邊緣緩存策略時(shí)，可以通過離線訓(xùn)練避免在線繁重的計(jì)算迭代。DNN由一個(gè)用于數(shù)據(jù)正則化的編碼器和后面的隱藏層組成，可以用最優(yōu)或啟發(fā)式算法生成的解進(jìn)行訓(xùn)練并部署，以確定緩存策略[58]，從而避免在線優(yōu)化迭代。類似地，在文獻(xiàn)[59]中，受部分緩存刷新優(yōu)化問題的輸出具有某些模式的啟發(fā)，訓(xùn)練MLP接收當(dāng)前內(nèi)容流行度和最后一次內(nèi)容放置概率作為輸入，以生成緩存刷新策略。

雖然可以設(shè)計(jì)和實(shí)現(xiàn)基于DNN的緩存內(nèi)容放置和傳遞策略，但仍存在一些不足。如文獻(xiàn)[58-59]所示，優(yōu)化算法的復(fù)雜性可以轉(zhuǎn)移到DNN的訓(xùn)練中，從而打破了使用優(yōu)化算法的實(shí)際局限性。在這種情況下，DL用于學(xué)習(xí)輸入——解關(guān)系，而基于DNN的方法只有在原始緩存問題存在優(yōu)化算法時(shí)才可用。因此，基于DNN方法的性能受固定的優(yōu)化算法限制，不具有自適應(yīng)性。

此外，DL還可以用于定制邊緣緩存。例如，為了最小化自動駕駛汽車的內(nèi)容下載延遲，在云中部署一個(gè)MLP來預(yù)測需要請求的內(nèi)容的流行程度，然后將MLP的輸出發(fā)送到邊緣節(jié)點(diǎn)(即文獻(xiàn)[60]中RSu的MEC服務(wù)器),最后根據(jù)這些輸出，每個(gè)邊緣節(jié)點(diǎn)緩存最有可能被請求的內(nèi)容。

但是，對于不同特征的用戶，他們對內(nèi)容的偏好是不同的。因此，可以將用戶深度劃分為不同的類別，然后探究每個(gè)類別中用戶的偏好，這對提高內(nèi)容緩存的命中率有積極的影響。在自動駕駛汽車方面，CNN被選中預(yù)測車主的年齡和性別。一旦識別出車主的這些特征，就使用K-means聚類和二值分類算法來確定哪些已經(jīng)緩存在邊緣節(jié)點(diǎn)的內(nèi)容需要進(jìn)一步從邊緣節(jié)點(diǎn)下載并緩存到汽車上。此外，文獻(xiàn)[61]在充分利用用戶特性方面指出，在不同的環(huán)境中，用戶訪問內(nèi)容的意愿是不同的。受此啟發(fā)，RNN被用來預(yù)測用戶的軌跡。然后根據(jù)這些預(yù)測，將所有用戶感興趣的內(nèi)容預(yù)取并提前緩存到每個(gè)預(yù)測位置的邊緣節(jié)點(diǎn)。

3.2.2 DRL用例

上節(jié)中描述的DNN功能可以看作是整個(gè)邊緣緩存解決方案的一部分，即DNN本身并不處理整個(gè)優(yōu)化問題。與這些基于DNN的邊緣緩存不同，DRL可以利用用戶和網(wǎng)絡(luò)的上下文環(huán)境，以自適應(yīng)策略最大化長期緩存性能作為優(yōu)化方法的主體。

與傳統(tǒng)的RL，如Q-learning[62]和Multi-Armed Bandit (MAB) Learning[55]相比，DRL的優(yōu)勢在于DNN可以從原始觀測數(shù)據(jù)中學(xué)習(xí)關(guān)鍵特征。結(jié)合RL和DL的集成DRL agent可以直接從高維觀測數(shù)據(jù)中優(yōu)化EC網(wǎng)絡(luò)的緩存管理策略。

文獻(xiàn)[63]使用DDPG來訓(xùn)練DRL代理，以最大化長期緩存命中率，做出適當(dāng)?shù)木彺嫣鎿Q決策。該工作考慮單個(gè)BS場景，在該場景中，DRL代理決定是緩存請求的內(nèi)容還是替換緩存的內(nèi)容。在訓(xùn)練DRL代理時(shí)，獎(jiǎng)勵(lì)被設(shè)計(jì)為緩存命中率。此外，利用Wolpertinger架構(gòu)[64]來應(yīng)對大行動空間的挑戰(zhàn)。具體來說，首先為DRL代理設(shè)置一個(gè)主要操作集，然后使用KNN將實(shí)際操作輸入映射到該集合中的一個(gè)。通過這種方式，操作空間被有意地縮小，而不會丟失最優(yōu)的緩存策略。與基于DQL的算法搜索整個(gè)動作空間相比，經(jīng)過訓(xùn)練的DRL代理與DDPG和Wolpertinger體系結(jié)構(gòu)相比，能夠在降低運(yùn)行時(shí)間的同時(shí)實(shí)現(xiàn)具有競爭力的緩存命中率。

另外，考慮到流行內(nèi)容的時(shí)變性，文獻(xiàn)[65]使用Wolpertinger架構(gòu)的深度強(qiáng)化學(xué)習(xí)框架研究無線網(wǎng)絡(luò)邊緣的內(nèi)容緩存。特別地，提出了基于深度行為者-批評強(qiáng)化學(xué)習(xí)的集中和分散內(nèi)容緩存策略。仿真結(jié)果驗(yàn)證了該策略相比最少使用策略(LFU)、最少最近使用策略(LRU)和先進(jìn)先出策略(FIFO)具有很強(qiáng)的優(yōu)越性。

3.3 目前面臨的挑戰(zhàn)

雖然AI for edge的應(yīng)用比較廣泛，但也存在一些挑戰(zhàn)。本節(jié)從系統(tǒng)建模、算法部署、優(yōu)化與效率的平衡和資源編排四個(gè)方面列舉了AI on edge的重大挑戰(zhàn)。

系統(tǒng)建模使用AI方法進(jìn)行系統(tǒng)建模時(shí)，公式化模型的數(shù)量必須是有限的。但模型數(shù)量的有限，使得一些以SGD和MBGD優(yōu)化基礎(chǔ)的AI算法可能無法很好地工作。同時(shí)針對MDP問題，狀態(tài)集和動作集又不能是無限的，在進(jìn)一步處理之前需要進(jìn)行離散化，以避免維數(shù)災(zāi)難問題的出現(xiàn)。一般的解決方法是將約束轉(zhuǎn)化為懲罰，并將其納入全局優(yōu)化目標(biāo)。這種現(xiàn)狀極大地制約了數(shù)學(xué)模型的建立，導(dǎo)致性能下降。這種情況可以被看作是利用AI方法的一種妥協(xié)。因此，這對在EC中建立合適的系統(tǒng)模型構(gòu)成了挑戰(zhàn)。

算法部署對于邊緣的AI算法來說，當(dāng)這些算法以在線方式部署在邊緣時(shí)，會面臨諸多挑戰(zhàn)。此外，另一個(gè)被忽略的問題是，由哪個(gè)邊緣設(shè)備來部署和運(yùn)行所提出的復(fù)雜算法?，F(xiàn)有的研究工作通常集中在具體問題上，而沒有提供細(xì)節(jié)。

優(yōu)化與效率的平衡盡管AI技術(shù)確實(shí)能夠提供最優(yōu)的解決方案，但在資源受限的邊緣環(huán)境中，研究者更多的是關(guān)心如何在有限的資源下實(shí)現(xiàn)更高的算法效率。特別是在嵌入式的行業(yè)中，大多的設(shè)備都是資源受限的，但在嵌入式設(shè)備上部署的任務(wù)確實(shí)很多，要完成這些任務(wù)，就需要把有限的資源最大化。因此，如何在嵌入AI技術(shù)的情況下，提高EC系統(tǒng)在不同應(yīng)用場景下的可用性和效率是一個(gè)嚴(yán)峻的挑戰(zhàn)。

資源編排為了充分利用邊緣計(jì)算的去中心化資源，需要建立與現(xiàn)有云計(jì)算基礎(chǔ)設(shè)施的連接。由于EI的部署環(huán)境通常是高度動態(tài)的，邊緣計(jì)算框架需要優(yōu)秀的在線資源編排和參數(shù)配置，才能支持大量的AI服務(wù)。異構(gòu)計(jì)算資源、通信資源和緩存資源的實(shí)時(shí)聯(lián)合優(yōu)化、高維系統(tǒng)參數(shù)配置是關(guān)鍵。然而，目前還沒有相關(guān)的工作深入研究部署和使用這些DL技術(shù)在實(shí)際邊緣計(jì)算網(wǎng)絡(luò)或測試平臺上，進(jìn)行長期在線資源編排的性能分析。

4 結(jié)論

EI的發(fā)展處于初始階段，吸引了眾多的學(xué)者參與研究，本文通過一個(gè)簡單明了的分類對EI的研究現(xiàn)狀提供一些參考。具體來說，本文首先分析了AI和EC的關(guān)系，提出了在IoT時(shí)代二者結(jié)合的必要性，從而引出EI的概念；接著，本文將EI分為AI on edge和AI for edge兩部分，然后從模型訓(xùn)練、模型推理兩方面闡述了AI on edge現(xiàn)狀，并給出了存在的一些挑戰(zhàn)；對于AI for edge，本文從任務(wù)卸載和邊緣緩存兩方面進(jìn)行了闡述，并給出了可能存在的挑戰(zhàn)。最后，希望本文能夠激發(fā)相關(guān)學(xué)者對EI未來研究的興趣。