田鵬新，司冠南*，安兆亮，李建辛，周風余

基于數(shù)據(jù)驅動的云邊智能協(xié)同綜述

田鵬新1，司冠南1*，安兆亮1，李建辛1，周風余2

（1.山東交通學院 信息科學與電氣工程學院，濟南 250357； 2.山東大學 控制科學與工程學院，濟南 250061）（ ? 通信作者電子郵箱siguannan@163.com）

隨著物聯(lián)網（IoT）的快速發(fā)展，大量在傳感器等邊緣場景產生的數(shù)據(jù)需要傳輸至云節(jié)點處理，這帶來了極大的傳輸成本和處理時延，而云邊協(xié)同為這些問題提供了有效的解決方案。首先，在全面調查和分析云邊協(xié)同發(fā)展過程的基礎上，結合當前云邊智能協(xié)同中的研究思路與進展，重點分析和討論了云邊架構中的數(shù)據(jù)采集與分析、計算遷移技術以及基于模型的智能優(yōu)化技術；其次，分別從邊緣端和云端深入分析了各種技術在云邊智能協(xié)同中的作用及應用，并探討了云邊智能協(xié)同技術在現(xiàn)實中的應用場景；最后，指出了云邊智能協(xié)同目前存在的挑戰(zhàn)及未來的發(fā)展方向。

云邊協(xié)同；人工智能；計算遷移；模型訓練與推理；數(shù)據(jù)驅動

0 引言

近年來，隨著5G技術的發(fā)展和物聯(lián)網（Internet of Things， IoT）的普及，各種終端產生了大量數(shù)據(jù)。物聯(lián)網應用需要極快的響應速度，如果云端處理終端生成海量數(shù)據(jù)，不僅會提高網絡負載，還會出現(xiàn)極高的數(shù)據(jù)處理時延。面對以上問題，相較于云計算，邊緣計算不僅通信時延低，還避免了帶寬瓶頸；然而邊緣服務器的計算資源有限，安全性較低。為了充分發(fā)揮邊緣計算與云計算之間的優(yōu)勢，使它們實現(xiàn)互補協(xié)同工作，云邊協(xié)同［1］成了新的研究熱點。云邊協(xié)同分割復雜的任務，并結合云計算與邊緣計算的優(yōu)點完成用戶的服務請求。

同時，人工智能（Artificial Intelligence，AI）［2］的快速發(fā)展也在一定程度上改變了日常生活方式。當前AI算法大多依賴于云計算中心等計算資源密集的平臺實現(xiàn)，并且需要大量的計算，但是云計算中心等計算資源密集平臺與終端用戶之間存在較遠的物理距離，而且邊緣端的海量數(shù)據(jù)也極大地限制了AI算法的優(yōu)勢。為此，研究人員開始將AI與云邊協(xié)同結合，從而推動了云邊協(xié)同與AI融合應用的發(fā)展。

云邊協(xié)同與AI的結合是多方面的。Zhou等［3］全面闡述了云邊智能協(xié)同中的AI模型的訓練與推理以及端邊云協(xié)同的技術應用；Qing［4］介紹了云邊緣協(xié)同平臺，并在其中融合了大數(shù)據(jù)與AI，設計了云邊協(xié)同的平臺即服務（Platform as a Service， PaaS）電力系統(tǒng)云協(xié)同管控平臺；Zhang等［5］在云邊協(xié)同的基礎上提出了一種設備管理服務系統(tǒng)，提高了工業(yè)系統(tǒng)的響應速度，有效解決了因數(shù)據(jù)上傳至云端帶來的高網絡負載問題，實現(xiàn)了工業(yè)設備的精細化管理和工業(yè)數(shù)據(jù)的云端深度挖掘，使云平臺和邊緣平臺發(fā)揮各自的優(yōu)勢，持續(xù)推動工業(yè)物聯(lián)網向智能化發(fā)展。然而，云邊智能協(xié)同領域的研究涉及廣泛，至今還有很多問題有待解決。因此，本文對云邊智能協(xié)同進行分類闡述，首先從數(shù)據(jù)流動的角度出發(fā)，介紹云邊架構中的數(shù)據(jù)采集與分析方法，并分析利用計算遷移技術為AI提供釋放潛力的平臺；其次，總結了云邊智能協(xié)同中的模型優(yōu)化技術；最后，分析了云邊智能協(xié)同在當前的應用場景。

1 云邊智能協(xié)同總體架構

在云邊協(xié)同出現(xiàn)前，人們主要依靠移動終端自身的能力解決計算問題。如內容分發(fā)網絡（Content Delivery Network， CDN）［6］在靠近終端的位置設計了能夠存儲靜態(tài)內容的網絡節(jié)點，這是邊緣計算的起源，也是邊緣計算的功能緩存（function cache）的雛形。Satyanarayanan等［7］提出了由物聯(lián)網設備與云計算相結合的Cloudlet，Cloudlet可以作為位于網絡邊緣的小型數(shù)據(jù)中心，為移動設備提供豐富的計算資源。隨后，由LaMothes［8］首次提出了“edge computing”。Hu等［9］發(fā)表了關于移動邊緣計算（Mobile Edge Computing， MEC）的白皮書。同時，邊緣數(shù)據(jù)爆發(fā)式增長，邊緣計算迅速發(fā)展，計算開始由云端下沉至邊緣端，并逐漸向分布式計算架構發(fā)展，云邊協(xié)同的概念開始普及。

如圖1所示，為了全面闡述云邊智能協(xié)同，本文從數(shù)據(jù)層次的角度闡述AI與云邊協(xié)同的結合。首先從底層的數(shù)據(jù)采集與處理分析其中的智能技術；其次擴展到邊緣端與云端，分析計算任務的遷移技術，使邊緣也能高效應用AI技術；最后分析基于云邊協(xié)同架構的智能優(yōu)化技術，其中：邊緣節(jié)點注重于算法的實現(xiàn)，云節(jié)點則側重于對整體的調度與管理。與已有文獻相比，本文更詳細地描述了數(shù)據(jù)層次中的基于云邊協(xié)同的AI應用，全面闡述了云邊智能協(xié)同的完整架構；此外，本文在分析AI為云邊協(xié)同所提供優(yōu)化技術的同時，還分析了云邊協(xié)同架構如何為AI應用提供優(yōu)化技術。通過AI與云邊協(xié)同架構的相輔相成為用戶提供高質量的服務體驗。

圖1　云邊智能協(xié)同總體架構

2 基于云邊協(xié)同的數(shù)據(jù)采集與處理技術

當前數(shù)據(jù)在生產和處理場景存在資源負載不均衡的問題，大量數(shù)據(jù)在生產線等邊緣場景產生，而數(shù)據(jù)處理通常在云節(jié)點完成，數(shù)據(jù)傳輸過程時延較大，難以滿足實時感知變化并進行決策分析的要求，同時邊緣側數(shù)據(jù)易形成孤島，無法全面利用數(shù)據(jù)價值。對于以上問題，云邊協(xié)同可以讓數(shù)據(jù)在云、邊、端之間高效、實時地互聯(lián)互通。

如圖2所示，終端設備所產生的數(shù)據(jù)由邊緣節(jié)點進行統(tǒng)一采集，從而得到M-data，即終端所采集到的視頻、音頻等信息，其次邊緣節(jié)點對采集到的數(shù)據(jù)進行清洗和處理，進而產生C-data，之后將處理后的數(shù)據(jù)傳輸至云節(jié)點中，通過云節(jié)點對數(shù)據(jù)進行進一步的分析和存儲，而K-data則表示對C-data數(shù)據(jù)融合后得到的知識數(shù)據(jù)。

2.1　數(shù)據(jù)的采集與處理

數(shù)據(jù)采集的目的是解決數(shù)據(jù)孤島問題，如果沒有被采集，各種來源的數(shù)據(jù)只能是獨立、毫無意義的數(shù)據(jù)。另外，終端采集的數(shù)據(jù)由采集節(jié)點封裝，其次傳輸至邊緣節(jié)點處理和分析。當前采集節(jié)點的數(shù)量快速增長，大規(guī)模的數(shù)據(jù)傳輸為數(shù)據(jù)的有效處理帶來了較高的成本。

孔令娜等［10］通過云邊協(xié)同架構提出了一種面向工業(yè)互聯(lián)網的數(shù)據(jù)感知采集與融合處理系統(tǒng)，能夠智能化地實現(xiàn)數(shù)據(jù)采集與處理等任務的協(xié)同工作。底層的數(shù)據(jù)采集主要通過無線傳感器實現(xiàn)，將數(shù)據(jù)傳輸至一個匯聚節(jié)點，統(tǒng)一采集傳感器的數(shù)據(jù)［11］。然而，數(shù)據(jù)在傳感器間的傳輸會造成較多的能量消耗。為了節(jié)能，Jiao等［12］采用多跳收集方法縮短每個傳感器節(jié)點的傳輸距離，但是需要使用多跳轉發(fā)的方式采集每個傳感器節(jié)點到匯聚節(jié)點的數(shù)據(jù)；這種方式雖然降低了傳感器節(jié)點中的傳輸能耗，但會導致傳感器網絡中各節(jié)點的能耗不平衡。為此，一些研究人員通過動態(tài)選取聚類節(jié)點解決個別節(jié)點因能耗過大而導致的停機問題［13-14］，在一定程度上解決了匯聚節(jié)點因能耗過大而能量不足的問題。此外，Wajgi等［15］使用聚類技術平衡網絡負載以降低能耗。負載使用集群的備份節(jié)點平衡，當集群的能量水平達到閾值時，頭部被備用節(jié)點取代；這種方法不僅增加了網絡壽命，而且增加了數(shù)據(jù)吞吐量。Gattani等［16］使用基于分數(shù)的負載平衡算法收集數(shù)據(jù)，當數(shù)據(jù)從傳感器節(jié)點到達簇頭時，節(jié)點的負載被分配到兩個最佳節(jié)點之間，簇頭采集數(shù)據(jù)后，將壓縮感知技術應用于簇頭，壓縮數(shù)據(jù)轉發(fā)到匯聚節(jié)點，從而減少通信次數(shù)并增加網絡壽命。

數(shù)據(jù)處理大多在邊緣節(jié)點中進行，當前一些研究人員充分結合云計算與邊緣計算的優(yōu)勢，利用邊緣計算處理對時延要求較高的數(shù)據(jù)，并將一些較復雜的數(shù)據(jù)傳輸至云端處理［17］，在這個過程中，高效的數(shù)據(jù)處理方案必不可少。為了在邊緣節(jié)點中處理對時延敏感的數(shù)據(jù)，F(xiàn)an等［18］匯總邊緣層采集的原始數(shù)據(jù)，利用隨機森林算法對需要實時處理的數(shù)據(jù)分類處理，并將處理結果反饋給設備；同時，邊緣層將需要處理的數(shù)據(jù)上傳到云端；在云端利用長期短期記憶全卷積網絡（Long Short-Term Memory Fully Convolutional Network， LSTM-FCN）數(shù)據(jù)分類模型對這些數(shù)據(jù)分類存儲。該方法相較于傳統(tǒng)的云中心數(shù)據(jù)處理在一定程度上解決了數(shù)據(jù)傳輸帶來的時延問題；但是當解決一些回歸問題時，可能導致在對某些特定噪聲的數(shù)據(jù)建模時出現(xiàn)過度擬合。另外，Luo等［19］提出一種主動配電網邊緣計算與云計算協(xié)同的模型，首先對邊緣節(jié)點采集的用戶用電量數(shù)據(jù)進行優(yōu)化和歸一化處理；其次將處理后的數(shù)據(jù)作為極限學習機（Extreme Learning Machine， ELM）網絡的輸入，實現(xiàn)對用戶用電數(shù)據(jù)的實時分析。該方案能夠在處理分析數(shù)據(jù)方面保證實時性和處理效率，但需要頻繁且大規(guī)模的數(shù)據(jù)上傳，帶來了大量的通信成本。

圖2　數(shù)據(jù)采集與處理架構

云計算與邊緣計算協(xié)同處理終端數(shù)據(jù)不僅解決了云節(jié)點處理大規(guī)模數(shù)據(jù)帶來的網絡帶寬問題，還解決了將全部數(shù)據(jù)上傳到云中帶來的高通信延遲問題。隨著技術的不斷成熟，邊緣計算最大的難點是動態(tài)部署計算和存儲能力，以及如何高效地無縫連接云和邊緣設備。

2.2　數(shù)據(jù)的傳輸與分析

當前數(shù)據(jù)雖然主要在邊緣處理，但是當數(shù)據(jù)在邊緣節(jié)點中完成采集與處理之后，通常還需要將處理后的數(shù)據(jù)傳輸至云節(jié)點，由云節(jié)點進一步分析與存儲。這樣既能為模型訓練提供充分的數(shù)據(jù)集，又能為數(shù)據(jù)提供大量的云存儲。

由于大規(guī)模的數(shù)據(jù)上傳到云端需要消耗大量的通信資源，一些研究者采用重復數(shù)據(jù)刪除的方案，最大限度地減少從邊緣發(fā)送到中央云的數(shù)據(jù)［20-21］；這種方法能夠減少邊緣節(jié)點部分數(shù)據(jù)的上傳量，然而對于邊緣節(jié)點處理后的數(shù)據(jù)效果較差。對此，Nguyen等［22］采用聚類與壓縮感知的組合，將數(shù)據(jù)應用于壓縮感知，其次轉發(fā)至其他節(jié)點。另外，安全性也是數(shù)據(jù)傳輸過程的重要元素，Hui等［23］設計了一種兩步加密通信方法，將邊緣節(jié)點作為通信的中繼節(jié)點，使用時間戳加密，增加了密鑰空間；并且利用霧計算的低延遲和更快響應的優(yōu)勢，滿足工業(yè)物聯(lián)網中應急計算和實時通信的數(shù)據(jù)傳輸服務需求。綜合考慮安全性與傳輸成本，Zhang等［24］提出了一種利用邊緣計算技術的壓縮感知數(shù)據(jù)兩層安全傳輸框架，將高復雜度的重構算法和強加密算法分別傳輸?shù)街行脑坪瓦吘壴?，通過基于壓縮感知的加密和信息論的方案來保證從終端設備到本地邊緣服務器以及從邊緣服務器到中心服務器的數(shù)據(jù)機密性。

深度學習作為當前廣泛使用的數(shù)據(jù)分析技術，能夠通過學習樣本數(shù)據(jù)實現(xiàn)挖掘與分析終端數(shù)據(jù)。Chatterjee等［25］利用深度學習檢測文本對話中的情緒，并通過不同表達情緒的方式訓練模型，達到較好效果。雖然深度學習在面臨一些問題時具備強大的計算能力，但仍有很多需要改進的地方。Chen等［26］在深度學習的基礎上提出一種工作負載預測算法，該算法首先設計了一種頂部稀疏自動編碼器，從原始高維工作負載數(shù)據(jù)中提取工作負載的基本表示；其次將該編碼器和門控循環(huán)單元塊集成到循環(huán)神經網絡中，以實現(xiàn)對高變量工作負載的自適應和準確預測，彌補循環(huán)神經網絡對內存長期依賴的不足。此外，為了解決云數(shù)據(jù)中心的安全存儲問題，Tao等［27］提出了一種新的云邊協(xié)同存儲方案，相較于當前大多需要邊緣服務器管理用戶的私鑰的方案，該方案通過用戶生成并自行管理私鑰，并且采用可搜索公鑰加密而非可搜索對稱密鑰加密；此外，用戶附近的邊緣服務器不需要獲取所有邊緣服務器的密鑰，并且該方案還盡可能地將加密操作委托給附近的邊緣服務器，以此節(jié)省物聯(lián)網設備和用戶的成本。

可以看出，智能技術也逐漸應用在數(shù)據(jù)傳輸與分析方向，另外，結合云邊協(xié)同架構可以為用戶帶來更好的服務體驗。隨著5G的發(fā)展，數(shù)據(jù)傳輸與分析在數(shù)據(jù)容量與安全等方面有較為明顯的優(yōu)勢。然而，當前的5G通信技術尚不成熟，仍處于發(fā)展階段，有必要深層次研究5G環(huán)境下的傳輸與存儲技術，以不斷提高可靠性。

3 基于云邊智能協(xié)同的計算遷移研究

云邊智能協(xié)同并不是將云邊協(xié)同與AI簡單結合，除了AI為云邊協(xié)同提供技術和方法之外，云邊協(xié)同也為AI提供了場景和平臺，例如智慧城市、智慧家居等應用場景，都可以極大地促進AI的進步與發(fā)展。如圖3所示，云邊協(xié)同綜合了云計算與邊緣計算兩者的優(yōu)勢，使計算能力較高的AI應用可以從由邊緣端遷移到其他節(jié)點執(zhí)行，當邊緣節(jié)點做出遷移決策時，結合云節(jié)點分析各個邊緣節(jié)點狀態(tài)，最終將任務遷移到合適的節(jié)點執(zhí)行，從而為AI應用提供更有潛力的平臺。其中，邊緣節(jié)點的遷移決策用于判斷該任務是否需要遷移，云節(jié)點中的遷移決策通過分析各個邊緣節(jié)點的狀態(tài)判斷適合該任務的遷移地點。同樣地，云節(jié)點中計算能力較低、實時性較高的AI應用也可以遷移到邊緣端或終端執(zhí)行，最終為用戶提供更高質量的服務體驗。

圖3　計算遷移架構

3.1　計算遷移策略分析

云邊架構中的計算遷移較難，通常需要綜合考慮時延、能量消耗、計算/通信資源等因素。Liu等［28］采用馬爾可夫決策過程，根據(jù)每個任務的時延與功耗制定遷移策略，最終以最小的響應時延完成遷移任務。Xu等［29］為了降低邊緣服務器的能耗，選擇最短路徑卸載計算任務，并采用非支配排序遺傳算法實現(xiàn)多目標優(yōu)化，以此減少由于不同節(jié)點計算重復任務而導致的數(shù)據(jù)傳輸延遲。然而，目前的研究都忽略了邊緣節(jié)點資源有限的事實。

對于云邊協(xié)同服務遷移，一些研究者應用啟發(fā)式算法分別從時延與能耗兩方面優(yōu)化服務遷移策略。Xu等［30］提出了一種兩階段博弈論云邊協(xié)同卸載算法，首先獲得邊緣到終端最優(yōu)卸載決策，其次找到所有選擇向邊緣卸載的終端設備的云邊緣最優(yōu)卸載決策，最終得到所有終端的最優(yōu)決策，但是該任務沒有考慮任務的優(yōu)先級或不同類型的任務。從降低能耗的角度分析，Lyu等［31］提出了一種新穎的云邊端集成架構，該架構可以使設備自行決定卸載時間與卸載目標，從而減少與邊緣節(jié)點之間的通信開銷，還可以在保證低時延的情況下減少設備能耗。為了權衡時延與能耗，Li等［32］在邊緣計算的基礎上提出了一種改進粒子群優(yōu)化（Particle Swarm Optimization， PSO）的物聯(lián)網計算卸載策略，首先構建系統(tǒng)模型和優(yōu)化目標函數(shù)；其次使用PSO對粒子編碼并計算適應度值，以更新粒子位置，從而找到任務卸載策略的最優(yōu)解。Ning等［33］首先討論單用戶卸載問題，通過分支定界算法解決單用戶中MEC資源不受限制的問題，并設計了一種迭代啟發(fā)式資源分配算法解決多用戶之間的資源競爭問題，從而在較好的執(zhí)行延遲和卸載效率下實現(xiàn)部分計算卸載。

以上方案都是針對某一個優(yōu)化目標的時延、能耗制定的，每個方案在各自的場景下都達到了各自的優(yōu)化目標；然而，設計大規(guī)模的邊緣架構的計算遷移決策可能需要較長的時間。結合AI技術指定遷移方案可以更好地保證計算遷移的性能，Qiu等［34］提出了一種新的基于無模型深度強化學習的在線計算遷移方法，將在線遷移問題指定為馬爾可夫決策過程并考慮動態(tài)環(huán)境，為了采用動態(tài)環(huán)境并實現(xiàn)長期遷移性能，采用深度強化學習根據(jù)過去的遷移經驗獲得最佳遷移決策，從而避免為達到滿意的最優(yōu)值而進行大量迭代。針對目前高延遲和高能耗對實時移動物聯(lián)網應用產生的負面影響，Alam等［35］利用了移動云計算提出基于深度強化學習的代碼遷移方法，通過馬爾可夫決策過程建模，深度強化學習求解問題，在考慮資源需求、資源可用性和網絡狀態(tài)的情況下作出卸載決策，以最大限度地減少服務計算的延遲。

3.2　資源分配策略分析

云數(shù)據(jù)中心與邊緣服務節(jié)點的資源管理一直都是研究者們的研究重點，尤其是邊緣節(jié)點資源有限，合理利用邊緣節(jié)點的本地資源是邊緣計算中的關鍵問題之一。Li等［36］提出邊緣云架構中的資源擴縮模型，并通過預測資源負載情況靈活地進行邊緣云的資源分配；此外，還考慮了因資源擴展導致集群負載不均衡和資源收縮導致的數(shù)據(jù)可靠性問題，彌補了當前資源管理的空缺。此外，云計算中的資源管理技術也是當前的研究熱點。

為利用云邊協(xié)同實現(xiàn)有效的資源管理，一些研究者從計算資源與通信資源兩方面考慮資源管理優(yōu)化。Zhao等［37］協(xié)同本地云和互聯(lián)網云資源，利用本地云的低延遲和互聯(lián)網云的豐富計算資源的優(yōu)勢，提高移動邊緣計算的服務質量（Quality of Service， QoS）；此外，還根據(jù)應用程序的延遲需求應用優(yōu)先級隊列，有效地完成計算資源的分配。Zhu等［38］采取納什議價博弈理論，并采用分時變量，從而獲取近似最優(yōu)議價資源分配策略，并最大限度地提高系統(tǒng)網絡吞吐量；此外，作者還分析了該博弈模型解的存在唯一性。

以上方案在單邊緣服務器場景下可以實現(xiàn)高效的資源分配，但在真實場景下多邊緣服務器的情況較多。因此，結合當前的AI技術，Wang等［39］提出一種基于分布式深度學習的資源分配算法，調用多個并行深度神經網絡生成最優(yōu)的資源調度；此外，設計一個共享重放記憶機制以有效地存儲新生成的資源分配決策，進一步用于訓練和改進深度神經網絡（Deep Neural Network， DNN）。Zhu等［40］將資源分配過程表述為一個馬爾可夫決策過程，其中為每個邊緣節(jié)點制定一個本地資源分配策略，并與云節(jié)點共享，之后邊緣節(jié)點利用本地資源或云節(jié)點劃分的資源完成任務，任務完成后，邊緣節(jié)點和云節(jié)點都使用它們收到的獎勵來更新它們的本地深度強化學習算法（Deep Q Network， DQN）。Wang等［41］從最大限度地提高整個網絡的頻譜效率和系統(tǒng)容量出發(fā)，研究了網絡互連的最優(yōu)資源分配策略，其次將該問題建模為馬爾可夫決策過程。在該函數(shù)的狀態(tài)和動作為連續(xù)值的情況下，采用策略梯度法通過與環(huán)境的相互作用來學習最優(yōu)策略，從而在邊緣計算系統(tǒng)完成最優(yōu)資源分配，同時避免蜂窩用戶的彼此干擾。

4 基于云邊智能協(xié)同的智能優(yōu)化技術

在云邊智能協(xié)同的過程中，云端負責深度學習模型的訓練，邊緣節(jié)點則負責模型的推理，云端在完成模型的訓練過程之后會將模型下發(fā)到邊緣節(jié)點，進而完成模型在云邊架構中的部署。如圖4所示，在云邊協(xié)同架構中，通過將推理階段與訓練階段相結合，經過模型的訓練與部署等過程不斷反復，不斷提升模型的精度與推理速度，提高服務質量。

圖4　云邊智能協(xié)同模型

4.1　推理優(yōu)化技術

當前較為流行的深度神經網絡模型大多為幾兆字節(jié)甚至幾百兆字節(jié)，為計算資源較少的邊緣節(jié)點帶來了較大的挑戰(zhàn)。為了在邊緣節(jié)點部署模型，除了與訓練過程結合生成低稀疏性的緊致模型之外，對已有模型的處理主要包括模型壓縮與切割等方案，此外可以通過模型選擇或早期退出等方案降低推理時延。

為了保證模型在邊緣服務器上高效地完成推理過程，當前研究者采用較多的方案為模型壓縮技術。模型壓縮技術又可以分為剪枝、量化和知識蒸餾等技術。剪枝技術可以分為剪枝粒度大的粗粒度剪枝和剪枝精度高的細粒度剪枝。細粒度剪枝可以刪除任意位置的權重［42］，使剪枝較為精細，剪枝后精度高，但會造成模型結構的不規(guī)則化，所以需要特殊的硬件設計支持稀疏操作。粗粒度剪枝只需改變網絡中卷積核和特征通道的數(shù)目，所得到的模型可以直接運行，無須特殊的算法設計，并且它的剪枝粒度較大，具有良好的加速效果。Peng等［43］定量分析了剪枝或保留通道對損失函數(shù)的聯(lián)合影響，并利用這種通道間的依賴性確定需要剪枝的通道。He等［44］基于幾何中值濾波剪枝壓縮模型，有效地裁剪可替代的冗余的卷積核。然而，剪枝操作在降低推理時延的同時也會給推理精度帶來不利影響，當前的主流方法是通過小樣本訓練稀疏化后的模型解決這個問題［45］，但仍有一定的計算代價，因此需要評估模型部署后的收益與重訓練的代價。

量化可以分為權值共享方法和權值精減方法。Han等［46］通過只學習重要的連接修剪網絡，其次對權重量化，實現(xiàn)權重共享。Chen等［47］使用低成本的哈希函數(shù)將連接權重隨機分組到哈希桶中，并且同一個哈希桶內的所有連接共享一個參數(shù)值。在訓練過程中，這些參數(shù)經過調整，以適應哈希網絡權重共享架構和標準，使得哈希網絡在基本保留泛化的同時大幅縮減了神經網絡的存儲需求。權值精簡則是權值的低比特表示，如Dettmers等［48］開發(fā)并測試8-bit近似算法，通過壓縮32位梯度和非線性激活到8位近似，從而更好地利用可用帶寬；此外，還基于實驗數(shù)據(jù)建立了一個加速預測模型，在保證模型預測精度的同時提高數(shù)據(jù)傳輸速度。Zhou等［49］提出了一種增量網絡量化的方法，旨在將任何預訓練的全精度卷積神經網絡模型轉換為一個低精度版本，并且能夠保證更高的模型精度，有利于在移動平臺的部署和加速。

相較于量化與剪枝技術，知識蒸餾技術作為新興的壓縮方法是當前領域的研究重點。Hinton等［50］首次提出知識蒸餾，知識蒸餾將知識從復雜的AI模型轉移到緊湊的小型AI模型中，通過利用性能更好的大模型訓練小模型，使小模型在大幅減少參數(shù)數(shù)量的同時獲取與大模型相當?shù)男阅?，最終實現(xiàn)模型壓縮與加速。但這種方式即大模型可能存在缺陷，導致產生錯誤的指導，誤導小模型走向次優(yōu)表現(xiàn)。為此，Meng等［51］提出一種有條件的師生學習方案，當教師模型能夠正確預測真實標簽時，學生模型則學習該教師模型，否則學生模型僅學習真實標簽；因此，學生模型能夠有效地向教師模型學習，甚至有可能超越教師模型。Mirzadeh等［52］認為在知識蒸餾過程中，當學生與教師之間差距較大時，學生網絡無法得到較高的性能。因此，可以利用一個中等規(guī)模的網絡（教師助理）作為學生與教師之間的中轉模型。此外，還研究了教師助理規(guī)模的影響，并將框架擴展到多步蒸餾，進一步壓縮模型的尺寸。除了應用于模型壓縮領域，研究者們還在模型增強領域研究如何利用知識蒸餾技術提升模型的性能。

模型分割技術與模型選擇機制也是模型推理優(yōu)化領域的研究熱點。Zhao等［53］提出了采用縱切方式的輕量級框架，用于在邊緣設備之間進行自適應的分布式卷積神經網絡（Convolutional Neural Network， CNN）推理。Park等［54］提出了一種big/LITTER DNN概念，它試圖最小化耗能大的DNN的執(zhí)行，從而降低能耗，同時保持推理準確性；然而，由于模型的訓練架構等條件不一致，如何在同一場景下選擇合適的模型是需要考慮的問題。Taylor等［55］提出了一種自適應方案，通過所需的準確度和推理時間確定使用哪個DNN模型作為給定輸入，然而該方案未考慮在不同場景下單節(jié)點面臨多任務競爭推理的場景。Teerapittayanon等［56］增加了額外的側分支分類器，利用提前退出機制使高可信度的樣本通過這些分支提前退出網絡，并使用更多或所有網絡層提供正確預測的最佳可能性，在提高準確性的同時顯著減少網絡的推理時間。

在邊緣計算場景下，當前應用較多的輕量化技術難以在復雜的業(yè)務場景中發(fā)揮作用。為了使以上技術能夠靈活地應用于在不同場景，可以結合模型切割和提前退出機制，將一部分推理請求提前過濾，以進一步減少計算延遲。

4.2　訓練優(yōu)化技術

由于深度神經網絡模型的訓練需要大量計算與存儲資源，計算資源豐富的云計算中心可以提供優(yōu)質的保障。為了保證模型在邊緣端高效地完成推理過程，提高模型的訓練精度并保證高效的訓練速度成了當前的研究重點。

當前采用較多的提高模型精度的方法是利用反向傳播算法迭代更新權重，一些研究者開始研究并采用反向傳播中梯度下降算法優(yōu)化的方案，優(yōu)化大型深度神經網絡并提高訓練效率［57］，減小訓練誤差［58］。

隨著邊緣智能的發(fā)展，在邊緣上訓練模型也成為可能，但是在邊緣上訓練需要大量的資源交換數(shù)據(jù)參數(shù)的，通常存在數(shù)據(jù)隱私暴露的風險。聯(lián)邦學習是端?邊?云之間的一種實用的深度學習訓練機制，為邊緣側提供了數(shù)據(jù)的隱私保護，如圖5所示。在聯(lián)邦學習中，邊緣節(jié)點接收云節(jié)點下發(fā)的全局參數(shù)并利用本地的訓練數(shù)據(jù)訓練模型，之后將模型下發(fā)至終端，終端將本地參數(shù)上傳到云節(jié)點中，云節(jié)點進行參數(shù)加權聚合得到全局模型參數(shù)并下發(fā)至邊緣節(jié)點中［59］。這種方式能夠在不需要進行原始數(shù)據(jù)傳輸?shù)那闆r下構建全局模型，實現(xiàn)數(shù)據(jù)隱私保護；但是當邊緣節(jié)點本地訓練的模型較大時，節(jié)點間的模型參數(shù)交換則會消耗大量的通信資源。為此，Mills等［60］將每個傳輸過程動態(tài)分解為幾個部分，實現(xiàn)最佳的分層通信和計算重疊，解決在邊緣網絡上訓練大型CNN的參數(shù)和梯度通信的分層調度問題。Reijonen等［61］從3個方面優(yōu)化聯(lián)邦學習：定期平均、部分設備參與和量化消息傳遞。

圖5　聯(lián)邦學習模型

另外，當相同的深度學習模型部署到不同的邊緣節(jié)點時，由于邊緣節(jié)點計算能力的不同，可能會導致參數(shù)上傳時間差距過大，影響全局模型的聚合。為此，一些研究者提出忽略計算能力弱的邊緣節(jié)點，雖然該方案能夠解決全局模型聚合問題，但沒有考慮邊緣節(jié)點之間協(xié)作的問題，可能會因為忽略某些節(jié)點而導致關鍵信息缺失。Xu等［62］提出了一種異質性感知聯(lián)邦學習框架解決落后者問題。該框架識別協(xié)作訓練速度的落后者，并指定預期的神經網絡模型訓練量，通過旋轉神經元訓練的方法加速落后節(jié)點，同時保持本地訓練和聯(lián)邦協(xié)作的收斂性。此外，聯(lián)邦學習雖然避免了因上傳訓練數(shù)據(jù)而導致的安全隱私問題，但該過程中的參數(shù)更新交換也帶來了新的隱私問題。Kang等［63］首先引入了基于信譽的邊緣節(jié)點選擇方案，并采用多權重主觀邏輯模型，根據(jù)直接交互歷史和推薦的聲譽意見計算邊緣節(jié)點的聲譽，從而利用聯(lián)盟區(qū)塊鏈以去中心化的方式管理節(jié)點的聲譽。此外，為了實現(xiàn)可靠的聯(lián)邦學習，可設計基于契約理論的激勵機制，以激勵擁有高精度和可靠本地培訓數(shù)據(jù)的高聲譽邊緣節(jié)點加入學習過程。

5 基于云邊智能協(xié)同的應用場景分析

當前，“大連接、低延時、高帶寬”的需求越來越多，邊緣計算已然成了這一時代發(fā)展的重要一環(huán)，與云計算、人工智能一起被越來越多的產業(yè)應用所需要。

當前云邊智能協(xié)同最為廣泛的應用領域是工業(yè)互聯(lián)網領域，云邊智能協(xié)同為工業(yè)互聯(lián)網數(shù)據(jù)海量且異構的問題提供了較好的解決方案。在云邊智能協(xié)同架構中，雖然目前在實際應用中邊緣節(jié)點無法處理全部數(shù)據(jù)，仍然需要云節(jié)點實現(xiàn)信息的融合，但隨著云邊智能協(xié)同的研究發(fā)展，它正逐漸成為工業(yè)互聯(lián)網的重要支柱。

云邊智能協(xié)同也為智能家庭提供了新動力。用戶不僅可以通過手機等終端設備來控制多個家庭設備，還可以實時訪問云節(jié)點中存儲的早期數(shù)據(jù)，邊緣節(jié)點可以聯(lián)合多個家庭設備組成家庭局域網，并通過與廣域網相連實現(xiàn)與云節(jié)點進行數(shù)據(jù)交互，進而實現(xiàn)家庭終端互聯(lián)及實時控制等功能。

在安防領域，通過有線或無線網絡技術（Wireless Fidelity， WiFi）連接攝像頭是當前采用較多的方式。然而有線雖然有較高的穩(wěn)定性，但會占用大量資源，并且在布線時還有較高的成本。WiFi相較于有線雖然成本較低，但通常需要補充大量路由節(jié)點提高覆蓋范圍和穩(wěn)定性。另外監(jiān)控視頻通常需要通過網絡傳輸至云服務器中進行智能檢測，給網絡負載增加較大的壓力。而云邊智能協(xié)同通過將監(jiān)控視頻分流到邊緣節(jié)點中，在降低網絡負載的同時還有效降低了視頻時延；另外，可以在邊緣節(jié)點上搭建智能模塊實現(xiàn)視頻智能檢測，從而應用于更多的業(yè)務場景。云節(jié)點可以負責模型的訓練任務，并將訓練后的模型下發(fā)至邊緣端，二者相互協(xié)作，解決當前視頻智能分析中的時延大的問題，提高用戶的體驗并實現(xiàn)多種本地AI典型應用。

在智慧交通領域，過去通常通過提高車輛的感知能力和計算能力實現(xiàn)智慧交通，研究成本較高。在實際應用中，可以通過在道路邊緣鋪設邊緣節(jié)點，與行駛中的車輛進行實時的信息交互，邊緣節(jié)點通過計算分析為車輛提供決策預警、輔助駕駛等多種服務。此外，邊緣節(jié)點可以采集車輛數(shù)據(jù)與道路信息，為車輛擴展感知能力，實現(xiàn)車路協(xié)同。同時，邊緣端可以與云端進行數(shù)據(jù)交互，云端通過分析邊緣端的數(shù)據(jù)感知交通系統(tǒng)的運行狀況，并結合大數(shù)據(jù)與AI算法分析并向邊緣節(jié)點下發(fā)指令，從而保證交通系統(tǒng)的穩(wěn)定運行，提高運行效率。

除了上述應用場景之外，云邊智能協(xié)同也推動了傳統(tǒng)能源產業(yè)、傳統(tǒng)農業(yè)、醫(yī)療保健和娛樂行業(yè)向智能化發(fā)展。雖然目前云邊智能協(xié)同技術已經在各個領域得到廣泛應用，但是針對云邊智能協(xié)同的技術標準仍然不明確，對于云邊智能協(xié)同的研究需要從整體規(guī)劃角度出發(fā)，根據(jù)不同的應用場景與需求完善它的能力，引導云邊智能協(xié)同技術健康發(fā)展。

6 結語

6.1　總結

云邊智能協(xié)同將AI與云邊協(xié)同結合，提高了AI在邊緣節(jié)點上的應用潛力。目前的研究集中在基于云邊協(xié)同的AI模型訓練與推理優(yōu)化技術。為了全面了解AI在云邊協(xié)同中的應用，本文首先介紹了云邊協(xié)同的發(fā)展歷程并指出了當前對云邊協(xié)同與AI結合的不足以及云邊智能協(xié)同的研究內容；其次，介紹了云邊協(xié)同架構中邊緣節(jié)點如何采集與處理終端數(shù)據(jù)；再次，介紹了云邊協(xié)同架構對AI的促進作用，從而更好地在邊緣節(jié)點激發(fā)AI的潛力；接著，分析了云邊智能協(xié)同在工業(yè)、家庭、安防與交通等領域的應用場景；最后，總結了如何利用云與邊緣節(jié)點之間的協(xié)同技術完成模型的訓練與推理。

6.2　未來展望

目前針對云邊智能協(xié)同的研究主要局限于通過優(yōu)化邊緣節(jié)點的訓練與推理提高算法的性能，存在著一些有待進一步研究的方向：

1）在云邊端架構中的計算遷移方面，計算卸載方案的可靠性與容錯性緊密相連，而不同場景下通常有不同的卸載要求，如車聯(lián)網與視頻監(jiān)控中卸載時延的要求較高，并且需要精準地完成卸載任務。在實際場景中，遷移過程要考慮網絡環(huán)境等多種因素，因此在一些場景下的卸載任務應具備較強的適應性與可靠性。當前對計算的可靠卸載是該領域的一個重點研究方向，但目前相關研究較少。

2）在云原生方面，以kubernetes［64］為核心的云原生技術體系具有強大的容器編排能力，但它的體系龐大，組件復雜，另外kubernetes的各個組件占用資源較多，難以在網絡受限的邊緣環(huán)境下運行，因此將云原生體系下沉至邊緣面臨很大的挑戰(zhàn)與困難。雖然kubeedge［65］的引入彌補了kubernetes部署在邊緣的缺點，但kubeedge在面臨大型邊緣集群時無法進行智能調度。

3）在模型的訓練與推理方面，在線學習與邊緣計算的結合可以為邊緣智能提供更廣闊的適用場景。目前大多數(shù)研究將訓練與推理過程分開研究，從而導致對于計算資源有限且動態(tài)性較強的場景難以適用，因此如何利用有限的資源部署和更新完成模型是該領域的研究熱點，如感知計算、觸覺網絡等研究領域。

4）在安全與隱私方面，隨著當前開放的環(huán)境和新軟件技術的不斷引進，大量數(shù)據(jù)會經過邊緣計算傳送到云計算中心。這些數(shù)據(jù)涉及終端的各種隱私信息，保護這些終端的隱私信息便是當前要解決的重點問題。目前對云邊協(xié)同計算安全性的研究仍然存在不足，如在面臨個人攻擊時缺少有效的預防機制與解決方案。另外，雖然當前云邊智能協(xié)同安全性的研究仍處于起步階段，但結合安全機制以更統(tǒng)一的方式保護整個安全防御系統(tǒng)同樣是當前的一個重點研究方向。

[1] CHEN Z， DI Y， YUAN H， et al. Intelligent cloud training system based on edge computing and cloud computing［C］// Proceedings of the IEEE 4th Information Technology， Networking， Electronic and Automation Control Conference. Piscataway： IEEE， 2020： 1550-1553.

[2] OLMOS J J V， CUGINI F， BUINING F， et al. Big data processing and artificial intelligence at the network edge［C］// Proceedings of the 22nd International Conference on Transparent Optical Networks. Piscataway： IEEE， 2020： 1-4.

[3] ZHOU Z， CHEN X， LI E， et al. Edge intelligence： paving the last mile of artificial intelligence with edge computing［J］. Proceedings of the IEEE， 2019， 107（8）： 1738-1762.

[4] QING L. A 5G PaaS collaborative management and control platform technology based on cloud edge collaboration based on particle swarm optimization algorithm［C］// Proceedings of the 2021 IEEE Asia-Pacific Conference on Image Processing， Electronics and Computers. Piscataway： IEEE， 2021： 144-147.

[5] ZHANG H， CHEN S， ZOU P， et al. Research and application of industrial equipment management service system based on cloud-edge collaboration［C］// Proceedings of the 2019 Chinese Automation Congress. Piscataway： IEEE， 2019： 5451-5456.

[6] PALLIS G， VAKALI A. Insight and perspectives for content delivery networks［J］. Communications of the ACM， 2006， 49（1）：101-106.

[7] SATYANARAYANAN M， BAHL P， CACERES R， et al. The case for VM-based cloudlets in mobile computing［J］. IEEE Pervasive Computing， 2009， 8（4）： 14-23.

[8] LaMOTHE R. Edge computing［EB/OL］. ［2022-07-11］.http：//vis.pnnl.gov/pdf/fliers/EdgeComputing.pdf.

[9] HU Y C， PATEL M， SABELLA D， et al. Mobile edge computing - a key technology towards 5G： ETSI White Paper No.11［R/OL］. ［2022-07-11］.https：//www.etsi.org/images/files/ETSIWhitePapers/etsi_wp11_mec_a_key_technology_towards_5g.pdf.

[10] 孔令娜，郭會明，焦函. 一種面向數(shù)據(jù)采集任務的云邊協(xié)同計算框架［J］. 數(shù)字技術與應用， 2021， 39（2）：165-167.（KONG L N， GUO H M， JIAO H. A cloud-edge collaboration framework for data collection［J］. Digital Technology and Application， 2021， 39（2）：165-167.）

[11] LUO Y， ZHU X， LONG J. Data collection through mobile vehicles in edge network of smart city［J］. IEEE Access， 2019， 7：168467-168483.

[12] JIAO Z， DING H， DANG M， et al. Predictive big data collection in vehicular networks： a software defined networking based approach［C］// Proceedings of the 2016 IEEE Global Communications Conference. Piscataway： IEEE， 2016： 1-6.

[13] CAO L， YUE Y， ZHANG Y. A data collection strategy for heterogeneous wireless sensor networks based on energy efficiency and collaborative optimization［J］. Computational Intelligence and Neuroscience， 2021， 2021： No.9808449.

[14] ROOPALI， KUMAR R. Energy efficient dynamic cluster head and routing path selection strategy for WBANs［J］. Wireless Personal Communications， 2020， 113（1）：33-58.

[15] WAJGI D， THAKUR N V. Load balancing based approach to improve lifetime of wireless sensor network［J］. International Journal of Wireless and Mobile Networks， 2012， 4（4）： 155-167.

[16] GATTANI V S， JAFRI S M H. Data collection using score based load balancing algorithm in wireless sensor networks［C］// Proceedings of the 2016 International Conference on Computing Technologies and Intelligent Data Engineering. Piscataway： IEEE， 2016： 1-3.

[17] SHARMA S K， WANG X. Live data analytics with collaborative edge and cloud processing in wireless IoT networks［J］. IEEE Access， 2017， 5： 4621-4635.

[18] FAN C， LU Y， LENG X， et al. Data classification processing method for the Power IoT based on cloud-side collaborative architecture［C］// Proceedings of the IEEE 9th Joint International Information Technology and Artificial Intelligence Conference. Piscataway： IEEE， 2020： 684-687.

[19] LUO A， CHEN Z， YUAN J， et al. Analysis and processing of power distribution data based on edge computing［C］// Proceedings of the IEEE 6th International Conference on Computer and Communication Systems. Piscataway： IEEE， 2021： 12-16.

[20] LI S， LAN T， BALASUBRAMANIAN B， et al. Pushing collaborative data deduplication to the network edge： an optimization framework and system design［J］. IEEE Transactions on Network Science and Engineering， 2022， 9（4）： 2110-2122.

[21] APARNA R， SANJAY RAJ R， BANDOPADHYAY S， et al. BlockDrive： a deduplication framework for cloud using edge-level blockchain［C］// Proceedings of the 2021 International Conference on Communication Information and Computing Technology. Piscataway： IEEE， 2021： 1-6.

[22] NGUYEN M T， RAHNAVARD N. Cluster-based energy-efficient data collection in wireless sensor networks utilizing compressive sensing［C］// Proceedings of the 2013 IEEE Military Communications Conference. Piscataway： IEEE， 2013： 1708-1713.

[23] HUI H， ZHOU C， XU S， et al. A novel secure data transmission scheme in industrial internet of things［J］. China Communications， 2020， 17（1）： 73-88.

[24] ZHANG Y， WANG P， FANG L， et al. Secure transmission of compressed sampling data using edge clouds［J］. IEEE Transactions on Industrial Informatics， 2020， 16（10）： 6641-6651.

[25] CHATTERJEE A， GUPTA U， CHINNAKOTLA M K， et al. Understanding emotions in text using deep learning and big data［J］. Computers in Human Behavior， 2019， 93：309-317.

[26] CHEN Z， HU J， MIN G， et al. Towards accurate prediction for high-dimensional and highly-variable cloud workloads with deep learning［J］. IEEE Transactions on Parallel and Distributed Systems， 2020， 31（4）：923-934.

[27] TAO Y， XU P， JIN H. Secure data sharing and search for cloud-edge-collaborative storage［J］. IEEE Access， 2020， 8： 15963-15972.

[28] LIU J， MAO Y， ZHANG J， et al. Delay-optimal computation task scheduling for mobile-edge computing systems［C］// Proceedings of the 2016 IEEE International Symposium on Information Theory. Piscataway： IEEE， 2016：1451-1455.

[29] XU X， LI Y， HUANG T， et al. An energy-aware computation offloading method for smart edge computing in wireless metropolitan area networks［J］. Journal of Network and Computer Applications， 2019， 133： 75-85.

[30] XU F， XIE Y， SUN Y， et al. Two-stage computing offloading algorithm in cloud-edge collaborative scenarios based on game theory［J］. Computers and Electrical Engineering， 2022， 97： No.107624.

[31] LYU X， TIAN H， JIANG L， et al. Selective offloading in mobile edge computing for the green internet of things［J］. IEEE Network， 2018， 32（1）： 54-60.

[32] LI A， LI L， YI S. Computation offloading strategy for IoT using improved particle swarm algorithm in edge computing［J］. Wireless Communications and Mobile Computing， 2022， 2022： No.9319136.

[33] NING Z， DONG P， KONG X， et al. A cooperative partial computation offloading scheme for mobile edge computing enabled internet of things［J］. IEEE Internet of Things Journal， 2019， 6（3）： 4804-4814.

[34] QIU X， LIU L， CHEN W， et al. Online deep reinforcement learning for computation offloading in blockchain-empowered mobile edge computing［J］. IEEE Transactions on Vehicular Technology， 2019， 68（8）： 8050-8062.

[35] ALAM M G R， HASSAN M M， UDDIN M Z， et al. Autonomic computation offloading in mobile edge for IoT applications［J］. Future Generation Computer Systems， 2019， 90： 149-157.

[36] LI C， SUN H， CHEN Y， et al. Edge cloud resource expansion and shrinkage based on workload for minimizing the cost［J］. Future Generation Computer Systems， 2019， 101： 327-340.

[37] ZHAO T， ZHOU S， GUO X， et al. A cooperative scheduling scheme of local cloud and Internet cloud for delay-aware mobile cloud computing［C］// Proceedings of the 2015 IEEE Globecom Workshops. Piscataway： IEEE， 2015：1-6.

[38] ZHU Z， PENG J， GU X， et al. Fair resource allocation for system throughput maximization in mobile edge computing［J］. IEEE Access， 2018， 6： 5332-5340.

[39] WANG Z， LV T， CHANG Z. Computation offloading and resource allocation based on distributed deep learning and software defined mobile edge computing［J］. Computer Networks， 2022， 205： No.108732.

[40] ZHU T， ZHOU W， YE D， et al. Resource allocation in IoT edge computing via concurrent federated reinforcement learning［J］. IEEE Internet of Things Journal， 2022， 9（2）： 1414-1426.

[41] WANG D， QIN H， SONG B， et al. Resource allocation in information-centric wireless networking with D2D-enabled MEC： a deep reinforcement learning approach［J］. IEEE Access， 2019， 7： 114935-114944.

[42] WANG H， YANG X， SHI Y， et al. A proximal iteratively reweighted approach for efficient network sparsification［J］. IEEE Transactions on Computers， 2022， 71（1）： 185-196.

[43] PENG H， WU J， CHEN S， et al. Collaborative channel pruning for deep networks［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 5113-5122.

[44] HE Y， LIU P， WANG Z， et al. Filter pruning via geometric median for deep convolutional neural networks acceleration［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4335-4344.

[45] LI T， LI J， LIU Z， et al. Few sample knowledge distillation for efficient network compression［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 14627-14635.

[46] HAN S， MAO H， DALLY W J. Deep compression： compressing deep neural networks with pruning， trained quantization and Huffman coding［EB/OL］. （2016-02-15） ［2022-05-15］.https：//arxiv.org/pdf/1510.00149.pdf.

[47] CHEN W， WILSON J T， TYREE S， et al. Compressing neural networks with the hashing trick［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 2285-2294.

[48] DETTMERS T. 8-bit approximations for parallelism in deep learning［EB/OL］. （2016-02-19） ［2022-2-19］.https：//arxiv.org/pdf/1511.04561.pdf.

[49] ZHOU A， YAO A， GUO Y， et al. Incremental network quantization： Towards lossless CNNs with low-precision weights［EB/OL］. （2017-08-25） ［2022-08-25］.https：//arxiv.org/pdf/1702.03044.pdf.

[50] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network［EB/OL］. （2015-03-09） ［2022-03-11］.https：//arxiv.org/pdf/1503.02531.pdf.

[51] MENG Z， LI J， ZHAO Y， et al. Conditional teacher-student learning［C］// Proceedings of the 2019 IEEE International Conference on Acoustics， Speech， and Signal Processing. Piscataway： IEEE， 2019： 6445-6449.

[52] MIRZADEH S I， FARAJTABAR M， LI A， et al. Improved knowledge distillation via teacher assistant［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 5191-5198.

[53] ZHAO Z， BARIJOUGH K M， GERSTLAUER A. DeepThings： distributed adaptive deep learning inference on resource-constrained IoT edge clusters［J］. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems， 2018， 37（11）： 2348-2359.

[54] PARK E， KIM D， KIM S， et al. Big/little deep neural network for ultra low power inference［C］// Proceedings of the 2015 International Conference on Hardware/Software Codesign and System Synthesis. Piscataway： IEEE， 2015： 124-132.

[55] TAYLOR B， MARCO V S， WOLFF W， et al. Adaptive deep learning model selection on embedded systems［J］. ACM SIGPLAN Notices， 2018， 53（6）： 31-43.

[56] TEERAPITTAYANON S， McDANEL B， KUNG H T. BranchyNet： fast inference via early exiting from deep neural networks［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 2464-2469.

[57] YAN H， YU P， LONG D. Study on deep unsupervised learning optimization algorithm based on cloud computing［C］// Proceedings of the 2019 International Conference on Intelligent Transportation， Big Data and Smart City. Piscataway： IEEE， 2019： 679-681.

[58] SENHAJI K， RAMCHOUN H， ETTAOUIL M. Training feedforward neural network via multiobjective optimization model using non-smooth1/2regularization［J］. Neurocomputing， 2020， 410： 1-11.

[59] McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.

[60] MILLS J， HU J， MIN G. Multi-task federated learning for personalised deep neural networks in edge computing［J］. IEEE Transactions on Parallel and Distributed Systems， 2022， 33（3）： 630-641.

[61] REIJONEN J， OPSENICA M， MORABITO R， et al. Regression training using model parallelism in a distributed cloud［C］// Proceedings of the IEEE 17th International Conference on Dependable， Autonomic and Secure Computing/ IEEE 17th International Conference on Pervasive Intelligence and Computing/ IEEE 5th International Conference on Cloud and Big Data Computing/ IEEE 4th Cyber Science and Technology Congress. Piscataway： IEEE， 2019： 741-747.

[62] XU Z， YU F， XIONG J， et al. Helios： heterogeneity-aware federated learning with dynamically balanced collaboration［C］// Proceedings of the 58th ACM/IEEE Design Automation Conference. Piscataway： IEEE， 2021： 997-1002.

[63] KANG J， XIONG Z， NIVATO D， et al. Incentive mechanism for reliable federated learning： a joint optimization approach to combining reputation and contract theory［J］. IEEE Internet of Things Journal， 2019， 6（6）： 10700-10714.

[64] PEREIRA FERREIRA A， SINNOTT R. A performance evaluation of containers running on managed kubernetes services［C］// Proceedings of the 2019 IEEE International Conference on Cloud Computing Technology and Science. Piscataway： IEEE， 2019： 199-208.

[65] XIONG Y， SUN Y， XING L， et al. Extend cloud to edge with kubeedge［C］// Proceedings of the 3rd ACM/IEEE Symposium on Edge Computing. Piscataway： IEEE， 2018： 373-377.

Survey of data-driven intelligent cloud-edge collaboration

TIAN Pengxin1， SI Guannan1*， AN Zhaoliang1， LI Jianxin1， ZHOU Fengyu2

（1，，250357，；2，，250061，）

With the rapid development of Internet of Things （IoT）， a large amount of data generated in edge scenarios such as sensors often needs to be transmitted to cloud nodes for processing， which brings huge transmission cost and processing delay. Cloud-edge collaboration provides a solution for these problems. Firstly， on the basis of comprehensive investigation and analysis of the development process of cloud-edge collaboration， combined with the current research ideas and progress of intelligent cloud-edge collaboration， the data acquisition and analysis， computation offloading technology and model-based intelligent optimization technology in cloud edge architecture were analyzed and discussed emphatically. Secondly， the functions and applications of various technologies in intelligent cloud-edge collaboration were analyzed deeply from the edge and the cloud respectively， and the application scenarios of intelligent cloud-edge collaboration technology in reality were discussed. Finally， the current challenges and future development directions of intelligent cloud-edge collaboration were pointed out.

cloud-edge collaboration; Artificial Intelligence (AI); computation offloading; model training and inference; data-driven

This work is partially supported by Natural Science Foundation of Shandong Province （ZR2019MF064）.

TIAN Pengxin，born in 1999， M.S. candidate. His research interests include big data， edge computing.

SI Guannan， born in 1981， Ph. D.， professor. His research interests include big data， cloud computing.

AN Zhaoliang， born in 1998， M. S. candidate. His research interests include big data， cloud computing.

LI Jianxin， born in 1997， M. S. candidate. His research interests include machine learning， cognitive graph.

ZHOU Fengyu， born in 1969， Ph. D.， professor. His research interests include intelligent robots， cloud robots.

1001-9081（2023）10-3162-08

10.11772/j.issn.1001-9081.2022091418

2022?09?22；

2023?01?05；

山東省自然科學基金資助項目（ZR2019MF064）。

田鵬新（1999—），男，山東濟寧人，碩士研究生，主要研究方向：大數(shù)據(jù)、邊緣計算； 司冠南（1981—），男，山東濟南人，教授，博士，主要研究方向：大數(shù)據(jù)、云計算； 安兆亮（1998—），男，山東濟南人，碩士研究生，主要研究方向：大數(shù)據(jù)、云計算； 李建辛（1997—），男，山東棗莊人，碩士研究生，主要研究方向：機器學習、認知圖譜； 周風余（1969—），男，山東沂南人，教授，博士，主要研究方向：智能機器人、云機器人。

TP399

A

2023?01?06。