摘 要：當前“云-端”式移動群智感知（mobile crowd sensing，MCS）系統(tǒng)面臨負載過重的問題，導致數(shù)據(jù)匯聚過程中時延和能耗顯著增加，從而降低了數(shù)據(jù)匯聚的效率。針對該問題，提出了一種基于AP-DQN的“云-邊-端”MCS計算卸載算法。首先，考慮時延和能耗的均衡優(yōu)化建立效用函數(shù)，以最大化系統(tǒng)效用作為優(yōu)化目標。其次，優(yōu)化P-DQN算法，提出一種聯(lián)合資源分配的計算卸載算法AP-DQN，結(jié)合MCS優(yōu)勢，將空閑用戶作為卸載設(shè)備之一。最后，使用該方法求解問題。實驗結(jié)果顯示，與已有算法相比，該方法能有效提高數(shù)據(jù)匯聚效率，并具有很好的穩(wěn)定性。

關(guān)鍵詞：移動群智感知；邊緣計算；數(shù)據(jù)匯聚；計算卸載；資源分配；深度強化學習

中圖分類號：TP393 文獻標志碼：A 文章編號：1001-3695（2024）09-020-2705-07

doi：10.19734/j.issn.1001-3695.2024.01.0007

Data aggregation based on mobile crowd sensing and

computation offloading in edge environment

Yang Guisong，Sang Jian

（School of Optical-Electrical & Computer Engineering，University of Shanghai for Science & Technology，Shanghai 200093，China）

Abstract：The conventional“cloud-end”MCS system currently faces problems of excessive load，leading to a significant increase in delay and energy consumption during the data aggregation process，inevitably causing a decrease in data aggregation efficiency.To tackle this issue，this paper proposed a“cloud-edge-end”MCS computation offloading algorithm based on AP-DQN.Firstly， it established a utility function considering the balanced optimization of delay and energy consumption，with the maximization of system utility as an optimized goal.Secondly，improving the P-DQN algorithm，it proposed a computational offloading algorithm AP-DQN for combining resource allocation.This algorithm，leveraging the advantages of MCS，designated idle users as one of the offloading devices.Finally，the problem was solved using the proposed method.Experimental results show that，compared to existing algorithms，the proposed method significantly improves data aggregation efficiency and maintaines excellent system stability.

Key words：mobile crowd sensing;edge computing;data aggregation;computing offloading;resource allocation;deep reinforcement learning

0 引言

移動群智感知（MCS）作為一種新的感知環(huán)境、收集數(shù)據(jù)和提供信息服務(wù)的模式，逐漸成為當前的研究熱點之一［1，2］。在MCS網(wǎng)絡(luò)中，數(shù)據(jù)的高效匯聚是提升MCS性能和服務(wù)質(zhì)量的前提與保證，它的作用是對所收集的數(shù)據(jù)進行有效評估和高效的匯聚融合，并據(jù)此生成高質(zhì)量的感知結(jié)果或決策，從而提供更有用的信息［3］。與此同時，隨著5G通信技術(shù)的興起和計算密集型、時延敏感型任務(wù)的不斷涌現(xiàn)，MCS應(yīng)用規(guī)模和復雜度不斷擴大，導致傳統(tǒng)“云-端”式MCS系統(tǒng)面臨終端計算能力受限、云-端通信量大幅增長、任務(wù)服務(wù)質(zhì)量的實時性難以保障、數(shù)據(jù)匯聚能耗較高以及移動無線網(wǎng)絡(luò)的負載過重等問題［4］。將移動邊緣計算引入MCS中，構(gòu)成以“云-邊-端”為核心的MCS系統(tǒng)，將高性能的邊緣服務(wù)器部署在MCS系統(tǒng)中，可以增強計算能力，實現(xiàn)跨層數(shù)據(jù)融合匯聚［5，6］。然而，由于MCS中感知用戶具有時空動態(tài)變化特性［7］，用戶數(shù)量和感知任務(wù)具有多變性，并且感知網(wǎng)絡(luò)中的計算和帶寬資源也具有有限性［8，9］。所以如何在MCS系統(tǒng)中利用云-邊-端網(wǎng)絡(luò)架構(gòu)在上述動態(tài)變化的環(huán)境下實現(xiàn)對感知數(shù)據(jù)的高效匯聚和資源的合理分配是一個重大挑戰(zhàn)。

近年來，關(guān)于MCS結(jié)合邊緣計算的研究一直是一個熱門話題，文獻［10］提出了一種名為ParticipAct的邊緣MCS平臺，該平臺使用邊緣節(jié)點計算可能出現(xiàn)的危險人群情況。文獻［11］重點研究了邊緣輔助MCS背景下的動態(tài)用戶招募，解決了隨著數(shù)據(jù)量增長而增加的云平臺計算消耗的挑戰(zhàn)。文獻［12］提出了一種基于區(qū)塊鏈的框架來改進移動邊緣計算環(huán)境下MCS的數(shù)據(jù)質(zhì)量管理。盡管上述工作均采用邊緣計算范式來提高MCS的性能，但都沒有考慮在動態(tài)變化的移動感知網(wǎng)絡(luò)環(huán)境下，如何進行資源分配和計算卸載來保證感知數(shù)據(jù)匯聚的效率；也沒有考慮利用MCS的用戶優(yōu)勢，將用戶空閑設(shè)備作為“云-邊-端”架構(gòu)中端的一部分。

現(xiàn)如今，計算卸載相關(guān)的研究已經(jīng)相當成熟。文獻［13］將計算卸載問題定義為混合整數(shù)非線性問題，旨在減少整個網(wǎng)絡(luò)的總延遲。文獻［14］提出一種基于競爭的接入保留協(xié)議的卸載策略，通過找出最小化任務(wù)完成延遲的最佳卸載因子。然而，文獻［13，14］都屬于單目標優(yōu)化問題，而在卸載過程中往往需要同時考慮優(yōu)化多個目標，如時延、能耗、任務(wù)完成數(shù)、上行速率等，以獲得符合多方利益的卸載方案。文獻［15］基于SDN技術(shù)的數(shù)據(jù)服務(wù)編排機制，提出了一種云邊協(xié)同任務(wù)卸載方案文獻，該方案考慮了時延以及能量消耗。文獻［16］針對區(qū)域內(nèi)用戶的任務(wù)卸載方案部署優(yōu)化問題，提出一種基于多任務(wù)多目標進化的算法，以降低設(shè)備的平均延時和能耗。雖然文獻［15，16］考慮了多目標優(yōu)化，但是沒有考慮資源分配對于系統(tǒng)的影響，所使用的方法也比較傳統(tǒng)。文獻［17］提出了一種基于遺傳算法的分布式多跳計算任務(wù)卸載框架，在有限的資源下減小任務(wù)的延遲。文獻［18］提出了多領(lǐng)導者多追隨者的Stackelberg博弈算法，以確定服務(wù)器的最優(yōu)定價策略和用戶的最優(yōu)數(shù)據(jù)卸載策略。文獻［17，18］使用了啟發(fā)式算法和博弈論來解決計算卸載優(yōu)化問題，但是，啟發(fā)式算法需要消耗大量的時間和計算資源來達到最終的近似最優(yōu)解，博弈理論通常涉及到多個參與者之間的相互作用和關(guān)聯(lián)決策，導致求解問題的復雜性較高。因此，上述方法不適用于實時性要求高的MEC應(yīng)用場景。

為了增強計算卸載策略的實時性和自適應(yīng)性，文獻［19～22］致力于研究基于強化學習的計算卸載方案。文獻［19］提出了一種基于深度強化學習的計算卸載策略，旨在考慮計算資源和能耗等約束，同時解決卸載問題并最小化延遲。文獻［20］提出了一種基于Actor-Critic網(wǎng)絡(luò)的深度強化學習物聯(lián)網(wǎng)應(yīng)用計算卸載方案，以實現(xiàn)低延遲和控制能耗。文獻［21］提出了一種基于DDQN的方法以確定計算卸載和資源分配的聯(lián)合策略來降低系統(tǒng)能耗。文獻［22］提出了一種基于DDPG的時間注意力確定性策略梯度來解決計算卸載和資源分配的聯(lián)合優(yōu)化問題。上述研究考慮了多目標優(yōu)化問題的同時也考慮了資源分配，但是所使用的強化學習算法沒有兼顧離散和連續(xù)的動作空間，也沒有應(yīng)用在MCS數(shù)據(jù)匯聚的場景。

本文設(shè)計了“云-邊-端”的MCS網(wǎng)絡(luò)系統(tǒng)架構(gòu)，綜合考慮了系統(tǒng)時延和能量消耗的多目標優(yōu)化問題，利用聯(lián)合資源分配的計算卸載方式解決傳統(tǒng)優(yōu)化方法在時變網(wǎng)絡(luò)資源優(yōu)化問題上存在的不足。考慮感知用戶的時空動態(tài)變化特性、用戶數(shù)量和感知任務(wù)的多變性和感知網(wǎng)絡(luò)中的計算和帶寬資源的有限性，本文提出一種基于AP-DQN的“云-邊-端”MCS計算卸載算法，通過兼顧離散和連續(xù)的動作空間，合理分配網(wǎng)絡(luò)資源將感知數(shù)據(jù)卸載到最優(yōu)的邊緣節(jié)點或邊緣服務(wù)器中來保障感知數(shù)據(jù)的高效匯聚。此外，通過模擬實驗驗證了AP-DQN的優(yōu)越性。

1 MCS計算卸載模型

1.1 MCS系統(tǒng)模型

本文的云-邊-端MCS架構(gòu)如圖1所示。感知層由用戶及其設(shè)備組成，主要負責將產(chǎn)生的計算任務(wù)以及任務(wù)攜帶的感知數(shù)據(jù)上傳；邊緣計算層的主要任務(wù)是管理區(qū)域內(nèi)的用戶及其攜帶的感知設(shè)備、物聯(lián)網(wǎng)設(shè)備等，在靠近用戶端進行數(shù)據(jù)收集、處理和優(yōu)選，從而減少大規(guī)模低質(zhì)量數(shù)據(jù)傳輸?shù)皆贫说那闆r，提高數(shù)據(jù)質(zhì)量并優(yōu)化系統(tǒng)計算效率；云計算層位于邊緣計算層之上，將計算力下沉，無須直接處理底層終端采集的數(shù)據(jù)，主要匯聚和處理邊緣計算層傳輸上來的數(shù)據(jù)，提供邊緣計算層無法實現(xiàn)的算力，實現(xiàn)復雜數(shù)據(jù)分析、計算和存儲。

本文MCS計算卸載模型由幾個5G基站、邊緣服務(wù)器、邊緣節(jié)點和執(zhí)行感知任務(wù)的用戶及其設(shè)備組成。邊緣服務(wù)器部署在基站上，與基站集成在一起。邊緣節(jié)點是從空閑的、沒有執(zhí)行感知任務(wù)的感知設(shè)備中選取的，相比于其他感知設(shè)備具有計算能力較強、位置距離其他設(shè)備相對平均等特點。為了滿足大量MCS數(shù)據(jù)匯聚的需求，需要基站和邊緣節(jié)點同時提供卸載服務(wù)。BS={BS1，BS2，BS3，…，BSN}定義為基站集合，E={E1，E2，E3，…，EH}定義為邊緣節(jié)點集合，共K（K>H）個感知用戶，故用戶集合為U={U1，U2，U3，…，UK}，任務(wù)集合為T={T11，…，Tij，…，TKM}，Tij定義為用戶i（1≤i≤K）進行感知任務(wù)產(chǎn)生的第j（1≤j≤M）個需要卸載的任務(wù)數(shù)據(jù)。

如圖2所示，具有云計算和存儲能力的移動基站分布在移動用戶附近，用戶設(shè)備可以將數(shù)據(jù)卸載給邊緣服務(wù)器或者其周圍被篩選出來的感知設(shè)備。由服務(wù)器進行數(shù)據(jù)的初步處理和匯集后，再傳輸?shù)皆品?wù)器進行總的匯集、計算和存儲。實際上，邊緣服務(wù)器可以看作是云的替代品。對于任意時隙t上的每個應(yīng)用程序產(chǎn)生的任務(wù)，移動設(shè)備要決定其應(yīng)該卸載到哪個服務(wù)器。例如，用戶U2在基站B1、B2以及邊緣節(jié)點E1的覆蓋范圍內(nèi)，那么用戶U2可以選擇在本地執(zhí)行任務(wù)或者將其卸載到B1、B2和E1其中之一。

1.2 MCS任務(wù)模型

本文用一個集合描述任務(wù)Tij，定義為{Dij，tmaxij，Yij}，其中Dij定義為計算任務(wù)Tij所需的計算資源量，tmaxij定義為任務(wù)完成的最大時延，Yij定義為感知數(shù)據(jù)大小。此外，由于用戶可以卸載任務(wù)到自身設(shè)備、空閑的用戶邊緣節(jié)點和基站，所以引入決策變量o，oij=1時任務(wù)在本地計算，否則卸載到用戶邊緣節(jié)點和基站；接著再引入決策變量w，wij=1時任務(wù)卸載到用戶邊緣節(jié)點，其他情況則wij=0；引入決策變量u，uij=1時任務(wù)卸載到基站，反之uij=0。

1.3 通信模型

a）任務(wù)卸載到用戶邊緣節(jié)點：需要進行任務(wù)卸載的用戶使用一跳自組織網(wǎng)絡(luò)與路邊有計算能力的用戶邊緣節(jié)點，通信范圍內(nèi)使用正交頻譜，且可同時卸載多個任務(wù)，分配給K個用戶邊緣節(jié)點合適的帶寬，任務(wù)Tij卸載到用戶邊緣節(jié)點El（1≤l≤H）的速率為［21］

其中：αt和βt分別是t時刻評估網(wǎng)絡(luò)Q（ω）和目標網(wǎng)絡(luò)x（θ）的更新步長；ωlQt（ω）和θlΘt（θ）分別是t時刻評估網(wǎng)絡(luò)Q（ω）和目標網(wǎng)絡(luò)x（θ）的隨機梯度。

AP-DQN算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

通過上述一系列的改進，相較于傳統(tǒng)的P-DQN算法，AP-DQN可以實現(xiàn)比原P-DQN更穩(wěn)定、更快的訓練過程。本文AP-DQN訓練過程如算法2所示，根據(jù)算法2的偽代碼分析可知，算法的時間復雜度受到訓練周期episode和時間步T的影響，因此算法的時間復雜度為O（nTnepisode），其中nT表示每個episode中時間步的數(shù)量，nepisode表示episode的數(shù)量。

算法2 基于AP-DQN的MCS計算卸載優(yōu)化算法

輸入：終端設(shè)備、邊緣節(jié)點、基站和感知任務(wù)數(shù)據(jù)的狀態(tài)信息。

輸出：所有任務(wù)的動作和獎勵，訓練網(wǎng)絡(luò)并更新網(wǎng)絡(luò)。

使用專家樣本初始化經(jīng)驗回放池D。

初始化評估網(wǎng)絡(luò)權(quán)重ω

初始化目標網(wǎng)絡(luò)權(quán)重θ

初始化探索參數(shù)ε，小批量大小B

for each episode do

初始化狀態(tài)St

for 1≤t≤T do

根據(jù)算法1選擇動作at=（kt，xkt）

終端設(shè)備執(zhí)行動作at，獲得獎勵rt和下一時刻狀態(tài)st+1

將［st，at，rt，st+1］存儲到D中

從D中隨機采樣含有B條經(jīng)驗數(shù)據(jù){sb，ab，rb，sb+1}b∈［B］的小批量

根據(jù)式（30）訓練B個樣本得到目標yb

使用數(shù)據(jù){yb，sb，ab}b∈［B］計算隨機梯度ωlQt（ω）和θlΘt（θ）

根據(jù)式（32）更新評估網(wǎng)絡(luò)權(quán)重和目標網(wǎng)絡(luò)權(quán)重

end for

end for

3 實驗與結(jié)果分析

3.1 參數(shù)設(shè)置

本文的模擬實驗可以從一個真實的MCS場景遷移。假設(shè)感知用戶執(zhí)行視頻采集等實時視頻分析感知任務(wù)，用戶的感知設(shè)備可能同時接收來自不同攝像頭的照片和視頻。在一段時間內(nèi)，MCS感知任務(wù)執(zhí)行結(jié)束，感知用戶需要將感知到的數(shù)據(jù)卸載到合適的邊緣服務(wù)器上執(zhí)行分析和數(shù)據(jù)聚合任務(wù)。假設(shè)在MCS計算卸載場景中，系統(tǒng)由多個感知用戶、多個邊緣節(jié)點、兩個基站和一個云計算中心組成。每個終端設(shè)備感知任務(wù)收集的數(shù)據(jù)大小在100 kb～500 kb，任務(wù)所需的計算負載大小為1～10 cycles/bit，任務(wù)處理所需的最大時延為1～10 ms，終端設(shè)備的計算能力為100 MHz，邊緣節(jié)點的計算能力為500 MHz，邊緣服務(wù)器的計算能力為10 GHz，系統(tǒng)中用戶與邊緣節(jié)點之間的總上傳帶寬為5 MHz，用戶與基站之間的總上傳帶寬為10 MHz，傳輸功率為10～100 mW，實驗中的默認參數(shù)如表1所示。為有效消除偶然誤差，提高實驗結(jié)果的可信度，實驗結(jié)果為每組20次運行的結(jié)果取平均值，每次實驗訓練的episodes為10 000。

此外，需要為訓練定義各種模型超參數(shù)，經(jīng)驗復用池大小為20 000，獎勵衰減設(shè)置為0.9，網(wǎng)絡(luò)權(quán)重更新頻率設(shè)置為0.02，每次訓練采用數(shù)據(jù)大小為128的小批處理，初始探索率設(shè)置為0.9，隨著訓練的進行而逐漸減小，直到縮小為0.1。詳細參數(shù)如表2所示。使用兩層全連接神經(jīng)網(wǎng)絡(luò)來訓練模型，AP-DQN、P-DQN、DDQN和A3C的神經(jīng)網(wǎng)絡(luò)由PyTorch框架實現(xiàn)。

3.2 結(jié)果分析

本文將AP-DQN與僅卸載邊緣節(jié)點策略（FEN）、僅卸載到基站的策略（FBS）、P-DQN、DDQN、A3C的性能進行比較。其中，F(xiàn)EN算法是所有感知數(shù)據(jù)都通過邊緣節(jié)點進行卸載，F(xiàn)BS算法是所有感知數(shù)據(jù)都通過基站進行卸載，以上兩種算法都利用AP-DQN進行卸載決策和資源分配。DDQN和A3C算法是現(xiàn)如今強化學習中的先進算法，DDQN的動作空間是離散的，智能體只能選擇預定義的離散動作，而A3C的動作空間是連續(xù)的，智能體可以在連續(xù)的動作空間中選擇任意數(shù)值。

圖4顯示了AP-DQN算法在不同學習率下的收斂情況，其中用戶數(shù)量設(shè)置為5，用戶產(chǎn)生的任務(wù)數(shù)量設(shè)置為5。由圖4可知，隨著訓練輪數(shù)的增加，算法趨于收斂，且更高的學習率并不一定導致更快的收斂速度和更高的獎勵。在本算法中學習率為0.001時，算法收斂效果更好。

為了評估專家經(jīng)驗對本文算法性能的影響，通過設(shè)置不同的專家經(jīng)驗池對算法進行評估。圖5顯示了專家經(jīng)驗池對模型獎勵的影響。結(jié)果顯示，增大專家經(jīng)驗池不一定會導致更高的獎勵。例如，在本實驗中，最優(yōu)的專家經(jīng)驗池大小為2 000，優(yōu)于3 000、4 000和5 000的實驗結(jié)果。由于相關(guān)的高成本和觀察到的遞減收益，所以應(yīng)該仔細確定專家經(jīng)驗池的大小。

本實驗的評價指標設(shè)置為系統(tǒng)總消耗、時延和能量消耗。其中系統(tǒng)總體消耗是指時延與能量消耗之和，在本實驗中將上述三種指標進行取平均操作，以便更好地衡量MCS數(shù)據(jù)匯聚的效率和算法的效果。

為了驗證不同的MCS用戶數(shù)量對于三種指標的影響，本文采用不同的用戶數(shù)量對6種算法進行了實驗。圖6表明，隨著用戶數(shù)量的增加，所有算法的平均消耗都在增加。這是因為任務(wù)處理需要系統(tǒng)中的各種資源，隨著任務(wù)數(shù)據(jù)量的增加，終端設(shè)備之間對資源的競爭會不斷加劇，從而增加了任務(wù)處理的平均消耗。圖7顯示了隨著用戶數(shù)量的增加，所有算法的時延也都在增加，這是由于用戶數(shù)量增加會占用大量的帶寬資源，然而新到達的計算任務(wù)得不到相應(yīng)的資源分配，導致時延增加。圖8表明隨著用戶數(shù)量的增加，所有算法的能量消耗都在增加。這是由于用戶數(shù)量的增加，所需要分配給用戶的計算資源相應(yīng)增加，導致系統(tǒng)的能量消耗增加。由圖6～8可知，在不同的用戶數(shù)量下，AP-DQN在三種指標的表現(xiàn)上始終優(yōu)于其他對比算法。其中，相較于P-DQN，系統(tǒng)總消耗降低了12%，時延減少了11.11%，能量消耗降低了13.52%。

為了驗證不同的任務(wù)數(shù)量對于系統(tǒng)的總體消耗、時延和能量消耗的影響，本文將任務(wù)數(shù)量從5增長到25，增量為5，分別對6種算法進行了實驗。

圖9表明，隨著任務(wù)數(shù)量的增加，所有算法的平均消耗都在增加。這是因為隨著任務(wù)數(shù)據(jù)量的增加，分配給每個任務(wù)的資源會相應(yīng)地增加，從而增加了任務(wù)處理的平均消耗。圖10顯示了隨著任務(wù)數(shù)量的增加，所有算法的時延也都在增加，這是由于大量的任務(wù)導致帶寬資源緊張，進而導致時延增加。圖11表明，隨著任務(wù)數(shù)量的增加，所有算法的能量消耗都在增加。這是由于隨著任務(wù)數(shù)量的增加，系統(tǒng)中處理任務(wù)的計算資源會被大量消耗，導致系統(tǒng)的能量消耗增加。

由圖9～11可知，在不同的任務(wù)數(shù)量下，AP-DQN在系統(tǒng)總消耗、時延和能量消耗三種指標的表現(xiàn)上始終優(yōu)于其他對比算法。其中，相比于P-DQN，系統(tǒng)總消耗降低了16%，時延減少了8.33%，能量消耗降低了21.73%。

4 結(jié)束語

本文主要針對MCS在數(shù)據(jù)匯聚方面的挑戰(zhàn)，為此設(shè)計了一種基于AP-DQN的“云-邊-端”MCS計算卸載算法。首先考慮到時延和能耗的均衡優(yōu)化，設(shè)立了一個以最大化系統(tǒng)效用為目標的效用函數(shù)。然后對P-DQN算法進行改進，提出了一種聯(lián)合資源分配的計算卸載算法AP-DQN，并通過模擬實驗，證明了該算法在求解MCS計算卸載方案上能夠取得比對比算法更高的精度和更好的穩(wěn)定性，并且在不同用戶數(shù)量和不同任務(wù)數(shù)量的情況下，該算法相比于其他對比算法在系統(tǒng)總消耗、時延和能量消耗方面表現(xiàn)優(yōu)異。本文算法充分考慮了感知用戶的時空動態(tài)變化特性、用戶數(shù)量和感知任務(wù)的多變性以及感知網(wǎng)絡(luò)中的計算和帶寬資源的有限性，有效解決了這些因素帶來的問題。未來，筆者將考慮用戶隱私保護和多智能體強化學習來進一步優(yōu)化本文算法和系統(tǒng)設(shè)計，以便更好地適應(yīng)復雜的實際環(huán)境，為邊緣計算和MCS的研究和應(yīng)用提供更強大的工具和解決方案。

參考文獻：

［1］Ray A，Chowdhury C，Bhattacharya S，et al.A survey of mobile crowdsensing and crowdsourcing strategies for smart mobile device users［J］.CCF Trans on Pervasive Computing and Interaction，2023，5（1）：98-123.

［2］Cicek D，Kantarci B.Use of mobile crowdsensing in disaster management：a systematic review，challenges，and open issues［J］.Sensors，2023，23（3）：1699.

［3］Zhang Mingwu，Chen Shijin，Shen Jian，et al.PrivacyEAFL：privacy-enhanced aggregation for federated learning in mobile crowdsensing［J］.IEEE Trans on Information Forensics and Security，2023，18：5804-5816.

［4］Attaran M.The impact of 5G on the evolution of intelligent automation and industry digitization［J］.Journal of Ambient Intelligence and Humanized Computing，2023，14（5）：5977-5993.

［5］Feng Hailin，Qiao Liang，Lyu Zhihan.Innovative soft computing-enabled cloud optimization for next-generation IoT in digital twins［J］.Applied Soft Computing，2023，136：110082.

［6］Seo H，Oh H，Choi J K，et al.Differential pricing-based task offloading for delay-sensitive iot applications in mobile edge computing system［J］.IEEE Internet of Things Journal，2022，9（19）：19116-19131.

［7］Marchang N，Tripathi R.KNN-ST：exploiting spatio-temporal correlation for missing data inference in environmental crowd sensing［J］.IEEE Sensors Journal，2020，21（3）：3429-3436.

［8］Coluccia A，F(xiàn)ascista A.A review of advanced localization techniques for crowdsensing wireless sensor networks［J］.Sensors，2019，19（5）：988.

［9］程文輝，張乾元，程梁華，等.空地協(xié)同移動群智感知研究綜述［J］.計算機科學，2022，49（11）：242-249.（Cheng Wenhui，Zhang Qianyuan，Cheng Lianghua，et al.Review of mobile air-ground crowdsensing［J］.Computer Science，2022，49（11）：242-249.）

［10］Foschini L，Martuscelli G，Montanari R，et al.Edge-enabled mobile crowdsensing to support effective rewarding for data collection in pandemic events［J］.Journal of Grid Computing，2021，19：1-17.

［11］Zhang Yanlin，Li Peng，Zhang Tao，et al.Dynamic user recruitment in edge-aided mobile crowdsensing［J］.IEEE Trans on Vehicular Technology，2023，72（7）：9351-9365.

［12］An Jian，Wu Siyuan，Gui Xiaolin，et al.A blockchain-based framework for data quality in edge-computing-enabled crowdsensing［J］.Frontiers of Computer Science，2023，17（4）：174503.

［13］Sarkar I，Adhikari M，Kumar N，et al.A collaborative computational offloading strategy for latency-sensitive applications in fog networks［J］.IEEE Internet of Things Journal，2021，9（6）：4565-4572.

［14］Kim T，Kim Y，Adu E，et al.On offloading decision for mobile edge computing systems considering access reservation protocol［J］.IEEE Access，2023，11：40457-40468.

［15］Huang Mingfeng，Liu Wei，Wang Tian，et al.A cloud-MEC collaborative task offloading scheme with service orchestration［J］.IEEE Internet of Things Journal，2019，7（7）：5792-5805.

［16］孔珊，柴爭義，鄭玉琦.基于進化多任務(wù)多目標優(yōu)化的邊緣計算任務(wù)卸載［J］.計算機應(yīng)用研究，2024，41（4）：1164-1170.（Kong Shan，Chai Zhengyi，Zheng Yuqi.Task offload in edge computing based on evolutionary multi task multi objective optimization［J］.Application Research of Computers，2024，41（4）：1164-1170.）

［17］Liu Hui，Niu Zhaocheng，Du Junzhao，et al.Genetic algorithm for delay efficient computation offloading in dispersed computing［J］.Ad hoc Networks，2023，142：103109.

［18］Mitsis G，Tsiropoulou E E，Papavassiliou S.Price and risk awareness for data offloading decision-making in edge computing systems［J］.IEEE Systems Journal，2022，16（4）：6546-6557.

［19］Cao Mintao，Liu Lanyu，Wang Chao，et al.Computation resource offloading in mobile edge computing：a deep reinforcement approach［C］//Proc of the 3rd International Symposium on Computer Techno-logy and Information Science.Piscataway，NJ：IEEE Press，2023：360-364.

［20］Xiao Han，Xu Changqiao，Ma Yunxiao，et al.Edge intelligence：a computational task offloading scheme for dependent IoT application［J］.IEEE Trans on Wireless Communications，2022，21（9）：7222-7237.

［21］Zhou Huan，Jiang Kai，Liu Xuxun，et al.Deep reinforcement learning for energy-efficient computation offloading in mobile-edge computing［J］.IEEE Internet of Things Journal，2022，9（2）：1517-1530.

［22］Chen Juan，Xing Huanlai，Xiao Zhiwen，et al.A DRL agent for jointly optimizing computation offloading and resource allocation in MEC［J］.IEEE Internet of Things Journal，2021，8（24）：17508-17524.

［23］Osband I，Blundell C，Pritzel A，et al.Deep exploration via bootstrapped DQN［C］//Proc of the 30th International Conference Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2016：4033-4041.

［24］Van Hasselt H，Guez A，Silver D.Deep reinforcement learning with double Q-learning［C］//Proc of the 30th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2016：2094-2100.

［25］Babaeizadeh M，F(xiàn)rosio I，Tyree S，et al.GA3C：GPU-based A3C for deep reinforcement learning［EB/OL］.（2016-11-18）.https：//doi.org/10.48550/arXiv.1611.06256.

［26］Hou Yuenan，Liu Lifeng，Wei Qing，et al.A novel DDPG method with prioritized experience replay［C］//Proc of IEEE International Confe-rence on Systems，Man，And Cybernetics.Piscataway，NJ：IEEE Press，2017：316-321.

［27］Xiong Jiechao，Wang Qing，Yang Zhuoran，et al.Parametrized deep Q-networks learning：reinforcement learning with discrete-continuous hybrid action space［EB/OL］.（2018-10-10）.https：//arxiv.org/abs/1810.06394.

收稿日期：2024-01-12

修回日期：2024-03-01

基金項目：國家自然科學基金資助項目（61602305，61802257）；上海市自然科學基金資助項目（18ZR1426000，19ZR1477600）

作者簡介：楊桂松（1982—），男（通信作者），河南漯河人，副教授，碩導，博士，CCF會員，主要研究方向為物聯(lián)網(wǎng)與普適計算等（gsyang@usst.edu.cn）；桑?。?998—），男，河北唐山人，碩士研究生，主要研究方向為移動群智感知和邊緣計算.