張繼飛，趙玉超，張春紅

（1.廈門海洋職業(yè)技術(shù)學(xué)院，福建 廈門 361000；2.廈門工學(xué)院，福建 廈門 361000）

0 引 言

在科學(xué)技術(shù)不斷發(fā)展和社會高度信息化的今天，人們對生活品質(zhì)的要求也在逐步提高，為了更快地滿足大眾的需求，物聯(lián)網(wǎng)調(diào)度實現(xiàn)了物與人和物與物之間的信息交互，是現(xiàn)代社會不可或缺的一部分[1-3]。信息化覆蓋范圍廣容易造成傳輸數(shù)據(jù)阻塞，為了不影響物聯(lián)網(wǎng)正常運作，在保證用戶體驗的前提下，需要一種能夠?qū)崿F(xiàn)高效傳輸數(shù)據(jù)、保證復(fù)雜物聯(lián)網(wǎng)有效運行的自動調(diào)度方法。因此，深度強化學(xué)習(xí)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法具有重大意義。保證物聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)膶崟r性和高效性已經(jīng)成為相關(guān)工作者的研究重點。

1 物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法設(shè)計

1.1 判別物聯(lián)網(wǎng)傳輸數(shù)據(jù)安全性

為了實現(xiàn)物聯(lián)網(wǎng)傳輸數(shù)據(jù)在網(wǎng)絡(luò)安全環(huán)境下進行實時調(diào)度，首先要構(gòu)建物聯(lián)網(wǎng)傳輸數(shù)據(jù)模型，以時間段T為節(jié)點進行物聯(lián)網(wǎng)傳輸數(shù)據(jù)調(diào)度特征樣本的采集[4,5]。其樣本采集過程為：

式中，x'為物聯(lián)網(wǎng)傳輸數(shù)據(jù)的比特序列，T為傳輸時間段，Xv為物聯(lián)網(wǎng)傳輸數(shù)據(jù)的分布序列，M和N為數(shù)據(jù)傳輸最大和最小字節(jié)[6]。根據(jù)式（1）的物聯(lián)網(wǎng)傳輸數(shù)據(jù)樣本采集結(jié)果可計算物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實時特征量。對于物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度而言，傳輸數(shù)據(jù)信息化采集的最大量特征分布需要滿足調(diào)度信息自適應(yīng)分析量。物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度信息的自適應(yīng)分析量為：

式中，sm(t)為自適應(yīng)分析量，V={v1,v2,…,vn}為傳輸數(shù)據(jù)信息化采集在物聯(lián)網(wǎng)數(shù)據(jù)傳輸實時用量，ci為傳輸速率系數(shù)。

根據(jù)物聯(lián)網(wǎng)傳輸數(shù)據(jù)最短信息優(yōu)先的調(diào)度算法，優(yōu)先調(diào)度在系統(tǒng)中實時運行時間最短的信息。其物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度的頻域時間均衡控制模型描述為：

式中，x(i,d)、z(i,d)以及u(i,d)分別為物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度的信息傳輸補償系數(shù)、速率調(diào)制系數(shù)以及傳輸頻率系數(shù)，CR為物聯(lián)網(wǎng)數(shù)據(jù)傳輸實時調(diào)度的信息均衡最大可容量?？紤]物聯(lián)網(wǎng)數(shù)據(jù)傳輸自適應(yīng)分析特征量，結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)膶崟r均衡控制優(yōu)化方法構(gòu)建出反饋均衡模型，并根據(jù)模型判定網(wǎng)絡(luò)傳輸數(shù)據(jù)信息的安全性。其模型為：

式中，ni為隨機地傳輸數(shù)據(jù)信息。若FZ＜CTni，則表示傳輸數(shù)據(jù)為ni無法實現(xiàn)傳輸數(shù)據(jù)的反饋均衡，即可視為非安全傳輸數(shù)據(jù)，若FZ＞CTni，則表示任意傳輸數(shù)據(jù)ni為安全傳輸數(shù)據(jù)信息，可在物聯(lián)網(wǎng)傳輸數(shù)據(jù)中進行實時調(diào)度。

采用深度強化學(xué)習(xí)采集物聯(lián)網(wǎng)傳輸數(shù)據(jù)的特征序列樣本，通過計算物聯(lián)網(wǎng)傳輸數(shù)據(jù)的自適應(yīng)轉(zhuǎn)發(fā)特征量，建立了數(shù)據(jù)調(diào)度的頻域均衡控制模型，根據(jù)模型判定物聯(lián)網(wǎng)傳輸數(shù)據(jù)的安全性。

1.2 構(gòu)建物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度模型

在物聯(lián)網(wǎng)數(shù)據(jù)傳輸過程中，一個需要重點考慮的因素就是物聯(lián)網(wǎng)數(shù)據(jù)傳輸過程中的丟包率，采用深度強化學(xué)習(xí)來實施信號傳輸，將直接影響接收節(jié)點進行有效接收數(shù)據(jù)量的大小及接收時間的長短。將物聯(lián)網(wǎng)數(shù)據(jù)傳輸過程中的最小丟包率作為目標，引入深度強化學(xué)習(xí)中的貢獻思維來構(gòu)建物聯(lián)網(wǎng)數(shù)據(jù)傳輸中大數(shù)據(jù)合理調(diào)度模型[7]。物聯(lián)網(wǎng)數(shù)據(jù)傳輸過程中，調(diào)度目標的數(shù)據(jù)分配方法描述如下。

根據(jù)TFRC求出物聯(lián)網(wǎng)網(wǎng)絡(luò)中第i個發(fā)送節(jié)點t時刻的寬帶B(i,t)，由此確定上限寬帶。確定S(i,t)的大小從而使F(t)達到最小，即：

式中，F(xiàn)(t)為總線傳輸率，L(i,t)和S(i,t)分別為發(fā)送節(jié)點i在時段(t,t+Δt)的丟包率和發(fā)送速率，Sreq(t)表示一個物聯(lián)網(wǎng)節(jié)點正常傳輸數(shù)據(jù)所需的速率，B(i,t)為物聯(lián)網(wǎng)網(wǎng)絡(luò)中第i個發(fā)送節(jié)點t時刻的上限寬帶。

上述過程中最關(guān)鍵的一步就是對發(fā)送節(jié)點的丟包率進行升序排序。將最小的丟包率發(fā)送節(jié)點i劃分到發(fā)送節(jié)點的上限寬帶B(i,t)上，下一步再將次小的丟包率發(fā)送節(jié)點j劃分到該發(fā)送節(jié)點的上限寬帶B(j,t)上。重復(fù)進行以上操作步驟，直到發(fā)送節(jié)點的上限寬帶之和不低于物聯(lián)網(wǎng)數(shù)據(jù)的正常傳輸速率。

將丟包率最小作為調(diào)度目標能夠促使接收節(jié)點有效充分利用發(fā)送節(jié)點的有效傳輸寬帶，但這必然會使少量物聯(lián)網(wǎng)數(shù)據(jù)傳輸速率高的節(jié)點不斷傳輸數(shù)據(jù)，增加其負載，并且使物聯(lián)網(wǎng)的其他節(jié)點無法有效參與到傳輸中，無法實現(xiàn)整體利益的最大化。為此，將激勵機制中貢獻思維引到大數(shù)據(jù)調(diào)度模型中，既能增加參與傳輸?shù)墓?jié)點數(shù)量，又能夠?qū)崿F(xiàn)各類節(jié)點分時分批的加入傳輸。這不但彌補了以上的弊端，還可以提升物聯(lián)網(wǎng)數(shù)據(jù)的傳輸速率。引入激勵機制中貢獻思維的操作過程如下。

給所有發(fā)送節(jié)點植入貢獻因子α(i,t)，它是用來描述i節(jié)點從初始進入系統(tǒng)到t時刻的貢獻量C(i,t)與全部節(jié)點貢獻量總和之比。

i節(jié)點上傳量與i節(jié)點從別的節(jié)點處下載量之差為i節(jié)點的貢獻量C(i,t)，其計算公式為：

式中，β為元速率。那么在實際應(yīng)用中，可以將其他節(jié)點從i節(jié)點獲得的下載量描述成i節(jié)點的上傳量，即：

式中，j和i為上傳節(jié)點序列數(shù)；D為時鐘頻率。那么貢獻因子則可以描述為：

式中，k為數(shù)據(jù)周期傳送個數(shù)。

非但如此，物聯(lián)網(wǎng)數(shù)據(jù)傳輸速率會影響高速物聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)姆€(wěn)定性。因此，應(yīng)該在物聯(lián)網(wǎng)數(shù)據(jù)傳輸過程中盡可能地選擇邊緣節(jié)點，可以減少網(wǎng)絡(luò)傳輸過程中的時延損耗。綜上所述，在線時長可取為節(jié)點加入系統(tǒng)之后每個時段平方和，也就是：

式中，ts為節(jié)點加入系統(tǒng)的時間；te為節(jié)點退出的時間；o為進出系統(tǒng)次數(shù)。那么物聯(lián)網(wǎng)大數(shù)據(jù)合理調(diào)度模型可描述成：

綜上所述，采用深度強化學(xué)習(xí)判別了物聯(lián)網(wǎng)傳輸數(shù)據(jù)安全性，將最小丟包率作為物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度目標，引入深度強化學(xué)習(xí)的貢獻思想，構(gòu)建了物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度模型，實現(xiàn)了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實時調(diào)度。

2 實驗分析

為了驗證基于深度強化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法性能，引入傳統(tǒng)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法作對比，測試了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時間和數(shù)據(jù)完整性。兩種物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法的傳輸數(shù)據(jù)調(diào)度時間測試結(jié)果如圖1所示。

圖1 傳輸數(shù)據(jù)調(diào)度時間測試結(jié)果

從圖1的實驗結(jié)果可以看出，采用傳統(tǒng)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法來調(diào)度物聯(lián)網(wǎng)傳輸數(shù)據(jù)時，隨著物聯(lián)網(wǎng)傳輸數(shù)據(jù)帶寬越來越大，物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時間越來越長，無法完成實時調(diào)度，而采用基于深度強化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法來調(diào)度物聯(lián)網(wǎng)傳輸數(shù)據(jù)時，物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時間始終在10 s以內(nèi)，且當物聯(lián)網(wǎng)傳輸數(shù)據(jù)帶寬超過0.6 Mb/s以后，物聯(lián)網(wǎng)傳輸數(shù)據(jù)的調(diào)度時間反而變短了，可以實現(xiàn)物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實時調(diào)度。

兩種物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法的物聯(lián)網(wǎng)傳輸數(shù)據(jù)完整性測試結(jié)果如表1所示。

表1 物聯(lián)網(wǎng)傳輸數(shù)據(jù)完整性測試結(jié)果

從表1的結(jié)果可以看出，針對物聯(lián)網(wǎng)傳輸數(shù)據(jù)的完整性測試，基于深度強化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法的性能遠遠高于傳統(tǒng)物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法，保證了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的完整性。

3 結(jié) 論

本文提出了基于深度強化學(xué)習(xí)的物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度方法，采用深度強化學(xué)習(xí)建立了數(shù)據(jù)調(diào)度的頻域均衡控制模型，根據(jù)模型判定物聯(lián)網(wǎng)傳輸數(shù)據(jù)安全性，通過構(gòu)建物聯(lián)網(wǎng)傳輸數(shù)據(jù)實時調(diào)度模型，實現(xiàn)了物聯(lián)網(wǎng)傳輸數(shù)據(jù)的實時調(diào)度。結(jié)果顯示，該調(diào)度方法具有更好的性能。