曹 健,王興偉,黃 敏,易 波

1(東北大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,沈陽 110000)2(北華大學(xué) 計算機(jī)科學(xué)技術(shù)學(xué)院,吉林 吉林 132300)3(東北大學(xué) 過程工業(yè)綜合自動化國家重點(diǎn)實(shí)驗(yàn)室,沈陽 110000)4(東北大學(xué) 信息科學(xué)與工程學(xué)院,沈陽 110000) E-mail：wangxw@mail.neu.edu.cn

1 引 言

工業(yè)物聯(lián)網(wǎng)(Industrial Internet of Things,IIoT)是物聯(lián)網(wǎng)在工業(yè)領(lǐng)域的應(yīng)用,它將工業(yè)資產(chǎn)連接起來,在工業(yè)環(huán)境中收集和處理數(shù)據(jù),實(shí)現(xiàn)工業(yè)監(jiān)控、自動化和控制等智能操作[1].工業(yè)物聯(lián)網(wǎng)能有效提高生產(chǎn)效率、降低生產(chǎn)成本,它促進(jìn)了工業(yè)的轉(zhuǎn)型升級,被認(rèn)為是未來工業(yè)系統(tǒng)的基礎(chǔ)[2,3].由于工業(yè)環(huán)境中存在鏈路質(zhì)量不穩(wěn)定、傳輸信息多樣化等特點(diǎn),及時、可靠、高效地收集和處理來自各種設(shè)備的數(shù)據(jù)成為了工業(yè)物聯(lián)網(wǎng)實(shí)用化的基礎(chǔ).

多路徑路由協(xié)議在源節(jié)點(diǎn)和目的節(jié)點(diǎn)之間使用多條路徑傳輸數(shù)據(jù),它能夠增強(qiáng)網(wǎng)絡(luò)的容錯能力、均衡網(wǎng)絡(luò)的負(fù)載,它是實(shí)現(xiàn)可靠數(shù)據(jù)傳輸?shù)囊豁?xiàng)關(guān)鍵技術(shù).在多路徑路由中建立的多條路徑可以是鏈路不相交、節(jié)點(diǎn)不相交或相互重疊的.文獻(xiàn)[4]提出了一種基于局部信息的鏈路不相交多路徑路由,它使用主路徑來傳輸數(shù)據(jù),當(dāng)主路徑出現(xiàn)故障時,才能使用備用路徑,該算法雖然實(shí)現(xiàn)了網(wǎng)絡(luò)負(fù)載均衡,并沒有有效延長網(wǎng)絡(luò)生存期.文獻(xiàn)[5]提出了基于分簇結(jié)構(gòu)的多路徑路由協(xié)議,利用分簇和多路徑技術(shù)降低網(wǎng)絡(luò)能耗,提高網(wǎng)絡(luò)可靠性.文獻(xiàn)[6]提出了基于查詢的多路徑路由協(xié)議,該協(xié)議試圖建立節(jié)點(diǎn)不相交的路徑,最大限度地減少干擾帶來的負(fù)面影響.文獻(xiàn)[7]提出了一種水聲傳感器網(wǎng)絡(luò)信道感知的多路徑自適應(yīng)路由協(xié)議,該協(xié)議基于分布式強(qiáng)化學(xué)習(xí)框架在單路徑路由和多路徑路由之間進(jìn)行切換,有效降低了網(wǎng)絡(luò)的能耗和丟包率.文獻(xiàn)[8]基于無線HART標(biāo)準(zhǔn)提出了能量均衡的圖路由算法,綜合節(jié)點(diǎn)的能量、流量負(fù)載和鏈路傳輸能耗為節(jié)點(diǎn)分配子圖,實(shí)現(xiàn)了基于圖路由的節(jié)點(diǎn)數(shù)據(jù)多路徑傳輸,提高了網(wǎng)絡(luò)的能量使用效率.上述研究給本文提供了較好的參考,它們從降低網(wǎng)絡(luò)能耗、均衡網(wǎng)絡(luò)負(fù)載和提高網(wǎng)絡(luò)可靠性等方面盡最大限度滿足工業(yè)領(lǐng)域應(yīng)用的通信需求,但無法對數(shù)據(jù)傳輸提供確定的可靠性保障,也很難根據(jù)網(wǎng)絡(luò)全局的實(shí)時狀態(tài)信息及時調(diào)整不同類型數(shù)據(jù)流的路由策略.

軟件定義網(wǎng)絡(luò)(Software Defined Networking,SDN)被認(rèn)為是物聯(lián)網(wǎng)中的一項(xiàng)核心技術(shù)[9],它分離了控制平面和數(shù)據(jù)平面,控制平面通過集中式的管理能獲得全局的網(wǎng)絡(luò)拓?fù)鋱D并執(zhí)行路由決策.當(dāng)網(wǎng)絡(luò)流量發(fā)生變化時,SDN能動態(tài)分配網(wǎng)絡(luò)資源,使得網(wǎng)絡(luò)變得更加簡單、動態(tài)和靈活[10,11].文獻(xiàn)[12] 提出的 OpenFlow 是 SDN 最初的原型實(shí)現(xiàn),它主要應(yīng)用在大學(xué)校園和互聯(lián)網(wǎng)的骨干網(wǎng)中,由 OpenFlow交換機(jī)和控制器兩部分組成.文獻(xiàn)[13,14]分別面向無線傳感器網(wǎng)絡(luò)和物聯(lián)網(wǎng)提出了融合不同信息技術(shù)的新框架,并給出了相應(yīng)的應(yīng)用.文獻(xiàn)[11] 提出了軟件定義的多跳無線網(wǎng)絡(luò)路由協(xié)議,控制器擁有網(wǎng)絡(luò)的全局視圖,能為節(jié)點(diǎn)提供單路徑或多路徑路由,當(dāng)控制器中節(jié)點(diǎn)的剩余能量信息更新時,協(xié)議能根據(jù)最新的能量信息生成最短路徑.但該協(xié)議不能根據(jù)應(yīng)用需求調(diào)整源和目的節(jié)點(diǎn)間路徑的數(shù)量,無法自適應(yīng)的滿足工業(yè)數(shù)據(jù)傳輸?shù)目煽啃孕枨?

為此,本文結(jié)合 SDN 數(shù)據(jù)平面和控制平面分離的思想,設(shè)計了新型的工業(yè)物聯(lián)網(wǎng)模型,基于該模型提出工業(yè)物聯(lián)網(wǎng)多路徑可靠路由機(jī)制(Multi-Path Reliable Routing Mechanism,MPR2M),控制器根據(jù)工業(yè)應(yīng)用對可靠性的需求以及收集到的網(wǎng)絡(luò)狀態(tài)信息,采用可靠性模型自適應(yīng)地計算源和目標(biāo)節(jié)點(diǎn)之間最優(yōu)的路徑及路徑數(shù)量,在滿足工業(yè)數(shù)據(jù)可靠傳輸需求的同時,提高了網(wǎng)絡(luò)的擴(kuò)展性和靈活性.

2 系統(tǒng)模型

2.1 網(wǎng)絡(luò)模型

圖1 工業(yè)物聯(lián)網(wǎng)模型Fig.1 Industrial Internet of Things model

2.2 多路徑可靠性評估模型

為了保證數(shù)據(jù)傳輸?shù)目煽啃?本文需要對源節(jié)點(diǎn)到目的節(jié)點(diǎn)之間路徑的可靠性進(jìn)行評估,根據(jù)評估結(jié)果確定滿足應(yīng)用需求的最優(yōu)路徑及路徑數(shù)量.影響數(shù)據(jù)傳輸可靠性的因素包括相鄰交換節(jié)點(diǎn)間的鏈路質(zhì)量、數(shù)據(jù)的重傳次數(shù)以及冗余的路徑數(shù)量等[15].

(1)

(2)

其中,nmax為節(jié)點(diǎn)間的最大重傳次數(shù).

(3)

其中,Pi[i+1]為相鄰節(jié)點(diǎn)間傳輸數(shù)據(jù)成功的概率.

在源節(jié)點(diǎn)和目的節(jié)點(diǎn)間采用多條路徑傳輸數(shù)據(jù)可以有效提高工業(yè)物聯(lián)網(wǎng)的可靠性,假設(shè)數(shù)據(jù)報文經(jīng)過R條路徑傳輸成功的概率P為：

(4)

3 MPR2M路由機(jī)制

MPR2M路由機(jī)制由“網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)”、“路由計算”、“數(shù)據(jù)傳輸”和“信息統(tǒng)計”4個部分組成.控制器周期性的收集網(wǎng)絡(luò)中節(jié)點(diǎn)和鏈路狀態(tài)信息,建立全局的網(wǎng)絡(luò)拓?fù)鋱D;當(dāng)有交換節(jié)點(diǎn)向控制器請求傳輸路徑時,控制器按傳輸數(shù)據(jù)的類型采取不同的路由策略,并根據(jù)可靠性評估模型計算滿足工業(yè)應(yīng)用需求的多條路徑,接下來將路徑信息發(fā)送給源交換節(jié)點(diǎn);源交換節(jié)點(diǎn)將數(shù)據(jù)傳輸?shù)侥康墓?jié)點(diǎn)以后,需要統(tǒng)計報文接收的數(shù)量和跳數(shù)等信息并反饋給控制器,從而為后續(xù)的路由決策提供支持.

3.1 網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)

本文設(shè)計的網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)過程分為初始化階段的拓?fù)浒l(fā)現(xiàn)和網(wǎng)絡(luò)運(yùn)行時拓?fù)浒l(fā)現(xiàn),二者的核心思想都是通過發(fā)送廣播探測報文,獲取網(wǎng)絡(luò)中節(jié)點(diǎn)和鏈路的實(shí)時狀態(tài)信息,建立網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu).

1)初始階段拓?fù)浒l(fā)現(xiàn)

在網(wǎng)絡(luò)初始化階段,控制器為了獲取網(wǎng)絡(luò)中節(jié)點(diǎn)和鏈路質(zhì)量信息需要向網(wǎng)絡(luò)中的所有節(jié)點(diǎn)廣播探測報文.網(wǎng)絡(luò)中的交換節(jié)點(diǎn)和感知節(jié)點(diǎn)在接收到探測報文以后采取不同的處理辦法.

2)運(yùn)行階段拓?fù)浒l(fā)現(xiàn)

在網(wǎng)絡(luò)運(yùn)行過程中,節(jié)點(diǎn)的移動或者失效可能帶來網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的改變,交換節(jié)點(diǎn)需要周期性的向鄰居節(jié)點(diǎn)發(fā)送Hello報文,更新鄰居節(jié)點(diǎn)和鏈路質(zhì)量信息,并將更新的信息發(fā)送給控制器.控制器接收到更新報文以后,更新節(jié)點(diǎn)和鏈路的狀態(tài)信息,重新構(gòu)建網(wǎng)絡(luò)拓?fù)鋱D.

3.2 路由計算

本文將網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)分為突發(fā)性數(shù)據(jù)和周期性數(shù)據(jù)兩種,突發(fā)性數(shù)據(jù)對傳輸?shù)目煽啃砸蠓浅８?在網(wǎng)絡(luò)中占有的比例較小;周期性數(shù)據(jù)對可靠性的要求不是特別嚴(yán)格,在網(wǎng)絡(luò)中占有較大的比例.本節(jié)將分別針對兩種類型數(shù)據(jù)設(shè)計相應(yīng)的路由策略,以使控制器根據(jù)數(shù)據(jù)類型執(zhí)行相應(yīng)的路由決策.

1)突發(fā)性數(shù)據(jù)路由策略

源交換節(jié)點(diǎn)通過多條路徑將突發(fā)性數(shù)據(jù)發(fā)送到目的節(jié)點(diǎn).當(dāng)交換節(jié)點(diǎn)有數(shù)據(jù)發(fā)送時,首先查詢路由表中是否有與數(shù)據(jù)傳輸需求相匹配的多條路徑,如果有則直接按照記錄的路徑轉(zhuǎn)發(fā)數(shù)據(jù);否則,向控制器發(fā)送路徑請求.

(5)

接下來,控制器根據(jù)公式(4)計算已選所有路徑的可靠性,判斷已有路徑的可靠性是否滿足數(shù)據(jù)傳輸需求,如果滿足需求,則完成路徑的選取;否則,根據(jù)公式(6)對最近選取路徑的鏈路成本進(jìn)行調(diào)整(具體方法在下文中詳述),繼續(xù)使用Dijkstra算法計算新的路徑.重復(fù)此步驟,如果控制器選取的路徑數(shù)量達(dá)到最大值Rmax時,仍無法滿足數(shù)據(jù)傳輸?shù)目煽啃孕枨?則啟動5G移動通信技術(shù),交換節(jié)點(diǎn)利用5G移動通信網(wǎng)絡(luò)將數(shù)據(jù)直接發(fā)送給接入節(jié)點(diǎn),多路徑生成過程如圖2所示.

為了在不影響網(wǎng)絡(luò)連通性的情況下提高數(shù)據(jù)傳輸?shù)目煽啃?本文在選取新路徑時要盡量避免其與已選路徑有相同鏈路,這就需要對已選路徑的鏈路成本進(jìn)行調(diào)整,通過增加鏈路的成本,使其在新路徑的選取中不占優(yōu)勢,鏈路成本調(diào)整公式如式(6)所示：

c′(i,j)=c(i,j)+φ×Rand(0,c(i,j)).

(6)

其中,Rand(0,c(i,j))表示從0到c(i,j)的一個隨機(jī)值,φ為調(diào)整因子,φ∈{1,2,3}.

圖2 多路徑生成流程圖Fig.2 Multipath routing generation flow chart

假設(shè)源和目的節(jié)點(diǎn)間的兩條路徑分別為Ll和Ls,定義兩條路徑不相交值為D(Ll,Ls),其計算如公式(7)所示,當(dāng)D(Ll,Ls)的值為1時,兩條路徑不相交.

(7)

第1次鏈路成本調(diào)整時,φ的取值為1,控制器以第1次調(diào)整后的鏈路成本c′(i,j)為度量,選取新路徑Li,根據(jù)公式(7)判斷新選取的路徑Li與已選路徑Ls是否相交,若不相交,則新路徑選擇成功;否則,將φ的值增1,繼續(xù)計算新路徑,當(dāng)φ的值增加到3時,仍無法找到不相交的新路徑,則選擇不相交值最大的路徑為新路徑.

2)周期性數(shù)據(jù)路由策略

當(dāng)交換節(jié)點(diǎn)要發(fā)送周期性數(shù)據(jù)時,首先查詢路由表中是否有到達(dá)目的節(jié)點(diǎn)的路徑,如果有路徑則直接按照記錄的路徑轉(zhuǎn)發(fā)數(shù)據(jù);否則,向控制器發(fā)送路徑請求.

控制器根據(jù)公式(8)計算交換節(jié)點(diǎn)與候選的下一跳節(jié)點(diǎn)間的鏈路成本：

(8)

3.3 數(shù)據(jù)傳輸

源交換節(jié)點(diǎn)接收到控制器的路由反饋以后,首先將控制器計算的路徑信息以及其能滿足的可靠性Preq加入到路由表中,Preq的取值范圍為[0,1].接下來,將到達(dá)目的節(jié)點(diǎn)的路徑信息封裝在報文首部,按照路徑信息向目的節(jié)點(diǎn)發(fā)送數(shù)據(jù).突發(fā)性數(shù)據(jù)采用多條路徑同時傳輸數(shù)據(jù),相鄰節(jié)點(diǎn)間采用重傳機(jī)制,最大重傳次數(shù)為nmax;周期性數(shù)據(jù)采用單條路徑傳輸數(shù)據(jù),中間節(jié)點(diǎn)接收到報文以后,記錄其到接入節(jié)點(diǎn)的路徑,當(dāng)下次有相同類型數(shù)據(jù)傳輸時,可以采用保存的路徑傳輸數(shù)據(jù).數(shù)據(jù)報文到達(dá)接入節(jié)點(diǎn)以后,要進(jìn)行信息統(tǒng)計.

3.4 信息統(tǒng)計

為了及時優(yōu)化網(wǎng)絡(luò)性能,控制器需要掌握網(wǎng)絡(luò)中發(fā)送的報文數(shù)量、節(jié)點(diǎn)的負(fù)載和剩余能量、鏈路質(zhì)量等信息.接入節(jié)點(diǎn)在接收到報文以后,需要統(tǒng)計報文跳數(shù)、發(fā)送時間、接收時間、中繼節(jié)點(diǎn)列表等信息,并將統(tǒng)計結(jié)果周期的發(fā)送給控制器.控制器在接收到接入節(jié)點(diǎn)的統(tǒng)計信息以后,可以估算出路徑上所有節(jié)點(diǎn)的剩余能量和負(fù)載,不需要經(jīng)過頻繁的網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)就可以掌握網(wǎng)絡(luò)中節(jié)點(diǎn)和鏈路狀態(tài)信息,從而為后續(xù)的路由決策提供基礎(chǔ).

4 仿真實(shí)驗(yàn)

本文采用OMNET++仿真平臺對MPR2M的性能進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)參數(shù)設(shè)置如表1所示.首先對參數(shù)q取值進(jìn)行靈敏度分析,接下來主要從端到端的時延、可靠性、網(wǎng)絡(luò)的擴(kuò)展性等方面評估MPR2M的性能,并與圖路由(graph routing,GR)進(jìn)行比較.圖路由是當(dāng)前工業(yè)物聯(lián)網(wǎng)中最常用的路由策略,在網(wǎng)絡(luò)數(shù)據(jù)傳輸方面具有較高的可靠性.

表1 實(shí)驗(yàn)參數(shù)設(shè)置Table 1 Parameter configurations of simulation

為了研究參數(shù)q的取值對路徑可靠性的影響,參考文獻(xiàn)[15]中路徑和鏈路質(zhì)量設(shè)置,在源和目的節(jié)點(diǎn)之間選取4條獨(dú)立的路徑,每條路徑分別有5、5、4和3條鏈路,一跳鏈路的傳輸成功率如表2所示.本文分別對4條路徑做靈敏度分析,靈敏度的平均值如圖3所示.q的取值在0.5-1之間時,各點(diǎn)處靈敏度平均值均大于1,說明當(dāng)參數(shù)q的取值增加1%時,會引起路徑可靠性增加1.26%以上,即路徑可靠性對參數(shù)q的取值相對敏感.尤其是當(dāng)q在[0.72,0.95]范圍內(nèi)變化時,參數(shù)q的取值增加1%,路徑的可靠性會增加1.4%以上,引起路徑可靠性產(chǎn)生較大的變化,表明在這個范圍內(nèi),參數(shù)q對路徑可靠性的影響更顯著.

表2 一跳鏈路傳輸成功率Table 2 PDR value for each hop

如圖4所示,當(dāng)應(yīng)用的可靠性需求分別為0.99和0.999時,MPR2M較好地滿足了應(yīng)用的可靠性需求.MPR2M能夠根據(jù)應(yīng)用的需求在源和目的節(jié)點(diǎn)之間自適應(yīng)地建立多條路徑,通過多條路徑并行使用來提高工業(yè)數(shù)據(jù)傳輸?shù)目煽啃?隨著網(wǎng)絡(luò)中交換節(jié)點(diǎn)數(shù)量的增加,有更多的節(jié)點(diǎn)參與數(shù)據(jù)轉(zhuǎn)發(fā),MPR2M可以選擇鏈路質(zhì)量更好的路徑傳輸數(shù)據(jù),因此網(wǎng)絡(luò)的可靠性逐漸提高.

圖4 不同應(yīng)用需求下的可靠性比較Fig. 4 Reliability under different requirements

MPR2M在傳輸周期性數(shù)據(jù)和突發(fā)性數(shù)據(jù)時,采用不同的路由策略,因此在端到端可靠性和時延比較實(shí)驗(yàn)中對兩種類型的數(shù)據(jù)分別進(jìn)行評價.如圖5所示,MPR2M突發(fā)數(shù)據(jù)的可靠性最高,MPR2M周期數(shù)據(jù)的可靠性次之,圖路由的可靠性最低.MPR2M針對突發(fā)性數(shù)據(jù)的路由策略對應(yīng)用的可靠性需求具有自適應(yīng)能力,它能在源和目的節(jié)點(diǎn)之間建立滿足應(yīng)用需求的多條路徑,有效提高了網(wǎng)絡(luò)的可靠性.MPR2M針對周期性數(shù)據(jù)的路由策略能感知網(wǎng)絡(luò)狀態(tài)的實(shí)時變化,根據(jù)最新的網(wǎng)絡(luò)狀態(tài)制定路由決策,因此它的可靠性較高.圖路由根據(jù)網(wǎng)絡(luò)初始的鏈路質(zhì)量制定路由決策,對網(wǎng)絡(luò)中節(jié)點(diǎn)和鏈路實(shí)時狀態(tài)的掌控能力較差,部分鏈路質(zhì)量的變化會降低路徑的可靠性.

圖5 端到端可靠性比較Fig.5 Comparison of end-to-end reliability

端到端時延隨仿真時間的變化如圖6所示,MPR2M突發(fā)性數(shù)據(jù)的平均端到端時延最高,MPR2M周期性數(shù)據(jù)時延次之,圖路由的時延最短.MPR2M為了保障突發(fā)性數(shù)據(jù)的送達(dá)率,在相鄰節(jié)點(diǎn)間采用重傳機(jī)制,增加了數(shù)據(jù)傳輸時延.MPR2M中交換節(jié)點(diǎn)與控制器間的交互占用了部分網(wǎng)絡(luò)資源,導(dǎo)致數(shù)據(jù)通信的可用網(wǎng)絡(luò)資源減少,MPR2M周期性數(shù)據(jù)的端到端時延略高于圖路由.由于圖路由不需要周期性對網(wǎng)絡(luò)進(jìn)行探測,網(wǎng)絡(luò)中的數(shù)據(jù)通信可以獲得更多的網(wǎng)絡(luò)資源,進(jìn)而具有較低的通信時延.

圖6 端到端時延比較Fig.6 Comparison of end-to-end delay

圖7 網(wǎng)絡(luò)的擴(kuò)展性比較Fig.7 Comparison of network scalability

本文通過增加網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)量產(chǎn)生的控制報文數(shù)量來反映網(wǎng)絡(luò)的可擴(kuò)展性.MPR2M采用分級結(jié)構(gòu),新增加的節(jié)點(diǎn)大多數(shù)只需要將采集的信息發(fā)送給上級交換節(jié)點(diǎn)轉(zhuǎn)發(fā),不需要維護(hù)路由消息,少數(shù)新增的節(jié)點(diǎn)會與控制器交互,進(jìn)行數(shù)據(jù)報文的轉(zhuǎn)發(fā).如圖7所示,隨著網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)量的增加,MPR2M新增加的控制報文數(shù)量平緩上升.圖路由中所有新增節(jié)點(diǎn)都需要參與數(shù)據(jù)報文的轉(zhuǎn)發(fā),隨著節(jié)點(diǎn)數(shù)量的增加,網(wǎng)絡(luò)中控制報文數(shù)量增加明顯,帶來了較大的網(wǎng)絡(luò)開銷.

5 結(jié) 語

本文提出了一種工業(yè)物聯(lián)網(wǎng)多路徑可靠路由機(jī)制MPR2M.根據(jù)全局的網(wǎng)絡(luò)視圖和工業(yè)應(yīng)用對可靠性的不同需求,設(shè)計了相應(yīng)的路由策略,并使用可靠性評估模型計算源和目的節(jié)點(diǎn)之間最優(yōu)的路徑數(shù)量,滿足了工業(yè)數(shù)據(jù)可靠傳輸需求,提高了網(wǎng)絡(luò)的擴(kuò)展性和靈活性.仿真實(shí)驗(yàn)表明該路由機(jī)制在滿足工業(yè)數(shù)據(jù)傳輸?shù)目煽啃?、提高網(wǎng)絡(luò)可擴(kuò)展性方面表現(xiàn)出較好的性能.接下來,將在工業(yè)物聯(lián)網(wǎng)模型的基礎(chǔ)上,設(shè)計安全驅(qū)動的路由機(jī)制,為工業(yè)數(shù)據(jù)傳輸提供支持.