1 研究目標(biāo)

隨著信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)時(shí)代的到來，對數(shù)據(jù)傳輸效率及處理能力的需求不斷增長。尤其是對于海量數(shù)據(jù)終端，周期性進(jìn)行數(shù)據(jù)上報(bào)時(shí)，某一時(shí)點(diǎn)對網(wǎng)絡(luò)、I/O、內(nèi)存、計(jì)算能力等施加了巨大的壓力，而此種業(yè)務(wù)場景在物聯(lián)網(wǎng)領(lǐng)域中應(yīng)用尤為常見。物聯(lián)網(wǎng)通過各種傳感器技術(shù)、各種通信手段，將任何物體與互聯(lián)網(wǎng)相連接，從而實(shí)現(xiàn)了遠(yuǎn)程監(jiān)視、自動(dòng)報(bào)警、控制、診斷和維護(hù)，幫助人們實(shí)現(xiàn)管理、控制與運(yùn)營，隨著各行各業(yè)應(yīng)用的發(fā)展，每秒鐘物聯(lián)網(wǎng)上都會(huì)產(chǎn)生海量的數(shù)據(jù)。因此會(huì)涉及大量數(shù)據(jù)周期性上報(bào)問題，有鑒于此，研究如何降低海量數(shù)據(jù)周期性上報(bào)對網(wǎng)絡(luò)、I/O、內(nèi)存、計(jì)算能力的要求，具有重要的意義。

一個(gè)典型的物聯(lián)網(wǎng)架構(gòu)的分層模型基本都是：感知層、網(wǎng)絡(luò)層、服務(wù)層。

感知層主要指分布在前端的各種傳感設(shè)備和數(shù)據(jù)采集設(shè)備、數(shù)據(jù)采集單元（Colletion Unit，簡稱CU），主要完成數(shù)據(jù)采集功能；網(wǎng)絡(luò)層主要指數(shù)據(jù)傳輸通道，用于將數(shù)據(jù)采集單元采集到的數(shù)據(jù)，通過特定的數(shù)據(jù)格式，發(fā)送回中心服務(wù)單元（Service Unit，簡稱SU），做好后臺(tái)進(jìn)行數(shù)據(jù)分析的準(zhǔn)備；目前主流的傳輸通道主要有GPRS/EDGE/3G /4G/NB-IoT/LoRa/Sigfox/RPMA/Ethernet/Fiber等；服務(wù)層主要指后臺(tái)的數(shù)據(jù)分析平臺(tái)和業(yè)務(wù)分析應(yīng)用；根據(jù)業(yè)務(wù)類型和要求，將回傳的數(shù)據(jù)進(jìn)行整合、處理、挖掘；給出基于不同業(yè)務(wù)領(lǐng)域的各種分析報(bào)告、應(yīng)用管理等，服務(wù)層有時(shí)又分為平臺(tái)服務(wù)層和應(yīng)用服務(wù)層。

典型的物聯(lián)網(wǎng)架構(gòu)的分層模型示意圖如圖1所示。

圖1 典型的物聯(lián)網(wǎng)架構(gòu)示意

在經(jīng)典的物聯(lián)網(wǎng)架構(gòu)下，采集單元采集數(shù)據(jù)后，需要定期向服務(wù)單元上報(bào)數(shù)據(jù)，即周期性將數(shù)據(jù)進(jìn)行上報(bào)。假定上報(bào)當(dāng)日零時(shí)時(shí)間戳為T0，當(dāng)前上報(bào)批次為n，則：

采集單元在Tn時(shí)上報(bào)數(shù)據(jù)，p為數(shù)據(jù)上報(bào)的周期（秒）。

如若采用現(xiàn)有的技術(shù)方案，那么假定一個(gè)數(shù)據(jù)傳輸系統(tǒng)中有2 000個(gè)數(shù)據(jù)采集單元，每個(gè)采集單元有8 KB的上報(bào)數(shù)據(jù)，則數(shù)據(jù)上報(bào)點(diǎn)對網(wǎng)絡(luò)帶寬的要求如下：

在實(shí)際應(yīng)用中，海量數(shù)據(jù)終端的采集單元可能遠(yuǎn)高于2 000個(gè)，隨著采集單元數(shù)量的增加，帶寬要求呈線性方式增長。由此可見，采用現(xiàn)有的技術(shù)方法周期性上報(bào)數(shù)據(jù)，瞬時(shí)并發(fā)的數(shù)據(jù)流帶來傳輸?shù)母叻?，對網(wǎng)絡(luò)帶寬、I/O帶寬、I/O讀寫等待時(shí)間、內(nèi)存、計(jì)算能力等系統(tǒng)資源有很高的要求，帶來運(yùn)營成本的巨大壓力。

本文就是說明，如何利用時(shí)間散列的方法，將高度集中的并發(fā)業(yè)務(wù)平均分布在一段時(shí)間內(nèi)，從而降低周期性上報(bào)數(shù)據(jù)對網(wǎng)絡(luò)帶寬、I/O帶寬、I/O讀寫等待時(shí)間、內(nèi)存、計(jì)算能力等系統(tǒng)資源的要求。

2 實(shí)現(xiàn)方法

如若采用現(xiàn)有的技術(shù)方案，那么假定一個(gè)數(shù)據(jù)傳輸系統(tǒng)中有2 000個(gè)數(shù)據(jù)采集單元，每個(gè)采集單元有8 KB的上報(bào)數(shù)據(jù)，則數(shù)據(jù)上報(bào)點(diǎn)對網(wǎng)絡(luò)帶寬的要求需要考慮如下假設(shè) ：

（1）瞬時(shí)流量計(jì)算時(shí)，每個(gè)采集單元的數(shù)據(jù)大小為8 KB，2 000個(gè)數(shù)據(jù)采集單元同時(shí)產(chǎn)生的瞬時(shí)流量總量為：8 KB X 2 000=16 000 KB。從KB換算為MB時(shí)，我們?nèi)Q算常數(shù)為10。

（2）而在計(jì)算瞬時(shí)帶寬要求時(shí)，由于傳送的數(shù)據(jù)不僅包括采集單元需要上報(bào)的采集數(shù)據(jù)， 還需要考慮數(shù)據(jù)通訊時(shí)控制單元需要傳送的控制數(shù)據(jù)。因此，對瞬時(shí)帶寬要求計(jì)算且?guī)拞挝粡腗B換算為Mbit/s時(shí)，我們將換算常數(shù)簡單取10。

（3）按照以上的假設(shè)，對瞬時(shí)流量和帶寬要求的計(jì)算公式如下示：

可以看到，即使采集單元數(shù)量不算太多（2 000個(gè)），單一采集單元上傳的數(shù)據(jù)量不大（8 KB）時(shí)，對瞬時(shí)帶寬要求還是非常大的（160 Mbit/s）。

但是當(dāng)我們將這些報(bào)文平均分布在10秒內(nèi)上報(bào)時(shí)，則所需帶寬為：

兩者的比較如圖2和圖3所示。

圖2 1秒內(nèi)上報(bào)數(shù)據(jù)時(shí)的瞬時(shí)帶寬需求

圖3 10秒內(nèi)上報(bào)數(shù)據(jù)時(shí)的帶寬需求

可以看到，在將這些數(shù)據(jù)散列到一段時(shí)間內(nèi)后，數(shù)據(jù)傳送對系統(tǒng)資源（示例主要指帶寬資源）的需求將大大減少。

報(bào)文發(fā)送時(shí)間、報(bào)文發(fā)送分布時(shí)間以及散列參數(shù)等內(nèi)容，可以根據(jù)業(yè)務(wù)場景和實(shí)際工作需要自由定義，抽象為如下情況。

假定數(shù)據(jù)采集單元數(shù)量為l，任意一個(gè)數(shù)據(jù)采集單元的序列號為SN，

則散列參數(shù)計(jì)算公式為：

上述公式中HashSN為散列參數(shù)，1為序列號SN的長度，j為序列號遍歷索引，0≤j

上述公式中T0為上報(bào)當(dāng)日零時(shí)時(shí)間戳；n為當(dāng)前上報(bào)批次；p為上報(bào)周期；t為時(shí)間片段的時(shí)長；i為時(shí)間片段編號，，其中，p/t向下取整且t?p；x為配置項(xiàng)，x是二次散列參數(shù)，將服務(wù)單元分配的、處于同一時(shí)間片段內(nèi)的采集單元在該時(shí)段再次進(jìn)行散列分布，使負(fù)載更為平均。

2.1 系統(tǒng)構(gòu)成

本文所描述的對周期性數(shù)據(jù)上報(bào)進(jìn)行時(shí)間散列的系統(tǒng)由數(shù)據(jù)采集單元（CU）、服務(wù)單元（SU）以及網(wǎng)絡(luò)三部分組成，具體請參考如圖4所示，通過采集單元與服務(wù)單元之間的網(wǎng)絡(luò)通信，實(shí)現(xiàn)對周期性上報(bào)數(shù)據(jù)的時(shí)間分流，以達(dá)到錯(cuò)開數(shù)據(jù)傳輸高峰期的方法。

① 服務(wù)單元SU，主要指后臺(tái)的數(shù)據(jù)分析平臺(tái)和業(yè)務(wù)分析應(yīng)用；根據(jù)業(yè)務(wù)類型和要求，將回傳的數(shù)據(jù)進(jìn)行整合、處理、挖掘；給出基于不同業(yè)務(wù)領(lǐng)域的各種分析報(bào)告、應(yīng)用管理等，服務(wù)層有時(shí)又分為平臺(tái)服務(wù)層和應(yīng)用服務(wù)層；

圖4 典型周期性數(shù)據(jù)上報(bào)系統(tǒng)的拓?fù)浼軜?gòu)圖

② 網(wǎng)絡(luò)，主要指將數(shù)據(jù)進(jìn)行回傳的傳輸通道，目前主流的傳輸方式主要指：GPRS/EDGE/3G/4G/NB-IoT/LoRa/Sigfox/RPMA/Ethernet/Fiber等；

③ 采集單元CU，主要指分布在前端的各種傳感設(shè)備和數(shù)據(jù)采集設(shè)備、數(shù)據(jù)采集單元（Colletion Unit，簡稱CU），主要完成數(shù)據(jù)采集功能。

2.2 系統(tǒng)的具體實(shí)現(xiàn)方法

系統(tǒng)的具體實(shí)現(xiàn)方法如圖5所示。

圖5 對周期性數(shù)據(jù)上報(bào)進(jìn)行時(shí)間散列的系統(tǒng)實(shí)現(xiàn)方法示意

步驟1、S101所述采集單元發(fā)起注冊請求。

步驟2、S102所述服務(wù)單元根據(jù)所述注冊請求與所述采集單元建立連接。

步驟3、S103所述服務(wù)單元將上報(bào)周期劃分為復(fù)數(shù)個(gè)所述時(shí)間片段，獲取各時(shí)間片段的負(fù)載狀態(tài)，將負(fù)荷最小的時(shí)間片段的配置參數(shù)發(fā)送至所述采集單元。

步驟4、S104所述采集單元根據(jù)所述配置參數(shù)計(jì)算獲得上報(bào)時(shí)間。通過所述上報(bào)時(shí)間，采集單元可以確定其上報(bào)數(shù)據(jù)的時(shí)間點(diǎn)，以此，通過服務(wù)單元的合理劃分采集單元上報(bào)的時(shí)間，使不同采集單元可以分批次上報(bào)數(shù)據(jù)，減少多個(gè)采集單元同一時(shí)刻上報(bào)數(shù)據(jù)引起的設(shè)備壓力，極大的降低了周期性上報(bào)數(shù)據(jù)對網(wǎng)絡(luò)帶寬、I/O帶寬、I/O讀寫等待時(shí)間、內(nèi)存、計(jì)算能力等系統(tǒng)資源的要求。

2.3 示例說明

以下將舉例詳細(xì)描述系統(tǒng)功能及其實(shí)現(xiàn)過程。

如圖6所示，在實(shí)際工作中，當(dāng)采集單元數(shù)據(jù)上報(bào)周期設(shè)為p，服務(wù)單元?jiǎng)t將所述上報(bào)周期p劃分為若干連續(xù)的、相同的時(shí)間片段，每個(gè)時(shí)間片段的時(shí)長為t，并為每個(gè)時(shí)間片段編號為i，，由服務(wù)單元進(jìn)行動(dòng)態(tài)管理和檢測。當(dāng)所述對周期性數(shù)據(jù)上報(bào)進(jìn)行時(shí)間散列的系統(tǒng)啟動(dòng)時(shí)，各時(shí)間片段的負(fù)載可計(jì)數(shù)為0，該引用計(jì)數(shù)為服務(wù)單元設(shè)置；采集單元向服務(wù)單元發(fā)起注冊后，服務(wù)單元檢測當(dāng)前時(shí)間片段的負(fù)載情況P1~PN，選出負(fù)載最小的單元 min(P1，P2，P3…，PN)，例如當(dāng)前P1=1，P2=3，P3=5，那么該情況下選擇P1這一個(gè)引用計(jì)數(shù)最小的一個(gè)單元，服務(wù)單元將采集單元上傳的時(shí)間點(diǎn)被劃入該時(shí)段P1，同時(shí)該片段計(jì)數(shù)加1，變成P1=2，當(dāng)采集單元離線時(shí)，對應(yīng)時(shí)段的引用計(jì)數(shù)減1，變回P1=1。以此，服務(wù)單元通過即時(shí)檢測當(dāng)前時(shí)間片段的引用計(jì)數(shù)，合理且快捷的獲得各時(shí)間片段的負(fù)荷狀態(tài)，將采集單元上報(bào)數(shù)據(jù)的時(shí)間準(zhǔn)確的分配至負(fù)荷較小的時(shí)間片段中，使采集單元獲得其對應(yīng)的上報(bào)數(shù)據(jù)的時(shí)間段，以此，防止大量采集單元集中于同一時(shí)段上傳數(shù)據(jù)的風(fēng)險(xiǎn)。同時(shí)，值得說明的是，當(dāng)采集單元獲得其上報(bào)時(shí)間后，并不用立即上報(bào)數(shù)據(jù)，其在該時(shí)段內(nèi)的最終上報(bào)時(shí)點(diǎn)，可由采集單元具體分析后自行決定。

圖6 數(shù)據(jù)上報(bào)周期時(shí)間片段示意

如圖7所示，服務(wù)單元增加引用計(jì)數(shù)后，將引用計(jì)數(shù)對應(yīng)的時(shí)間片段分配至采集單元；服務(wù)單元查詢到采集單元離線后，減少引用計(jì)數(shù)。首先采集單元發(fā)出注冊申請，服務(wù)單元接收到注冊申請后，審核注冊申請是否合規(guī)；

圖7 數(shù)據(jù)上報(bào)時(shí)間Tn計(jì)算邏輯機(jī)制示意

如審核不通過，則斷開連接，采集單元繼續(xù)發(fā)起注冊申請；

如審核通過，則服務(wù)單元與采集單元建立連接，此時(shí)，服務(wù)單元掃描當(dāng)前劃分好的時(shí)間片段，根據(jù)每一時(shí)間片段的引用計(jì)數(shù)值大小判斷對應(yīng)時(shí)間片段的負(fù)荷狀態(tài)，當(dāng)查詢到最小負(fù)荷狀態(tài)的時(shí)間片段后，即在該時(shí)間片段的引用計(jì)數(shù)上加值后（如加1），將時(shí)間片段的配置參數(shù)發(fā)送至采集單元，其中配置參數(shù)至少包含：上報(bào)周期，時(shí)間片段的時(shí)長和時(shí)間片段編號；

每一時(shí)間片段并不一定只匹配唯一的采集單元，因此，為避免多個(gè)采集單元在同一時(shí)間片段中上傳數(shù)據(jù)，造成服務(wù)器壓力等問題；采集單元在接收到配置參數(shù)后，會(huì)進(jìn)行上報(bào)時(shí)間點(diǎn)計(jì)算，根據(jù)獲得的時(shí)間片段的配置參數(shù)與散列參數(shù)計(jì)算自身的上報(bào)時(shí)間點(diǎn)Tn，以此更進(jìn)一步防止了海量數(shù)據(jù)上傳可能造成的擁堵壓力；

當(dāng)采集單元通過計(jì)算獲得上傳時(shí)間點(diǎn)Tn并在該時(shí)刻上傳數(shù)據(jù)后，依然與服務(wù)單元保持連接，等待下一批次上報(bào)時(shí)間Tn+1，并在該時(shí)刻上傳，以此循環(huán)。

當(dāng)服務(wù)單元檢測到某一采集單元離線后，則調(diào)節(jié)采集單元對應(yīng)的時(shí)間片段的引用計(jì)數(shù)（如減去1）。離線后的采集單元，需重新注冊獲取新的時(shí)間片段，服務(wù)單元通過引用計(jì)數(shù)的增減，動(dòng)態(tài)維護(hù)時(shí)間片段負(fù)載。

在上述對周期性數(shù)據(jù)上報(bào)進(jìn)行時(shí)間散列的系統(tǒng)中，為了使時(shí)間負(fù)載更為均衡，更加平均的分配時(shí)段t，采集單元根據(jù)散列參數(shù)（hash）自行決定具體的上報(bào)時(shí)間。其中，的參考算法如下（假定SN長度為l）：

上述公式中HashSN為散列參數(shù)，l為序列號SN的長度，j為序列號遍歷索引，0≤j

本文所提供的對周期性數(shù)據(jù)上報(bào)進(jìn)行時(shí)間散列的系統(tǒng)運(yùn)用在實(shí)際工作中，具有較好的使用效果，具體對比說明如下：

假定系統(tǒng)中有2 000個(gè)數(shù)據(jù)采集單元，每個(gè)采集單元有8 KB的上報(bào)數(shù)據(jù)，上報(bào)周期為180 s，劃分為10個(gè)時(shí)間片段，則每一時(shí)段18 s中，約有200個(gè)采集單元需要上報(bào)數(shù)據(jù)。假設(shè)x=10，則同一時(shí)間點(diǎn)并發(fā)的采集單元有20個(gè)，根據(jù)計(jì)算得出網(wǎng)絡(luò)帶寬為：

按照30%的冗余計(jì)算，網(wǎng)絡(luò)帶寬的要求約為1 kbit/s，與現(xiàn)有技術(shù)中同等條件下計(jì)算的160 kbit/s相比，極大地降低了對網(wǎng)絡(luò)的要求。

3 結(jié)論

使用上述方法，通過將傳輸周期劃分為若干時(shí)段，并由服務(wù)單元?jiǎng)討B(tài)管理時(shí)間片段，安排采集單元在負(fù)載最小的時(shí)間片段上傳數(shù)據(jù)，加上時(shí)間散列機(jī)制，最大限度平均分布各個(gè)采集單元上傳數(shù)據(jù)的時(shí)間，錯(cuò)開數(shù)據(jù)上報(bào)的高峰期，從而達(dá)到降低網(wǎng)絡(luò)帶寬、I/O帶寬、I/O讀寫等待時(shí)間、內(nèi)存、計(jì)算能力等系統(tǒng)資源的要求，降低系統(tǒng)運(yùn)營成本。