景強(qiáng)+陳超
摘 要:為了更合理地將物聯(lián)網(wǎng)相關(guān)思想和技術(shù)運(yùn)用到動(dòng)環(huán)監(jiān)控領(lǐng)域,文中采用對(duì)數(shù)據(jù)處理過(guò)程進(jìn)行分層的方法分別論述數(shù)據(jù)的來(lái)源和特性,并分析各層對(duì)于數(shù)據(jù)處理的功能需求和質(zhì)量需求。在分析過(guò)程中,以深圳中興力維技術(shù)有限公司的數(shù)據(jù)分層架構(gòu)和相關(guān)實(shí)際產(chǎn)品為實(shí)驗(yàn)對(duì)象,做了相關(guān)數(shù)據(jù)流匯聚、接入、處理等實(shí)驗(yàn),獲得了各數(shù)據(jù)分層典型的性能數(shù)據(jù)結(jié)果,得出“以中間件服務(wù)為核心對(duì)不同行業(yè)應(yīng)用提供數(shù)據(jù)”的結(jié)論。
關(guān)鍵詞:物聯(lián)網(wǎng);動(dòng)環(huán)監(jiān)控;中間件服務(wù);數(shù)據(jù)
中圖分類(lèi)號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-1302(2017)09-00-07
0 引 言
自上世紀(jì)90年代末提出物聯(lián)網(wǎng)概念以來(lái),經(jīng)過(guò)近20年的發(fā)展,全人類(lèi)的思維正逐步從互聯(lián)網(wǎng)下“人的信息化”認(rèn)識(shí)過(guò)渡到物聯(lián)網(wǎng)下“整個(gè)世界的信息化”認(rèn)識(shí)[1]。
物聯(lián)網(wǎng)系統(tǒng)是全行業(yè)的融合,凡是產(chǎn)生的信息都能夠接入,且這些信息的采集不再依托人的感知,而是靠設(shè)備本身的感知能力,感知所產(chǎn)生的海量數(shù)據(jù)通過(guò)物聯(lián)網(wǎng)利用云計(jì)算和邊緣計(jì)算使得物與物直接進(jìn)行通信交流,從而自動(dòng)、智能的為人服務(wù) [1]。
物聯(lián)網(wǎng)將過(guò)去分散的、無(wú)法自我表達(dá)的一切事物注入靈魂,并放到互通的網(wǎng)絡(luò)里進(jìn)行交流、分析并產(chǎn)生價(jià)值[1]。同時(shí)也為我們提供了望遠(yuǎn)鏡和顯微鏡的功能[2],鑒于信息的碎片化和多樣化,新的商業(yè)模式在此基礎(chǔ)上產(chǎn)生[1]。
從歷史的發(fā)展來(lái)看,每一次技術(shù)革新都會(huì)帶來(lái)產(chǎn)業(yè)革命并推動(dòng)社會(huì)變革,它們通常遵循新技術(shù)+原有產(chǎn)業(yè)=新產(chǎn)業(yè)的模式[3]。產(chǎn)業(yè)升級(jí)示意圖如圖1所示。
隨著物聯(lián)網(wǎng)的發(fā)展,其各項(xiàng)技術(shù)及相應(yīng)的意識(shí)形態(tài)猶如洪流滲透到各個(gè)產(chǎn)業(yè),同時(shí)也為傳統(tǒng)動(dòng)力環(huán)境監(jiān)控產(chǎn)業(yè)帶來(lái)了全新的面貌和發(fā)展機(jī)會(huì)。作為深耕20多年有著深厚積淀的動(dòng)力環(huán)境監(jiān)控企業(yè)——深圳中興力維技術(shù)有限公司(簡(jiǎn)稱(chēng)“中興力維”),在這股席卷全球的浪潮中準(zhǔn)確把握信息脈動(dòng),創(chuàng)新性地提出以信息數(shù)據(jù)流為導(dǎo)向創(chuàng)建企業(yè)研發(fā)架構(gòu),根據(jù)數(shù)據(jù)采集、數(shù)據(jù)匯聚、數(shù)據(jù)接入、數(shù)據(jù)處理以及數(shù)據(jù)呈現(xiàn)等信息處理環(huán)節(jié)對(duì)架構(gòu)進(jìn)行分層,并在各層中部署公司的各項(xiàng)核心技術(shù),通過(guò)橫向和縱向組合各項(xiàng)核心技術(shù)發(fā)展各種軟硬件產(chǎn)品。
本文的主旨在于探討分析動(dòng)環(huán)物聯(lián)網(wǎng)中環(huán)境及動(dòng)力設(shè)備的特性以及所產(chǎn)生的數(shù)據(jù)流向及處理過(guò)程。
1 數(shù)據(jù)的“物”
物聯(lián)網(wǎng)將整個(gè)世界信息化,意味著信息化后的數(shù)據(jù)是物聯(lián)網(wǎng)的血液,為物聯(lián)網(wǎng)中各項(xiàng)應(yīng)用輸送養(yǎng)分。故在將數(shù)據(jù)應(yīng)用到業(yè)務(wù)中前,需從品質(zhì)關(guān)注點(diǎn)分析數(shù)據(jù)來(lái)源及數(shù)據(jù)組網(wǎng)過(guò)程。
在動(dòng)環(huán)物聯(lián)網(wǎng)中,主要利益相關(guān)者是通訊行業(yè)、電力行業(yè)、交通軌道行業(yè)、數(shù)據(jù)中心等擁有基站、通訊機(jī)房、數(shù)據(jù)機(jī)房的用戶(hù),提供的主要服務(wù)是對(duì)基站及機(jī)房?jī)?nèi)環(huán)境及動(dòng)力設(shè)備進(jìn)行監(jiān)控、管理,通過(guò)數(shù)據(jù)綜合分析及對(duì)事件及流程的綜合管理,來(lái)保障基站及機(jī)房的安全、高效運(yùn)行。所以動(dòng)環(huán)物聯(lián)網(wǎng)的數(shù)據(jù)主要來(lái)源于環(huán)境的傳感接入、動(dòng)力設(shè)備接入、安防設(shè)備/系統(tǒng)接入、第三方動(dòng)力環(huán)境監(jiān)控系統(tǒng)接入。數(shù)據(jù)源如圖2所示。
1.1 傳感器
傳感器根據(jù)接入類(lèi)型可分為有線接入和無(wú)線接入,其細(xì)分種類(lèi)和特性見(jiàn)表1所列[4]。
對(duì)于動(dòng)環(huán)物聯(lián)網(wǎng)來(lái)說(shuō),由于受到低功耗及應(yīng)用場(chǎng)景(機(jī)房?jī)?nèi)有機(jī)柜障礙或用戶(hù)明確規(guī)定不使用無(wú)線傳感)的限制,比較常用的三種傳感器分別為模擬傳感器、單總線傳感器和ZigBee無(wú)線接入傳感器。
在傳感領(lǐng)域,中興力維自主研發(fā)了多種有線、無(wú)線傳感器,如模擬溫濕度傳感器、水浸探頭、空調(diào)控制器、防盜傳感器、單總線數(shù)字溫濕度傳感器、ZigBee無(wú)線傳感器等。
1.2 智能設(shè)備
在動(dòng)環(huán)物聯(lián)網(wǎng)中,凡是能夠提供特定硬件通訊接口連接到采集器,可通過(guò)特定數(shù)據(jù)交互協(xié)議與該設(shè)備進(jìn)行通訊,從而獲取該設(shè)備提供的數(shù)據(jù)信息的設(shè)備統(tǒng)稱(chēng)為智能設(shè)備。一般的智能設(shè)備在實(shí)現(xiàn)特定功能的同時(shí),自身集成了很多傳感器,可實(shí)現(xiàn)一些狀態(tài)監(jiān)測(cè)、調(diào)整、干預(yù)和報(bào)警等功能。
硬件接口一般分為串口、網(wǎng)口以及無(wú)線接入(通過(guò)端對(duì)端無(wú)線轉(zhuǎn)換,最終通過(guò)有線方式接入采集器)。對(duì)中興力維所接入的2 000多種智能設(shè)備進(jìn)行分析,得到表2。
大多數(shù)基站及機(jī)房設(shè)備提供的接口為串口,因?yàn)橥ㄓ嵥俾室蟛煌鴮?dǎo)致數(shù)據(jù)接入速率不同,同時(shí)也因?yàn)閿?shù)據(jù)交互協(xié)議不同而再次對(duì)數(shù)據(jù)接入速率進(jìn)行約束,智能設(shè)備所支持的協(xié)議分析表格見(jiàn)表3所列。
對(duì)于動(dòng)環(huán)物聯(lián)網(wǎng)來(lái)說(shuō),出于成本、數(shù)據(jù)量以及實(shí)現(xiàn)的原因考慮,納入監(jiān)控系統(tǒng)的智能設(shè)備多以串口為主。而在可選的串口硬件類(lèi)型中,考慮到布線方便、抗干擾能力以及傳輸距離,又多以RS 485(最遠(yuǎn)可達(dá)1 200 m)為主。
中興力維技術(shù)在動(dòng)環(huán)領(lǐng)域研發(fā)和應(yīng)用了多款具備綜合采集能力的智能設(shè)備產(chǎn)品,如溫濕度采集設(shè)備、UPS蓄電池組的高壓監(jiān)測(cè)設(shè)備,具備蓄電池電壓/溫度/內(nèi)阻以及均衡活化功能的蓄電池綜合管理設(shè)備、實(shí)現(xiàn)油機(jī)控制切換的ATS設(shè)備、實(shí)現(xiàn)空調(diào)控制的紅外控制設(shè)備、單路以及多路電表設(shè)備等。
2 數(shù)據(jù)的“網(wǎng)”和“聯(lián)”
在傳統(tǒng)動(dòng)環(huán)監(jiān)控領(lǐng)域中,基本的組網(wǎng)模式如圖3所示。
從各層的命名上,我們不難看出傳統(tǒng)動(dòng)環(huán)監(jiān)控系統(tǒng)的分層理念是以功能劃分為主:
(1)FSU:實(shí)現(xiàn)傳感器和智能設(shè)備的數(shù)據(jù)采集,并提供上行接口實(shí)現(xiàn)采集數(shù)據(jù)的上報(bào);
(2)LSC:實(shí)現(xiàn)采集數(shù)據(jù)的處理、存儲(chǔ),在區(qū)域監(jiān)控中心提供平臺(tái),為用戶(hù)提供數(shù)據(jù)監(jiān)控、告警管理、報(bào)表查詢(xún)輸出、流程及事件管理等功能;
(3)CSC:一般在大型系統(tǒng)中,在集中監(jiān)控中心提供平臺(tái),為用戶(hù)提供全網(wǎng)管理功能。
即在傳統(tǒng)動(dòng)環(huán)監(jiān)控系統(tǒng)中,強(qiáng)調(diào)功能概念而非數(shù)據(jù)概念,數(shù)據(jù)只為當(dāng)前的功能服務(wù),并未充分考慮數(shù)據(jù)網(wǎng)絡(luò)需要的品質(zhì)特性(海量增長(zhǎng)可用性、數(shù)據(jù)通訊及時(shí)性、數(shù)據(jù)存儲(chǔ)可靠性、數(shù)據(jù)訪問(wèn)安全性)。同時(shí)沒(méi)有把數(shù)據(jù)作為寶藏對(duì)其深度挖掘,未體現(xiàn)其潛藏的價(jià)值。endprint
針對(duì)上述問(wèn)題,中興力維充分認(rèn)識(shí)到動(dòng)環(huán)物聯(lián)網(wǎng)時(shí)代中接入的傳感、設(shè)備所產(chǎn)生的數(shù)據(jù)猶如人類(lèi)的供水系統(tǒng),各種面向用戶(hù)的系統(tǒng)都在此基礎(chǔ)上誕生,而系統(tǒng)中使用的軟硬件均圍繞如何更好的管理和利用“水流”而設(shè)計(jì)。基于“數(shù)據(jù)為王”的理念,發(fā)展出的動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng)架構(gòu)如圖4所示。
2.1 數(shù)據(jù)原始積累
在動(dòng)環(huán)物聯(lián)網(wǎng)中數(shù)據(jù)的原始積累過(guò)程主要集中在數(shù)據(jù)感知層的傳感器以及智能設(shè)備、數(shù)據(jù)匯聚層的物聯(lián)網(wǎng)關(guān)以及數(shù)據(jù)接入層的接入存儲(chǔ)平臺(tái)。
數(shù)據(jù)感知層的傳感器以及智能設(shè)備作為數(shù)據(jù)的原始來(lái)源已在前面有所分析。從分析結(jié)果看,當(dāng)前動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng)中涉及的智能設(shè)備多以串口接入為主,所以后續(xù)分析物聯(lián)網(wǎng)關(guān)接入能力時(shí),以串口智能設(shè)備接入為主。
以數(shù)據(jù)流向決定的分層架構(gòu)最符合物聯(lián)網(wǎng)中對(duì)于“網(wǎng)”的構(gòu)成以及“聯(lián)”的創(chuàng)想。以數(shù)據(jù)的生產(chǎn)和分析處理做出定量和定性的分析。
物聯(lián)網(wǎng)關(guān)接入能力是指在單位時(shí)間內(nèi)能夠接入的傳感器以及智能設(shè)備采集的監(jiān)控點(diǎn)數(shù)量。
監(jiān)控點(diǎn)代表傳感器或智能設(shè)備所能提供的能表征或改變某個(gè)環(huán)境或設(shè)備狀態(tài)的信息點(diǎn)。一般根據(jù)信息的可操作性和數(shù)據(jù)特性分為如下幾項(xiàng):
(1)模擬輸入監(jiān)控點(diǎn):傳感器或設(shè)備上有連續(xù)變化的信息,則采集的數(shù)據(jù)一般使用浮點(diǎn)數(shù)表征,如環(huán)境溫度。
(2)數(shù)字輸入監(jiān)控點(diǎn):傳感器或設(shè)備上有離散變化的信息,則采集的數(shù)據(jù)一般使用整形(一個(gè)位或一個(gè)單字節(jié))表征,比如空調(diào)只有開(kāi)和關(guān)兩種狀態(tài),用一個(gè)位即可表征,再如蓄電池有浮充狀態(tài)、均充狀態(tài)、測(cè)試等多種狀態(tài),需要用多個(gè)位或一個(gè)字節(jié)表征。
(3)模擬輸出監(jiān)控點(diǎn):傳感器或設(shè)備上有連續(xù)變化的信息,可通過(guò)設(shè)置此信息改變傳感器或設(shè)備的狀態(tài)。比如空調(diào)的溫度設(shè)置點(diǎn),我們可以通過(guò)設(shè)置來(lái)改變空調(diào)的運(yùn)行狀態(tài)。
(4)數(shù)字輸出監(jiān)控點(diǎn):傳感器或設(shè)備上有離散變化的信息,可通過(guò)設(shè)置此信息改變傳感器或設(shè)備的狀態(tài)。比如油機(jī)開(kāi)關(guān),我們可以通過(guò)控制來(lái)使油機(jī)運(yùn)行或停止動(dòng)作。
2.1.1 物聯(lián)網(wǎng)關(guān)匯聚及接出能力
評(píng)估物聯(lián)網(wǎng)的匯聚能力主要根據(jù)其硬件處理能力、對(duì)外提供的端口數(shù)量(包括傳感器端口和智能設(shè)備端口數(shù)量)、傳感器或智能設(shè)備通訊速率,以及傳感器或智能設(shè)備提供的數(shù)據(jù)格式。
物聯(lián)網(wǎng)發(fā)展技術(shù)的必要條件之一就是嵌入式軟硬件的性能提升和價(jià)格下降,當(dāng)下嵌入式處理器的運(yùn)算能力均為幾百M(fèi)b/s或者更高,而對(duì)于絕大多數(shù)為低速接入的傳感器或智能設(shè)備而言,雖然不構(gòu)成直接瓶頸,但一般由于物聯(lián)網(wǎng)關(guān)需要通過(guò)多進(jìn)程或多線程的方式管理多種硬件端口數(shù)據(jù)通訊以及其他事務(wù)(如自檢、北向通訊、存儲(chǔ)等),所以處理器的資源不會(huì)完全使用到數(shù)據(jù)采集上,通常保守估計(jì)約60%。
傳感器數(shù)量對(duì)于單臺(tái)物聯(lián)網(wǎng)關(guān)而言一般不會(huì)超過(guò)50個(gè),所以我們對(duì)傳感器的接入可忽略不計(jì)。
對(duì)于一般的串口智能設(shè)備來(lái)說(shuō),其數(shù)據(jù)通訊效率受以下幾方面影響:
(1)受其他功能的影響而無(wú)法完全占用處理器資源,保守估計(jì)約60%;
(2)假設(shè)可達(dá)到的最高速率為115 200 b/s(每個(gè)字節(jié)在傳輸過(guò)程中占用10位),但其提供的采集點(diǎn)有可能是占用多個(gè)字節(jié)的模擬量,或者1個(gè)位/字節(jié)的數(shù)字量。根據(jù)歷史經(jīng)驗(yàn)綜合來(lái)看,其提供的每個(gè)監(jiān)控點(diǎn)平均占用2 B,理論上每個(gè)串口每秒能夠提供的監(jiān)控點(diǎn)數(shù)量為115 200/10/2=5 760,然而綜合上述各種影響因素分析,其接入能力公式如下:
Cin=(115 200/10/2) ·Rd·Ng·Rg;
其中:Cin代表采集監(jiān)控點(diǎn)數(shù)量;Rd代表智能設(shè)備通訊效率;Ng代表串口數(shù)量;Rg代表物聯(lián)網(wǎng)關(guān)通訊效率。
而物聯(lián)網(wǎng)關(guān)的接出能力(與數(shù)據(jù)接入層的接入存儲(chǔ)平臺(tái)之間的數(shù)據(jù)交互能力)也可稱(chēng)為數(shù)據(jù)讀取速度,主要受通訊接口速率以及處理器效率的影響。
中興力維根據(jù)不同的應(yīng)用場(chǎng)景,推出了高、中、低三款物聯(lián)網(wǎng)關(guān)產(chǎn)品。
低端的IG1000產(chǎn)品應(yīng)用于小型化接入場(chǎng)景,比如商場(chǎng)冷柜監(jiān)控接入、鐵塔拉遠(yuǎn)站監(jiān)控接入等,提供2個(gè)串口。其通訊效率約為50%,其采集能力見(jiàn)下式:
Cin(IG1000) = (115 200/10/2)×60%×2×50%>3 000個(gè)監(jiān)控點(diǎn)/s;
2個(gè)串口支持485并接,IG1000能夠支持100臺(tái)設(shè)備的匯聚采集。IG1000北向提供100 M網(wǎng)絡(luò)和移動(dòng)無(wú)線寬帶通接口,數(shù)據(jù)讀取速度可達(dá)10 000條/s。
中端IG2000產(chǎn)品應(yīng)用于各行業(yè)及運(yùn)營(yíng)商站點(diǎn)以及各種數(shù)據(jù)機(jī)房。其通訊效率約為60%,最多可提供16個(gè)串口。其采集能力如下:
Cin(IG2000) = (115 200/10/2)×60%×16×60%>30 000個(gè)監(jiān)控點(diǎn)/s;
16個(gè)串口支持485并接,IG2000能夠支持1 000臺(tái)設(shè)備的匯聚采集。IG2000北向提供100 M網(wǎng)絡(luò)和移動(dòng)無(wú)線寬帶通接口,數(shù)據(jù)讀取速度可達(dá)80 000條/s。
高端IP3000采用Intel處理器解決方案,融合業(yè)務(wù)平臺(tái)管理功能,主要應(yīng)用于獨(dú)立中小機(jī)房或大型機(jī)房??梢越尤?0個(gè)基礎(chǔ)物聯(lián)網(wǎng)關(guān),在實(shí)現(xiàn)業(yè)務(wù)平臺(tái)功能的同時(shí),其采集能力高達(dá)200 000/s,可支持10 000臺(tái)設(shè)備匯聚采集。IP3000北向提供1 000 M網(wǎng)絡(luò)和移動(dòng)無(wú)線寬帶通接口,數(shù)據(jù)讀取速度可達(dá)1 000 000條/s。
2.1.2 接入存儲(chǔ)平臺(tái)
接入存儲(chǔ)平臺(tái)位于數(shù)據(jù)接入層,在動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng)中的作用猶如巨大的儲(chǔ)水罐。
(1)入:同構(gòu)或者異構(gòu)接入采集物聯(lián)網(wǎng)關(guān)獲取物聯(lián)網(wǎng)關(guān)上采集的傳感和智能設(shè)備數(shù)據(jù);接入視頻設(shè)備;接入第三方數(shù)據(jù)采集系統(tǒng)(比如安防系統(tǒng)、異構(gòu)數(shù)據(jù)平臺(tái)等);
(2)儲(chǔ):為各類(lèi)采集數(shù)據(jù)提供快速緩沖式存儲(chǔ)以及持久化存儲(chǔ);endprint
(3)出:為“數(shù)據(jù)處理層”提供實(shí)時(shí)和歷史數(shù)據(jù)訪問(wèn)接口。
物聯(lián)網(wǎng)的數(shù)據(jù)量在以每年50%的速度增長(zhǎng),預(yù)計(jì)到2020年,相較于2010年,數(shù)據(jù)量將增長(zhǎng)近30倍。而隨著物聯(lián)網(wǎng)的發(fā)展,通訊網(wǎng)絡(luò)的升級(jí)勢(shì)必造成大量站點(diǎn)接入動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng);數(shù)據(jù)信息的爆炸式增加勢(shì)必造成大量及大型數(shù)據(jù)中心的出現(xiàn)并接入動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng)。
根據(jù)中興力維對(duì)數(shù)據(jù)中心的數(shù)據(jù)量的分析,得出在低密度采集數(shù)據(jù)方案下,每天采集數(shù)據(jù)14億條,相當(dāng)于288 GB,每年的數(shù)據(jù)總量達(dá)到195 TB。而在高密度采集數(shù)據(jù)方案下,每天采集數(shù)據(jù)168億條,相當(dāng)于3.45 TB,每年的數(shù)據(jù)總量達(dá)到1.26 PB。
面對(duì)如此巨大的數(shù)據(jù)量,傳統(tǒng)動(dòng)環(huán)監(jiān)控系統(tǒng)下的組網(wǎng)方式以及結(jié)構(gòu)化數(shù)據(jù)庫(kù)存儲(chǔ)架構(gòu)已經(jīng)完全無(wú)法滿足“大數(shù)據(jù)”的需求。
在充分研究分析并掌握動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng)的“大數(shù)據(jù)”特性之后,中興力維深入研究了分布式及云存儲(chǔ)技術(shù),結(jié)合多年積累的數(shù)千種接入?yún)f(xié)議,打造出適用于物聯(lián)網(wǎng)系統(tǒng)的新一代接入平臺(tái)iCap,采用分布式架構(gòu),支持橫向堆疊擴(kuò)充。其單臺(tái)服務(wù)器的接入能力高達(dá)3 000 000 數(shù)據(jù)/s, 或600 MB/s。
2.2 數(shù)據(jù)分析處理
在傳統(tǒng)的動(dòng)環(huán)監(jiān)控系統(tǒng)中,數(shù)據(jù)的處理主要分為圖5中的兩種處理方式,
在早期的動(dòng)環(huán)監(jiān)控系統(tǒng)中,受嵌入式技術(shù)發(fā)展的限制,F(xiàn)SU主要作為采集單元負(fù)責(zé)采集傳感器和智能設(shè)備數(shù)據(jù),并提供北向接口被動(dòng)接受平臺(tái)的數(shù)據(jù)查詢(xún),在性能需求的基礎(chǔ)上加入主動(dòng)上報(bào)變化數(shù)據(jù)的功能。
隨著嵌入式技術(shù)的發(fā)展及價(jià)格的下滑,各行業(yè)對(duì)于北向接口(B接口)的規(guī)范化,順應(yīng)動(dòng)環(huán)監(jiān)控系統(tǒng)的扁平化需求,同時(shí)由于動(dòng)環(huán)監(jiān)控系統(tǒng)中接入設(shè)備及監(jiān)控點(diǎn)數(shù)據(jù)的猛增,為減少平臺(tái)處理壓力,平臺(tái)側(cè)的告警以及統(tǒng)計(jì)分析功能下沉,在FSU側(cè)實(shí)現(xiàn)標(biāo)準(zhǔn)化的告警及統(tǒng)計(jì)分析(為保證數(shù)據(jù)完整性并且提供存儲(chǔ)功能),如目前鐵塔監(jiān)控系統(tǒng)的搭建就基于這種模型[5]。
我們之前分析傳統(tǒng)動(dòng)環(huán)監(jiān)控系統(tǒng)的架構(gòu)主要基于功能進(jìn)行分層,而進(jìn)入物聯(lián)網(wǎng)時(shí)代以后,動(dòng)環(huán)監(jiān)控系統(tǒng)打上了物聯(lián)網(wǎng)的烙印,動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng)的架構(gòu)主要基于數(shù)據(jù)進(jìn)行分層。
動(dòng)環(huán)物聯(lián)網(wǎng)的數(shù)據(jù)首先無(wú)法脫離“5V”特性,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)、Veracity(真實(shí))。對(duì)于數(shù)據(jù)從產(chǎn)生到商用的全生命周期過(guò)程,需要包含一系列處理過(guò)程,我們根據(jù)縱向和橫向特性進(jìn)行分析,其完全符合“竹蜻蜓”模型,如圖6所示。
竹蜻蜓是一種中國(guó)傳統(tǒng)的民間兒童玩具,流傳甚廣。竹蜻蜓由竹柄和“翅膀”組成。在玩耍時(shí),雙手一搓,然后松開(kāi),竹蜻蜓就會(huì)飛上天空,旋轉(zhuǎn)一會(huì)兒后落下。
竹柄的作用有兩點(diǎn),一個(gè)是用于搓動(dòng),帶動(dòng)翅膀的旋轉(zhuǎn);二是穩(wěn)定在空中的飛行姿態(tài)。其形狀類(lèi)似數(shù)據(jù)分層結(jié)構(gòu)中縱向的數(shù)據(jù)流向及處理過(guò)程,其功效與數(shù)據(jù)的推動(dòng)性及可靠性暗合。
翅膀的作用是旋轉(zhuǎn)產(chǎn)生浮力,使竹蜻蜓飛翔。其形狀類(lèi)似于通過(guò)數(shù)據(jù)使“物物相聯(lián)”的數(shù)據(jù)橫向流向及處理過(guò)程,其功效與數(shù)據(jù)真正價(jià)值暗合。
感知層主要用來(lái)產(chǎn)生數(shù)據(jù),由于傳感器受成本及簡(jiǎn)潔性約束條件的限制,持續(xù)不斷地采集數(shù)據(jù),通過(guò)簡(jiǎn)單的硬件設(shè)計(jì)保障數(shù)據(jù)的可用性、可靠性,而不會(huì)通過(guò)軟件對(duì)數(shù)據(jù)進(jìn)行加工處理。如果需要通過(guò)軟件對(duì)數(shù)據(jù)進(jìn)行加工處理,勢(shì)必會(huì)增加傳感器的硬件成本。對(duì)于智能設(shè)備而言,其內(nèi)部擁有智能處理單元,可以對(duì)自身采集的傳感數(shù)據(jù)做一定處理,通常采用去毛刺、濾波等處理方法。接入動(dòng)環(huán)物聯(lián)網(wǎng)的傳感器及智能設(shè)備來(lái)自不同廠家的不同型號(hào),所以其數(shù)據(jù)處理過(guò)程不是動(dòng)環(huán)物聯(lián)網(wǎng)的主要研究對(duì)象。換言之,如果在感知層做太多的數(shù)據(jù)處理,反而會(huì)影響被感知環(huán)境的真實(shí)性。
2.2.1 縱向數(shù)據(jù)處理
我們對(duì)于數(shù)據(jù)處理的討論主要集中在數(shù)據(jù)匯聚層、數(shù)據(jù)接入層、數(shù)據(jù)處理層和數(shù)據(jù)業(yè)務(wù)層。從分層角度透過(guò)數(shù)據(jù)流向看縱向過(guò)程,數(shù)據(jù)處理可以在不同層進(jìn)行,每一層都有其優(yōu)缺點(diǎn)。
傳統(tǒng)的數(shù)據(jù)處理過(guò)程基于業(yè)務(wù)功能考慮,即主要根據(jù)業(yè)務(wù)屬性進(jìn)行數(shù)據(jù)處理,比如告警判斷和統(tǒng)計(jì)分析。告警判斷是指根據(jù)業(yè)務(wù)需求(用戶(hù)指定的告警需求,或者各種接口數(shù)據(jù)交互協(xié)議規(guī)定),將采集到的監(jiān)控點(diǎn)數(shù)據(jù)的不同取值或者范圍定義為不同等級(jí)的告警區(qū)間,當(dāng)采集值處于規(guī)定范圍內(nèi)時(shí)產(chǎn)生告警信息,并將告警信息直接或在加工后間接呈現(xiàn)給用戶(hù),比如溫度的多級(jí)告警(過(guò)低、過(guò)高、超高等)。而統(tǒng)計(jì)分析是指為實(shí)現(xiàn)特定的業(yè)務(wù)功能,選擇相應(yīng)的采集監(jiān)控點(diǎn),設(shè)定相應(yīng)的數(shù)據(jù)密度采樣策略,以達(dá)到業(yè)務(wù)分析的目的,比如電量的整點(diǎn)統(tǒng)計(jì)(每半點(diǎn)或者整點(diǎn)采樣電量)。
在目前大多數(shù)的動(dòng)環(huán)監(jiān)控系統(tǒng)中,從不同的角度考慮,告警和統(tǒng)計(jì)分析的數(shù)據(jù)處理過(guò)程可以放到數(shù)據(jù)匯聚層,即FSU側(cè),其目的是可運(yùn)用FSU的分布式計(jì)算能力,但FSU側(cè)的分析算法可能會(huì)經(jīng)常根據(jù)用戶(hù)的不同需求進(jìn)行調(diào)整和優(yōu)化,從而影響FSU提供數(shù)據(jù)的性能。告警和統(tǒng)計(jì)分析的數(shù)據(jù)處理也可以放到數(shù)據(jù)接入層(也是呈現(xiàn)層),即業(yè)務(wù)平臺(tái)側(cè),其目的主要是便于根據(jù)用戶(hù)需求快速實(shí)現(xiàn)告警和統(tǒng)計(jì)分析處理與呈現(xiàn),但在大規(guī)模系統(tǒng)中平臺(tái)的處理性能有可能會(huì)出現(xiàn)瓶頸。
中興力維根據(jù)數(shù)據(jù)的分層架構(gòu),重新定義數(shù)據(jù)特性及數(shù)據(jù)匯聚層與數(shù)據(jù)接入層對(duì)于數(shù)據(jù)的處理實(shí)現(xiàn)。
在數(shù)據(jù)的縱向處理上,將業(yè)務(wù)特性從數(shù)據(jù)基本屬性中剝離出來(lái),將數(shù)據(jù)的匯聚過(guò)程抽象和簡(jiǎn)化為訂閱和查閱兩種。
訂閱方式種類(lèi)多樣,主要根據(jù)業(yè)務(wù)需求采用不同的訂閱策略參數(shù)來(lái)進(jìn)行控制??砂缦掠嗛喎绞剑?/p>
(1)門(mén)限訂閱:類(lèi)似于之前的告警主動(dòng)上報(bào),主要通過(guò)限值的判斷達(dá)到訂閱目的;
(2)變化訂閱:通過(guò)變化閾值(絕對(duì)/相對(duì))來(lái)達(dá)到訂閱目的;
(3)周期訂閱:通過(guò)設(shè)置和調(diào)整周期長(zhǎng)短達(dá)到訂閱目的;
(4)整點(diǎn)訂閱:通過(guò)設(shè)置整點(diǎn)(或半點(diǎn))方式達(dá)到訂閱目的;endprint
查閱分為實(shí)時(shí)數(shù)據(jù)查閱和歷史數(shù)據(jù)查閱,由上位機(jī)發(fā)起,由下位機(jī)應(yīng)答。
基于縱向數(shù)據(jù)梳理的品質(zhì)需求(完整性、及時(shí)性、可用性),中興力維定義了數(shù)據(jù)匯聚層與數(shù)據(jù)接入層之間的動(dòng)環(huán)物聯(lián)網(wǎng)交互協(xié)議(B接口協(xié)議),并對(duì)已經(jīng)接入的2 000多種智能設(shè)備做了全面的分析,形成了力維的字典表。字典表中包含各類(lèi)設(shè)備和各類(lèi)監(jiān)控點(diǎn)的標(biāo)準(zhǔn)化信息(如名稱(chēng)、類(lèi)型編碼等),以及與類(lèi)型相關(guān)的數(shù)據(jù)抽樣采集密度的經(jīng)驗(yàn)屬性參數(shù)。
數(shù)據(jù)匯聚層的物聯(lián)網(wǎng)關(guān)主要的數(shù)據(jù)處理就是根據(jù)字典表規(guī)范化采集數(shù)據(jù),并通過(guò)簡(jiǎn)潔的B接口協(xié)議快速提供數(shù)據(jù)到接入平臺(tái);而數(shù)據(jù)接入層的接入平臺(tái)主要的數(shù)據(jù)處理就是根據(jù)字典表接入、整合以及存儲(chǔ)由物聯(lián)網(wǎng)關(guān)提供的采集數(shù)據(jù)。
2.2.2 橫向數(shù)據(jù)處理
大數(shù)據(jù)時(shí)代帶來(lái)了密集采集的需要與全生命周期的跟蹤,給了我們密切關(guān)注被監(jiān)控設(shè)備在整個(gè)生命周期中表現(xiàn)的良好機(jī)會(huì),所以動(dòng)環(huán)物聯(lián)網(wǎng)要對(duì)接入的傳感器及設(shè)備進(jìn)行全生命周期管理,勢(shì)必帶來(lái)四大挑戰(zhàn):
(1)數(shù)據(jù)采集的密度以指數(shù)形式上升,對(duì)于數(shù)據(jù)各承載環(huán)節(jié)的數(shù)據(jù)吞吐能力和處理能力是一個(gè)挑戰(zhàn),因?yàn)镃PU有限;
(2)只有在物物相聯(lián)的基礎(chǔ)上,才能夠橫向運(yùn)用物聯(lián)網(wǎng)設(shè)備,整個(gè)產(chǎn)業(yè)才會(huì)興盛,但如果將數(shù)據(jù)分析放在前幾層則無(wú)法進(jìn)行數(shù)據(jù)碰撞;
(3)不同行業(yè)領(lǐng)域的個(gè)性定制化需求及數(shù)據(jù)的持續(xù)挖掘;
(4)智能設(shè)備的“去偽智能化”:弱化人工干預(yù)控制,簡(jiǎn)化用戶(hù)操作,提供更加完善的服務(wù);
中興力維認(rèn)為,在大數(shù)據(jù)時(shí)代的最佳數(shù)據(jù)處理方式,是在數(shù)據(jù)處理層置入一個(gè)用于數(shù)據(jù)清洗、處理、分析的中間件,即動(dòng)環(huán)大數(shù)據(jù)分析引擎DCG-D。對(duì)動(dòng)環(huán)大數(shù)據(jù)分析引擎DCG-D有如下要求:
(1)能快速導(dǎo)入及存儲(chǔ)速率高達(dá)3 000 000數(shù)據(jù)/s的數(shù)據(jù);
(2)能提供高速查詢(xún),100億條/s;
(3)能利用預(yù)置模型進(jìn)行在線機(jī)器學(xué)習(xí)與告警分析。
由此以來(lái),可以達(dá)到以下幾個(gè)目的:
(1)可提供高密數(shù)據(jù)處理能力,為復(fù)雜業(yè)務(wù)及后續(xù)的數(shù)據(jù)挖掘提供技術(shù)保障;
(2)集中實(shí)現(xiàn)數(shù)據(jù)碰撞,達(dá)到物物相聯(lián);
(3)更為便捷及高效地滿足數(shù)據(jù)呈現(xiàn)層對(duì)于各種數(shù)據(jù)分析處理的需求;
(4)減輕數(shù)據(jù)匯聚層及數(shù)據(jù)接入層的負(fù)擔(dān),便于在各層部署邊緣計(jì)算算法,弱化人工干預(yù)控制,簡(jiǎn)化用戶(hù)操作。
3 結(jié) 語(yǔ)
動(dòng)環(huán)物聯(lián)網(wǎng)的發(fā)展過(guò)程就是對(duì)“物”、“網(wǎng)”、“聯(lián)”不斷深入認(rèn)識(shí)和演進(jìn)的過(guò)程[1]。
在“物”方面,通過(guò)各種無(wú)線及有線鏈路,不斷積累接入各種類(lèi)型的傳感設(shè)備、智能設(shè)備及采集監(jiān)控點(diǎn),將其規(guī)范化到監(jiān)控點(diǎn)信息標(biāo)準(zhǔn)化字典表中,同時(shí)掌握新設(shè)備以及監(jiān)控點(diǎn)特性,提煉出與數(shù)據(jù)采集策略相關(guān)的訂閱、查閱等標(biāo)準(zhǔn)化參數(shù)。不斷形成和優(yōu)化與設(shè)備類(lèi)型相關(guān)的分析模型和算法。
在“網(wǎng)”方面,在規(guī)范字典表的基礎(chǔ)上,形成支撐信息網(wǎng)絡(luò)交互的各種接口之間的標(biāo)準(zhǔn)化協(xié)議,以數(shù)據(jù)流向的品質(zhì)關(guān)注點(diǎn)為追求目標(biāo),達(dá)到數(shù)據(jù)交互的及時(shí)性、完整性,上行可支撐海量感知數(shù)據(jù)的匯聚,下行可通到每一個(gè)傳感監(jiān)測(cè)點(diǎn)。
在“聯(lián)”方面,在充分掌握和運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)的前提下,利用“網(wǎng)”中的數(shù)據(jù),縱向深度挖掘建立個(gè)體模型、橫向深度挖掘建立物物關(guān)聯(lián)模型,形成數(shù)據(jù)價(jià)值分級(jí)以及數(shù)據(jù)共享商業(yè)價(jià)值[1]。
動(dòng)環(huán)物聯(lián)網(wǎng)中各個(gè)數(shù)據(jù)承載及流通節(jié)點(diǎn)就像交響樂(lè)團(tuán)中手持各種樂(lè)器的音樂(lè)家,聽(tīng)眾就是用戶(hù),在大數(shù)據(jù)處理的指揮下,音樂(lè)家為聽(tīng)眾奏出美麗的物聯(lián)網(wǎng)樂(lè)章。
對(duì)于中興力維的動(dòng)環(huán)物聯(lián)網(wǎng)系統(tǒng)而言,DCG-D就是樂(lè)隊(duì)的指揮,匯聚層各種型號(hào)的物聯(lián)網(wǎng)關(guān)就是手持各類(lèi)樂(lè)器的音樂(lè)家,而接入層的接入存儲(chǔ)平臺(tái)就是演奏音樂(lè)會(huì)的舞臺(tái)和劇場(chǎng),為指揮家提供場(chǎng)所的同時(shí),為奏出的音符提供承載空間。
參考文獻(xiàn)
[1]物聯(lián)網(wǎng)智庫(kù).物聯(lián)網(wǎng):未來(lái)已來(lái)[M].北京:機(jī)械工業(yè)出版社,2016.
[2]塞繆爾.格林加德.物聯(lián)網(wǎng)[M].北京:中信出版社,2016.
[3]吳軍.智能時(shí)代:大數(shù)據(jù)與智能革命重新定義未來(lái)[M].北京:中信出版社,2016.
[4]俞建峰.物聯(lián)網(wǎng)工程開(kāi)發(fā)與實(shí)踐[M].北京:人民郵電出版社,2013.
[5]中國(guó)鐵塔股份有限公司.中國(guó)鐵塔動(dòng)環(huán)監(jiān)控系統(tǒng)統(tǒng)一互聯(lián)B接口技術(shù)規(guī)范[S].
[6]王兆慶.云計(jì)算在三網(wǎng)融合中的應(yīng)用研究[J].物聯(lián)網(wǎng)技術(shù),2014,4(6):81-83.
[7]動(dòng)環(huán)監(jiān)控系統(tǒng)在通信電源系統(tǒng)中的應(yīng)用[J].電信工程技術(shù)與標(biāo)準(zhǔn)化,2007,20(6):109-110.
[8]劉廷亮.鐵塔公司基站動(dòng)環(huán)監(jiān)控建設(shè)模式探討[J].電信技術(shù),2015,7(12):58-61.endprint