李猛+史秦格

摘 要：通過傳感器、大數(shù)據(jù)及云計算技術(shù)的結(jié)合，提出一種平臺的建設(shè)方案來滿足對上百萬甚至更多的設(shè)備進(jìn)行實時并發(fā)的數(shù)據(jù)采集、監(jiān)控、存儲、分析計算，并能夠隨著設(shè)備源源不斷的接入在不降低性能及可靠性的基礎(chǔ)上對平臺進(jìn)行擴(kuò)展。

關(guān)鍵詞：云;大數(shù)據(jù);Hadoop;MongoDB;IOT

中圖分類號：TP393 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ? ? 文章編號：2095-1302（2015）01-00-03

0 ?引 言

隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、數(shù)據(jù)挖掘、傳感技術(shù)、物聯(lián)網(wǎng)（IOT）的迅猛發(fā)展及智能化的應(yīng)用研究，實時采集任何需要監(jiān)控、連接、互動的物體或過程等各種需要的信息，與互聯(lián)網(wǎng)結(jié)合，實現(xiàn)物與物、物與人，所有的物品與網(wǎng)絡(luò)的連接，方便識別、管理和控制已成為目前研究的熱點。

漢威電子在物聯(lián)網(wǎng)行業(yè)經(jīng)過十多年的發(fā)展，所監(jiān)測和產(chǎn)生的數(shù)據(jù)量也是非常龐大的，如何收集并有效利用和管理這些巨量數(shù)據(jù)從而為用戶提供更優(yōu)質(zhì)的服務(wù)和產(chǎn)品是目前所面臨的問題。首先，對上百萬甚至更多的設(shè)備進(jìn)行實時并發(fā)的數(shù)據(jù)采集，使用單臺服務(wù)器已完全無法滿足需求;其次，采集到的巨量數(shù)據(jù)不斷的累積，如何安全存儲并保證數(shù)據(jù)不丟失;最后，如何發(fā)揮這些巨量數(shù)據(jù)的作用。大數(shù)據(jù)和云計算技術(shù)的支撐可幫助我們有效的解決以上問題，如何構(gòu)建平臺和運(yùn)用這些技術(shù)解決以上所面臨的問題就是本文研究的主要內(nèi)容。

1 ?前期準(zhǔn)備

1.1 ?可行性分析

當(dāng)前IOT市場是巨大的，而且市場還在發(fā)展初期，其市場潛力不可估量，系統(tǒng)的市場前景是可行的。大數(shù)據(jù)帶來的智能化應(yīng)用持續(xù)改善著人們工作、生活的方方面面，把人從一般性的簡單、重復(fù)勞動中解放出來，極大地提高了生產(chǎn)力和效率。漢威電子有傳感技術(shù)和傳感設(shè)備，開源大數(shù)據(jù)框架技術(shù)Hadoop、NoSQL數(shù)據(jù)庫技術(shù)的快速發(fā)展及其在互聯(lián)網(wǎng)行業(yè)的應(yīng)用為我們提供了技術(shù)支撐。因此，從平臺的建設(shè)風(fēng)險來分析，平臺的建設(shè)是可行的。

1.2 ?平臺需求分析

對平臺的需求：提供對各種設(shè)備（無論是氣體探測器、溫度探測器或報警器等）源源不斷的數(shù)據(jù)收集，提供對大數(shù)據(jù)存儲的支撐，提供面向服務(wù)的技術(shù)框架和研發(fā)平臺，滿足業(yè)務(wù)組件的靈活插拔、平臺資源占用靈活配置等要求。

2 ?技術(shù)方案

2.1 ?平臺架構(gòu)

平臺主要采用集群的架構(gòu)方式，平臺架構(gòu)圖如圖1所示，集中多臺服務(wù)器的并行計算能力來滿足大流量、高并發(fā)數(shù)據(jù)的采集、存儲及計算需求，使用集群架構(gòu)使平臺具有較高的可靠性和可擴(kuò)展性，同時可降低建設(shè)成本。平臺架構(gòu)后端的主要流程是數(shù)據(jù)的采集、采集數(shù)據(jù)的緩存、數(shù)據(jù)的存儲、數(shù)據(jù)的分析計算，前端主要流程是Web的訪問、基本管理數(shù)據(jù)的訪問、采集數(shù)據(jù)及分析結(jié)果數(shù)據(jù)的訪問。

圖1 ?云平臺架構(gòu)圖

數(shù)據(jù)采集主要采用傳感設(shè)備、Wi-Fi技術(shù)和分布式采集集群進(jìn)行采集，使用統(tǒng)一的采集入口，采集集群可支持并行接入大量的傳感、檢測等各類設(shè)備，隨著設(shè)備數(shù)量的不斷增加，可以通過增加集群的節(jié)點數(shù)量來擴(kuò)展集群的性能;采集集群能夠保證小部分采集服務(wù)器宕機(jī)，不影響整個采集服務(wù)的正常運(yùn)行。

采集集群采集到的數(shù)據(jù)會臨時存放在高性能的內(nèi)存型數(shù)據(jù)庫Redis中。為了滿足高并發(fā)、大數(shù)據(jù)量存儲，平臺建立了Redis集群。由于Redis正式版目前還不具備集群特性，我們使用Twemproxy和Keepalived來組建Redis集群。Twemproxy的速度很快，接近直接與Redis通訊的速度，能夠很好地管理Redis并對其進(jìn)行擴(kuò)容。使用Keepalived實現(xiàn)高可用主備方案，解決Redis集群proxy單點的問題。

Redis是內(nèi)存型數(shù)據(jù)庫，用于臨時存放數(shù)據(jù)，最終數(shù)據(jù)還是要做持久化存儲。MongoDB是一款高性能、開源、無模式的文檔型數(shù)據(jù)庫，可滿足對數(shù)據(jù)庫高并發(fā)的需求、對海量數(shù)據(jù)的高效率存儲和訪問的需求、對數(shù)據(jù)庫的高可擴(kuò)展性和高可用性的需求。此處MongoDB采用經(jīng)典的Replica Sets+Sharding的集群架構(gòu)：使用多個Shard服務(wù)器，在Shard服務(wù)器上使用Replica Sets確保每個數(shù)據(jù)節(jié)點都具有備份、自動容錯轉(zhuǎn)移、自動恢復(fù)的能力;使用多個配置服務(wù)器確保元數(shù)據(jù)完整性;使用多個路由進(jìn)程實現(xiàn)平衡，提高客戶端接入性能。云平臺的數(shù)據(jù)存儲服務(wù)會不斷掃描Redis并將Redis緩存中的數(shù)據(jù)存儲到MongoDB數(shù)據(jù)庫中。

Hadoop集群負(fù)責(zé)平臺大數(shù)據(jù)量的數(shù)據(jù)存儲及分析計算。Hadoop是一個開源的分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會所開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。Hadoop的框架最核心的設(shè)計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，MapReduce為海量的數(shù)據(jù)提供了計算。Hadoop集群節(jié)點之間的數(shù)據(jù)是互相備份的，并且是多備份，個別節(jié)點宕機(jī)不影響系統(tǒng)的運(yùn)行，從而實現(xiàn)系統(tǒng)的高可靠性和高容錯性。

2.2 ?平臺體系結(jié)構(gòu)

該平臺的軟件體系結(jié)構(gòu)采用面向服務(wù)的體系結(jié)構(gòu)，平臺體系結(jié)構(gòu)如圖2所示。首先通過數(shù)據(jù)采集將IOT感知的數(shù)據(jù)存儲到我們的存儲資源中，建立我們的云數(shù)據(jù)中心;在基礎(chǔ)設(shè)施和物理資源基礎(chǔ)上開發(fā)我們的平臺，提供統(tǒng)一的研發(fā)平臺，滿足業(yè)務(wù)組件靈活插拔、系統(tǒng)資源占用靈活配置等要求;在平臺基礎(chǔ)上開發(fā)我們的各類業(yè)務(wù);平臺后端使用統(tǒng)一的云管理平臺，實現(xiàn)采集及各類資源的集中統(tǒng)一管理;對外使用統(tǒng)一的云服務(wù)控制臺，各類業(yè)務(wù)系統(tǒng)接入我們的控制臺，向不同類型的客戶提供各類業(yè)務(wù)服務(wù)。

（1）IAAS：基礎(chǔ)設(shè)施即服務(wù)，平臺使用虛擬化及分布式技術(shù)提供服務(wù)器、操作系統(tǒng)、磁盤存儲、數(shù)據(jù)庫等基礎(chǔ)設(shè)施服務(wù)，為云平臺的建設(shè)奠定基礎(chǔ)。

（2）云數(shù)據(jù)中心：漢威云平臺將各種類型的數(shù)據(jù)整合、提取并存儲在云數(shù)據(jù)中心，為各類業(yè)務(wù)服務(wù)提供基礎(chǔ)的數(shù)據(jù)分析服務(wù)。

（3）PAAS：平臺即服務(wù)， 平臺提供SSI框架等基礎(chǔ)架構(gòu)及各類基礎(chǔ)組件，軟件開發(fā)者可以在平臺基礎(chǔ)架構(gòu)之上建設(shè)新的應(yīng)用，或者擴(kuò)展已有的應(yīng)用。

（4）SAAS：軟件即服務(wù)，將軟件作為服務(wù)提供給用戶使用，目前平臺已提供以IOT為基礎(chǔ)的智慧安監(jiān)、智慧化工、智能家居、智慧市政、數(shù)字油庫、智慧農(nóng)業(yè)、智慧水務(wù)等軟件服務(wù)。

（5）云服務(wù)控制臺：對用戶使用統(tǒng)一的服務(wù)控制臺，實現(xiàn)將各類業(yè)務(wù)接入服務(wù)控制臺，從而向不同的用戶提供各類不同的業(yè)務(wù)服務(wù)。

（6）云應(yīng)用：直接面向用戶的不同業(yè)務(wù)應(yīng)用系統(tǒng)。

圖2 ?平臺體系結(jié)構(gòu)圖

3 ?功能應(yīng)用

平臺主要有云管理平臺和云服務(wù)控制臺兩部分，云管理平臺面向平臺的管理人員和維護(hù)人員，云服務(wù)控制臺面向服務(wù)開發(fā)者和服務(wù)使用者，平臺的主要功能如下：

服務(wù)管理：對服務(wù)的注冊、審核、發(fā)布、使用及服務(wù)對應(yīng)的API（或API打包下載）進(jìn)行管理。服務(wù)的類型主要有兩類：基礎(chǔ)服務(wù)和業(yè)務(wù)服務(wù)。

用戶管理：對平臺中用戶的基本信息進(jìn)行管理。

資源管理：對平臺中的各類資源進(jìn)行管理。

服務(wù)的權(quán)限管理：平臺使用者可以查看所有的服務(wù)，但只能對自己發(fā)布的服務(wù)進(jìn)行管理。服務(wù)經(jīng)審核發(fā)布后可供授權(quán)用戶配置實例并使用。

以下是平臺的核心基礎(chǔ)服務(wù)：

通訊協(xié)議服務(wù)：不同類型的傳感器使用不同的通訊協(xié)議，漢威云平臺將通訊協(xié)議設(shè)計為服務(wù)提供給用戶，用戶可以自定義配置協(xié)議和使用該協(xié)議，也可直接使用平臺中已存在并已授權(quán)的通訊協(xié)議。

采集服務(wù)：傳感器將采集到的數(shù)據(jù)通過WiFi鏈路傳輸數(shù)據(jù)到上位機(jī)，采集服務(wù)程序（UDA）按照對應(yīng)的通訊協(xié)議對數(shù)據(jù)進(jìn)行解析，解析后的數(shù)據(jù)存入Redis緩存集群;采集服務(wù)管理主要是對用戶的采集配置信息及對所使用的采集服務(wù)實例的啟動、停止進(jìn)行管理。

存儲服務(wù)：存儲服務(wù)程序會不斷掃描對應(yīng)的Redis緩存集群，并將Redis緩存集群中的數(shù)據(jù)拉取到用戶指定的數(shù)據(jù)庫中，如Mongodb、Oracle等;存儲服務(wù)管理主要對用戶的存儲配置信息、存儲格式及存儲服務(wù)的啟動停止進(jìn)行管理。

數(shù)據(jù)分析服務(wù)：主要有實時數(shù)據(jù)服務(wù)和非實時數(shù)據(jù)服務(wù)。實時數(shù)據(jù)服務(wù)又分為實時推送和主動獲取兩種類型：實時推送服務(wù)主要根據(jù)用戶定義好的配置主動向用戶配置的地址推送數(shù)據(jù);主動獲取服務(wù)主要給用戶提供數(shù)據(jù)服務(wù)API，服務(wù)消費者按照定義好的API給定參數(shù)，就會實時的返回數(shù)據(jù)，返回格式可支持多種類型，如txt、xml、json格式等。非實時數(shù)據(jù)服務(wù)主要用于對大數(shù)據(jù)量的計算，如月度數(shù)據(jù)分析結(jié)果可在每月第一天的固定時間開始提供，已經(jīng)計算分析好的歷史月度數(shù)據(jù)可供隨時訪問。

單點登錄：所有接入云平臺的產(chǎn)品服務(wù)系統(tǒng)均實行統(tǒng)一單點登錄。不同的業(yè)務(wù)系統(tǒng)可組合調(diào)用不同的服務(wù)，實現(xiàn)采集、存儲、分析及應(yīng)用程序一體化。

漢威云平臺實現(xiàn)將各種設(shè)備（無論是氣體探測器、還是溫度探測器，還是報警器）都接入到平臺，實現(xiàn)源源不斷的數(shù)據(jù)收集;通過收集各類數(shù)據(jù)及內(nèi)部的機(jī)制來為用戶和漢威提供互動和相應(yīng)的解決方案，從而實現(xiàn)漢威和用戶的雙贏。通過監(jiān)測數(shù)據(jù)為用戶提供實時監(jiān)測服務(wù)、數(shù)據(jù)分析服務(wù)，分析用戶的使用習(xí)慣來改進(jìn)平臺服務(wù)、幫助用戶解決問題，分析用戶使用產(chǎn)品的情況、安全狀態(tài)及各類數(shù)據(jù)來挖掘用戶的潛在需求及服務(wù)，幫助漢威技術(shù)人員改進(jìn)服務(wù)和產(chǎn)品，幫助漢威技術(shù)及銷售人員為客戶量身定做解決方案，從而解決用戶的根本問題，為用戶提供優(yōu)質(zhì)的服務(wù)和解決方案。管理人員可以通過云平臺查看各類數(shù)據(jù)分析從而進(jìn)行決策;開發(fā)人員可以在云平臺上開發(fā)各類業(yè)務(wù)軟件;維護(hù)人員可以在云平臺上進(jìn)行資源的維護(hù);銷售人員可以通過云平臺預(yù)知用戶的潛在需求;無論是政府、企業(yè)還是個人都可以使用電腦、手機(jī)或IPAD進(jìn)入云平臺來獲取所需的業(yè)務(wù)服務(wù)。

4 ?技術(shù)優(yōu)勢

與傳統(tǒng)的平臺相比，漢威云平臺融合了傳感技術(shù)、大數(shù)據(jù)技術(shù)MongoDB、Redis、Hadoop技術(shù)、集群技術(shù)、負(fù)載均衡技術(shù)，極大提高了平臺的采集速度、數(shù)據(jù)處理計算能力、滿足高并發(fā)采集，同時平臺還具有較高的可靠性和可擴(kuò)展性。

5 ?結(jié) ?語

漢威云平臺主要采用分布式的集群架構(gòu)和面向服務(wù)的體系結(jié)構(gòu)，增強(qiáng)了平臺的可靠性和安全性，同時使平臺易于擴(kuò)展，為用戶提供了最可靠、最安全的數(shù)據(jù)存儲中心，用戶不用擔(dān)心數(shù)據(jù)丟失、病毒入侵等麻煩;云平臺對用戶端的設(shè)備要求最低，使用起來也最方便;云平臺可以輕松實現(xiàn)不同設(shè)備間的數(shù)據(jù)與應(yīng)用共享;為我們使用網(wǎng)絡(luò)提供了幾乎無限多的可能。目前漢威云平臺已投入使用并接入業(yè)務(wù)系統(tǒng)，經(jīng)實際使用具有較高的可靠性，能支撐大數(shù)據(jù)量、高并發(fā)的傳感采集、用戶訪問及數(shù)據(jù)分析計算。同時隨著更多的業(yè)務(wù)系統(tǒng)的接入，對平臺的各方面要求也越來越高，平臺目前還在不斷的迭代完善中。

參考文獻(xiàn)

[1][美]Kristina Chodorow.MongoDB權(quán)威指南 [M].2版. 鄧強(qiáng)，王明輝譯.北京：人民郵電出版社，2013.

[2][美] Tom Wbite. Hadoop權(quán)威指南 [M].2版. 周敏奇，王曉玲，金澈清，等譯.北京：清華大學(xué)出版社，2011.

[3] Redis.http：//www.redis.cn/[EB/OL] .2014.

[4] Hadoop.http：//hadoop.apache.org/ [EB/OL] .2014

[5] MongoDB.http：//www.mongodb.org/ [EB/OL] .2014

[6] Twemproxy.https：//github.com/twitter/twemproxy [EB/OL] .2014

[7]劉鵬，黃宜華，陳衛(wèi)衛(wèi).實戰(zhàn)Hadoop——開啟通向云計算的捷徑[M].北京：電子工業(yè)出版社，2011.