劉兵

摘 要：隨著物聯(lián)網(wǎng)業(yè)務(wù)的興起，參與網(wǎng)絡(luò)連接的終端迅速增多，由此產(chǎn)生了海量數(shù)據(jù)。對(duì)于數(shù)據(jù)的存儲(chǔ)，從數(shù)據(jù)收集的途徑、分析開發(fā)實(shí)際需求以及安全性出發(fā)，分布式存儲(chǔ)是最佳選擇。

關(guān)鍵詞：物聯(lián)網(wǎng)；分布式；存儲(chǔ)技術(shù)；終端

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2017）11-00-02

0 引 言

近年來，隨著網(wǎng)絡(luò)技術(shù)和通信技術(shù)，特別是無線通信技術(shù)的快速發(fā)展，人類社會(huì)逐漸進(jìn)入物物相聯(lián)的時(shí)代。雖然物與物之間的信息交換單次信息量不大，但由于終端數(shù)量龐大，將會(huì)生成海量數(shù)據(jù)。如何更好地存儲(chǔ)這些數(shù)據(jù)是物聯(lián)網(wǎng)絡(luò)系統(tǒng)建設(shè)者需要思考的問題。

1 物聯(lián)網(wǎng)行業(yè)發(fā)展現(xiàn)狀

20世紀(jì)90年代至今，物聯(lián)網(wǎng)經(jīng)歷了漫長(zhǎng)的發(fā)展過程。直到2009年，物聯(lián)網(wǎng)被正式列為國(guó)家五大新興戰(zhàn)略性產(chǎn)業(yè)之一，并寫入當(dāng)年的《政府工作報(bào)告》，隨即物聯(lián)網(wǎng)受到了社會(huì)的極大關(guān)注和大量人力、物力資源的投入，并開始迅速發(fā)展。2016年12月18日，工業(yè)和信息化部印發(fā)的《信息通信行業(yè)發(fā)展規(guī)劃物聯(lián)網(wǎng)分冊(cè)（2016-2020年）》（簡(jiǎn)稱《物聯(lián)網(wǎng)分冊(cè)》）指出，2015年底我國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模已達(dá)7 500億元，整個(gè)“十二五”期間年均復(fù)合增長(zhǎng)率達(dá)到25%。我國(guó)機(jī)器與機(jī)器連接數(shù)突破1億，占全球總量的31%，成為全球最大市場(chǎng)?！笆濉逼陂g，隨著萬物互聯(lián)時(shí)代開啟，我國(guó)物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模也將保持高速發(fā)展勢(shì)頭，預(yù)計(jì)2017年，產(chǎn)業(yè)規(guī)模將達(dá)到萬億級(jí)。

2 物聯(lián)網(wǎng)業(yè)務(wù)對(duì)分布式存儲(chǔ)的需求

物聯(lián)網(wǎng)分為應(yīng)用層，數(shù)據(jù)層，網(wǎng)絡(luò)層和感知層。對(duì)網(wǎng)絡(luò)層來說，雖然在物聯(lián)網(wǎng)大力發(fā)展時(shí)期將面臨大量通信節(jié)點(diǎn)暴增的挑戰(zhàn)，但按照有序發(fā)展支撐和演進(jìn)式逐步建設(shè)的規(guī)劃，目前的網(wǎng)絡(luò)資源仍然足夠支撐業(yè)務(wù)增長(zhǎng)。在充分利用現(xiàn)有網(wǎng)絡(luò)資源的前提下，依據(jù)業(yè)務(wù)實(shí)際增長(zhǎng)情況逐步擴(kuò)展，分階段改造網(wǎng)絡(luò)，逐步完成網(wǎng)絡(luò)層的建設(shè)。

物聯(lián)網(wǎng)應(yīng)用所帶來的數(shù)據(jù)量和數(shù)據(jù)讀寫業(yè)務(wù)壓力不同以往，數(shù)據(jù)層所面臨的挑戰(zhàn)相對(duì)而言更大。與傳統(tǒng)業(yè)務(wù)相比，這方面的需求都呈指數(shù)級(jí)增長(zhǎng)，遠(yuǎn)高于現(xiàn)有系統(tǒng)的承載能力。物聯(lián)網(wǎng)的典型應(yīng)用通常包括海量傳感器，數(shù)量可達(dá)數(shù)百萬個(gè)，采樣頻率也較高。雖然單個(gè)數(shù)據(jù)并不大，但積少成多，因此數(shù)據(jù)總量非?？捎^。這兩種情況的結(jié)合，即要求存儲(chǔ)系統(tǒng)能并發(fā)處理數(shù)百萬個(gè)傳感器的高頻數(shù)據(jù)寫入，并發(fā)壓力和傳統(tǒng)生產(chǎn)系統(tǒng)有著數(shù)十倍乃至上百倍的差異。一個(gè)典型的物聯(lián)網(wǎng)存儲(chǔ)子系統(tǒng)可能需要支持?jǐn)?shù)千億個(gè)小文件的存儲(chǔ)，同時(shí)需提供超高的并發(fā)讀寫性能支撐。

由于視頻監(jiān)控也是典型的物聯(lián)網(wǎng)應(yīng)用，來自各類固定、移動(dòng)監(jiān)控?cái)z像頭甚至無人機(jī)的監(jiān)控錄像和高清圖片也是物聯(lián)網(wǎng)存儲(chǔ)系統(tǒng)所要處理的數(shù)據(jù)類型。此類數(shù)據(jù)類型通常是連續(xù)的視頻流，而并發(fā)的高帶寬和海量存儲(chǔ)空間需求也是前所未有的巨大挑戰(zhàn)。同時(shí)，由于物聯(lián)網(wǎng)“物”的特征，很多時(shí)候并不需要像人類參與的工種一樣有典型的時(shí)間周期，物聯(lián)網(wǎng)系統(tǒng)經(jīng)常全年無休，每時(shí)每刻都在不知疲倦地產(chǎn)生數(shù)據(jù)，同時(shí)由于業(yè)務(wù)本身持續(xù)不斷，因此對(duì)存儲(chǔ)系統(tǒng)的高可用性也有很強(qiáng)的需求。

從數(shù)據(jù)類型上看，相對(duì)傳統(tǒng)業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù)占比較高，物聯(lián)網(wǎng)應(yīng)用和新業(yè)務(wù)將產(chǎn)生大量的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這也將對(duì)存儲(chǔ)系統(tǒng)提出新的挑戰(zhàn)。

物聯(lián)網(wǎng)大規(guī)模的數(shù)據(jù)存儲(chǔ)或計(jì)算需求通過控制節(jié)點(diǎn)分發(fā)到各物理機(jī)，采用分布式存儲(chǔ)方案解決了傳統(tǒng)集中計(jì)算存儲(chǔ)存在的性能瓶頸問題和成本問題，近年來獲得了廣泛應(yīng)用。

3 分布式存儲(chǔ)CAP理論

CAP是分布式系統(tǒng)設(shè)計(jì)中的經(jīng)典理論，也是工程實(shí)施和產(chǎn)品研發(fā)中的基本理論依據(jù)，對(duì)分布式存儲(chǔ)產(chǎn)品設(shè)計(jì)、選型、實(shí)施具有指導(dǎo)意義。這一理論由Eric Brewer在2000年的PODC會(huì)議上提出，最初僅僅是一個(gè)猜想，2年后被MIT的Seth Gilbert和Nancy Lynch證明為理論，并很快被互聯(lián)網(wǎng)企業(yè)如Ebay，Twitter，Amazon等接受和擁護(hù)。17年來，該理論已被廣泛應(yīng)用于各類分布式系統(tǒng)設(shè)計(jì)中。CAP理論簡(jiǎn)單說來只有一句話：在分布式系統(tǒng)中，一致性（Consistency），可用性（Availability）和分區(qū)容忍性（Partition-Tolerance）三種特性只能同時(shí)實(shí)現(xiàn)其中部分，常取其中兩種，舍棄一種。

3.1 數(shù)據(jù)一致性

如果系統(tǒng)對(duì)一個(gè)寫操作返回成功，那么之后的讀請(qǐng)求都能讀到這個(gè)新數(shù)據(jù)；如果返回失敗，那么所有讀操作都不能讀到該數(shù)據(jù)，對(duì)調(diào)用者而言，數(shù)據(jù)具有強(qiáng)一致性（Strong Consistency） ，又叫原子性（Atomic），線性一致性（Linearizable Consistency）。

無論對(duì)數(shù)據(jù)如何操作，該特性可保證得到的數(shù)據(jù)都是完成狀態(tài)的數(shù)據(jù)，否則操作失敗。類似于原子性的概念，一個(gè)操作必須是完整的，杜絕牽扯不清的中間狀態(tài)。對(duì)數(shù)據(jù)的修改必須保證最終數(shù)據(jù)是原子操作的合格品，否則失敗退出，決不能出現(xiàn)修改了一半的數(shù)據(jù)半成品。例如多個(gè)應(yīng)用并發(fā)對(duì)系統(tǒng)調(diào)用時(shí)，應(yīng)用不會(huì)得到一張被另外一個(gè)應(yīng)用請(qǐng)求畫了一半的圖，或更新了上半段的說明書。

3.2 服務(wù)可用性

在指定的響應(yīng)時(shí)間窗口內(nèi)，每個(gè)操作請(qǐng)求都能到響應(yīng)并返回，不會(huì)持續(xù)等待。該特性接近實(shí)時(shí)系統(tǒng)的定義，能夠確保系統(tǒng)及時(shí)響應(yīng)，避免死鎖，從而為更多的并發(fā)業(yè)務(wù)和應(yīng)用提供“可用”的服務(wù)。

3.3 分區(qū)容忍性

保證系統(tǒng)支持分區(qū)，在分裂的情況下，各節(jié)點(diǎn)仍可正常提供服務(wù)，支撐業(yè)務(wù)和應(yīng)用。

只要還有分區(qū)存活就能給出及時(shí)響應(yīng)并提供服務(wù)。該特性保證了系統(tǒng)是可分區(qū)的，各分區(qū)都能夠獨(dú)立提供服務(wù)，配合互為備份。系統(tǒng)可以方便地進(jìn)行橫向擴(kuò)展，這種特性也是跨分區(qū)（設(shè)備）分布式系統(tǒng)最具價(jià)值之處。

CAP理論對(duì)分布式系統(tǒng)實(shí)現(xiàn)有非常重大的影響，我們可以根據(jù)自身的業(yè)務(wù)特點(diǎn)，在數(shù)據(jù)一致性和服務(wù)可用性之間作出傾向性選擇。endprint

4 分布式存儲(chǔ)的對(duì)稱式架構(gòu)與非對(duì)稱式架構(gòu)比較

按照元數(shù)據(jù)的管理方式，可分為對(duì)稱式集群文件系統(tǒng)和非對(duì)稱式集群文件系統(tǒng)。進(jìn)行簡(jiǎn)單類比，非對(duì)稱式架構(gòu)是管理和數(shù)據(jù)分離，而對(duì)稱式架構(gòu)是管理和數(shù)據(jù)合一。兩者在擴(kuò)展性、健壯性、安全性和后端數(shù)據(jù)交互壓力對(duì)系統(tǒng)的影響方面存在差異。

4.1 擴(kuò)展性

對(duì)稱式架構(gòu)由于每個(gè)節(jié)點(diǎn)都承擔(dān)管理和數(shù)據(jù)雙重職責(zé)，節(jié)點(diǎn)間通信較為復(fù)雜，導(dǎo)致節(jié)點(diǎn)數(shù)量受限于通信量。當(dāng)節(jié)點(diǎn)數(shù)量增加時(shí)，信息同步復(fù)雜度呈幾何級(jí)數(shù)增長(zhǎng)（以10個(gè)節(jié)點(diǎn)為例，每個(gè)節(jié)點(diǎn)可能同時(shí)與其他9個(gè)節(jié)點(diǎn)通信，此時(shí)系統(tǒng)連接總數(shù)近似為10×10，若增加到100個(gè)節(jié)點(diǎn)，則連接總數(shù)為99×99），總體性能將大幅下降至不可接受，因此必須對(duì)集群規(guī)模加以限制。以市場(chǎng)成熟度最高的對(duì)稱式架構(gòu)產(chǎn)品Isilon OneFS為例，雖然官方宣稱最大集群規(guī)模為144個(gè)節(jié)點(diǎn)，但在實(shí)際部署中，絕大多數(shù)都只拆分成10個(gè)節(jié)點(diǎn)左右。

非對(duì)稱式架構(gòu)由專用的服務(wù)器維護(hù)元數(shù)據(jù)，實(shí)現(xiàn)管理和數(shù)據(jù)分離，擴(kuò)展性良好。節(jié)點(diǎn)增加帶來的元數(shù)據(jù)復(fù)雜度呈線性，因而集群性能能夠?qū)崿F(xiàn)線性擴(kuò)展，在業(yè)界廣泛采用。全球Top 100的集群存儲(chǔ)系統(tǒng)中，鮮有采用對(duì)稱式架構(gòu)，Top 10中更是全部采用非對(duì)稱式架構(gòu)。

4.2 健壯性和安全性

對(duì)稱式架構(gòu)的多個(gè)節(jié)點(diǎn)間耦合性緊。如果某單個(gè)節(jié)點(diǎn)出現(xiàn)問題，響應(yīng)超時(shí)得不到應(yīng)答，將會(huì)影響整個(gè)集群的性能。一旦某單個(gè)節(jié)點(diǎn)發(fā)生嚴(yán)重故障，將導(dǎo)致文件系統(tǒng)元數(shù)據(jù)的一致性被破壞，后果嚴(yán)重。輕則丟失數(shù)據(jù)或不一致，重則系統(tǒng)整體癱瘓，無法提供存儲(chǔ)服務(wù)。

在非對(duì)稱式架構(gòu)中，節(jié)點(diǎn)間采用松耦合機(jī)制，可以很好地隔離數(shù)據(jù)節(jié)點(diǎn)故障，系統(tǒng)的健壯性更強(qiáng)。

4.3 后端數(shù)據(jù)交互壓力對(duì)系統(tǒng)的影響

由于分布式系統(tǒng)數(shù)據(jù)分散存放在不同的節(jié)點(diǎn)，因而出現(xiàn)磁盤故障或節(jié)點(diǎn)故障時(shí)不可避免地會(huì)進(jìn)行跨界點(diǎn)的數(shù)據(jù)重構(gòu)。

在對(duì)稱式架構(gòu)中，數(shù)據(jù)路徑和控制路徑通?；煊?，當(dāng)追求重構(gòu)速度時(shí)，節(jié)點(diǎn)間的數(shù)據(jù)交互壓力較大，會(huì)使控制信息擁塞，而控制信息對(duì)響應(yīng)延遲要求較高，一旦有任何一條控制信息延遲，就會(huì)拖慢整個(gè)系統(tǒng)。若不得已采用單獨(dú)的控制鏈路，則需在每臺(tái)設(shè)備上都單獨(dú)增加硬件，從而加大了成本。

非對(duì)稱式架構(gòu)采用數(shù)據(jù)路徑與控制路徑分離的方式，任何數(shù)據(jù)節(jié)點(diǎn)滿負(fù)載運(yùn)行或數(shù)據(jù)節(jié)點(diǎn)間的網(wǎng)絡(luò)擁塞均不會(huì)影響到整個(gè)系統(tǒng)的性能波動(dòng)（性能波動(dòng)僅限于故障節(jié)點(diǎn)）。

5 分布式存儲(chǔ)的數(shù)據(jù)保護(hù)模式

存儲(chǔ)領(lǐng)域的數(shù)據(jù)冗余機(jī)制長(zhǎng)期以來發(fā)生了革命性的進(jìn)展，RAID、副本一直是當(dāng)仁不讓的最終選擇。近幾年，尤其是在規(guī)模較大的應(yīng)用場(chǎng)景下，糾刪碼越來越多地出現(xiàn)在大眾視野中，成為RAID、副本之外的第三種選擇，因此也獲得了越來越多的關(guān)注。

糾刪碼（Erasure Code）是一種編碼容錯(cuò)技術(shù)，最早用以解決通信行業(yè)中部分?jǐn)?shù)據(jù)在傳輸中的損耗問題。其基本原理是把傳輸?shù)男盘?hào)分段，加入一定的校驗(yàn)后再讓各段間發(fā)生一定的聯(lián)系，即使在傳輸過程中丟失部分信號(hào)，接收端仍能通過算法把完整的信息計(jì)算出來。如果嚴(yán)格區(qū)分，按照誤碼控制的不同功能，還可以分為檢錯(cuò)、糾錯(cuò)和糾刪類型。

糾錯(cuò)碼不僅具備識(shí)別錯(cuò)碼功能，還具備糾正錯(cuò)碼功能，其適用場(chǎng)景通常采用大規(guī)模部署方式。從傳統(tǒng)情況來看，RAID通常在企業(yè)級(jí)環(huán)境中應(yīng)用較多。在幾臺(tái)或十幾臺(tái)存儲(chǔ)設(shè)備規(guī)模的IT系統(tǒng)中，較常使用穩(wěn)定可靠、歷經(jīng)數(shù)十年磨礪的RAID技術(shù)。而在數(shù)據(jù)中心級(jí)的大規(guī)模部署中，RAID不再受歡迎，大部分分布式系統(tǒng)都偏好副本模式，均看重其高可靠性和讀性能優(yōu)化的特點(diǎn)。然而副本帶來的成本壓力也讓眾多企業(yè)叫苦不迭，因此，糾錯(cuò)碼技術(shù)的適時(shí)出現(xiàn)，以其更低成本和更高技術(shù)含量及提供近似可靠性的特點(diǎn)，吸引了眾多分布式存儲(chǔ)和云存儲(chǔ)的廠商和用戶。

6 結(jié) 語

文章從技術(shù)特點(diǎn)以及實(shí)際應(yīng)用效果，分析了數(shù)據(jù)存儲(chǔ)的不同技術(shù)，并將傳統(tǒng)技術(shù)和糾錯(cuò)碼技術(shù)進(jìn)行對(duì)比，論證了分布式存儲(chǔ)是物聯(lián)網(wǎng)業(yè)務(wù)的最佳選擇。

參考文獻(xiàn)

[1]金海，劉文超，韓健亭，等.家庭物聯(lián)網(wǎng)應(yīng)用研究[J].電信科學(xué)，2010，26（2）：10-13.

[2]寧雄雁，武文忠，楊照宏，等.應(yīng)用于海量存儲(chǔ)中高度容錯(cuò)的新編碼方案[J].計(jì)算機(jī)應(yīng)用研究，2007，24（12）：41-43.

[3]王劍柯.云計(jì)算環(huán)境下的分布式存儲(chǔ)[J].中國(guó)新通信，2015，17（20）：33.

[4]李廷力，李宏宇，田野，等.物聯(lián)網(wǎng)存儲(chǔ)模式與方案研究[J].計(jì)算機(jī)應(yīng)用研究，2013，30（11）：3201-3208.

[5]馬穎，朱新剛，王瑩，等.多通道分布式智能終端研究與設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2014，4（4）：66-68.

[6]孔陶茹.云存儲(chǔ)應(yīng)用的現(xiàn)狀、挑戰(zhàn)、展望、創(chuàng)新及探討[J].物聯(lián)網(wǎng)技術(shù)，2014，4（2）：69-71.

[7]薛建生，于建忠，黃磊，等.物聯(lián)網(wǎng)海量數(shù)據(jù)的分布式存儲(chǔ)算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2013，34（9）：2081-2084.

[8]劉巍，王冬鴿.物聯(lián)網(wǎng)安全體系結(jié)構(gòu)研究[J].物聯(lián)網(wǎng)技術(shù)，2016，6（4）：61-63.endprint