胡家磊

摘 ? ?要： 隨著物聯(lián)網(wǎng)的應(yīng)用，傳統(tǒng)的數(shù)據(jù)存儲分析方法已經(jīng)無法適用海量數(shù)據(jù)的實時分析，為此如何在感知物聯(lián)網(wǎng)下使用大數(shù)據(jù)處理分析實時數(shù)據(jù)是一個重要論題。

關(guān)鍵詞： 大數(shù)據(jù) ? ?物聯(lián)網(wǎng) ? ?山體感知 ? ?數(shù)據(jù)分析處理

1.大數(shù)據(jù)的概述

大數(shù)據(jù)的概念起源于阿爾文·托夫勒在《第三次浪潮》中提出“大數(shù)據(jù)”一詞。直到最近幾年，由世界著名的咨詢公司麥肯錫正式向世界提出“我們的大數(shù)據(jù)時代已經(jīng)來臨了”。政府與信息行業(yè)迅速以最高熱情投入研究過程中。匯聚各種知識與信息的圖書館集合了信息新技術(shù)和新理念的前沿。在美國等發(fā)達國家，大數(shù)據(jù)已經(jīng)充分被應(yīng)用在交通、地質(zhì)等重要的領(lǐng)域中。

大數(shù)據(jù)的提出已經(jīng)有相當(dāng)長的時間，但一直沒有一個準(zhǔn)確的定義規(guī)定什么是大數(shù)據(jù)，在行業(yè)內(nèi)一般有兩種比較被大家認(rèn)可的說法：一是數(shù)據(jù)的種類需要至少兩種以上和容量在100TB以上。并且這些數(shù)據(jù)是實時和高速的，或者由小數(shù)據(jù)緩慢構(gòu)成的大規(guī)模數(shù)據(jù)，但每年數(shù)據(jù)的增長是上年數(shù)量的160倍。二是收集、管理和處理數(shù)據(jù)的時間已經(jīng)遠遠超出可容忍時間的數(shù)據(jù)集。

政府近年來重點關(guān)注道路交通山體滑坡的安全問題。交通信息化在我國至今仍然處于薄弱環(huán)節(jié)，國內(nèi)處于山區(qū)的省份正在探索建設(shè)信息化感知系統(tǒng)，通過研究橋梁物聯(lián)網(wǎng)技術(shù)、隧道物聯(lián)網(wǎng)技術(shù)等，解決道路交通安全標(biāo)志準(zhǔn)用產(chǎn)品和山體檢測全程監(jiān)控等問題，全面提高山體和道路的安全保障。

2.山體感知物聯(lián)網(wǎng)中的大數(shù)據(jù)

在山體檢測實現(xiàn)綜合自動化檢測之前，大多數(shù)的山體檢測僅僅是通過近期的雨量和山體密度等數(shù)據(jù)進行安全檢測，數(shù)據(jù)采集量非常有限。綜合自動化檢測能有效提高山體和山間道路安全的有效手段，對提高道路的正常通行、安全水平、地質(zhì)災(zāi)害預(yù)測預(yù)報有重要作用。而感知物聯(lián)網(wǎng)的出現(xiàn)，將各類傳感器直接埋入需要檢測的位置上，不僅可以對以往的檢測項目繼續(xù)檢測，而且可以對山體內(nèi)部巖石的孔隙度、導(dǎo)電性、含水量、巖石之間的擠壓變形程度、山體巖石的垂直位移情況和水平位移情況進行監(jiān)控。

因此傳感器瞬間產(chǎn)生的實時數(shù)據(jù)非常龐大，導(dǎo)致山體檢測時的數(shù)據(jù)產(chǎn)生井噴、爆炸式的增長。山體感知物聯(lián)網(wǎng)系統(tǒng)以山體檢測綜合檢測平臺為主題，采用光傳感技術(shù)實現(xiàn)。三維空間是數(shù)據(jù)產(chǎn)生爆炸式爆發(fā)的根源，涉及三個方面：一是大量同類型傳感器產(chǎn)生的同類型數(shù)據(jù);二是數(shù)據(jù)產(chǎn)生的速度逐步提高;三是不斷出現(xiàn)的新型數(shù)據(jù)類型。由此可見，在數(shù)據(jù)急劇增加的勢頭下，數(shù)據(jù)膨脹的速度會越來越快，必須采取新的數(shù)據(jù)處理方式，使用大數(shù)據(jù)的方法應(yīng)對快速增長的數(shù)據(jù)量。

3.大數(shù)據(jù)在山體感知物聯(lián)網(wǎng)中的應(yīng)用

與傳統(tǒng)的數(shù)據(jù)處理方式相類似，大數(shù)據(jù)的處理要經(jīng)過數(shù)據(jù)采集、存儲、挖掘分析、顯示、實時處理等。

3.1數(shù)據(jù)采集

數(shù)據(jù)是大數(shù)據(jù)的基礎(chǔ)，這些數(shù)據(jù)以種類繁多、結(jié)構(gòu)多樣、數(shù)量龐大為特征。在分析數(shù)據(jù)時理論上是數(shù)據(jù)量越大越好，但在實際工作中卻不一定，數(shù)據(jù)量的龐大意味著其中摻雜大量受到干擾后的數(shù)據(jù)，這些數(shù)據(jù)在分析的過程中不僅起不到作用，反而會極大地影響數(shù)據(jù)分析的精確度，甚至?xí)苯訉?dǎo)致正確的數(shù)據(jù)被淹沒，造成完全錯誤的結(jié)果。所以，在處理數(shù)據(jù)時應(yīng)先把冗余和歧義數(shù)據(jù)剔除掉，剩下和應(yīng)用有關(guān)的數(shù)據(jù)，再鎖定有價值的數(shù)據(jù)進行應(yīng)用分析，得出正確結(jié)論。在山體感知物聯(lián)網(wǎng)系統(tǒng)中，我們要重點關(guān)注的是山體的構(gòu)成材質(zhì)，含水量、孔隙度、導(dǎo)電度、溫度、垂直方向的位移抖動等諸多影響山體結(jié)構(gòu)的因素，數(shù)據(jù)量龐大，加之環(huán)境復(fù)雜，對數(shù)據(jù)的干擾因素眾多，很可能在采集的時候數(shù)據(jù)就已經(jīng)被干擾成錯誤數(shù)據(jù)，因此要采用實時數(shù)據(jù)采集方式，降低數(shù)據(jù)被干擾率，這么做直接導(dǎo)致數(shù)據(jù)量急速膨脹，加大數(shù)據(jù)采集難度。

3.2存儲數(shù)據(jù)

數(shù)據(jù)作為一種資源，非常寶貴，經(jīng)過傳感器不間斷的采集后，數(shù)據(jù)要在第一時間壓入數(shù)據(jù)庫中，以備后面分析時調(diào)用。

3.3分析數(shù)據(jù)

經(jīng)過采集和存儲之后，數(shù)據(jù)已經(jīng)準(zhǔn)備就緒，下一步就是對數(shù)據(jù)的分析。這一環(huán)節(jié)在整個感知系統(tǒng)中都是相當(dāng)關(guān)鍵的步驟。當(dāng)原始數(shù)據(jù)存儲在數(shù)據(jù)庫中時，并不具備實際意義，只有把原始數(shù)據(jù)中與應(yīng)用相關(guān)的信息篩選出來進一步分析才能得到有效的數(shù)據(jù)，對其再精確分析后得到有價值的結(jié)果，從而實現(xiàn)海量數(shù)據(jù)的價值。對于感知山體物聯(lián)網(wǎng)，這一過程相當(dāng)重要，如果數(shù)據(jù)采集設(shè)備將數(shù)據(jù)已經(jīng)實時采集，但是數(shù)據(jù)不能被及時正確地分析出來，就無法做出及時預(yù)警，這樣會帶來不可估量的損失?，F(xiàn)階段，行業(yè)內(nèi)尚未研發(fā)出一種實時、高效的數(shù)據(jù)分析方法，大數(shù)據(jù)的分析方法有待進一步探討。

3.4顯示數(shù)據(jù)

通過分析后的數(shù)據(jù)存于處理機的內(nèi)存中，無法被使用者直接認(rèn)知，需要通過數(shù)據(jù)顯示成可讀可見的形式向用戶展示分析結(jié)果。在山體感知物聯(lián)網(wǎng)中，系統(tǒng)分析后的結(jié)果以警報形式輸出，以便公路和山體檢測人員及時準(zhǔn)確地做出應(yīng)變。

3.5數(shù)據(jù)實時處理

數(shù)據(jù)處理的實時性包含三個環(huán)節(jié)的實時處理，即數(shù)據(jù)的實時獲取、實時分析和實時繪制。三個環(huán)節(jié)的共同效率決定了系統(tǒng)的實時性。在山體感知物聯(lián)網(wǎng)系統(tǒng)中，海量數(shù)據(jù)需要在極短時間內(nèi)獲取結(jié)果，以確保相關(guān)的結(jié)果能夠及時準(zhǔn)確、客觀地反映給使用者，過時的數(shù)據(jù)結(jié)果往往都是帶來災(zāi)難性的后果。因此，山體感知物聯(lián)網(wǎng)對系統(tǒng)數(shù)據(jù)分析的實時性要求非常高。

4.結(jié)語

通過分析海量數(shù)據(jù)的關(guān)聯(lián)性預(yù)測事物的發(fā)展方向是大數(shù)據(jù)應(yīng)用的主要方向，是人們通過現(xiàn)有數(shù)據(jù)創(chuàng)造性認(rèn)識新知識和創(chuàng)造新價值的過程。隨著各類傳感器的普及和網(wǎng)絡(luò)的提速，對數(shù)據(jù)的實時采集已不成問題，但在數(shù)據(jù)分析方面我國仍處于起步階段，數(shù)據(jù)的實時分析是系統(tǒng)的最大瓶頸，如何提高數(shù)據(jù)的分析處理速度是大數(shù)據(jù)在山體感知物聯(lián)網(wǎng)中的熱點問題。

參考文獻：

[1]馬建光，姜巍.大數(shù)據(jù)的概念、特征及其應(yīng)用[J].國防科技，2013，34，（2）：11-12.

[2]陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報，2013，25，（s1）：143.

[3]馬小平，等.物聯(lián)網(wǎng)、大數(shù)據(jù)及云計算技術(shù)在煤礦.安全生產(chǎn)中的應(yīng)用研究[J].工礦自動化，2014，40，（4）：8.