高冠東

（1.中央司法警官學(xué)院信息管理系，河北 保定 071000；2.北京工業(yè)大學(xué)電子信息與控制工程學(xué)院，中國(guó) 北京 100124）

1 大數(shù)據(jù)

近幾年，大數(shù)據(jù)一詞被人們?cè)絹?lái)越多提及。大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)革命[1]。大數(shù)據(jù)這三個(gè)字組合在一起所表達(dá)的語(yǔ)義信息是有限的，“大”和“數(shù)據(jù)”都是極其常用的詞，將其組合在一起，從字面上看不出其表達(dá)的確切含義。其實(shí),這正是大數(shù)據(jù)這個(gè)詞語(yǔ)的奇妙之處，這樣不同領(lǐng)域、不同背景、不同身份的人可以用其來(lái)表達(dá)自己的思想。換句話說(shuō)，不同的人可以從不同的角度有自己不同的注解。但總的來(lái)說(shuō)，它至少給人們傳遞了一個(gè)重要的信息，那就是，信息技術(shù)的發(fā)展由“計(jì)算”轉(zhuǎn)向了“數(shù)據(jù)”[2]。

對(duì)于大數(shù)據(jù)的概念，目前還沒(méi)有統(tǒng)一的定義。維基百科的定義為:“大數(shù)據(jù)”是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式，通過(guò)數(shù)據(jù)的整合共享，交叉復(fù)用形成的智力資源和知識(shí)服務(wù)能力[3]。大數(shù)據(jù)或稱巨量資料，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)，通過(guò)對(duì)大量數(shù)據(jù)的存儲(chǔ)、分析和數(shù)據(jù)挖掘，能夠?yàn)檎捌髽I(yè)的決策提供更為科學(xué)的數(shù)據(jù)支持。

大數(shù)據(jù)具有4個(gè)關(guān)鍵特征，分別是：（1）海量化（volume）：數(shù)據(jù)量巨大；（2）多樣化（variety）：數(shù)據(jù)類別多，數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，由結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)組成；（3）快速化（velocity）：數(shù)據(jù)處理速度快；（4）價(jià)值化（value）：價(jià)值密度低，有用的數(shù)據(jù)持續(xù)時(shí)間短。大數(shù)據(jù)的這四個(gè)關(guān)鍵特征也稱4V特征[4]。

2012年發(fā)布的名為《大數(shù)據(jù)促發(fā)展:挑戰(zhàn)與機(jī)遇》的聯(lián)合國(guó)白皮書全面分析了各國(guó)特別是發(fā)展中國(guó)家在運(yùn)用大數(shù)據(jù)促進(jìn)社會(huì)發(fā)展方面所面臨的歷史機(jī)遇和挑戰(zhàn)，并系統(tǒng)給出了在應(yīng)用過(guò)程中正確運(yùn)用大數(shù)據(jù)的策略建議[5]。2012年3月，奧巴馬政府將“大數(shù)據(jù)戰(zhàn)略”上升為最高國(guó)策，認(rèn)為大數(shù)據(jù)是“未來(lái)的新石油”，將對(duì)數(shù)據(jù)的占有和控制作為陸權(quán)、海權(quán)、空權(quán)之外的另一種國(guó)家核心能力[6]。

大數(shù)據(jù)給人們帶來(lái)了巨大的社會(huì)價(jià)值。在大數(shù)據(jù)業(yè)務(wù)的協(xié)助下，科研機(jī)構(gòu)可以進(jìn)行科學(xué)探索，如：農(nóng)業(yè)、資源、環(huán)境、氣象、生命等領(lǐng)域；在司法行政機(jī)構(gòu)，大數(shù)據(jù)的使用，促進(jìn)了數(shù)據(jù)信息的交互、共享和分析，提升了警務(wù)信息工作效率，并在行政管理、輔助決策、安全防范和應(yīng)急響應(yīng)等方面發(fā)揮了巨大的作用。企業(yè)方面，數(shù)據(jù)成為關(guān)注重點(diǎn)，計(jì)算機(jī)行業(yè)正在轉(zhuǎn)變?yōu)檎嬲男畔⑿袠I(yè)，關(guān)注重點(diǎn)從計(jì)算速度轉(zhuǎn)變?yōu)榇髷?shù)據(jù)處理能力，軟件也將從編程為主轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心[7]。

2 大數(shù)據(jù)時(shí)代下的智能監(jiān)控技術(shù)

智能監(jiān)控技術(shù)與大數(shù)據(jù)的結(jié)合必須要考慮以下幾個(gè)關(guān)鍵要素：

2.1 平臺(tái)的規(guī)模性

所謂規(guī)模，我們應(yīng)該有如下的認(rèn)識(shí)：首先，應(yīng)該是一個(gè)可以管理無(wú)限增長(zhǎng)接入需求的真正有應(yīng)用彈性的平臺(tái)；再次，要看這個(gè)平臺(tái)是否能夠同時(shí)從多個(gè)存儲(chǔ)管理設(shè)備進(jìn)行查看或者管理不同的攝像機(jī)，并具備同時(shí)通過(guò)一個(gè)平臺(tái)實(shí)現(xiàn)對(duì)所有NVR和客戶端的監(jiān)控和維護(hù)能力，即平臺(tái)的規(guī)模擴(kuò)展能力。

2.2 如何存儲(chǔ)大數(shù)據(jù)

海量視頻、音頻以及相關(guān)的報(bào)警信息等大數(shù)據(jù)的存儲(chǔ)需要在高清視頻監(jiān)控下完成，這將影響現(xiàn)有傳統(tǒng)的存儲(chǔ)方式?，F(xiàn)有的數(shù)據(jù)庫(kù)存儲(chǔ)方式多采用單一文件存儲(chǔ)方式，或者采用多個(gè)分割的系列文件存儲(chǔ)方式。當(dāng)高清攝像機(jī)的規(guī)模急劇擴(kuò)大，若繼續(xù)采用這種方式存儲(chǔ)高幀率、全高清的數(shù)據(jù)，快速讀寫、快速檢索等操作會(huì)造成數(shù)據(jù)庫(kù)崩潰。原因是不能對(duì)非結(jié)構(gòu)性數(shù)據(jù)進(jìn)行，不能在讀寫數(shù)據(jù)過(guò)程中的對(duì)數(shù)據(jù)進(jìn)行保護(hù)以及恢復(fù)。當(dāng)數(shù)據(jù)庫(kù)崩潰恢復(fù)時(shí)平臺(tái)需要在極短的時(shí)間內(nèi)同時(shí)對(duì)原始數(shù)據(jù)、丟失的數(shù)據(jù)以及新數(shù)據(jù)進(jìn)行操作，此外，還需要對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行刪選等，這樣會(huì)占用大量的時(shí)間和存儲(chǔ)空間，降低讀寫速度。如此以來(lái)恢復(fù)過(guò)程可能會(huì)花費(fèi)很長(zhǎng)的時(shí)間，還可能造成新數(shù)據(jù)的存儲(chǔ)失敗。

我們可以形成結(jié)構(gòu)化文件以減少存儲(chǔ)空間，提高讀寫效率，及Flat File方式。通過(guò)視頻片段實(shí)現(xiàn)對(duì)大數(shù)據(jù)的連接關(guān)系型數(shù)據(jù)庫(kù)，以提高數(shù)據(jù)的組織效率[8]。而將視頻分成多個(gè)小的片段方式進(jìn)行存儲(chǔ)和檢索，大大降低了某個(gè)視頻片段操作失敗對(duì)整個(gè)視頻造成的巨大影響。

2.3 數(shù)據(jù)的安全性

具體方案是可以通過(guò)對(duì)流媒體數(shù)據(jù)實(shí)現(xiàn)到了國(guó)家密碼管理局認(rèn)證的加密和解密；在前端實(shí)現(xiàn)硬件加密，完成對(duì)網(wǎng)絡(luò)高清流媒體的加密；在后端解密時(shí)采用混合應(yīng)用方式，及雙重密鑰，除了軟件解密還必須通過(guò)硬件才能實(shí)現(xiàn)解密，防止單一軟件加密方式可能被破解的風(fēng)險(xiǎn)。既給用戶帶來(lái)了方便，也提高了監(jiān)控的安全性。

2.4 數(shù)據(jù)的處理

大型監(jiān)控系統(tǒng)的重要指標(biāo)之一就是視頻數(shù)據(jù)的智能分析的有效性，即如何對(duì)視頻數(shù)據(jù)進(jìn)行分析處理、提取及信息挖掘。

2.5 監(jiān)控系統(tǒng)的冗余問(wèn)題

傳統(tǒng)的監(jiān)控系統(tǒng)中對(duì)視頻數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)較復(fù)雜，利用效率低。利用虛擬化計(jì)算及分布式存儲(chǔ)，可以提高系統(tǒng)的可靠性，減少系統(tǒng)的冗余度。

3 大數(shù)據(jù)與智能監(jiān)控技術(shù)相結(jié)合的優(yōu)勢(shì)

基于大數(shù)據(jù)平臺(tái)，能給大中型的高清智能視頻監(jiān)控系統(tǒng)帶來(lái)很多益處。

3.1 提高了系統(tǒng)的擴(kuò)展性

以Hadoop為主的大數(shù)據(jù)技術(shù)，核心特點(diǎn)是分布式存儲(chǔ)架構(gòu)。根據(jù)這一特點(diǎn)，可以在系統(tǒng)后期根據(jù)需求添加和刪除節(jié)點(diǎn)，靈活轉(zhuǎn)移節(jié)點(diǎn)任務(wù)。

3.2 降低投資成本

大數(shù)據(jù)技術(shù)的架構(gòu)對(duì)底層硬件設(shè)備的要求并不高，所以可以采用價(jià)格低廉的通用硬件，這樣可以大大降低了投資成本。而系統(tǒng)的可靠性由軟件技術(shù)提供保障。

3.3 高效分析視頻

視頻數(shù)據(jù)存儲(chǔ)于多個(gè)節(jié)點(diǎn)，大數(shù)據(jù)技術(shù)的架構(gòu)是采用節(jié)點(diǎn)分布式，這樣可以并行進(jìn)行大量視頻數(shù)據(jù)的分析和處理，實(shí)現(xiàn)了海量視頻數(shù)據(jù)分析及關(guān)聯(lián)挖掘，提高了有效性。

4 大數(shù)據(jù)平臺(tái)整合方案研究

以信息資源庫(kù)為基礎(chǔ)，以中間件技術(shù)、云存儲(chǔ)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)為核心技術(shù)，研究了大數(shù)據(jù)平臺(tái)整合設(shè)計(jì)方案和構(gòu)建方法，提出了一套適合大數(shù)據(jù)特點(diǎn)的低成本、最優(yōu)化平臺(tái)構(gòu)建方案。擬研究的系統(tǒng)虛擬架構(gòu)如圖1。

基于大數(shù)據(jù)平臺(tái)的智能視頻監(jiān)控系統(tǒng)主要包括主節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)。其中主節(jié)點(diǎn)為所有數(shù)據(jù)節(jié)點(diǎn)提供統(tǒng)一資源管理與分配、視頻存儲(chǔ)、處理分析及控制策略；數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)接收并處理本地輸入視頻流，并提供計(jì)算、存儲(chǔ)、轉(zhuǎn)發(fā)、轉(zhuǎn)碼資源。

虛擬化資源池：采用虛擬化技術(shù)將監(jiān)控節(jié)點(diǎn)的物理資源統(tǒng)一組成資源池，形成模塊化、可擴(kuò)展的資源，還可以根據(jù)實(shí)際使用情況進(jìn)行動(dòng)態(tài)分配，從而形成了智能視頻監(jiān)控系統(tǒng)的基礎(chǔ)設(shè)施。

HDFS系統(tǒng)：該系統(tǒng)將海量視頻數(shù)據(jù)分布存儲(chǔ)在所有數(shù)據(jù)節(jié)點(diǎn)中，并對(duì)數(shù)據(jù)進(jìn)行備份。

轉(zhuǎn)發(fā)模塊：對(duì)視頻進(jìn)行轉(zhuǎn)發(fā)，實(shí)現(xiàn)網(wǎng)絡(luò)資源共享。

智能分析模塊：MapReduce為并行處理架構(gòu)，可以對(duì)海量視頻數(shù)據(jù)高效實(shí)時(shí)視頻分析，直接產(chǎn)生結(jié)果，備份原數(shù)據(jù)。MapReduce還可以對(duì)錄像視頻數(shù)據(jù)進(jìn)行二次分析，既可以對(duì)元數(shù)據(jù)直接進(jìn)行分析，又可以按具體要求重新進(jìn)行分析。視頻分析模式主要包括圖像識(shí)別、人臉表情識(shí)別、移動(dòng)跟蹤檢測(cè)、動(dòng)作目標(biāo)檢測(cè)等。

轉(zhuǎn)碼模塊：由于終端用戶所支持的視頻格式不同，并且傳輸帶寬會(huì)限制圖像顯示分辨率，需要對(duì)視頻數(shù)據(jù)進(jìn)行轉(zhuǎn)碼?？梢圆捎瞄_源軟件FFmpeg，完成監(jiān)控視頻的格式轉(zhuǎn)換和分辨率轉(zhuǎn)碼。

5 結(jié)論

《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》指出，物聯(lián)網(wǎng)已成為當(dāng)前世界新一輪經(jīng)濟(jì)和科技發(fā)展的戰(zhàn)略制高點(diǎn)之一，發(fā)展物聯(lián)網(wǎng)對(duì)于促進(jìn)經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步具有重要的現(xiàn)實(shí)意義，而且在安防領(lǐng)域，視頻監(jiān)控、周界防入侵等應(yīng)用已取得良好效果，物聯(lián)網(wǎng)是我國(guó)新一代信息技術(shù)自主創(chuàng)新突破的重點(diǎn)方向，蘊(yùn)含著巨大的創(chuàng)新空間，在芯片、傳感器、近距離傳輸、海量數(shù)據(jù)處理以及綜合集成、應(yīng)用等領(lǐng)域，創(chuàng)新活動(dòng)日趨活躍，創(chuàng)新要素不斷積聚。物聯(lián)網(wǎng)在各行各業(yè)的應(yīng)用不斷深化，將催生大量的新技術(shù)、新產(chǎn)品、新應(yīng)用、新模式。

智能監(jiān)控技術(shù)作為物聯(lián)網(wǎng)技術(shù)的重要組成部分，在社會(huì)治安監(jiān)控、平安城市建設(shè)、?；愤\(yùn)輸監(jiān)控、食品安全監(jiān)控，交通運(yùn)輸、水利設(shè)施、市政管理等基礎(chǔ)設(shè)施安全監(jiān)控、預(yù)警和應(yīng)急聯(lián)動(dòng)等方面發(fā)揮積極作用。隨著平安城市、智慧城市等工程的建設(shè)，監(jiān)控?cái)z像機(jī)已遍布大街小巷。智能監(jiān)控技術(shù)會(huì)得到越來(lái)越廣泛得應(yīng)用。

隨著視頻監(jiān)控中高清攝像機(jī)的大量出現(xiàn)，需要存儲(chǔ)的視頻文件日益增多。作為視頻監(jiān)控采集到的海量數(shù)據(jù)，和其他種類的大數(shù)據(jù)一樣，必須進(jìn)行了智能、高效處理才更具有價(jià)值。

智能監(jiān)控技術(shù)的發(fā)展勢(shì)不可擋，智能監(jiān)控技術(shù)的應(yīng)用應(yīng)被大數(shù)據(jù)所應(yīng)用，也決定了智能監(jiān)控技術(shù)需要得到大數(shù)據(jù)的技術(shù)支撐。大數(shù)據(jù)時(shí)代的智能監(jiān)控技術(shù)使市場(chǎng)對(duì)云存儲(chǔ)的需求越來(lái)越高。云存儲(chǔ)不僅能夠?qū)⒁曨l文件存儲(chǔ)在云端，節(jié)省存儲(chǔ)空間，而且可以對(duì)跨區(qū)域的視頻文件進(jìn)行集中存儲(chǔ)，使搜索更加方便，真正地實(shí)現(xiàn)了海量數(shù)據(jù)的秒級(jí)數(shù)據(jù)檢索。

不僅是云存儲(chǔ)，目前大數(shù)據(jù)相關(guān)技術(shù)也能對(duì)智能監(jiān)控技術(shù)應(yīng)用行業(yè)的海量視頻數(shù)據(jù)進(jìn)行智能分析，提供必要的技術(shù)支持。云計(jì)算、大數(shù)據(jù)這些高新技術(shù)，將會(huì)引領(lǐng)著智能監(jiān)控技術(shù)及相關(guān)行業(yè)企業(yè)再一次轉(zhuǎn)型升級(jí)，基于云計(jì)算和大數(shù)據(jù)技術(shù)的解決方案能夠更好地滿足用戶的實(shí)際需求，對(duì)我國(guó)司法行政系統(tǒng)的建設(shè)和發(fā)展具有重大的理論研究和實(shí)際應(yīng)用價(jià)值，產(chǎn)生了很好的經(jīng)濟(jì)效益和社會(huì)效益。

［1］孫利民,李建中,陳渝,等.無(wú)線傳感器網(wǎng)絡(luò)[M].北京:清華大學(xué)出版社,2005.

［2］李戰(zhàn)懷,王國(guó)仁,周傲英.從數(shù)據(jù)庫(kù)視角解讀大數(shù)據(jù)的研究進(jìn)展與趨勢(shì)[J].計(jì)算機(jī)工程與科學(xué),2013,35(10):1-11.

［3］維基百科[OL].http://zh.Wikipedia.org/zh/%E5%A4%A7%E6%95%B8%E 6%93%9A.

［4］李芬,朱志祥,劉盛輝.大數(shù)據(jù)發(fā)展現(xiàn)狀及面臨的問(wèn)題[J].西安郵電大學(xué)學(xué)報(bào),2013,18(5):100-103.

［5］李國(guó)杰,程學(xué)旗.大數(shù)據(jù)研究:未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域:大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國(guó)科學(xué)院院刊,2012(06):647－657.

［6］趙科.大數(shù)據(jù)時(shí)代的警務(wù)信息工作探討[J].武警學(xué)院學(xué)報(bào),2013,29(9):88-90.

［7］何清.大數(shù)據(jù)與云計(jì)算[J].科技促進(jìn)發(fā)展,2014,10(1):35-40.

［8］林青.云領(lǐng)安防大數(shù)據(jù)時(shí)代:安防大數(shù)據(jù)時(shí)代下的視頻監(jiān)控解決之道[J].中國(guó)安防,2013,9:39-42.