陳 雁，卿濟民，林必毅

?

大數(shù)據(jù)技術在視頻監(jiān)控中的應用

陳 雁，卿濟民，林必毅

（深圳市賽為智能股份有限公司，廣東 深圳 518000）

我國信息技術的發(fā)展十分迅速，在一定程度上提高了我國視頻監(jiān)控的水平。大數(shù)據(jù)的概念越來越為人們所知，其中大數(shù)據(jù)技術就是一種先進的信息技術，能夠有效處理大數(shù)據(jù)，而視頻監(jiān)控會產生大量的數(shù)據(jù)信息，這些信息的處理是一項艱巨的工作，將大數(shù)據(jù)技術應用到視頻監(jiān)控領域將會提升工作效率。在我國的視頻監(jiān)控領域大數(shù)據(jù)技術已經得到了應用，這對視頻監(jiān)控的影響意義深遠。本文基于大數(shù)據(jù)技術應用經驗對視頻監(jiān)控中大數(shù)據(jù)技術的應用進行分析，為我國視頻監(jiān)控水平的提升提供了合理有效的建議。

大數(shù)據(jù)；技術；視頻監(jiān)控

0 引言

在我國城市的建設中大力促進、加強了視頻監(jiān)控的建設，視頻監(jiān)控的建設為人們的生活環(huán)境提供了保障依據(jù)。國務院總理李克強曾提出城市安全化的建設，這從某種程度上說我國對視頻監(jiān)控行業(yè)的發(fā)展還是支持的，而且將其大面積投入到城市建設中非常有必要。視頻監(jiān)控設備的大量投入無疑增加了監(jiān)控觀察方面的難度，這對員工的要求非常高，而且員工需要長期保持精神，以備突發(fā)狀況的發(fā)生，可以說非常耗費人力。而大數(shù)據(jù)技術可以改觀當前狀況，大力提高監(jiān)控效率，對我國監(jiān)控領域的發(fā)展有著非常深遠的意義。

1 大數(shù)據(jù)概念

大數(shù)據(jù)其實就是采用信息技術的方法對數(shù)據(jù)進行處理，以往的數(shù)據(jù)處理方式不能夠進行處理的數(shù)據(jù)。大數(shù)據(jù)技術是當前信息技術中最為便捷的一種技術，在很多方面都有著非常重要的應用，比如信息采集方面、信息管理方面、存儲方面、信息分析方面等等。在信息提取中，大數(shù)據(jù)技術可以更加快捷，有效的、有用的數(shù)據(jù)能夠被更加快速地提取出來，在信息領域方面提高了效率[1]。雖然大數(shù)據(jù)技術具有非常重要的意義以及優(yōu)勢，我國現(xiàn)在對大數(shù)據(jù)技術的應用仍然不夠熟練，而且我國視頻監(jiān)控領域存在一定的問題，對這些問題分析對加大大數(shù)據(jù)技術在視頻監(jiān)控領域的投入非常重要。

2 我國視頻監(jiān)控領域存在的問題

完善的視頻監(jiān)控系統(tǒng)對我國安全的建設有著非常重大的幫助，能夠推動安全化建設。當然安全化建設并非易事，其中有很多的問題，而且這對大數(shù)據(jù)技術在視頻監(jiān)控領域的應用也造成了非常大的障礙。首先，我國視頻監(jiān)控范圍小，因為在視頻建設上存在一定的不足，所以視頻監(jiān)控設備并沒有大面積覆蓋，我國很多地區(qū)都沒有視頻監(jiān)控設備的建設，造成了監(jiān)控領域的空白，這對于某些地區(qū)的安全不利。另外我國的警力人員不足，通過監(jiān)控設備可以彌補該情況。視頻監(jiān)控領域的投入對我國安全建設有著非常積極的影響，而且能夠帶動我國智能化建設的投入。然后是視頻設備的質量問題，視頻設備的質量直接關系到視頻監(jiān)控的范圍以及可以監(jiān)控的時間即使用壽命[2]。還有視頻監(jiān)控設備受到各種影響的抵抗力、視頻設備的清晰度等。視頻設備的清晰度對于視頻監(jiān)控來說是致命的問題，就好像是食品設備中的瞎子，無法正常監(jiān)控到運動目標，或者運動目標監(jiān)控特征不明顯，這些都對很多技術的進行造成非常大的影響。還有視頻監(jiān)控設備分布不合理，不夠科學，對視頻設備的安裝位置未進行科學化的分析，不能夠保證監(jiān)控設備位置的合理性、科學性以及有效性。在一定程度上造成了資源的浪費。還有視頻監(jiān)控信息無法上傳，只有將視頻設備采集到的信息進行分析整理才能夠判斷出一些目標的行為等。一旦視頻設備的信息無法上傳會造成緊急事件的處理延后甚至不進行報警，導致人們利益受到損害。另外在食品設備的管理上存在障礙，因為視頻數(shù)據(jù)的復雜多樣，所以數(shù)據(jù)的處理就顯得尤為重要。怎樣從中提取出準確有效的信息非常重要，而無法提取重要信息同樣會造成很多損害。除了這些提到的問題之外還有一些問題，將其重視起來然后采取相應策略肯定能夠改善當前狀況見圖1。

3 大數(shù)據(jù)處理流程

大數(shù)據(jù)技術對數(shù)據(jù)進行處理需要將數(shù)據(jù)進行分類，然后在采取相應的處理方法，因為數(shù)據(jù)的豐富與復雜，所以要按照一定過程讀數(shù)據(jù)進行處理。大數(shù)據(jù)處理過程一般是這四個階段，感知數(shù)據(jù)與獲取數(shù)據(jù)、對數(shù)據(jù)進行預處理與存儲、將數(shù)據(jù)進行分解、分析結果[3-4]。

圖1 我國視頻監(jiān)控領域存在的問題

3.1 感知數(shù)據(jù)與獲取數(shù)據(jù)

科技的發(fā)展與進步使數(shù)據(jù)感知與獲取方面的來源更多樣化，比如通過互聯(lián)網、傳感器、手機等都可進行數(shù)據(jù)的獲取或者感知。非結構化數(shù)據(jù)，這種數(shù)據(jù)是當前所包含的最為廣泛的數(shù)據(jù)，其特點突出，具有強噪聲、低價值等特點。該形式的數(shù)據(jù)感知獲取的方法也有多種，比如網絡探針、日志、ICMP消息等等，這些都是獲取數(shù)據(jù)的方式。對于數(shù)據(jù)的獲取與感知其中的重點就是自然、社交數(shù)據(jù)了，這些數(shù)據(jù)是大數(shù)據(jù)中最為重要的部分。機器間的交互而產生自然數(shù)據(jù)，同樣機器間的交互是產生自然數(shù)據(jù)最為重要的環(huán)節(jié)了，其中包括GPS、傳感器、網絡日志等數(shù)據(jù)，這些包含一定的技術性。對于傳感器則是依托于傳感器技術，當前傳感器的發(fā)展也是非常迅速，其正朝著智能、微型、嵌入的方向發(fā)展。而社交數(shù)據(jù)這個相信大家不陌生，就是人們平常經常使用的社交軟件等產生的數(shù)據(jù)，其產生與互聯(lián)網有著密不可分的聯(lián)系[5]。在以后的醫(yī)療、智能交通控制、工業(yè)控制等領域感知數(shù)據(jù)與獲取數(shù)據(jù)將會被廣泛應用。

3.2 預處理與存儲

在該階段就要對上一環(huán)節(jié)得到的數(shù)據(jù)進行處理，比如清洗、去噪等，最終將這些數(shù)據(jù)便捷化，更加方便操作。大數(shù)據(jù)有著一定的特點，就是復雜多樣，而且在數(shù)據(jù)的分析處理上還具有一定的困難性。其實在采集數(shù)據(jù)或者獲取數(shù)據(jù)的過程中會不可避免的加入很多干擾，像噪聲等，這些干擾的讀入對程序存儲空間也會造成浪費，而且嚴重的話對分析得到的結果也會有很大的影響，所以說進行數(shù)據(jù)的清洗、去噪就顯得非常重要了，而且這些數(shù)據(jù)能夠更有效，對結果能夠更加有用。通常就是在預處理過程中使用數(shù)據(jù)過濾器將其進行過濾，這樣處理過的數(shù)據(jù)就會比較有意義了[6-7]。

預處理包含視頻圖像的增強、特征空間的轉化，這些都包含于背景減除中，經處理，輸入特征將對人眼更好，可以提高人們對機器的理解。該階段包括四個部分見圖2。

圖2 預處理包含視頻

主要特點如下：（1）亮度統(tǒng)一。對增強圖像質量有利，可以有效緩解光照對圖像造成的影響。（2）轉換彩色空間?？臻g模型光照、色度的分離為后續(xù)陰影判別、反射判別提供了有利條件。（3）圖像配準。校正攝像頭使其不再抖動，這種方法對于場景變化有利，有效避免對場景產生的影響。如大風導致攝像頭不穩(wěn)，使圖像抖動的現(xiàn)象。此外，可移動攝像頭在進行運動檢測過程中造成攝像頭抖動。以上情況的處理可進行圖像修正，該方法最常見的為幾何修正法，一般將得到的圖像匹配，疊加。該過程需要進行特征點的提取。首先，進行相似特征點對的匹配查找，然后根據(jù)這些特征點確定描繪得到圖像坐標參數(shù)，然后進行坐標參數(shù)變換，最終配準圖像。（4）對比度特征提取。提取圖像的一些特征，如紋理特征來表達物體全局變化情況，可使場景中的大量噪音有效減弱，此外，對比度直方圖對加強檢測過程的速度有利，使數(shù)據(jù)的度方面得到有效降低[8]。

預處理過程中光照對圖像產生的影響比較大，需要采取相應措施減緩這一影響。亮度歸一化則能夠在一定程度上減緩這一影響。所謂亮度歸一化其實是背景中將具有相同的均值和方差的亮度值的像素進行歸一化處理，處理過的圖像可通過與原始灰度不同的閾值分割。在這個過程中，特征提取是非常關鍵的一步，特征匹配的正常進行需要準確的特征提取，一般在算法中通過使用Harris角點來進行。該特征選取具有一定的理論依據(jù)，首先進行圖像中的角點的提取，接著按照不同的方法建立圖像，并使圖像中角點產生關聯(lián)，之后確定同名角點（同名角點為之后過程中的控制點）通過這些控制點進行圖像的配準然后變化。預處理之后將數(shù)據(jù)進行集成、存儲。通過精準的處理，有助于數(shù)據(jù)的查找，大幅提高數(shù)據(jù)查找的效率。此外，還可以建立數(shù)據(jù)庫，使處理之后的數(shù)據(jù)能夠更有序的、合理的、科學的進行排放。

3.3 數(shù)據(jù)分析

數(shù)據(jù)分析在大數(shù)據(jù)技術中屬于核心環(huán)節(jié)，這一環(huán)節(jié)主要是發(fā)掘數(shù)據(jù)價值。為使人們的決策更加合理、科學以及智能，所以要對數(shù)據(jù)進行分析，找出其中有價值的規(guī)則。大數(shù)據(jù)分析可以使用BI技術，當然還有人工智能，這兩種技術為大數(shù)據(jù)中數(shù)據(jù)分析提供了很多有利條件，技術和方法，其中有機器學習，也就是當前智能化發(fā)展的一個重要方向[9]，讓機器像人一樣自主去學習成長，過程中需要進行特征的提取，然后進行運算接著分類，當前的機器學習有著三種方法，監(jiān)督學習，半監(jiān)督學習以及不監(jiān)督學習。該項技術中涉及到三個主要領域，搜索、優(yōu)化和圖形計算見圖3。

統(tǒng)計學習也是重要的處理技術或者方法，主要是體現(xiàn)在收集、組織、解釋數(shù)據(jù)。該處理技術采用統(tǒng)計學，具有一定的直觀性、科學性，主要是進行變量間的關系確定。該技術中通常使用R語言工具包，這是一種語言，是基于S語言的一種統(tǒng)計分析語言，其中和它相關的開源R統(tǒng)計分析軟件有很多統(tǒng)計分析算法和繪圖技術，可實現(xiàn)分類、時間序列分析、統(tǒng)計監(jiān)測等，并能夠根據(jù)這些做出相應圖像，比如聚類圖、分類信息圖等見圖4。

3.4 解釋與展示結果

該過程相當于相對用戶來說的，關系到用戶體驗，良好的用戶體驗是該過程重點考慮的。數(shù)據(jù)信息的大量化使用戶不能夠得到合理的結果，而該過程需要向客戶展示結果，這也是客戶非常關心的內容，是數(shù)據(jù)分析過程中最為重要的一步，該過程十分重要，需要保證一定的準確性，不然對客戶造成一定的誤導。

視頻監(jiān)控中有著非常多的數(shù)據(jù)，這些數(shù)據(jù)形式也在持續(xù)增多，提高數(shù)據(jù)解釋與展示的能力非常重要，而且能夠滿足分析結果輸出需求。可視化技術已經被大部分的企業(yè)引進，這是結果解釋與顯示的重要手段。大數(shù)據(jù)分析結果可視化對大數(shù)據(jù)技術有著非常重要的作用，也推動了大數(shù)據(jù)技術的發(fā)展[10]。

圖4 大數(shù)據(jù)技術處理流程

4 大數(shù)據(jù)技術與視頻監(jiān)控

4.1 視頻存儲與轉碼系統(tǒng)

大數(shù)據(jù)中提到了存儲，同樣在視頻監(jiān)控中需要對視頻數(shù)據(jù)進行存儲，這可以為之后的查詢提供資料。同時視頻數(shù)據(jù)需要進行轉碼，這樣能夠使視頻數(shù)據(jù)分布存儲以及分布轉碼，大數(shù)據(jù)中分布處理也是十分關鍵，這不僅能夠提高轉碼的性能，也會為客戶帶來方便。

分布式存儲與分布式轉碼的功能模塊，分布式轉碼采用MapReduce分布計算框架，對流媒體數(shù)據(jù)讀取模塊進行了設計，這樣實現(xiàn)流媒體數(shù)據(jù)的轉碼，這樣明顯提高了效率。

4.2 架構設計

該過程的重要思路就是通過流媒體服務器，對來自設備的流媒體數(shù)據(jù)進行處理，使其傳輸給用戶的同時也能夠進行備份，上傳到HDFS，這樣就實現(xiàn)了視頻數(shù)據(jù)的冗余備份存儲。這樣的視頻數(shù)據(jù)格式是H.264，是無法直接播放的數(shù)據(jù)，所以需要對這些備份的數(shù)據(jù)文件進行ffinpeg分布式轉碼。

4.3 分布式轉碼流程

H.264文件寫入HDFS后，采用fSnpeg轉碼對H.264在Hadoop上進行分布式轉碼，這樣能夠生成AVI文件，這些文件在用戶下載之后可以進行播放，分布式的轉碼方案提高了轉碼的效率。在HDFS上存儲的數(shù)據(jù)容量有一定的限制，也就是需要小于64 M，一旦數(shù)據(jù)超出限定值將會對其進行分割，如果使用MapReduce分布式計算，這樣結果不會受到影響，MapReduce軟件架構適合處理耦合數(shù)據(jù)，所以分割的數(shù)據(jù)使用該分布式計算不會受到很大的影響，但是該方法的效率比較低，所以控制H.264的容量對于提升效率以及提高速度有著非常重要的幫助[11]。

該過程中涉及到了網絡流媒體傳輸系統(tǒng)，該系統(tǒng)能夠實現(xiàn)在媒體分發(fā)的服務器上面進行對流數(shù)據(jù) 的處理，一般就是臨時性的保存。錄像的起始時間，以及文件的存儲時間間隔需要由錄像配置計劃來進行決定，這在一定程度上解決了文件過大的情況，具有一定的優(yōu)勢。這樣就能夠使H.264文件的大小得以控制，控制在HDFS所限制的64M以內，這樣數(shù)據(jù)不會被切割，也避免轉碼之后需要進行數(shù)據(jù)合并。在MapTask階段就能實現(xiàn)數(shù)據(jù)的轉碼，提升轉碼的效率，最后生成AVI格式的視頻文件[12]。MapReduce應用的輸入是存儲在HDFS上的H.264文件，因為錄像配置的存在，將一個H.264文件作為單獨的一個map輸入，所有的H.264文件己經是一個單獨的邏輯分割，不需要再對它進行切割，保證了一個視頻數(shù)據(jù)的完整性。FilelnputFormat將單獨的輸入文件和系統(tǒng)塊的大小作為逆輯分割的依據(jù)，只需在FilelnputFormat的子類中覆寫isSplitableO方法，將返回結果置為為false，即可達到將一個單獨的H.264作為一個邏輯分割的目的，每一個邏輯分割是一個FileSplit，一個FileSplit是一個結構體類。將H.264文件作為一個單獨的邏輯分割之后，我們就可以自己設計FilelnputFormat來操作H.264文件，然后對文件按頓進行讀取，傳輸?shù)睫D碼分析模塊，完成H.264格式到AVI格式的轉化[13]。

圖5 分布式轉碼流程圖

5 結束語

人們已經進入了大數(shù)據(jù)時代，而且大數(shù)據(jù)對人們生產生活產生了重大影響，通過對大數(shù)據(jù)的處理流程進行了解，對于以后運用大數(shù)據(jù)技術處理相關問題有著非常重要的幫助。而且我國視頻監(jiān)控領域存在一定的不足，有很多方面可以結合大數(shù)據(jù)技術。大數(shù)據(jù)技術能夠有效提升視頻監(jiān)控信息的處理效率，而且視頻監(jiān)控運用大數(shù)據(jù)技術也是以后的一大發(fā)展方向，這樣對于提高我國視頻監(jiān)控水平有著深遠意義。

[1] 邵振峰, 蔡家駿, 王中元, 等. 面向智能監(jiān)控攝像頭的監(jiān)控視頻大數(shù)據(jù)分析處理[J]. 電子與信息學報, 2017, 39(5): 1116-1122.

[2] 黃鐵軍, 鄭錦, 李波, 等. 多媒體技術研究: 2013——面向智能視頻監(jiān)控的視覺感知與處理[J]. 中國圖象圖形學報, 2014, 19(11): 1539-1562.

[3] 劉云恒, 劉耀宗. 基于Hadoop的公安視頻大數(shù)據(jù)的處理方法[J]. 計算機科學, 2016, 43(s1): 448-451+475.

[4] 徐愛萍, 王波, 徐武平. HBase中基于時空特征的監(jiān)測視頻大數(shù)據(jù)關聯(lián)查詢研究[J]. 計算機應用研究, 2017, 34(5): 1423-1427.

[5] 崔凌云, 劉春玲, 魏榮華. 大數(shù)據(jù)技術在船舶監(jiān)控系統(tǒng)數(shù)據(jù)管理中的應用[J]. 艦船科學技術, 2018, 40(04): 142-144.

[6] 管皓, 薛向陽, 安志勇. 深度學習在視頻目標跟蹤中的應用進展與展望[J]. 自動化學報, 2016, 42(6): 834-847.

[7] 許粲羚, 趙虹. 智能技術在新能源工程管理中的應用前景[J]. 中國電力, 2016(s1): 166-168.

[8] 周國亮, 朱永利, 王桂蘭, 等. 實時大數(shù)據(jù)處理技術在狀態(tài)監(jiān)測領域中的應用[J]. 電工技術學報2014, 29(S1): 432-437.

[9] 趙軍鋒, 莊懷東, 趙亮, 等. 大規(guī)模數(shù)據(jù)并發(fā)環(huán)境下視頻監(jiān)控系統(tǒng)的研究與實現(xiàn)[J]. 都市快軌交通, 2016, 29(6): 11-15.

[10] Ding S, Li G, Li Y, et al. SurvSurf: human retrieval on large surveillance video data[J]. Multimedia Tools & Applications, 2017, 76(5): 6521-6549.

[11] Shang Q, Zhang S, Wang Y, et al. Efficient large-scale graph data optimization for intelligent video surveillance[C]// 2017: 012091.

[12] 張忠琳, 黃炳良. 基于openstack云平臺的docker應用[J]. 軟件, 2014, 35(11): 73-76.

[13] 程陳. 大數(shù)據(jù)挖掘分析[J]. 軟件, 2014, 35(04): 130-131.

Application of Big Data Technology in Video Monitoring

CHEN Yan, QIN Ji-min, LIN Bi-yi

(Shenzhen Saiwei Intelligent Co., Ltd., Shenzhen, Guangdong 518000)

The development of information technology in China is very rapid, which improves the level of video monitoring in China to some extent. The concept of large data is becoming more and more known, in which large data technology is an advanced information technology, can effectively handle large data. Video monitoring will produce a large number of data information, the processing of this information is a difficult task, the application of large data technology to video surveillance will enhance the efficiency of the field. Large data technology has been applied in the field of video surveillance in China, which has far-reaching influence on video surveillance. Based on the application experience of large data technology, this paper analyzes the application of large data technology in video surveillance, and provides reasonable and effective suggestions for improving the level of video surveillance in China.

Large data; Technology; Video surveillance

TP274

A

10.3969/j.issn.1003-6970.2018.11.017

2015年技術開發(fā)項目“基于海量視頻數(shù)據(jù)的視頻監(jiān)控應用系統(tǒng)”(項目編號：CXZZ20150402115235001)

陳雁(1975-)，女，高級工程師，博士，研究方向：計算機視覺、人臉識別、智能視頻監(jiān)控；卿濟民(1963-)，男，高級工程師，博士，國家一級注冊建造師，研究方向：軌道交通、節(jié)能領域、人工智能、神經網絡技術；林必毅(1974-)，男，高級工程師，本科，研究方向：自動控制、軌道交通、節(jié)能領域、人工智能、神經網絡技術。

陳雁，卿濟民，林必毅. 大數(shù)據(jù)技術在視頻監(jiān)控中的應用[J]. 軟件，2018，39（11）：72-76