張元鳴，虞家睿,陸佳煒，高 飛，肖 剛

(浙江工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

1 引言

視頻設(shè)備被廣泛應(yīng)用于公共區(qū)域、智慧城市和智慧工廠等許多領(lǐng)域，其產(chǎn)生的視頻數(shù)據(jù)具有體量巨大、速度極快、價值稀疏和完全非結(jié)構(gòu)化等典型大數(shù)據(jù)特征[1,2]。與此同時，視頻數(shù)據(jù)中蘊含了豐富的有價值的信息，如根據(jù)電梯視頻數(shù)據(jù)可以進行乘客數(shù)統(tǒng)計、不文明乘梯檢測和運行異常報警等。由于視頻數(shù)據(jù)體量巨大，如何提高處理性能以快速執(zhí)行視頻分析成為視頻大數(shù)據(jù)面臨的難題。

為了提高視頻數(shù)據(jù)處理的性能，研究者提出了一些視頻大數(shù)據(jù)并行處理框架。Tan等[3]提出了一種將視頻數(shù)據(jù)放至Hadoop分布式框架上作多節(jié)點檢測以提升運算效率的計算平臺，詳細比較了不同節(jié)點與文件大小的效率差異；Lü等[4]通過Spark云計算平臺進行分布式存儲，引入CaffeOnSpark提供深度學(xué)習(xí)支持，通過層次特征完成人臉并行分類計算；葉鋒等[5]提出一種將方向梯度直方圖HOG(Histogram of Oriented Gradient)特征檢測與Spark大數(shù)據(jù)框架相結(jié)合，并輔以射頻識別技術(shù)實現(xiàn)車輛計數(shù)的方法；張洪等[6]通過將幀差法與Spark分布式框架相結(jié)合，利用多節(jié)點的方式實現(xiàn)車流量并行統(tǒng)計；王麗園[7]通過將電梯監(jiān)控數(shù)據(jù)與分布式框架相結(jié)合，利用在線學(xué)習(xí)算法對電梯運行狀態(tài)進行高效監(jiān)測。但是，這些研究側(cè)重于視頻并行處理框架的設(shè)計與實現(xiàn)，并未針對算法的特點給出相應(yīng)的并行策略，制約了視頻數(shù)據(jù)處理性能的進一步提升。

在視頻數(shù)據(jù)處理優(yōu)化方面，研究者們也進行了相關(guān)研究。鄭健等[8]將流式計算和在線分析處理OLAP(On-Line Analytical Processing)框架相結(jié)合，提出了一種基于流式計算的實時視頻分析方法，對海量視頻數(shù)據(jù)進行高效的實時查詢；李海躍等[9]提出了將視頻轉(zhuǎn)化為圖像集，通過比較曼哈頓距離的方式去冗余幀以提高查詢效率；張曉宇等[10]提出了基于融合特征的關(guān)鍵幀提取方法；Lü等[11]通過對比顏色名稱CN(Color Name)、尺度不變特征變換SIFT(Scale Invariant Feature Transform)和局部最大發(fā)生LOMO(Local Maximal Occurrence)3種圖像特征提取圖像關(guān)鍵信息，并結(jié)合分布式框架完成圖像檢測。然而，以上研究僅適用于幀間無關(guān)分析算法，不適用于幀間相關(guān)分析算法。由于幀間相關(guān)算法存在前后幀依賴關(guān)系，無法直接通過去冗余幀等方法提高性能，也無法用簡單的節(jié)點拆分進行并行化。

為了進一步提高視頻大數(shù)據(jù)處理性能，滿足視頻大數(shù)據(jù)性能需求，本文提出了基于Spark Streaming的視頻大數(shù)據(jù)并行處理方法，其主要貢獻包括：

(1)針對幀間無關(guān)分析算法，提出基于數(shù)據(jù)并行機制的視頻大數(shù)據(jù)并行處理策略，將視頻數(shù)據(jù)轉(zhuǎn)換為字節(jié)型數(shù)據(jù)，然后將各個字節(jié)型數(shù)據(jù)劃分到不同的節(jié)點上并行處理。

(2)針對幀間相關(guān)分析算法，提出基于流水線并行機制的視頻大數(shù)據(jù)并行處理策略，建立算子之間的依賴關(guān)系，將各個算子分別映射到不同節(jié)點以流水線的方式重疊執(zhí)行。

(3)以電梯視頻大數(shù)據(jù)為例，對典型視頻分析算法進行了并行化，通過實驗證明2種策略在Spark Streaming框架上能夠獲得更高的處理性能。

2 視頻大數(shù)據(jù)并行處理框架

Spark是一個基于MapReduce并行計算框架的開源實現(xiàn)[12]，由美國加州大學(xué)伯克利分校AMPLab實驗室開發(fā)，基于內(nèi)存計算對數(shù)據(jù)讀寫過程進行優(yōu)化，具有更小的I/O開銷，支持批處理、迭代計算、交互式查詢和流處理等多種計算模式。彈性分布式數(shù)據(jù)集RDD(Resilient Distributed Dataset)是Spark最基本的抽象概念，它提供了一種共享內(nèi)存式的并行運算，將數(shù)據(jù)加載到內(nèi)存中，使得不同的RDD之間存在一定的依賴關(guān)系。

Spark Streaming是Spark框架的實時流處理組件[13]，其采用了一種新的離散流處理模型，計算流程是將數(shù)據(jù)流以時間片為單位進行切割形成彈性分布式數(shù)據(jù)集RDD，隨后通過Spark引擎將數(shù)據(jù)集經(jīng)過處理得到的中間結(jié)果保存在內(nèi)存中,最后再根據(jù)業(yè)務(wù)需求對中間結(jié)果進行疊加或存儲到外部設(shè)備。Spark Streaming流處理的基本模型如圖1所示。

Figure 1 Spark Streaming processing model圖1 Spark Streaming流處理模型

為了提高視頻數(shù)據(jù)處理的實時性，本文設(shè)計了基于Spark Streaming的視頻大數(shù)據(jù)處理框架，其層次結(jié)構(gòu)如圖2所示，該框架包括數(shù)據(jù)分發(fā)層、數(shù)據(jù)傳輸層、數(shù)據(jù)處理層和數(shù)據(jù)應(yīng)用層：

(1)數(shù)據(jù)分發(fā)層：該層用來采集與分發(fā)各攝像頭的視頻數(shù)據(jù)，通過4G/5G或有線網(wǎng)絡(luò)將視頻傳入Kafka消息隊列作為消息生產(chǎn)者，根據(jù)視頻線路將數(shù)據(jù)分發(fā)至不同的傳輸層節(jié)點。

(2)數(shù)據(jù)傳輸層：該層用于傳輸解碼后的視頻幀序列，通過Receiver接收視頻數(shù)據(jù)流，使用Broker代理節(jié)點對消息進行緩存與傳輸，為每路視頻數(shù)據(jù)設(shè)置相應(yīng)的主題，每個代理節(jié)點根據(jù)主題的不同將視頻數(shù)據(jù)傳輸至不同的處理層區(qū)域。

Figure 3 Parallelization of inter-frame independent video analysis圖3 幀間無關(guān)視頻分析算法并行化方法

Figure 2 Video big data processing framework based on Spark Streaming圖2 基于Spark Streaming的視頻大數(shù)據(jù)處理框架

(3)數(shù)據(jù)處理層：該層對視頻流數(shù)據(jù)解碼并分析，通過流處理的方式將數(shù)據(jù)流轉(zhuǎn)譯成字節(jié)數(shù)組，以字節(jié)流形式生成RDD數(shù)據(jù)集[14]，通過Spark Streaming對各個RDD并行處理，根據(jù)視頻分析算法采用不同的并行策略，隨后通過視頻算法對數(shù)據(jù)進行分析，將分析結(jié)果傳入數(shù)據(jù)應(yīng)用層。

(4)數(shù)據(jù)應(yīng)用層：該層用于展示視頻處理與分析的結(jié)果，設(shè)置相應(yīng)的功能模塊，為用戶提供統(tǒng)一的可視化界面。

3 視頻大數(shù)據(jù)并行處理策略

根據(jù)視頻幀之間的相關(guān)性，典型的視頻分析算法可以被劃分為幀間無關(guān)分析算法與幀間相關(guān)分析算法[3]。幀間無關(guān)分析算法不需要考慮前后幀的依賴關(guān)系，可以獨立處理各個視頻幀，例如目標(biāo)檢測等屬于此類算法的應(yīng)用范圍；幀間相關(guān)分析算法則需要考慮前后幀的依賴關(guān)系，需要分析連續(xù)的視頻幀才能得出結(jié)果，例如目標(biāo)跟蹤、背景差分等屬于此類算法的應(yīng)用范圍。針對以上2種類型的視頻分析算法，本文給出不同的并行化策略。

3.1 幀間無關(guān)分析算法并行化

由于幀間無關(guān)分析算法不存在前后幀依賴關(guān)系，因此本文采用數(shù)據(jù)級并行機制對分析算法并行化。為了使視頻分析算法與Spark Streaming框架相兼容，本文使用JavaCV作為視頻幀分析算法庫，先對視頻流進行解碼，將視頻解析成視頻幀，緩存到內(nèi)存中；將視頻幀轉(zhuǎn)化成字節(jié)數(shù)組，提取幀的長寬和顏色信息生成對應(yīng)的圖像數(shù)據(jù)結(jié)構(gòu)，再轉(zhuǎn)化為字節(jié)數(shù)組作為輸入數(shù)據(jù)流；將數(shù)據(jù)流寫入隊列，構(gòu)建分布式視頻流數(shù)據(jù)所特有的格式JavaDStream，視頻幀被轉(zhuǎn)化為JavaRDD，同時每幀數(shù)據(jù)都由字節(jié)數(shù)組構(gòu)成；將JavaDStream流數(shù)據(jù)格式轉(zhuǎn)換為鍵值對數(shù)據(jù)，并控制視頻流處理的速度，各個鍵值對數(shù)據(jù)并行地在各個節(jié)點處理，最終輸出分析結(jié)果。在分配集群資源時，盡量將壓力較大的節(jié)點上的Receiver接收器分配至空閑的節(jié)點上[15]。幀間無關(guān)分析算法并行化方法如圖3所示，圖中不同節(jié)點表示視頻流處理過程中格式轉(zhuǎn)化過程，其中n表示數(shù)據(jù)流中總視頻幀數(shù)。

為了去除冗余幀來提升視頻處理性能，可結(jié)合幀差法捕捉關(guān)鍵幀。幀差提取法是一種常用的去冗余幀算法[16]，通過幀差法可在視頻流傳入消息分發(fā)系統(tǒng)前進行關(guān)鍵幀的篩選，當(dāng)畫面變動超出閾值時，將視頻幀傳入Kafka中進行分發(fā)，以此減少視頻幀處理數(shù)量。

3.2 幀間相關(guān)分析算法并行化

幀間相關(guān)分析算法要求依次處理各視頻幀才能得到正確的結(jié)果。為此，本文給出一種基于流水線并行機制的幀間相關(guān)分析算法并行化方法，將分析算法的各個步驟抽象為算子，建立算子之間的依賴關(guān)系，并基于算子間的依賴關(guān)系在Spark Streaming上以流水線并行機制執(zhí)行。

Figure 5 Parallelization of video background difference algorithm圖5 視頻背景差分算法并行化方法

視頻背景差分算法屬于典型的幀間相關(guān)分析算法，其包括8個算子，這些算子之間的依賴關(guān)系如圖4所示。根據(jù)該依賴圖，顏色濾鏡(cvtColor)算子、背景創(chuàng)建(create)算子、格式轉(zhuǎn)換(convertTo)算子可以并行執(zhí)行，前后幀相減(Absdiff)算子和閾值判定(threshold)算子須串行執(zhí)行，輸出視頻幀分析結(jié)果。根據(jù)視頻分析算法內(nèi)各個算子之間的依賴關(guān)系，對視頻分析算法進行并行化。

Figure 4 Dependency diagram between operators in the video background difference algorithm圖4 背景差分算法內(nèi)算子間的依賴關(guān)系圖

圖5給出了背景差分算法并行化方法，將顏色濾鏡、背景創(chuàng)建、格式轉(zhuǎn)換、大律法和格式轉(zhuǎn)換5個算子作為子任務(wù)，為其分配獨立的計算資源，以分節(jié)點方式并行執(zhí)行。由于背景差分算法需要前后幀相減得出結(jié)果，因此通過同步算子將視頻幀重新序列化，使其在之后的節(jié)點按序串行執(zhí)行，經(jīng)過前后幀相減算子與閾值判定算子后輸出結(jié)果。

上述以背景差分視頻算法為例給出了幀間相關(guān)視頻算法并行化過程。對于一般的幀間相關(guān)視頻分析算法而言，提取算子的基本策略是對算法內(nèi)部的關(guān)鍵步驟進行分析并劃分，將劃分得到的關(guān)鍵步驟提取為算子，然后建立算子之間的數(shù)據(jù)流依賴關(guān)系；在輸出分析結(jié)果時，如果需要同步算子的輸出，則插入同步算子Absdiff以確保算法的正確性。在算子抽取過程中，盡可能地提取細粒度的算子，以增加視頻分析算法的并行度。

4 實驗方案與評價

電梯是人們?nèi)粘Ｉ钪兄匾慕煌ㄔO(shè)備，為了提升電梯的安全性，不少電梯都配置了監(jiān)控設(shè)備，其產(chǎn)生的數(shù)據(jù)具有典型的大數(shù)據(jù)特征。本文以電梯乘客數(shù)檢測算法和電梯門開關(guān)檢測算法為例對視頻大數(shù)據(jù)處理并行化方法進行評價，前一個是幀間無關(guān)分析算法，后一個是幀間相關(guān)分析算法。

實驗環(huán)境是具有16個結(jié)點的集群，每個結(jié)點為8核CPU，內(nèi)存16 GB，帶寬50 Mbps，操作系統(tǒng)為Ubuntu 16.01，集群上部署了Spark-2.3.1，開發(fā)環(huán)境是Java JDK 8.0,在OpenCV 3.3.0上編寫程序，使用JavaCV 1.4.2進行語言轉(zhuǎn)化。電梯監(jiān)控視頻共32段，每個視頻時長38 min，測試用視頻大小約為8.28 GB，總時長約為6.5 h，視頻大小為1280×720，幀率為24 f/s。

4.1 電梯乘客數(shù)并行檢測算法

電梯乘客數(shù)檢測算法采用Haar特征對圖像進行特征提取與識別[17]，讀入視頻時將視頻數(shù)據(jù)解析成為圖像數(shù)據(jù)，轉(zhuǎn)換為字節(jié)數(shù)組，通過Spark Streaming中的Parallelize方法將字節(jié)數(shù)組劃分為RDD作為處理對象。

視頻字節(jié)數(shù)據(jù)流作為電梯乘客數(shù)檢測算法的輸入，分析時將電梯編號作為Key值，RDD作為Value值，生成流數(shù)據(jù)鍵值對；以Rect為單位，將鍵值對數(shù)據(jù)中的RDD數(shù)據(jù)用列表形式存儲，用以記錄每幀數(shù)據(jù)中檢測到乘客的位置與數(shù)目，在提取圖像像素值后對像素顏色進行灰度化并對其進行圖像預(yù)處理，以降低光照變化對其產(chǎn)生的影響；調(diào)用訓(xùn)練所得的分類器并配合機器學(xué)習(xí)檢測方法檢測此時圖像中的乘客目標(biāo)；將檢測所得的乘客位置放入Rect列表中，提取列表長度作為檢測到的人數(shù)；最終在后臺記錄檢測后生成鍵值對數(shù)據(jù)流，檢測出每路視頻中的乘客數(shù)。電梯視頻乘客數(shù)檢測效果如圖6所示。

Figure 6 Elevator passenger detection effect圖6 電梯乘客數(shù)檢測效果

檢測算法采用Haar分類器檢測，訓(xùn)練樣本包括8 235個正樣本和37 885個負樣本，其中正樣本截取自電梯環(huán)境下拍攝的乘客頭肩部分，負樣本源自各種電梯環(huán)境和乘客物品；在保證準(zhǔn)確度的情況下，設(shè)置訓(xùn)練層數(shù)為21層，每層正樣本數(shù)為1 500，負樣本數(shù)為3 000，子節(jié)點分裂數(shù)為2次。

在Spark Streaming集群上基于數(shù)據(jù)并行化策略對電梯乘客數(shù)檢測算法進行了并行化，實驗結(jié)果如圖7所示?？梢钥闯?，對于不同的視頻數(shù)據(jù)量，并行化方法都能夠有效地提高性能：當(dāng)數(shù)據(jù)量為5 GB時，結(jié)點數(shù)為2,5,10,16的性能分別比結(jié)點數(shù)為1時的性能提高了178%,260%,463%,658%；當(dāng)數(shù)據(jù)量為8 GB時，結(jié)點數(shù)為2,5,10,16的性能分別比結(jié)點數(shù)為1時的性能提高了176%,248%,471%,615%。

Figure 7 Execution time of elevator passenger parallel detection algorithm圖7 電梯乘客數(shù)并行檢測算法的執(zhí)行時間

另一方面，當(dāng)視頻數(shù)據(jù)大小一定時，隨著結(jié)點數(shù)的增加，集群的分析性能并沒有呈線性增長。其原因在于結(jié)點數(shù)增加后結(jié)點間的數(shù)據(jù)傳輸開銷增大，同時部分視頻幀計算量大于其它視頻幀，如部分視頻幀中人數(shù)較多，計算量較大，使得分區(qū)出現(xiàn)負載不平衡。

為了便于研究算法中各模塊性能，本文進一步分析了視頻數(shù)據(jù)處理各環(huán)節(jié)所消耗時間，如圖8所示。以視頻數(shù)據(jù)量8 GB為例，從圖8中可以看出，數(shù)據(jù)分發(fā)與人頭檢測占用了算法絕大部分時間，分別占到分析時間的30.9%和39.2%，其次是關(guān)鍵幀提取，占分析時間的26.9%，最后人頭特征提取與數(shù)據(jù)存儲所占時間最少，分別占1.8%和1.2%。

Figure 8 Execution time of each module duringparallel detection of elevator passenger number圖8 電梯乘客數(shù)并行檢測各模塊執(zhí)行時間

針對視頻優(yōu)化算法，本文測試了關(guān)鍵幀提取操作對電梯乘客數(shù)并行檢測算法性能的影響，圖9給出了實驗結(jié)果?？梢钥闯?，當(dāng)結(jié)點數(shù)與視頻數(shù)據(jù)大小一定時，關(guān)鍵幀提取能夠有效地提升性能。例如，當(dāng)數(shù)據(jù)量為8 GB，結(jié)點數(shù)為5時，通過關(guān)鍵幀提取性能提高了123%，結(jié)點數(shù)為16時，通過關(guān)鍵幀提取性能提高了105%。結(jié)點數(shù)增加時，由于分布式系統(tǒng)的通信開銷增加，導(dǎo)致性能提升會小于結(jié)點數(shù)較少時；對于進出人數(shù)較少的視頻幀，關(guān)鍵幀提取的效果明顯高于進出頻繁的視頻幀。

Figure 9 Key frame extraction timefor parallel detection of elevator passenger number圖9 電梯乘客數(shù)并行檢測關(guān)鍵幀提取執(zhí)行時間

4.2 電梯門開關(guān)異常并行檢測算法

電梯門開關(guān)異常檢測算法使用背景差分法檢測電梯門開關(guān)情況。將視頻數(shù)據(jù)解析為圖像數(shù)據(jù)，并生成對應(yīng)的灰度圖像，把前一幀的圖像作為前景與背景，對后一幀的圖像進行灰度轉(zhuǎn)換，并將前后幀分別轉(zhuǎn)化為浮點數(shù)格式；隨后使用大律法算法對前后幀進行直方圖計算，選取全局閾值，按照時間戳對視頻幀進行同步，確保視頻幀按照時間順序進行后續(xù)處理。在處理完成后使用差分算子將視頻流前后幀相減，若得到的值超過設(shè)定的閾值threshold，則判定電梯門正在開關(guān)；若得到的值小于設(shè)定的閾值threshold，則判定電梯門已經(jīng)關(guān)閉，此處閾值為經(jīng)驗值，實驗中設(shè)為30像素。實驗效果如圖10所示，當(dāng)有異物或乘客擋住電梯門時，監(jiān)控視頻會馬上報警提示后臺。從實驗中可以看出，在電梯轎廂內(nèi)的多種環(huán)境下，該算法的誤檢率與漏檢率均在3%以下，延時率較低，且對于背景干擾、光照干擾和抖動干擾等該算法都具有一定的適應(yīng)性，擁有較好的泛化能力，可以滿足一般場景下的電梯監(jiān)測需求。

Figure 10 Elevator door switch abnormality detection圖10 電梯門開關(guān)異常檢測效果圖

在Spark Streaming集群上基于流水線任務(wù)并行化策略對電梯門開關(guān)異常檢測算法進行并行化處理，實驗結(jié)果如圖11所示?？梢钥闯觯瑢τ诓煌囊曨l數(shù)據(jù)量，并行化方法均能夠有效地提高性能：當(dāng)數(shù)據(jù)量為5 GB時，結(jié)點數(shù)為2,5,10,16的性能分別比結(jié)點數(shù)為1時的性能提高了137%,164%,211%,259%；當(dāng)數(shù)據(jù)量為8 GB時，結(jié)點數(shù)為2,5,10,16的性能分別比結(jié)點數(shù)為1時的性能提高了143%,161%,238%,253%。當(dāng)結(jié)點數(shù)目增加時，并行檢測算法的性能提升趨向緩慢，其原因是由于結(jié)點間數(shù)據(jù)傳輸開銷以及關(guān)鍵步驟同步開銷所引起的部分計算串行化。

Figure 11 Execution time of elevator door switch abnormality parallel detection algorithm圖11 電梯門開關(guān)異常并行檢測算法執(zhí)行時間

針對幀間相關(guān)分析算法，將流水線任務(wù)并行化策略與現(xiàn)有的分段式并行策略[18]進行對比,實驗結(jié)果如圖12所示。從圖12中可以看出，當(dāng)結(jié)點數(shù)為10時，2種并行化方法均能有效提高視頻分析效率，且流水線任務(wù)并行化方式明顯優(yōu)于視頻流分段并行化方式，當(dāng)文件大小相同時，流水線任務(wù)并行化分析效率同比視頻流分段并行高出190%～290%。當(dāng)視頻數(shù)據(jù)量較大時，分階段任務(wù)并行化策略能有效避免傳統(tǒng)的視頻分段造成的負載不均衡問題，防止通信限制與負載不均導(dǎo)致分析效率出現(xiàn)大幅下降。

Figure 12 Execution time comparison of inter-frame correlation parallel algorithm圖12 幀間相關(guān)并行算法執(zhí)行時間比較

5 結(jié)束語

為了提高視頻大數(shù)據(jù)的處理性能，本文設(shè)計了基于Spark Streaming的視頻大數(shù)據(jù)并行處理框架，包括視頻數(shù)據(jù)的分發(fā)層、傳輸層、處理層和應(yīng)用層。根據(jù)視頻處理算法的特點，結(jié)合數(shù)據(jù)級并行化機制與流水線并行化機制，分別給出了面向視頻幀間無關(guān)算法的數(shù)據(jù)并行優(yōu)化策略和面向視頻幀間相關(guān)算法的流水線任務(wù)并行化策略。以電梯視頻大數(shù)據(jù)為例，采用幀間無關(guān)的電梯乘客數(shù)檢測算法和幀間相關(guān)的電梯門異常檢測算法對并行化方法進行了評價，結(jié)果表明，本文提出的并行化方法能夠快速提高視頻大數(shù)據(jù)的處理性能，隨著結(jié)點數(shù)的增加性能得到有效提升。本文提出的視頻大數(shù)據(jù)并行框架也可以應(yīng)用于其它視頻領(lǐng)域，如智能交通、視頻安監(jiān)和工業(yè)視頻等領(lǐng)域，以提高視頻分析的總體性能。