李澤華

（武警重慶總隊，重慶 401147）

0 引言

隨著科學技術(shù)的不斷進步和國家平安城市、雪亮工程、智慧城市建設(shè)等政策的大力推動，視頻監(jiān)控已經(jīng)從專業(yè)領(lǐng)域普及到大街小巷，被廣泛應(yīng)用于社會治安、道路交通、智能家居等場景，為維護社會穩(wěn)定、保障安全生產(chǎn)生活提供了有力幫助[1]。根據(jù)美國知名研究機構(gòu)IHS提供的數(shù)據(jù)，2021年后全世界將有超過10億支監(jiān)控攝像頭全時工作，其中50%的監(jiān)控探頭坐落在中國[2]。當前部署的視頻監(jiān)控系統(tǒng)具有同步監(jiān)視和遠程控制等功能，可根據(jù)時間、地點、人物等信息進行調(diào)閱查看，但實時監(jiān)管、影像回放、發(fā)出警報等系列動作一般由專人操作，智能化程度還不夠高。隨著監(jiān)控設(shè)備和監(jiān)控對象的不斷增加，監(jiān)控視頻數(shù)據(jù)呈指數(shù)級增長，人為操作不僅耗費大量人力、物力和財力，而且極有可能出現(xiàn)遲報、漏報、誤報等情況，難以做到全時監(jiān)控預(yù)警，不能滿足現(xiàn)代社會對視頻監(jiān)控系統(tǒng)日益增長的需求[3-4]。

近年來，得益于計算機性能、GPU加速技術(shù)的快速發(fā)展和提升，深度學習網(wǎng)絡(luò)展現(xiàn)出優(yōu)異的特性，在自然語言、時間序列、計算機視覺等任務(wù)中取得了較好成績。LeNet、AlexNet、VGG、GoogleNet、ResNet等各種不同結(jié)構(gòu)的深度學習網(wǎng)絡(luò)被相繼提出，網(wǎng)絡(luò)結(jié)構(gòu)從5層、8層、19層、22層，增加到上百層，大幅提升了學習預(yù)測能力，識別精度和時間成本也有了較大改善，特別是CNN模型中手寫數(shù)字識別準確率最高達到了98%，為實現(xiàn)視頻監(jiān)控全時預(yù)警提供了思路[5]。受暴力視頻檢測啟發(fā)[6]，本文擬將監(jiān)控視頻細分為不同的場景，利用預(yù)先訓練好的深度學習網(wǎng)絡(luò)模型對監(jiān)控視頻進行特征提取、分類預(yù)測，形成預(yù)警信息后推送至監(jiān)控視頻調(diào)度中心。

1 監(jiān)控視頻處理現(xiàn)狀

視頻監(jiān)控一般利用安裝部署的攝像頭采集監(jiān)控區(qū)域內(nèi)的圖像、聲音等視頻信息，并通過有線或無線等方式將視頻信息傳輸?shù)奖O(jiān)控中心。目前，視頻監(jiān)控正朝著數(shù)字化、網(wǎng)絡(luò)化、高清化以及智能化的方向發(fā)展，安裝、部署和運用涉及計算機多媒體技術(shù)、編碼壓縮技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)、存儲技術(shù)等多項技術(shù)。但監(jiān)控視頻處理面臨攝像頭質(zhì)量、存儲傳輸、數(shù)據(jù)冗余等諸多方面的問題，特別是越來越多的高清攝像頭拍攝的監(jiān)控視頻對軟硬件條件提出了更高要求，不斷考驗網(wǎng)絡(luò)帶寬和服務(wù)器的承載能力，增加了視頻監(jiān)控系統(tǒng)的安裝、部署、使用和維護成本[7-9]。監(jiān)控視頻信息量較大、冗余度較高，存儲傳輸需要占用較大帶寬和存儲空間。以存儲傳輸為例，一部按PAL制編碼記錄60分鐘的電影，如果分辨率為640X480、場頻50Hz、每個像素24bit，則每秒數(shù)據(jù)量約為369Mb，60分鐘電影的數(shù)據(jù)量高達1 328 400Mb，且60分鐘內(nèi)可能只有幾分鐘甚至只有幾秒鐘的信息是需要進行處理的異常情況。加之，受存儲介質(zhì)容量和容易發(fā)生故障等因素影響，監(jiān)控視頻需定期覆蓋原有存儲空間，且必須進行一次或多次備份，后期調(diào)閱查看較為困難[10]。

監(jiān)控視頻處理大致可分為視頻信號處理和監(jiān)控視頻內(nèi)容分析。視頻信號處理主要對像素或像塊進行處理，不涉及視頻內(nèi)容，主要是為視頻內(nèi)容分析提供清晰、連續(xù)的高質(zhì)量信源。目前視頻采集、濾波、壓縮、存儲、去噪、增強、傳輸?shù)瘸Ｒ?guī)處理技術(shù)已趨成熟，但供更多圖像細節(jié)的高動態(tài)范圍（HDR）視頻圖像的均衡，提高視頻圖像空間分辨率的超分辨率重建，對霧天、暗光、遮擋等多種受損圖像的處理，去除傳輸引起的幀間抖動等內(nèi)容還需進一步完善。監(jiān)控視頻內(nèi)容分析包括場景分割、前后景分離，目標檢測和跟蹤，人臉/車牌識別，人流/車流統(tǒng)計等。文獻［11-14］中，利用均值漂移算法、卡爾曼濾波算法和粒子濾波算法等方法進行了積極有益的探索，但對包括天氣、溫度、光線的自然因素干擾，監(jiān)控視頻內(nèi)畫面相互遮擋，不同類型的人和行為姿態(tài)等具體問題還需要進一步研究。

2 深度學習網(wǎng)絡(luò)發(fā)展現(xiàn)狀

深度學習是一種模擬生物大腦運行和處理信息的神經(jīng)網(wǎng)絡(luò)算法，主要通過多層網(wǎng)絡(luò)結(jié)構(gòu)變換，將提取的原始數(shù)據(jù)或初始特征進行重新組合，形成更加抽象的高層特征，能對數(shù)據(jù)進行較好的本質(zhì)刻畫、層次化表達與特征提取。Hinton及其合作者設(shè)計的深度學習模型AlexNet在2012年ImageNet圖像識別大賽中一舉奪冠，谷歌公司基于深度學習開發(fā)的AlphaGo以4：1的比分戰(zhàn)勝世界頂級棋手李世石，吸引了學術(shù)界和工業(yè)界對于深度學習的廣泛關(guān)注，并將深度學習的熱度推向了高峰。深度學習網(wǎng)絡(luò)通常包括輸入層、隱藏層和輸出層等網(wǎng)絡(luò)結(jié)構(gòu)，輸入信息經(jīng)過每一層網(wǎng)絡(luò)結(jié)構(gòu)時都做一次數(shù)學擬合，通過多層網(wǎng)絡(luò)疊加后，輸出無限逼近目標的結(jié)果。目前，卷積神經(jīng)網(wǎng)絡(luò)（CNN）[15]、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）[16]、循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）[17]、對抗神經(jīng)網(wǎng)絡(luò)（GAN）[18]等深度學習網(wǎng)絡(luò)被廣泛應(yīng)用于計算機視覺、語音識別、自動駕駛、自然語言處理領(lǐng)域，取得了較高的識別精度，性能遠超其他機器學習技術(shù)。

不同的深度學習網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)差異較大，適用場景不盡相同。卷積神經(jīng)網(wǎng)絡(luò)由多層感知機演 變而來，包括LeNet、AlexNet、ResNet、VGGNet、GoogleNet等典型網(wǎng)絡(luò)，主要應(yīng)用于計算機視覺、模式識別等領(lǐng)域。其權(quán)值共享和局部連接策略使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程，減少權(quán)值數(shù)量，降低網(wǎng)絡(luò)模型的復(fù)雜度，但無法對時間序列上的變化進行建模。循環(huán)神經(jīng)網(wǎng)絡(luò)包括RNN、LSTM、GRU基本類型，在語音識別、語言模型、機器翻譯、視頻標記等領(lǐng)域表現(xiàn)出較好的特性。其網(wǎng)絡(luò)結(jié)構(gòu)中包含用于存儲前一時刻網(wǎng)絡(luò)信息的記憶模塊，記憶模塊中的內(nèi)容連同輸入層數(shù)據(jù)一起作為下一時刻的網(wǎng)絡(luò)輸入，這一網(wǎng)絡(luò)結(jié)構(gòu)使得循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶能力，能挖掘數(shù)據(jù)中的時序信息以及語義信息。此外，深度信念網(wǎng)絡(luò)主要做深度神經(jīng)網(wǎng)絡(luò)的權(quán)值初始化工作[19]，生成對抗網(wǎng)絡(luò)主要用于樣本數(shù)據(jù)概率分布的建模[20]，深度強化學習更加注重基于環(huán)境的改變而調(diào)整自身的行為[21]。

目前性能表現(xiàn)優(yōu)異的深度學習網(wǎng)絡(luò)大多受益于海量數(shù)據(jù)訓練，也依賴于海量數(shù)據(jù)，需要大量的標注數(shù)據(jù)，才能訓練網(wǎng)絡(luò)參數(shù)，衡量學習性能，導(dǎo)致它存在無法自己推導(dǎo)出規(guī)則、無法實現(xiàn)真正的“人工智能”等問題。為解決目前主流深度學習技術(shù)所需訓練數(shù)據(jù)量大、訓練標注難于獲取、無法確定深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的問題，元學習、深度遷移學習、小樣本深度學習、神經(jīng)網(wǎng)絡(luò)構(gòu)架搜索、圖神經(jīng)網(wǎng)絡(luò)等逐漸成為未來發(fā)展的新方向。

3 預(yù)警系統(tǒng)實現(xiàn)框架

3.1 區(qū)分場景

監(jiān)控視頻應(yīng)用場景廣泛，不同的應(yīng)用場景在聲音、圖像、運動方面表現(xiàn)出較大的差異性，為提高預(yù)警系統(tǒng)報警準確率，綜合社會治安、道路交通、智能家居等應(yīng)用場景特點，將監(jiān)控視頻區(qū)分為盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場景。

盜竊搶劫一般是指犯罪嫌疑人通過門、窗等非法途徑闖入他人家中，或在室外通過扒竊、暴力等手段進行盜竊、搶奪他人財物。打架斗毆一般是指犯罪嫌疑人持刀、棍棒等兇器當街行兇，造成被害人流血、昏迷、死亡。交通事故一般是指車輛之間或者車輛與行人之間發(fā)生碰撞、擦掛，導(dǎo)致車輛受損、人員受傷。非法聚集一般是指多名人員在同一地點聚集，采取拉橫幅、喊口號等方式進行游行、靜坐、攔堵黨政機關(guān)或交通要道。應(yīng)急救援一般是指對發(fā)生的山體滑坡、道路坍塌、交通事故、行人暈倒、高空墜落等實施救援。

3.2 數(shù)據(jù)集

為建立用于訓練、測試視頻監(jiān)控預(yù)警系統(tǒng)的視頻數(shù)據(jù)集，主要采取爬蟲系統(tǒng)爬取網(wǎng)絡(luò)視頻和現(xiàn)場錄制拍攝兩種方式獲取相關(guān)視頻素材。

爬取網(wǎng)絡(luò)視頻，可以選取YouTube、嗶哩嗶哩、優(yōu)酷、騰訊等主流視頻網(wǎng)站作為爬蟲系統(tǒng)爬取的主要來源，區(qū)分盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場景，對獲取的視頻進行人工標注。把人工標注后得到的網(wǎng)絡(luò)視頻數(shù)據(jù)集作為訓練集，用于訓練神經(jīng)網(wǎng)絡(luò)模型。

錄制視頻是根據(jù)盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場景的特點，現(xiàn)場拍攝具有明顯特征的視頻。把人工標注后得到的自制視頻作為測試集，用于評估預(yù)警系統(tǒng)報警準確率。

3.3 模型訓練

在制作的網(wǎng)絡(luò)視頻、錄制視頻數(shù)據(jù)集訓練深度學習網(wǎng)絡(luò)，訓練集用于訓練，測試集用于評估深度學習網(wǎng)絡(luò)效果。每隔0.5秒抽取一次輸入視頻的幀信息，然后利用深度學習網(wǎng)絡(luò)模型提取幀一級特征，融合處理幀一級特征后，獲取輸入視頻的視頻一級特征，對視頻一級特征進行分類預(yù)測，區(qū)分非法聚集、盜竊搶劫、應(yīng)急救援、個人極端事件等場景輸出，最終預(yù)測結(jié)果。

使用平均精度（average precision，AP）以及平均精度均值（mean average precision，mAP）作為視頻監(jiān)控預(yù)警系統(tǒng)性能評價指標。

平均精度計算公式為：

N代表測試集中所有視頻的個數(shù)，P（k）表示在能識別出k個視頻時候的精確率（Precision）值。Δr（k）表示識別視頻個數(shù)從k-1變化到k時召回率（Recall）值的變化。

平均精度均值計算公式為：

C代表視頻檢測的類別數(shù)，APi代表第i類視頻的平均精度。

3.4 系統(tǒng)部署

基于深度學習的監(jiān)控視頻預(yù)警系統(tǒng)部署于服務(wù)器端，各監(jiān)控攝像頭向服務(wù)器回傳實時監(jiān)控畫面。服務(wù)器內(nèi)同步進行監(jiān)控視頻本地存儲和實時畫面上傳，完成監(jiān)控視頻特征提取、分類預(yù)測操作后，將報警信號上傳至指揮中心，完成報警任務(wù)。指揮中心接到報警信息后，及時調(diào)閱對應(yīng)的監(jiān)控畫面進行核查印證，同時將報警情況反饋給相關(guān)單位，迅速派出公安、消防、救護等人員進行處置?；谏疃葘W習的視頻監(jiān)控預(yù)警系統(tǒng)如圖1所示。

圖1 基于深度學習的視頻監(jiān)控預(yù)警系統(tǒng)

4 結(jié)語

在深度學習技術(shù)迅猛發(fā)展并不斷完善更新的背景下，針對監(jiān)控視頻處理主要依靠人工進行實時監(jiān)管、影像回放、發(fā)出警報的問題，本文將不同類型監(jiān)控視頻區(qū)分為盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場景，提出基于深度學習的視頻監(jiān)控預(yù)警系統(tǒng)，為實現(xiàn)監(jiān)控視頻自動處理提供了一種有效可行的方法。

為滿足人們對視頻監(jiān)控日益增長的要求，未來視頻監(jiān)控仍可能面臨諸多挑戰(zhàn)。一是目前得益于國家“天網(wǎng)”“雪亮”工程等項目的大力推進，城市監(jiān)控攝像頭數(shù)量飛速增長，但仍不同程度地存在盲區(qū)死角，特別是經(jīng)濟欠發(fā)達地區(qū)，農(nóng)村、水庫、國道等人員相對較少的地域，監(jiān)控攝像頭數(shù)量還嚴重不足，需加快推進建設(shè)，不斷完善補充監(jiān)控點位。二是不同的深度學習網(wǎng)絡(luò)各有所長，欠擬合、過擬合、參數(shù)調(diào)優(yōu)等方面還有進一步改進的空間，且深度學習網(wǎng)絡(luò)完全依賴數(shù)據(jù)，計算量普遍較大，對硬件需求較高，如果訓練集出現(xiàn)不平衡的情況，將很大程度上影響預(yù)測結(jié)果。三是本系統(tǒng)主要區(qū)分盜竊搶劫、打架斗毆、交通事故、非法聚集、應(yīng)急救援五種具體場景，提高行為場景細分程度可以有效提升預(yù)測準確率。未來可以在交通、物流、安防、救援等實際應(yīng)用領(lǐng)域，再具體細分為不同的場景，訓練出合適的深度學習網(wǎng)絡(luò)模型，進一步提高視頻監(jiān)控報警系統(tǒng)的報警準確率。