羅淑君，陳嘉靖

(華北水利水電大學(xué)信息工程學(xué)院，河南 鄭州 450046)

水利行業(yè)監(jiān)管缺失問題積弊很深、強(qiáng)監(jiān)管任務(wù)極其繁重，長久之計(jì)是必須推動強(qiáng)監(jiān)管常態(tài)化、規(guī)范化、法治化，向更高層次、更高水平邁進(jìn)[1-2]。“黃河流域生態(tài)保護(hù)和高質(zhì)量發(fā)展”是重大國家戰(zhàn)略。

近些年，針對各自監(jiān)控范圍或?qū)ο?，水利工作人員建立了許多監(jiān)控中心，通過監(jiān)控中心的水利視頻監(jiān)控系統(tǒng)可足不出戶對進(jìn)行遠(yuǎn)程監(jiān)控，從而對水資源開發(fā)、利用、管理、保護(hù)，實(shí)現(xiàn)水資源的合理調(diào)配[3]。通過實(shí)時(shí)監(jiān)控各個水利設(shè)施的情況，實(shí)時(shí)觀測水資源的現(xiàn)狀，可提高水資源的管理水平；同時(shí)，改善觀測、測量工作人員的工作環(huán)境，提高工作效率，真正做到無人值守、少人值班。另外，水利視頻監(jiān)控系統(tǒng)還可為防汛抗旱的指揮調(diào)度提供及時(shí)、準(zhǔn)確的決策依據(jù)[4]。

對于水利行業(yè)而言，AI視頻檢測技術(shù)已在閘門開閉檢測、決堤和漫溢檢測、人體檢測、水文監(jiān)測方面發(fā)揮重要作用[5-6]。通過對水源地、河流防洪地區(qū)和水庫等關(guān)鍵點(diǎn)的實(shí)時(shí)視頻監(jiān)控，智能系統(tǒng)能及時(shí)對可能或正在發(fā)生的汛情、險(xiǎn)情、災(zāi)情進(jìn)行動態(tài)監(jiān)視和分析報(bào)警，充分發(fā)揮視頻技術(shù)在水利信息化中的作用。

1 卷積神經(jīng)網(wǎng)絡(luò)

AI技術(shù)在個別省份或地市針對某一種技術(shù)在水利領(lǐng)域、黃河監(jiān)管中已有應(yīng)用。程誠[7]等結(jié)合實(shí)際運(yùn)行情況，設(shè)計(jì)能夠較準(zhǔn)確地獲取水資源管理對象的實(shí)時(shí)水文水資源等關(guān)鍵信息的智慧圖像處理平臺。李柯[8]等適用太陽能供電將視頻傳送會監(jiān)控中心。關(guān)曉慧[9]對監(jiān)控中心視頻數(shù)據(jù)進(jìn)行了采集編碼及分析。牟舵、劉斌[10]等人結(jié)合實(shí)際運(yùn)行情況，系統(tǒng)能夠穩(wěn)定地對水資源管理對象進(jìn)行長時(shí)間的監(jiān)控，能夠較準(zhǔn)確地獲取水資源管理對象的實(shí)時(shí)水文水資源等關(guān)鍵信息，在水利業(yè)務(wù)管理與科學(xué)決策等方面具有較大的應(yīng)用價(jià)值。基于此，本文對監(jiān)管方案進(jìn)行建設(shè)分析。

1.1 前端系統(tǒng)建設(shè)方案

將AI芯片放置在攝像機(jī)端，數(shù)據(jù)即時(shí)處理，然后輸出到后端服務(wù)器。AI視頻系統(tǒng)主要包括前端感知、傳輸、后臺顯示、控制、綜合管理平臺。前端感知的多維度、全天候、立體化和智能化是構(gòu)成智能視頻系統(tǒng)的重要基礎(chǔ)，目前主要以網(wǎng)絡(luò)攝像機(jī)為主。

目前，黃河流域生態(tài)保護(hù)、安全防控的前端視頻監(jiān)管對實(shí)時(shí)性、隱私保密性、傳輸穩(wěn)定性等要求越來越高，“AI+前端”的解決方案開始逐漸受到行業(yè)歡迎。但也存在很多問題：AI芯片成本較高，AI攝像設(shè)備較貴，是普通高清攝像頭的5～10倍；設(shè)備使用與工作環(huán)境關(guān)系較大，容易損壞和不穩(wěn)定，維護(hù)較難；一旦監(jiān)控內(nèi)容設(shè)定完成，若有變動需要逐臺設(shè)備更改，升級較為麻煩；AI視頻設(shè)備監(jiān)控內(nèi)容有限，不能隨業(yè)務(wù)變化而加入。對已存在的監(jiān)控系統(tǒng)，需要進(jìn)行攝像頭更換。

1.2 后端系統(tǒng)建設(shè)方案

將攝像頭采集到的視頻信息發(fā)送到后端中控系統(tǒng)或者云端，然后再利用服務(wù)器強(qiáng)大的計(jì)算能力對其進(jìn)行分析、處理。

通過網(wǎng)絡(luò)視頻監(jiān)控+后端數(shù)據(jù)分析，實(shí)現(xiàn)了數(shù)字化MPEG4/H.264/265視頻流的傳輸、播放、存儲、分析等。在該方案中，視頻監(jiān)控的功能實(shí)質(zhì)性沒有變化，主要是實(shí)時(shí)瀏覽、歷史圖像記錄與回放、云臺鏡頭控制。但視頻監(jiān)控的本質(zhì)內(nèi)涵是從視頻監(jiān)控源中分析和抽取反映所監(jiān)控現(xiàn)場人、車、物、事件、場景等的“關(guān)鍵信息”，從視頻流到視頻監(jiān)控內(nèi)容“關(guān)鍵信息”的轉(zhuǎn)變是視頻監(jiān)控新一輪發(fā)展演變的核心。在視頻監(jiān)控從采集、傳輸、存儲、交換到應(yīng)用各個環(huán)節(jié)中，基于深度學(xué)習(xí)的人工智能技術(shù)解決產(chǎn)生“關(guān)鍵信息”問題，云計(jì)算與大數(shù)據(jù)技術(shù)解決“關(guān)鍵信息”存儲、挖掘分析等問題，而系統(tǒng)架構(gòu)則解決“關(guān)鍵信息”傳輸、存儲、交換、應(yīng)用等過程的數(shù)據(jù)格式與接口協(xié)議問題，系統(tǒng)架構(gòu)是實(shí)現(xiàn)大數(shù)據(jù)、云計(jì)算和人工智能技術(shù)在視頻監(jiān)控系統(tǒng)中應(yīng)用的關(guān)鍵。

“AI+后端”的解決方案一直是主流，其優(yōu)點(diǎn)是可以針對不同的場景進(jìn)行算法優(yōu)化和識別方案的選擇，具有較強(qiáng)的可擴(kuò)展能力；對攝像頭視頻處理加工能力要求不高，常規(guī)主流攝像裝置即可達(dá)到要求；可方便后端識別服務(wù)器集中維護(hù)升級等。當(dāng)然，該解決方案也存在很多問題：后端AI計(jì)算服務(wù)成本較高，解決方案整體成本要高于前端AI，且隨著芯片技術(shù)的進(jìn)步，其價(jià)格差別也越來越明顯；由于大量視頻信息的傳輸需要高性能網(wǎng)絡(luò)支持，因此該方案對網(wǎng)絡(luò)性能的依賴性強(qiáng)，容易出現(xiàn)網(wǎng)絡(luò)瓶頸問題，發(fā)生卡頓現(xiàn)象；由于采用集中方式構(gòu)建方案拓?fù)潴w系，檢測速度與AI服務(wù)器性能直接相關(guān)，一旦AI服務(wù)器發(fā)生異常，則所有監(jiān)控點(diǎn)都會出現(xiàn)問題。

2 視頻檢測技術(shù)

智能檢測處理流程如圖1所示，檢測服務(wù)器的主要作用是將視頻中的信息進(jìn)行提取和識別分析。前端的數(shù)據(jù)采集傳送至后端，后端對視頻進(jìn)行預(yù)處理，主要包括圖像的剪裁，只保留有效檢測區(qū)域，再使用視頻識別算法背景減除法對視頻進(jìn)行目標(biāo)識別跟蹤，確定目標(biāo)的主要檢測范圍。然后使用YOLOv5算法[11]對視頻進(jìn)行目標(biāo)檢測，并對視頻中的行為進(jìn)行識別分析，綜合檢測內(nèi)容比對行為是否違規(guī)，如果違規(guī)則需要進(jìn)行報(bào)警。在整個過程中使用到的主要算法包括視頻檢測算法以及YOLO目標(biāo)檢測算法。

圖1 智能檢測流程圖

2.1 背景減除法

背景減除法是一種有效的運(yùn)動對象檢測算法，基本思想是利用背景的參數(shù)模型來近似背景圖像的像素值，將當(dāng)前幀與背景圖像進(jìn)行差分比較實(shí)現(xiàn)對運(yùn)動區(qū)域的檢測，其中區(qū)別較大的像素區(qū)域被認(rèn)為是運(yùn)動區(qū)域，而區(qū)別較小的像素區(qū)域被認(rèn)為是背景區(qū)域。背景減除法必須要有背景圖像，并且背景圖像必須是隨著光照或外部環(huán)境的變化而實(shí)時(shí)更新的，因此背景減除法的關(guān)鍵是背景建模及其更新。針對如何建立對于不同場景的動態(tài)變化均具有自適應(yīng)性的背景模型，減少動態(tài)場景變化對運(yùn)動分割的影響，已提出的許多背景建模算法，可以概括為非回歸遞推和回歸遞推兩類。非回歸背景建模算法是動態(tài)的利用從某一時(shí)刻開始到當(dāng)前一段時(shí)間內(nèi)存儲的新近觀測數(shù)據(jù)作為樣本來進(jìn)行背景建模。

2.2 YOLO目標(biāo)檢測算法

YOLO算法利用整張圖作為網(wǎng)格的輸入，直接在輸出層回歸boundingbox的位置和boundingbox所屬類別。首先輸入一個圖像，將圖像劃分成S×S的網(wǎng)格，然后對于每一個網(wǎng)格，預(yù)測出B個邊框的目標(biāo)置信度和邊框區(qū)域在多個類別上的概率。根據(jù)預(yù)測出的S×S×B個目標(biāo)窗口，首先從所有的檢測框中找到置信度最大的那個框，然后挨個計(jì)算其與剩余框的IOU，如果其值大于一定閾值(重合度過高)，那么就將該框剔除；然后對剩余的檢測框重復(fù)上述過程，直到處理完所有的檢測框。

3 AI視頻監(jiān)管平臺

本著水利系統(tǒng)的高清化、智能化、實(shí)用化等原則，考慮到兩種方案價(jià)格差距并不明顯，因此，優(yōu)化形成了一套混合方案。該方案中，前端設(shè)備全部使用水利高清前端，做到高清監(jiān)控，系統(tǒng)能做到主動預(yù)警與自動彈出報(bào)警信號給監(jiān)管人員，監(jiān)管人員迅速查看報(bào)警點(diǎn)視頻；同時(shí)前端與后端配合實(shí)現(xiàn)水位監(jiān)測、積水深度識別、漂浮物監(jiān)測、水岸異物(垃圾)的監(jiān)測，盜采河砂船只監(jiān)管等智能分析功能。

基于AI視頻硬件系統(tǒng)的部署和水利大數(shù)據(jù)平臺的開發(fā)，優(yōu)化方案所設(shè)計(jì)的AI視頻監(jiān)管平臺大致可分為兩地三層架構(gòu)，如圖2所示。所謂兩地，是指在視頻監(jiān)控地和水利大數(shù)據(jù)工程實(shí)驗(yàn)中心，共同部署硬件平臺。在視頻監(jiān)控地采用攝像監(jiān)控裝置和前端數(shù)據(jù)預(yù)處理裝置完成視頻數(shù)據(jù)的采集和基本處理，從而在獲得數(shù)據(jù)的同時(shí)提高工作效率；在水利大數(shù)據(jù)工程實(shí)驗(yàn)中心，通過專用網(wǎng)絡(luò)接收視頻采集所獲得的視頻數(shù)據(jù)后，利用視頻服務(wù)器在水利大數(shù)據(jù)平臺完成視頻數(shù)據(jù)的存儲、轉(zhuǎn)發(fā)、實(shí)時(shí)識別和顯示等功能，進(jìn)而面向AI視頻處理過程形成水利視頻AI分析的3層結(jié)構(gòu)。

圖2 系統(tǒng)架構(gòu)示意圖

第1層是前端層，完成數(shù)據(jù)的采集和預(yù)處理，可以采用AI視頻監(jiān)控設(shè)備和普通視頻監(jiān)控設(shè)備；

第2層是中間層，一是實(shí)現(xiàn)前端數(shù)據(jù)的獲取、存儲和展示，二是實(shí)現(xiàn)向識別層轉(zhuǎn)發(fā)視頻數(shù)據(jù)，三是接收識別層所反饋的識別信息和監(jiān)測結(jié)果，并與水利大數(shù)據(jù)平臺結(jié)合完成視頻、音頻、數(shù)據(jù)、文字等多信息融合、“四亂”監(jiān)測報(bào)警等功能；

第3層是識別層，采用視頻服務(wù)器的API獲取視頻數(shù)據(jù)，利用高性能計(jì)算服務(wù)器完成視頻數(shù)據(jù)的處理、識別和監(jiān)測等，并通過RPC及時(shí)反饋結(jié)果到中間層。

該優(yōu)化方案從黃河視頻監(jiān)控系統(tǒng)的具體情況出發(fā)，考慮到現(xiàn)在已經(jīng)在運(yùn)行的各類監(jiān)控?cái)z像裝置和技術(shù)需求，以信息融合為導(dǎo)向，基于邊緣計(jì)算理論，建立多層的AI視頻大數(shù)據(jù)監(jiān)控平臺。在該優(yōu)化技術(shù)方案中，主要有以下幾點(diǎn)技術(shù)集成優(yōu)勢：

(1)技術(shù)指標(biāo)適用性強(qiáng)。在該體系下，可以充分運(yùn)用AI前端架構(gòu)和后端架構(gòu)的優(yōu)勢，形成優(yōu)勢互補(bǔ)。一方面，通過后端識別服務(wù)器，可以較好地?cái)U(kuò)充識別和檢測的功能，而不受AI攝像機(jī)功能的制約；另一方面，通過AI前端攝像機(jī)的布置，使得系統(tǒng)具有明顯分布式特征，降低了系統(tǒng)對網(wǎng)絡(luò)通信帶寬的要求，分擔(dān)了部分識別服務(wù)器的計(jì)算量，提高了系統(tǒng)的整體性能。

(2)建設(shè)費(fèi)用綜合優(yōu)勢。該方案可以采用擴(kuò)展方式逐步進(jìn)行建設(shè)。一方面，對于現(xiàn)有的大量普通攝像頭，可以通過后端識別服務(wù)器，補(bǔ)充智能檢測部分功能；另一方面，對于新建檢測點(diǎn)，當(dāng)有運(yùn)動檢測、車輛檢測、人體檢測、越界檢測等的傳統(tǒng)智能檢測功能時(shí)，直接部署AI攝像頭；當(dāng)有些涉水檢測功能沒有集成與AI攝像頭中時(shí)，可以選擇在后臺識別服務(wù)器上進(jìn)行二次開發(fā)。

(3)檢測內(nèi)容廣泛。由于采用前、后端混合架構(gòu)，可以將檢測算法的實(shí)現(xiàn)分布在AI攝像頭和后端服務(wù)器端，檢測內(nèi)容可以多樣化。

(4)下一代技術(shù)結(jié)合。由于AI視頻識別技術(shù)不斷提高，AI芯片越來越便宜，加之物聯(lián)網(wǎng)、通信技術(shù)的發(fā)展，因此項(xiàng)目的可持續(xù)性也是本架構(gòu)的考慮方面。一方面，通過不斷替換、更新、新建監(jiān)控點(diǎn)，從而完善整個黃河流域的監(jiān)控系統(tǒng)。另一方面，若不僅能在識別服務(wù)器端設(shè)計(jì)智能監(jiān)控算法，還能在AI視頻攝像頭進(jìn)行智能算法的二次開發(fā)，則可對識別檢測等算法進(jìn)行升級和優(yōu)化，提高系統(tǒng)的整體性能，為AI新技術(shù)的應(yīng)用奠定基礎(chǔ)。

4 AI視頻監(jiān)管系統(tǒng)的應(yīng)用

4.1 河道污染漂浮物智能檢測技術(shù)

針對河道污染漂浮物及污染范圍問題，前端攝像頭對監(jiān)控區(qū)域進(jìn)行實(shí)時(shí)監(jiān)測，當(dāng)發(fā)現(xiàn)有漂浮物時(shí)，算法判斷為發(fā)現(xiàn)目標(biāo)，此時(shí)調(diào)取事先設(shè)置好的預(yù)案進(jìn)行報(bào)警，同時(shí)對目標(biāo)進(jìn)行抓拍取證并將數(shù)據(jù)信息進(jìn)行上傳。在具體算法上，主要利用圖像處理技術(shù)和AI視頻分析技術(shù)綜合完成智能檢測。

考慮到水庫電站前堆積物的形成過程是一個由無到有的過程，因此采用背景建模方法檢測堆積物。該方法通過構(gòu)建靜態(tài)背景模型，當(dāng)有新的堆積目標(biāo)進(jìn)入到預(yù)設(shè)的檢測區(qū)域內(nèi)時(shí)，算法就可以把新目標(biāo)從背景圖中區(qū)分出來，將目標(biāo)的輪廓形態(tài)檢測出來。該算法首先利用高斯平滑濾波器對圖像進(jìn)行高斯平滑濾波，去除噪聲干擾；然后，通過PBAS(Pixel-Based Adaptive Segmenter)背景建模方法，把小水紋、反射光線、樹影等判別為靜態(tài)背景，構(gòu)建當(dāng)前場景的背景模型；再次，把運(yùn)動的堆積物判別為前景二值圖像，對二值圖像進(jìn)行連通區(qū)域檢測得到前景目標(biāo)位置；最后，通過使用GrabCut圖像分割算法，把目標(biāo)堆積物從水面圖像中分割出來。背景建模示意圖所示。

對于堆積物圖像的智能識別問題，由于堆積物圖像形態(tài)變化較大，傳統(tǒng)分類識別難以實(shí)現(xiàn)。因此，本課題利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來判別疑似堆積物。通過對搜集的上萬計(jì)水面圖像和可能堆積物圖像進(jìn)行標(biāo)注后，輸入CNN網(wǎng)絡(luò)，進(jìn)行訓(xùn)練。并利用訓(xùn)練結(jié)果進(jìn)行視頻識別，并配合用戶規(guī)則做出進(jìn)一步判斷，降低誤報(bào)率。

4.2 盜采智能檢測技術(shù)

針對盜采智能檢測問題，前端攝像頭對水面實(shí)時(shí)監(jiān)測，當(dāng)發(fā)現(xiàn)有船只、車輛或路人通過禁行區(qū)域時(shí)，算法對畫面進(jìn)行實(shí)時(shí)分析，并將報(bào)警信息、抓拍圖片和行駛軌跡上傳至管理平臺，為管理人員提供有力證據(jù)。盜采船只(車輛/行人)智能檢測算法主要分為目標(biāo)檢測、圖片聚合、特征提取、檢索比對等步驟。算法具體步驟：首先，通過碼流分析和解碼，獲得關(guān)鍵幀的靜態(tài)圖片；其次，根據(jù)船只(車輛/行人)特征，與圖片進(jìn)行實(shí)時(shí)比對；最后，若比對命中則實(shí)時(shí)推送報(bào)警。對于視頻算法，還可加入多幀比對分析，使性能更佳。

5 結(jié)語

(1)本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的視頻監(jiān)管平臺的實(shí)踐表明，該系統(tǒng)的性能穩(wěn)定，能夠較為準(zhǔn)確的對盜采行為進(jìn)行識別并報(bào)警，提高水資源的管理水平；同時(shí)，改善觀測、測量工作人員的工作環(huán)境，提高工作效率。

(2)雖然上述關(guān)鍵技術(shù)已投入使用，但仍存在以下問題：①視頻圖像中運(yùn)動對象是需要檢測的感興趣目標(biāo)，所以智能視頻檢測常以檢測圖像內(nèi)容的變化為主，對于水利監(jiān)控而言，由于畫面同時(shí)包含水面，而水面在動態(tài)變化，因此提高了視頻檢測的難度。②水利視頻監(jiān)控系統(tǒng)在夜間的應(yīng)用較頻繁，因而智能視頻檢測需要針對光線條件不是很好的狀況進(jìn)行特別設(shè)計(jì)。