葉子豪

(中國民用航空華東地區(qū)空中交通管理局 技術(shù)保障中心,上海 200335)

引言

無人值守臺(tái)站和無人值守機(jī)房已經(jīng)成為空管發(fā)展的趨勢(shì)。通過在機(jī)房中安裝視頻監(jiān)控實(shí)現(xiàn)無人值守臺(tái)站/機(jī)房實(shí)時(shí)情況的了解是保障空管安全生產(chǎn)運(yùn)行的重要手段。視頻監(jiān)控可以實(shí)時(shí)為機(jī)房管理人員遠(yuǎn)程提供機(jī)房運(yùn)行環(huán)境和現(xiàn)場(chǎng)信息,結(jié)合設(shè)備巡視系統(tǒng)可以較為準(zhǔn)確地掌握現(xiàn)場(chǎng)設(shè)備的運(yùn)行狀態(tài)。但目前的視頻監(jiān)控和巡視系統(tǒng)保障的主要部分依然是硬件和網(wǎng)絡(luò),大量的異常報(bào)警仍然需要機(jī)房管理人員進(jìn)行實(shí)時(shí)判斷和分析,這對(duì)機(jī)房管理人員的負(fù)荷無疑是巨大的。對(duì)于已經(jīng)設(shè)置了視頻監(jiān)控的無人值守機(jī)房,期望通過ViBe算法對(duì)視頻監(jiān)控中的各類無效信息進(jìn)行過濾,對(duì)有效信息進(jìn)行篩選,對(duì)異常情況及時(shí)報(bào)警,實(shí)現(xiàn)對(duì)機(jī)房情況的準(zhǔn)確判斷,對(duì)機(jī)房內(nèi)出現(xiàn)的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)和分析,減少人為因素所造成的不必要的意外發(fā)生和伴隨意外發(fā)生所造成的各類經(jīng)濟(jì)損失以及人員傷亡?？展軣o人值守臺(tái)站視頻監(jiān)控使值班人員對(duì)于無人值守的實(shí)時(shí)信息了解更加及時(shí),當(dāng)出現(xiàn)意外狀況時(shí),可以結(jié)合設(shè)備監(jiān)控?cái)?shù)據(jù)和視頻監(jiān)控對(duì)現(xiàn)場(chǎng)情況進(jìn)行更加有效的判斷?，F(xiàn)階段,無人值守臺(tái)站正在從僅對(duì)現(xiàn)場(chǎng)設(shè)備進(jìn)行數(shù)據(jù)監(jiān)控向視頻監(jiān)控與數(shù)據(jù)監(jiān)控相結(jié)合的階段過渡,在過渡過程中結(jié)合現(xiàn)階段已經(jīng)實(shí)現(xiàn)的機(jī)器人巡檢和無人機(jī)巡檢對(duì)空管無人值守臺(tái)站進(jìn)行展望。在實(shí)際應(yīng)用場(chǎng)景中,視頻監(jiān)控大多數(shù)是固定位置攝像頭,大量無效信息仍然在干擾機(jī)房管理人員,想要實(shí)現(xiàn)對(duì)視頻監(jiān)控的有效分析,第一步就是對(duì)視頻監(jiān)控中出現(xiàn)的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè),檢測(cè)出運(yùn)動(dòng)目標(biāo)才能對(duì)視頻內(nèi)容進(jìn)行分析[1]。

1 運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)

運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)是計(jì)算機(jī)視覺在工程層面應(yīng)用的重要單元。計(jì)算機(jī)視覺涵蓋眾多內(nèi)容,如果要進(jìn)行另外的圖像處理操作,第一步就是對(duì)采集的圖像序列進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè),只有準(zhǔn)確地檢測(cè)到圖像中的運(yùn)動(dòng)目標(biāo),后續(xù)算法才能對(duì)檢測(cè)到的運(yùn)動(dòng)目標(biāo)進(jìn)行處理后的圖像分類、對(duì)檢測(cè)目標(biāo)進(jìn)行跟蹤進(jìn)而分析其行為。如果檢測(cè)時(shí)運(yùn)動(dòng)目標(biāo)攜帶陰影,需要將陰影消除,以得到預(yù)估的良好效果。

運(yùn)動(dòng)目標(biāo)檢測(cè)是有效地從采集到的連續(xù)圖像里檢測(cè)和跟蹤所需要的運(yùn)動(dòng)目標(biāo)[2],無視不發(fā)生移動(dòng)的背景或暫時(shí)不移動(dòng)的目標(biāo),從檢測(cè)到的運(yùn)動(dòng)目標(biāo)里得到需要采集的信息。運(yùn)動(dòng)目標(biāo)檢測(cè)是步入智能化視頻監(jiān)控系統(tǒng)的最重要的功能之一,更是所有監(jiān)控系統(tǒng)有效運(yùn)行的基礎(chǔ)和前提。對(duì)于建立完善的監(jiān)控系統(tǒng),監(jiān)控系統(tǒng)所使用的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)是良是莠,不僅僅影響到運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性,更是影響到了監(jiān)控系統(tǒng)的品質(zhì)[1]。

2 基于ViBe算法對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的研究

通過對(duì)各種常見的背景建模算法進(jìn)行研究和比較后,選擇近10年較為熱門的ViBe算法對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)進(jìn)行研究。ViBe算法即visual background extraction ,翻譯成中文是視覺背景提取算法。視覺背景提取算法與其他的運(yùn)動(dòng)目標(biāo)檢測(cè)算法相比,構(gòu)筑背景模型的速度很快且算法復(fù)雜程度不高,背景模型與時(shí)間同步進(jìn)行更新的效果更好,對(duì)于視頻序列幀的處理效果好,而且不需要進(jìn)行大量籌算。憑借著這些優(yōu)點(diǎn),視覺背景提取算法在需要的檢測(cè)場(chǎng)景中有著廣泛的應(yīng)用。

運(yùn)用視覺背景提取算法在現(xiàn)實(shí)世界的各類復(fù)雜場(chǎng)景中完成運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤,需要解決三個(gè)問題:一是設(shè)法構(gòu)建出背景模型,在ViBe算法中怎樣運(yùn)用背景模型;二是在ViBe算法的設(shè)計(jì)預(yù)處理環(huán)節(jié),預(yù)處理后的視頻序列怎樣完成初始化;三是怎樣保證在檢測(cè)場(chǎng)景的背景模型發(fā)生變化后,在短時(shí)間內(nèi)構(gòu)筑出新的背景模型。

2011年Dr. Bamich提出ViBe算法時(shí),對(duì)上述問題進(jìn)行了探索。Bamich等人在算法過程設(shè)計(jì)中加入快速構(gòu)建背景模型的模塊,建立樣本充足的背景模型進(jìn)行前景像素與背景模型的分離,利用設(shè)定好的背景模型更新模塊根據(jù)視頻序列變化更新背景模型。原始的背景模型利用鄰域像素點(diǎn)的值相似的原理,完成背景模型的形成。背景模型建立后,從連續(xù)采集圖像的第二幀伊始進(jìn)行對(duì)前景像素點(diǎn)與背景模型的拆分工作,與此同時(shí),背景模型隨著視頻序列幀的不斷載入和讀取也開始進(jìn)行更新?；赩iBe算法,可以實(shí)現(xiàn)對(duì)視頻序列進(jìn)行像素點(diǎn)的背景模型建立。ViBe算法的基本思想可以總結(jié)為以下三點(diǎn):

(1)對(duì)背景模型進(jìn)行初始化。ViBe算法首先為背景模型構(gòu)建一個(gè)容量為N的樣本集,參照背景模型樣本集所存儲(chǔ)的同一個(gè)位置像素點(diǎn)波動(dòng)范圍,獲取某個(gè)像素點(diǎn)和其鄰近像素點(diǎn)的像素值以及這個(gè)點(diǎn)的歷史像素值。

(2)對(duì)新載入的圖像進(jìn)行像素點(diǎn)分類,繼而進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)。首先,想要判斷新載入的圖像像素點(diǎn)屬于前景像素(即運(yùn)動(dòng)目標(biāo))還是屬于背景像素,需要將新載入一幀圖像對(duì)應(yīng)位置的像素點(diǎn)和此前所建立的背景模型樣本集進(jìn)行做差比較,如果滿足所設(shè)定于背景比較的條件,可判斷為背景像素,否則判斷為前景像素。該點(diǎn)實(shí)際的意義是對(duì)前景像素和背景像素進(jìn)行分類。

(3)由于多種因素的影響(如光線、噪音、緩慢移動(dòng)的物體),需要隨著視頻序列的讀取實(shí)現(xiàn)對(duì)背景模型的迭代。如果當(dāng)前讀取視頻幀的某個(gè)像素點(diǎn)被判定為背景模型像素[3],則根據(jù)設(shè)置好的方式用所檢測(cè)到的背景像素對(duì)當(dāng)前的背景模型抑或?qū)λ徲虻南袼攸c(diǎn)的值更新,最終完成對(duì)背景模型的更新。

3 ViBe算法在視頻監(jiān)控中的應(yīng)用

3.1 無人值守臺(tái)站視頻監(jiān)控的技術(shù)要求

現(xiàn)階段空管動(dòng)力系統(tǒng)無人值守臺(tái)站視頻監(jiān)控技術(shù)是參照2020年1月1日實(shí)施的《無人值守變電站監(jiān)控系統(tǒng)技術(shù)規(guī)范》(GB/T 37546—2019)[4]制定的?！稛o人值守變電站監(jiān)控系統(tǒng)技術(shù)規(guī)范》適用于35kV及其以上電壓等級(jí)無人值守變電站監(jiān)控系統(tǒng)設(shè)計(jì)、建設(shè)、設(shè)備研制、實(shí)驗(yàn)及驗(yàn)收?？展軇?dòng)力系統(tǒng)無人值守臺(tái)站電壓等級(jí)主要為230V至10kV,因此使用該規(guī)范在電力系統(tǒng)安全方面是可以滿足的。

3.2 ViBe算法在空管無人值守臺(tái)站視頻監(jiān)控的應(yīng)用設(shè)計(jì)

3.2.1 算法平臺(tái)

該算法構(gòu)建在Qt5.7平臺(tái)上,Qt平臺(tái)可以在多個(gè)平臺(tái)為C++圖形用戶建立程序框架。Qt支持下述平臺(tái):MS/Windows95、Windows98、WindowsNT4.0、WindowsME、Windows2000、WindowsXP 、WindowsVista、Windows7、Windows8、Windows2008、Windows10Unix/X11 -Linux、SunSolaris、HP-UX、CompaqTru64 UNIX、IBMAIX、SGI IRIX、FreeBSD、BSD/OS和其他很多X11平臺(tái)Macintosh -Mac OS XEmbedded - 有幀緩沖(framebuffer)支持的嵌入式Linux平臺(tái),Windows CE、Symbian、Symbian^3、Symbian Anna、Symbian Belle、MeeGo、haiku-os等。

運(yùn)行Qt5.7平臺(tái)的硬件的要求為 :Intel Corei3-530 GPU、Intel HD 4600集顯 RAM、2GB 硬盤空間和50GB HDD。

3.2.2 ViBe算法完成步驟

1)建立UI并且加入窗口最大化和最小化按鍵、創(chuàng)建菜單、創(chuàng)建定時(shí)器及調(diào)用按鈕、創(chuàng)建兩個(gè)顯示窗口(label)用來顯示處理前和處理后的圖像。

2)定義colortable、定義current函數(shù)、定義pixel函數(shù)、定義pixel函數(shù)、定義mframe函數(shù)。

3)創(chuàng)建子菜單,點(diǎn)擊調(diào)用按鈕啟動(dòng)程序后加載數(shù)據(jù)庫所截取的image圖片,按照current函數(shù)設(shè)定縮放成合適的大小。

4)利用pixel函數(shù)進(jìn)行image圖片和pixmap圖片的轉(zhuǎn)換,利用mframe函數(shù)得到類pixmap類圖像并且轉(zhuǎn)換的pixmap圖像申請(qǐng)內(nèi)存空間并且在窗口1顯示。

5)利用生成的類pixmap圖像轉(zhuǎn)換得到imagray背景圖像,利用vibeforground函數(shù)轉(zhuǎn)換得到imgfore前景圖像,利用Qstring類函數(shù)填充前景圖像文件名前綴,拼接好絕對(duì)路徑將前景圖像存儲(chǔ)在指定路徑,并在窗口2顯示。

6)利用framecount函數(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)庫image圖片的遍歷。

算法所處理的視頻監(jiān)控是從火車站臺(tái)視頻監(jiān)控中所截取,通過ViBe算法對(duì)視頻監(jiān)控進(jìn)行應(yīng)用前后景分離,從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)。

3.3 ViBe算法在空管無人值守臺(tái)站視頻監(jiān)控的應(yīng)用效果

3.3.1 ViBe算法可以實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)和背景分離

如圖1所示,通過ViBe算法可以較好地將視頻監(jiān)控中的前后景進(jìn)行分離,實(shí)現(xiàn)有效的運(yùn)動(dòng)目標(biāo)檢測(cè)和背景分離。

3.3.2 ViBe算法可以實(shí)現(xiàn)背景的實(shí)時(shí)更新

在運(yùn)動(dòng)目標(biāo)檢測(cè)算法中,背景能否實(shí)時(shí)更新一直是一個(gè)重要的問題,我們?cè)谒惴ㄖ性O(shè)計(jì)了前景點(diǎn)計(jì)數(shù)法的背景更新策略,如圖2所示,當(dāng)行人放下的背包滿足本算法的背景更新策略時(shí),靜止的背包由前景點(diǎn)變?yōu)榱吮尘啊?/p>

(a) (b)圖2 原圖像與處理圖像(a原圖像,b處理圖像)

3.4 ViBe處理圖像結(jié)果存在的一些問題

3.4.1 存在鬼影區(qū)域

由于ViBe算法可以只依靠第一幀圖像就建立背景模型,難以構(gòu)建出完美的背景模型,當(dāng)進(jìn)行后續(xù)的運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí),必然會(huì)出現(xiàn)部分Ghost區(qū)域(即鬼影)。Ghost區(qū)域是指那些與運(yùn)動(dòng)目標(biāo)相連接被判定為前景的像素點(diǎn),實(shí)際上并沒有真正的運(yùn)動(dòng)目標(biāo)。盡管隨著ViBe背景模型的不斷更新,鬼影區(qū)域會(huì)不斷削弱,如果在沒有完全減去之前有較快的運(yùn)動(dòng)目標(biāo)經(jīng)過鬼影區(qū)域,顯然無法有效地檢測(cè)出這類運(yùn)動(dòng)目標(biāo)。因此鬼影區(qū)域出現(xiàn)明顯降低了運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性。如圖1(b)所示。

3.4.2 難以快速分離運(yùn)動(dòng)目標(biāo)所攜帶的陰影

ViBe算法和它的前輩算法都存在難以快速分離運(yùn)動(dòng)目標(biāo)所攜帶的陰影這一缺陷。運(yùn)動(dòng)目標(biāo)的陰影是伴隨運(yùn)動(dòng)目標(biāo)進(jìn)行移動(dòng)的,因此與運(yùn)動(dòng)目標(biāo)擁有一樣的運(yùn)動(dòng)特征。現(xiàn)階段所有的運(yùn)動(dòng)目標(biāo)檢測(cè)算法都難以把運(yùn)動(dòng)目標(biāo)與運(yùn)動(dòng)目標(biāo)受到光照影響產(chǎn)生的陰影進(jìn)行分離,這種情況導(dǎo)致陰影伴隨運(yùn)動(dòng)目標(biāo)被運(yùn)動(dòng)目標(biāo)檢測(cè)算法視為前景點(diǎn)像素。所以對(duì)于后續(xù)的ViBe算法改進(jìn)時(shí),需要加入后處理過程,對(duì)運(yùn)動(dòng)目標(biāo)與陰影進(jìn)行有效地分離,最終得到改善ViBe算法提升檢測(cè)前景像素點(diǎn)的有效性。使用ViBe算法對(duì)圖1(b)進(jìn)行背景更新和檢測(cè)運(yùn)動(dòng)目標(biāo)時(shí),大量行人同時(shí)出現(xiàn)會(huì)導(dǎo)致陰影區(qū)域檢測(cè)為運(yùn)動(dòng)像素,極大地影響了前景目標(biāo)檢測(cè)的效果。怎樣實(shí)現(xiàn)高效分離運(yùn)動(dòng)目標(biāo)與陰影,這個(gè)問題是ViBe算法在未來需要解決的。

ViBe算法相較于其他運(yùn)動(dòng)目標(biāo)檢測(cè)算法已經(jīng)有了較大的進(jìn)步,如可以快速完成首幀圖像的處理后進(jìn)行背景模型的構(gòu)筑,按照一定原則進(jìn)行背景像素點(diǎn)的迭代進(jìn)而完成背景模型的更新。當(dāng)然ViBe算法仍然有許多不足需要改進(jìn),如怎樣實(shí)現(xiàn)對(duì)于鬼影區(qū)域的快速消除,通過怎樣的方法可以削弱運(yùn)動(dòng)目標(biāo)的陰影對(duì)于前景檢測(cè)的影響。

4 結(jié)語

運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)是這個(gè)時(shí)代所需要的,必然會(huì)隨著時(shí)代不斷發(fā)展,從當(dāng)下應(yīng)用的情況預(yù)測(cè),ViBe算法在未來必定會(huì)繼續(xù)提高在空管智能監(jiān)控場(chǎng)景下的適應(yīng)度,最終達(dá)成使用ViBe算法在不同類型的智能機(jī)房完成運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤的任務(wù),這是ViBe算法未來研究的重要方向。以下是ViBe算法亟待解決的兩個(gè)實(shí)際問題,可以作為本文未來繼續(xù)研究方向。

(1)ViBe算法進(jìn)行分析和處理的視頻序列都是來自無法進(jìn)行動(dòng)態(tài)目標(biāo)捕捉的固定視頻采集設(shè)備,然而在許多基于視覺系統(tǒng)的實(shí)際應(yīng)用中,例如機(jī)器人按照所采集到的視頻信息進(jìn)行下一步動(dòng)作時(shí),必然采用可移動(dòng)的視頻檢測(cè)設(shè)備,這對(duì)于ViBe算法能否快速實(shí)現(xiàn)背景的快速生成并分離出前景是巨大的挑戰(zhàn)。能否解決動(dòng)態(tài)視頻采集的問題,對(duì)于視覺技術(shù)是一個(gè)巨大挑戰(zhàn),后期將改進(jìn)算法來進(jìn)行相關(guān)的研究。

(2)基于ViBe算法對(duì)于運(yùn)動(dòng)目標(biāo)所檢測(cè)的結(jié)果研究了兩種狀態(tài),處于運(yùn)動(dòng)狀態(tài)或者靜止?fàn)顟B(tài)。在需要使用運(yùn)動(dòng)目標(biāo)檢測(cè)的生活場(chǎng)景中,例如在公共場(chǎng)合進(jìn)行可疑人物的排查時(shí),不僅需要檢測(cè)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài),更需要在檢測(cè)到運(yùn)動(dòng)目標(biāo)后對(duì)目標(biāo)的行為進(jìn)行分析,通過與AI算法的結(jié)合,使視覺系統(tǒng)可以理解運(yùn)動(dòng)目標(biāo)的行為,提高系統(tǒng)的智能性。賦予運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)理解檢測(cè)目標(biāo)的行為是未來的研究方向。