◎潘梁靜
(商丘職業(yè)技術(shù)學(xué)院基礎(chǔ)部,河南 商丘 476100)
運(yùn)動(dòng)目標(biāo)檢測(cè)方法多應(yīng)用于從視頻監(jiān)控環(huán)境中提取出處于運(yùn)動(dòng)狀態(tài)的前景(運(yùn)動(dòng)目標(biāo)),并將其相對(duì)靜止的背景圖像中分離出來,實(shí)現(xiàn)復(fù)雜動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)提取與分割[1-3]。將運(yùn)動(dòng)目標(biāo)識(shí)別方法應(yīng)用到居家安全防護(hù)中,可以及時(shí)發(fā)現(xiàn)獨(dú)居老人的運(yùn)動(dòng)狀態(tài),提早防范并以最快速度達(dá)到制止與降低其損害發(fā)生的目的,也能降低人力監(jiān)控成本。
當(dāng)前運(yùn)動(dòng)目標(biāo)檢測(cè)常見算法包括背景差分法、幀間差分法、光流法[4-6]。其中,背景差分法的時(shí)間復(fù)雜度較小,能夠快速檢測(cè)與識(shí)別出運(yùn)動(dòng)目標(biāo),但需要提前人工設(shè)置背景圖像或者依托統(tǒng)計(jì)模型自適應(yīng)設(shè)置背景圖像,對(duì)運(yùn)動(dòng)目標(biāo)的空間信息利用不夠,提取出的運(yùn)動(dòng)目標(biāo)的輪廓不連續(xù)、不完整[5]。幀間差分法利用視頻中幀圖像的空間特征對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)與提取,但缺少對(duì)圖像內(nèi)部特征像素點(diǎn)的關(guān)注與提取,提取出的運(yùn)動(dòng)目標(biāo)輪廓同樣存在不完整問題[7]。區(qū)別于背景差分法與幀間差分法對(duì)視頻幀圖像內(nèi)部信息的忽視,美國(guó)學(xué)者Hom 和Schunch 提出了光流法,對(duì)圖像中運(yùn)動(dòng)目標(biāo)所在像素點(diǎn)的動(dòng)態(tài)行為等作為運(yùn)動(dòng)目標(biāo)檢測(cè)的依據(jù),著眼于從視頻圖像內(nèi)部信息層面對(duì)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)、軌跡等進(jìn)行跟蹤,進(jìn)而識(shí)別出運(yùn)動(dòng)目標(biāo)。所謂光流是指空間中物體被觀測(cè)面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場(chǎng),包含了物體表面結(jié)構(gòu)和動(dòng)態(tài)行為等重要信息?;诠饬鞣ǖ倪\(yùn)動(dòng)目標(biāo)檢測(cè)采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性,由于光流不僅包含了被觀測(cè)物體的運(yùn)動(dòng)信息,還攜帶了物體運(yùn)動(dòng)和景物三維結(jié)構(gòu)的豐富信息,這種方法不僅適用于運(yùn)動(dòng)目標(biāo)的檢測(cè),還可以在運(yùn)動(dòng)目標(biāo)跟蹤方面使用,甚至在攝像頭存在運(yùn)動(dòng)的情況下也能檢測(cè)出獨(dú)立運(yùn)動(dòng)的目標(biāo)[8]。但是在實(shí)際的應(yīng)用中,由于遮擋、多光源、透明性及噪聲等原因,光流法的基本假設(shè)條件之一:光流場(chǎng)基本方程——灰度守恒通常無法滿足,不能正確求出光流場(chǎng),算法計(jì)算過程也相當(dāng)復(fù)雜,計(jì)算量巨大,不能滿足運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)識(shí)別的要求[9]。綜上,從實(shí)際應(yīng)用角度來看,幀差法和背景減法相結(jié)合的運(yùn)動(dòng)檢測(cè)方法是使用最廣泛的一種方法[2]。結(jié)合幀差法和背景減法有效地消除了光線突變和陰影,但是對(duì)于灰度值接近背景的前景目標(biāo)檢測(cè)效果不理想。
總之,當(dāng)前運(yùn)動(dòng)目標(biāo)檢測(cè)與識(shí)別仍然存在如下問題有待研究:(1)在運(yùn)動(dòng)目標(biāo)分割過程中,背景的提取與更新是比較關(guān)鍵的步驟。如果背景靜止不變,則運(yùn)動(dòng)目標(biāo)分割相對(duì)容易實(shí)現(xiàn),然而,多數(shù)情況下,背景是動(dòng)態(tài)變化的,常存在物體的移入或移出,如果不能很好地處理背景中的干擾現(xiàn)象,則作為前景的運(yùn)動(dòng)物體的檢測(cè)必將受到影響。(2)視頻場(chǎng)景中光線變化問題(漸變、突變、反光等),同樣會(huì)影響背景的提取與更新。必須不斷地對(duì)背景進(jìn)行實(shí)時(shí)估計(jì),才能更好地完成運(yùn)動(dòng)目標(biāo)的檢測(cè)。(3)背景物體的干擾運(yùn)動(dòng)。背景中存在的如風(fēng)中樹葉的搖動(dòng)、水面波光的閃動(dòng)、車窗玻璃的反光以及天氣的變化等許多細(xì)微活動(dòng),同樣會(huì)影響到運(yùn)動(dòng)目標(biāo)的檢測(cè)。該研究主要對(duì)上述問題加以解決,提高運(yùn)動(dòng)目標(biāo)識(shí)別的精度與效率。
早期的混合高斯模型法容易受到光影影響導(dǎo)致將光線或陰影分割成前景部分,針對(duì)此問題通常是對(duì)陰影部分做偵測(cè),將陰影值部分去除,達(dá)到前景運(yùn)動(dòng)目標(biāo)大致輪廓提取的目的,其缺點(diǎn)為容易受到背景快速變動(dòng)影響,或有無反射與強(qiáng)光照射時(shí),將光線等判斷成目標(biāo)對(duì)象移動(dòng)等狀況[8]。為了解決這樣的問題,借由高斯濾波法提取前景運(yùn)動(dòng)目標(biāo),達(dá)到消除多余噪音且不過多破壞運(yùn)動(dòng)目標(biāo)輪廓的目的;接著針對(duì)可能有破碎或是斷裂情況的處理采用膨脹與侵蝕的形態(tài)學(xué)處理,先以膨脹進(jìn)行修補(bǔ)運(yùn)算,再利用侵蝕獲得原本大致輪廓圖。同時(shí),針對(duì)背景對(duì)象快速移動(dòng)時(shí),強(qiáng)風(fēng)致使背景有窗簾飄動(dòng)或落葉等導(dǎo)致背景誤判為前景對(duì)象這類情況,采用輪廓面積最大區(qū)塊作為完整的運(yùn)動(dòng)目標(biāo)輪廓圖,實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的準(zhǔn)確識(shí)別。具體實(shí)現(xiàn)流程如圖1 所示。
圖1 運(yùn)動(dòng)目標(biāo)檢測(cè)基本流程圖
在視頻圖像中如何去追蹤出運(yùn)動(dòng)目標(biāo)的移動(dòng)及輪廓是該研究?jī)?nèi)容的重點(diǎn),取得輪廓的完整性同時(shí)也影響了整個(gè)研究的準(zhǔn)確性,利用適應(yīng)性背景相減法旨在將前景運(yùn)動(dòng)目標(biāo)及背景分離出來,利用獲得的背景信息作為背景模型并利用背景相減法達(dá)到能區(qū)分出前景及背景的效果。
該方法的缺點(diǎn)在于,可能在背景對(duì)象變動(dòng)過快或是風(fēng)吹導(dǎo)致物品飄動(dòng)時(shí),前景提取存在誤判的情形[10],該研究對(duì)此方法加以改進(jìn),針對(duì)前景陰影的圖像信息做進(jìn)一步提取,提出一種不易受到光影變化影響的方法。混合高斯模型(Gaussian Mixture Model,GMM)是由單一高斯分布模型所改良而來,常用于語音識(shí)別、機(jī)器學(xué)習(xí)及圖像處理中,其定義的公式如(1)式:
其中XT為圖像矩陣{x(t),...,x(t-T)},T 為周期,BG 為背景,F(xiàn)G 為前景,為平均值,為標(biāo)準(zhǔn)差,其參數(shù)算法在周期T 內(nèi)的如下列(2)(3)(4)所示:
通過混合高斯模型對(duì)輸入圖像(圖2)做長(zhǎng)時(shí)間背景適應(yīng)的訓(xùn)練,從而提取出完整的背景圖(圖3),并以此背景圖作為背景模型,當(dāng)有對(duì)象經(jīng)過時(shí),便判斷為前景(圖4),如長(zhǎng)時(shí)間未移動(dòng)的對(duì)象也將在時(shí)間適應(yīng)下被當(dāng)為背景。以事先提取好的背景作為第一幀,并以背景相減法的概念去判斷前景,基于此得出大致前景對(duì)象,以便后續(xù)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行識(shí)別。
圖2 輸入來源圖像圖
圖3 混合高斯模型適應(yīng)下的背景圖
圖4 使用混合高斯模型法得出前景(值255)與陰影(值127)部分圖
形態(tài)學(xué)處理在圖像處理中相當(dāng)常見[11],該研究將其用于對(duì)所要追蹤的運(yùn)動(dòng)目標(biāo)輪廓進(jìn)行更準(zhǔn)確的描繪。首先將混合高斯模型所提取出的與背景分開的前景圖像信息灰階圖進(jìn)行處理,先以高斯濾波法對(duì)噪聲加以消除,得出運(yùn)動(dòng)目標(biāo)的大略輪廓圖;再利用膨脹與侵蝕法對(duì)運(yùn)動(dòng)目標(biāo)顏色與背景相同時(shí)所導(dǎo)致輪廓不完全連接的現(xiàn)象做處理;最后對(duì)完整運(yùn)動(dòng)目標(biāo)連通部分尋找最大輪廓面積,作為識(shí)別出的運(yùn)動(dòng)目標(biāo)。
2.2.1 高斯濾波
高斯濾波法(Gaussian Blur),也稱為高斯平滑法,常用來模糊或柔化圖像,或是去除圖像中多余的噪聲。圖像的高斯濾波過程即對(duì)圖像與正態(tài)分布進(jìn)行卷積計(jì)算,其所使用的高斯濾波像素權(quán)重分布矩陣為基本3*3 矩陣,如式(5)[12]:
高斯濾波法的優(yōu)點(diǎn)在于能夠在取得前景后,對(duì)圖像中的噪聲進(jìn)行有效消除(圖5),且對(duì)運(yùn)動(dòng)目標(biāo)輪廓存在的諸如破碎或是斷裂等情況不過分消除,減少噪聲對(duì)運(yùn)動(dòng)目標(biāo)輪廓軌跡的干擾與影響,提高運(yùn)動(dòng)目標(biāo)輪廓提取的完整性(圖6)。
圖5 使用高斯濾波法消除多余的細(xì)微噪聲圖
圖6 高斯濾波下提取的運(yùn)動(dòng)目標(biāo)完整輪廓圖
2.2.2 膨脹與侵蝕
膨脹與侵蝕為形態(tài)學(xué)處理中常用的方法,主要用于解決圖像中的目標(biāo)對(duì)象輪廓斷裂等問題。當(dāng)運(yùn)動(dòng)目標(biāo)顏色與背景顏色相似時(shí),可能會(huì)產(chǎn)生將運(yùn)動(dòng)目標(biāo)判定為背景或陰影一部分等現(xiàn)象,導(dǎo)致輪廓的完整性有缺失。該研究將膨脹與侵蝕處理應(yīng)用到運(yùn)動(dòng)目標(biāo)輪廓提取中,通過膨脹與侵蝕對(duì)運(yùn)動(dòng)目標(biāo)輪廓進(jìn)行更細(xì)節(jié)的處理[13]。
在設(shè)置膨脹參數(shù)時(shí),一方面考慮到能夠修補(bǔ)運(yùn)動(dòng)目標(biāo)輪廓破碎與斷裂,一方面又要避免過于膨脹的情況。經(jīng)過不斷嘗試,運(yùn)動(dòng)目標(biāo)高度在不超出邊界情況下,最大即為輸入圖像來源的高度。因此可以采用輸入圖像高度值的百分之一取四舍五入至整數(shù)位的值作為膨脹參數(shù),圖像來源高度為480,故膨脹參數(shù)設(shè)置為長(zhǎng)寬均為5。
在設(shè)置侵蝕參數(shù)時(shí),由于需要通過膨脹去修補(bǔ)破碎情況,再侵蝕還原的過程下其參數(shù)值不得大于膨脹參數(shù)值,而此形態(tài)學(xué)膨脹處理主要目的也是在于膨脹修補(bǔ)。鑒于此,根據(jù)前面膨脹的參數(shù)值減一作為侵蝕參數(shù),較符合整個(gè)運(yùn)動(dòng)目標(biāo)輪廓提取且不過多侵蝕導(dǎo)致輪廓斷裂情況發(fā)生的目標(biāo)[14]。其中侵蝕參數(shù)設(shè)置為4。如圖7 與8 為膨脹與侵蝕處理前后的運(yùn)動(dòng)目標(biāo)。
圖7 膨脹與侵蝕處理前的運(yùn)動(dòng)目標(biāo)圖
2.2.3 最大面積判斷
圖8 膨脹與侵蝕處理后的運(yùn)動(dòng)目標(biāo)圖
在對(duì)運(yùn)動(dòng)目標(biāo)圖像進(jìn)行形態(tài)學(xué)處理后,處理結(jié)果中仍然存在如背景對(duì)象快速變動(dòng)時(shí)被誤判成前景區(qū)塊的問題。借由計(jì)算輪廓面積去排除這類情形,采用尋找輪廓法,首先對(duì)該圖像內(nèi)所有對(duì)象輪廓進(jìn)行提取并記錄在輪廓矩陣中,再利用提取出的輪廓矩陣計(jì)算區(qū)塊面積[15]。面積計(jì)算公式如(6):
如圖9 所示為圖像中所提取的運(yùn)動(dòng)目標(biāo),除揮棒的運(yùn)動(dòng)目標(biāo)外,因風(fēng)吹飄動(dòng)的窗簾也被誤判為前景;圖10 為由最大面積判斷后的運(yùn)動(dòng)目標(biāo)輪廓,其將誤判為前景的飄動(dòng)窗簾加以剔除,實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)目標(biāo)的準(zhǔn)確提取與識(shí)別。
圖9 背景窗簾飄動(dòng)誤判為前景圖
圖10 經(jīng)由最大面積尋找后得出運(yùn)動(dòng)目標(biāo)輪廓圖
測(cè)試所使用系統(tǒng)硬件設(shè)備是CPU 為Intel Core i5-4570@3.20GH,RAM 為8GB 的個(gè)人電腦,操作系統(tǒng)為Microsoft Windows7 專業(yè)版,系統(tǒng)開發(fā)工具采用VisualStdio 2010C/C++程序語言,搭配OpenCV2.4.9 版電腦視覺程序庫(kù)一同開發(fā)研究而成。
在性能評(píng)估上,將筆者提出的運(yùn)動(dòng)目標(biāo)檢測(cè)方法與GMM、Zivkovic 版本的GMM(Z-GMM)進(jìn)行比較,以某監(jiān)控系統(tǒng)實(shí)時(shí)拍攝的視頻為數(shù)據(jù)源,驗(yàn)證運(yùn)動(dòng)目標(biāo)檢測(cè)的效率與精度。每個(gè)程序模塊皆由MS Visual C++進(jìn)行編譯并且使用單進(jìn)程執(zhí)行,整個(gè)實(shí)驗(yàn)所用的設(shè)備為Intel Core i7-2640M(2.8Gz)。在實(shí)驗(yàn)數(shù)據(jù)上,將GMM 模塊的參數(shù)設(shè)置為K=3,Tσ=3,且η=0.01;在提出的運(yùn)動(dòng)目標(biāo)檢測(cè)方法上,參數(shù)設(shè)置為△b=256/N,a0=0.01,a1=a/2,β=1-a0。算法的閾值在兩方法上皆設(shè)置為TF=0.25。圖11 中的第一行為部分輸入圖像,為驗(yàn)證運(yùn)動(dòng)目標(biāo)檢測(cè)算法的精度,該研究設(shè)計(jì)了多樣化的場(chǎng)景(共計(jì)4 個(gè)video),增加了圖像中運(yùn)動(dòng)目標(biāo)檢測(cè)的復(fù)雜度,其中(a)&(b)為video1,(c)&(d)為video2,(e)&(f)為video3,(g)&(h)為video4。
如表1 所示為測(cè)試數(shù)據(jù)。
表1 測(cè)試數(shù)據(jù)表
利用GMM、ZGMM,提出方法對(duì)圖像進(jìn)行前景切割與運(yùn)動(dòng)目標(biāo)檢測(cè),結(jié)果如圖11 所示,圖中,行1:輸入圖像;行2:標(biāo)準(zhǔn)前景切割結(jié)果;行3-6:GMM、ZGMM、筆者所提方法(Fixed-point 實(shí)現(xiàn)、N=16)以及筆者所提方法(Fixed-point 實(shí)現(xiàn)、N=32)的前景切割結(jié)果。由圖中可知,基于混合高斯模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法在運(yùn)動(dòng)目標(biāo)輪廓提取完整性、噪聲去除等方面具有較好的視覺效果。
圖11 前景切割結(jié)果比較圖
對(duì)GMM、ZGMM,提出方法進(jìn)行前景切割與運(yùn)動(dòng)目標(biāo)檢測(cè)的時(shí)間統(tǒng)計(jì),分析不同方法的時(shí)效性,其結(jié)果如表2 所示(以GMM 的速度作為基準(zhǔn)速度100%進(jìn)行比較。單位:FPS)。根據(jù)對(duì)比可知,基于混合高斯模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法計(jì)算效率較高,比Z-GMM 快1.3 倍,比GMM 快3.7倍。對(duì)此情況進(jìn)行分析,高計(jì)算效率的出現(xiàn)是由于算法使用了內(nèi)存空間來換取處理時(shí)間。在程序執(zhí)行期間,會(huì)有較頻繁的內(nèi)存空間存取的現(xiàn)象。
該研究旨在對(duì)監(jiān)控系統(tǒng)中的運(yùn)動(dòng)目標(biāo)進(jìn)行識(shí)別,在對(duì)光流法與膚色等追蹤方式研究的基礎(chǔ)上,為了能更準(zhǔn)確提取出運(yùn)動(dòng)目標(biāo)位置與輪廓,采用了較快速的混合高斯模型法。早期的高斯模型存在容易受到光影影響導(dǎo)致將光線或陰影分割成前景部分的問題,為了改善該方法缺點(diǎn),提出了高斯濾波、膨脹與侵蝕及面積計(jì)算等方式,以提高運(yùn)動(dòng)目標(biāo)輪廓獲取的完整性與準(zhǔn)確性。
三門峽職業(yè)技術(shù)學(xué)院學(xué)報(bào)2022年2期