丁文龍,尹 朵,邱 崧
(華東師范大學(xué) 通信與電子工程學(xué)院,上海 200241)
實(shí)時(shí)檢測(cè)系統(tǒng)的特點(diǎn),要求運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)能正確、快速和完整地檢測(cè)到運(yùn)動(dòng)目標(biāo),以便于后續(xù)操作。常用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法有:幀間差分法、背景減除法、光流法,以及基于機(jī)器學(xué)習(xí)的模型匹配法。不同的檢測(cè)算法各有其優(yōu)缺點(diǎn):幀間差分法計(jì)算量較小,可以很好地實(shí)現(xiàn)實(shí)時(shí)系統(tǒng),但該算法容易出現(xiàn)空洞、拖影等問(wèn)題;雖然背景減除法結(jié)構(gòu)比較簡(jiǎn)單,但容易受到環(huán)境光線變換的影響;光流法可以在未知的場(chǎng)景下檢測(cè)出運(yùn)動(dòng)目標(biāo),檢測(cè)準(zhǔn)確率較高,但是計(jì)算量較大,不能滿足實(shí)時(shí)性要求;基于機(jī)器學(xué)習(xí)的模型匹配法可以很好地識(shí)別到物體、準(zhǔn)確率高,但識(shí)別前需要先訓(xùn)練模型,而且結(jié)構(gòu)較復(fù)雜,需要很強(qiáng)的處理器去運(yùn)算。針對(duì)以上方法的缺點(diǎn),也出現(xiàn)了很多的改進(jìn)算法。Jun等提出混合高斯模型和幀間差分法,用來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo);Liu等提出了結(jié)合幀間差分法和光流法的目標(biāo)檢測(cè)算法;Liang等針對(duì)幀間差分法和背景減除法,對(duì)提取目標(biāo)不完整易產(chǎn)生空洞問(wèn)題,提出自適應(yīng)雙閥值的運(yùn)動(dòng)目標(biāo)檢測(cè)算法;Lu等提出將混合高斯模型和背景減除法相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法;Cho等提出了混合高斯模型與光流估計(jì)相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。
綜上所述,雖然這些算法在一定程度上完善了運(yùn)動(dòng)目標(biāo)檢測(cè),但在高速運(yùn)動(dòng)物體檢測(cè)中,隨著攝像頭幀率提高、運(yùn)動(dòng)物體在幀間運(yùn)動(dòng)距離有重疊的情況下,上述方法檢測(cè)到的運(yùn)動(dòng)目標(biāo)識(shí)別率較低,仍有運(yùn)動(dòng)物體檢測(cè)不全的狀況。為此,本文提出了改進(jìn)型三幀差分法的運(yùn)動(dòng)目標(biāo)識(shí)別算法。
幀間差分法是一種通過(guò)對(duì)視頻序列中相鄰兩幀圖像之間做差分運(yùn)算,得到運(yùn)動(dòng)目標(biāo)差分圖像的方法。當(dāng)運(yùn)動(dòng)物體進(jìn)入攝像視野后,運(yùn)動(dòng)物體在幀與幀之間的位置信息差別較大,通過(guò)相鄰幀圖像之間相減后,進(jìn)行絕對(duì)值操作得到差分圖像。通過(guò)對(duì)差分圖像進(jìn)行閾值分割,提取得到運(yùn)動(dòng)物體的二值化圖像。三幀差分法是在兩幀差分的基礎(chǔ)上改進(jìn)而來(lái),將相鄰的三幀圖像進(jìn)行相鄰幀兩兩差分后,通過(guò)邏輯運(yùn)算得到最后的二值化圖像。由于運(yùn)動(dòng)物體在相鄰幀間圖像運(yùn)動(dòng)存在快慢的區(qū)別,當(dāng)運(yùn)動(dòng)物體相鄰幀之間沒(méi)有重疊時(shí),不會(huì)出現(xiàn)“空洞”現(xiàn)象;但是當(dāng)運(yùn)動(dòng)物體在相鄰幀間有部分重疊時(shí),重疊部分在差分后會(huì)表現(xiàn)出“空洞”現(xiàn)象。為了解決三幀差分法中的“空洞”現(xiàn)象,本文提出的改進(jìn)方案原理如下:
獲得攝像頭序列連續(xù)的三幀圖像f(,)、f(,)、f(,),這些圖像均由R、G、B三通道組成,對(duì)應(yīng)的數(shù)學(xué)關(guān)系如下:
其中,(x,y)表示圖像(,)第行、第列的像素,(x,y)包含R、G、B 3個(gè)通道的值:(x,y)、(x,y)、(x,y),該值分別是第行、第列的R通道、G通道和B通道的像素值。
對(duì)相鄰三幀的原始圖像f(,)、f(,)、f(,)進(jìn)行灰度化處理,得到灰度圖像:L(,)、L(,)、L(,),灰度處理的數(shù)學(xué)公式為:
其中,(x,y)、(x,y)、(x,y)分別是原始圖像(,)的R通道、G通道、B通道;每個(gè)通道前有一定的權(quán)重,將三維原始圖像(,)合并成一維的灰度圖像(,)。
計(jì)算相鄰兩幀的灰度圖像(,)之間的差分圖像(,),得到兩幅差分圖:(,)、(,),其轉(zhuǎn)換公式如下:
對(duì)兩幅差分圖像(,)和(,)分別進(jìn)行閾值分割,其數(shù)學(xué)表達(dá)式如下:
通過(guò)上述表達(dá)式,將得到的兩幅圖像進(jìn)行閾值分割處理得到(,)和(,)的二值化圖像;對(duì)二值化圖像(,)進(jìn)行形態(tài)學(xué)膨脹處理,得到F(,),其原理表達(dá)如下:
其中,()是形態(tài)學(xué)的膨脹操作。
將膨脹后的差分二值化圖像(,)和(,)進(jìn)行邏輯“與”,得到膨脹處理后的目標(biāo)二值化圖像F(,):
之后,對(duì)F(,)進(jìn)行腐蝕操作得到F(,),其原理表達(dá)如下:
其中,()是形態(tài)學(xué)的腐蝕操作。通過(guò)該操作得到最終的F(,)目標(biāo)二值化圖像。
本文提出的改進(jìn)算法是根據(jù)出現(xiàn)的“空洞”現(xiàn)象,在未進(jìn)行差分圖像二值化“與”操作之前,采用形態(tài)學(xué)的膨脹操作,將圖像中出現(xiàn)的“空洞”地方進(jìn)行填充;進(jìn)行“與”操作之后,再通過(guò)形態(tài)學(xué)的腐蝕操作,將運(yùn)動(dòng)目標(biāo)區(qū)域面積變?yōu)樵瓉?lái)的大小,最終得到準(zhǔn)確的運(yùn)動(dòng)目標(biāo)區(qū)域。
對(duì)于本文提出的算法,利用高速運(yùn)動(dòng)的乒乓球,來(lái)驗(yàn)證算法在處理實(shí)際場(chǎng)景中的情況。在乒乓球高速運(yùn)動(dòng)的真實(shí)情況下截取連續(xù)三幀圖像,如圖1所示。圖像采集設(shè)備選用USB工業(yè)攝像頭,幀率為120 fps,圖像尺寸是640?480,圖像格式為JPEG格式。
針對(duì)連續(xù)三幀的真實(shí)場(chǎng)景圖像,經(jīng)過(guò)相同的預(yù)處理操作后,得到灰度圖像。分別使用傳統(tǒng)的三幀差分法和本文提出的算法進(jìn)行處理,處理的結(jié)果如圖1所示,兩種算法對(duì)比結(jié)果如圖2所示。
由圖2(a)中可以看到,運(yùn)動(dòng)的乒乓球形狀前后都丟失了一部分,這就是由于差分圖像時(shí)出現(xiàn)的“空洞”現(xiàn)象;圖2(b)是原始圖像鎖定的乒乓球位置圖像;圖2(c)是采用本文提出的算法得到的結(jié)果圖像,相比較傳統(tǒng)的三幀差分法得到的結(jié)果圖,白色部分的運(yùn)動(dòng)乒乓球輪廓比較圓滑,球型大小和真實(shí)大小基本相同,表明本文算法可以很好的消除圖像在差分時(shí)出現(xiàn)的“空洞”現(xiàn)象,提高了運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性。
圖1 連續(xù)三幀的原始圖像Fig.1 Original image of three consecutive frames
圖2 結(jié)果對(duì)比Fig.2 Result comparison chart
本文根據(jù)傳統(tǒng)的三幀差分法容易出現(xiàn)“空洞”現(xiàn)象的缺點(diǎn),提出了一種改進(jìn)的三真差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。實(shí)驗(yàn)結(jié)果表明文本提出的方法可以很好的消去“空洞”現(xiàn)象,對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)更加準(zhǔn)確和完整,整體的計(jì)算比較簡(jiǎn)單,可以實(shí)現(xiàn)實(shí)時(shí)性處理,這為后面的實(shí)時(shí)識(shí)別系統(tǒng)打下了良好的基礎(chǔ)。