宋海英*,熊 建
(成都工業(yè)學(xué)院 通信工程系,成都 611730)
應(yīng)用變化區(qū)域檢測方法實現(xiàn)運動車輛分割
宋海英*,熊 建
(成都工業(yè)學(xué)院 通信工程系,成都 611730)
研究一種用于視頻序列中運動車輛的提取方法,利用3幀對稱差分的交集檢測出視頻幀中的運動區(qū)域,并利用2次橫縱掃描方法,填充運動目標模板,最后將運動目標模板和當(dāng)前幀逐像素點相乘,提取出運動目標。實驗結(jié)果表明:該方法具有良好的分割效果。
運動車輛分割;幀差;2次橫縱掃描
在互聯(lián)網(wǎng)和多媒體技術(shù)的應(yīng)用中,往往需要提取視頻序列中的運動目標,實現(xiàn)對靜止或動態(tài)場景的查詢與交互。因此,視頻分割在智能監(jiān)控、模式識別等領(lǐng)域得到了廣泛的應(yīng)用。視頻分割與靜態(tài)圖像分割的不同之處在于引入了時間域的幀間信息和空間域的運動信息。常見的運動目標分割算法有基于變化區(qū)域檢測的分割方法[1-2]、基于光流的分割方法[3-4]、基于時空融合的方法[5]、基于貝葉斯和 MRF的分割方法[6]等。基于變化區(qū)域檢測的分割方法通過檢測視頻序列幀間的變化區(qū)域和不變區(qū)域,實現(xiàn)對運動目標與靜止背景的分離。在背景靜止的情況下,幀間差分算法是運動區(qū)域檢測最直接、最快速的方法。而且基于變化區(qū)域檢測的分割方法具有運算速度快、實現(xiàn)簡單、檢測效果較好的特點,因此本文將研究基于變化區(qū)域檢測的方法來提取視頻序列中的運動車輛。
本文研究的視頻運動目標分割算法的基本思想為:假設(shè)場景中只有單個局部運動目標,背景不變,若幀間灰度差為非零值,則認為是由噪聲和運動目標的變化造成的。首先利用視頻幀間的對稱差分“與”,確定運動目標的大致位置,去掉靜止的背景;然后設(shè)定閾值對差分“與”圖像進行二值化處理,檢測出運動區(qū)域的掩模,并利用2次縱橫掃描方法,填充運動區(qū)域模板;最后利用原始圖像中的像素值填充模板中的對應(yīng)像素點,提取出較為完整的運動目標。該算法的實現(xiàn)流程如圖1所示。
對于背景不變的視頻序列,直接對相鄰2幀進行幀間差分可以得到運動區(qū)域;但當(dāng)目標運動速度很快時,使用簡單的2幀差分方法可能把靜止的背景區(qū)域判斷為運動區(qū)域,而把運動遮擋的區(qū)域判斷為靜止區(qū)域。使用3幀對稱差分方法可以有效解決運動目標前后幀的遮擋問題[7]。
假設(shè)有3 幀序列圖像 f(x,y,t-k),f(x,y,t),f(x,y,t+k)(k不一定取整數(shù)1,即選取的圖像不需要是連續(xù)的3幀),選取中間幀f(x,y,t)作為參考圖像,用前后幀與參考幀做絕對差分,得:
為了減少幀差圖像中噪聲的影響,需要選取合適的閾值對幀差圖像進行二值化處理,本文使用canny算子分別對幀差圖像fd(t-k,t)和fd(t+k,t)進行二值化處理得到二值圖像bw(t-k,t)和bw(t+k,t),同時為了減少圖像 bw(t-k,t)和 bw(t+k,t)中連接組件的數(shù)量,對圖像bw(t-k,t)和bw(t+k,t)進行平滑處理得到差分圖像bwm(t-k,t)和bwm(t+k,t)。
由于運動目標邊緣與幀差圖像中的運動區(qū)域邊緣具有很強的相關(guān)性,即參考幀與前后幀差圖像灰度邊緣重合的部分可以作為參考幀運動目標的邊緣,對2幅幀差圖像fd(t-k,t)和 fd(t+k,t)經(jīng)過上述處理之后得到的圖像bwm(t-k,t)和bwm(t+k,t)做邏輯與運算,即:
式中:“·”表示邏輯與,由此可以得到參考幀運動目標的運動區(qū)域,如圖2所示。
圖2 運動目標的運動區(qū)域
由圖2可知,在對稱差分后的二值圖像bw_mask(t)中,運動物體的像素點分布往往不均勻,有的地方甚至?xí)霈F(xiàn)斷裂或缺口現(xiàn)象,雖然,二值化處理可以減少圖像中噪聲的影響,但圖像中仍可能存在局部小塊噪聲。為了更準確地提取出運動目標,對二值圖像bw_mask(t)做如下處理:首先采用膨脹操作對bw_mask(t)進行填充,如式(4)所示:
式中:s是結(jié)構(gòu)元素(常用的結(jié)構(gòu)元素有diamond、disk、rectangle、octagon等);⊕表示膨脹操作。然后對Mor(bw_mask(t))進行平滑處理得到圖像fd_bw(t)。最后采用縱橫掃描的方法[8]對fd_bw(t)進行目標模板的填充,求取運動區(qū)域掩模。
縱橫掃描法描述如下:首先對fd_bw(t)按行掃描,得到每行的第一個邊界點和最后一個邊界點,第一個和最后一個邊界點之間的像素屬于目標的運動區(qū)域,用“1”填充這些區(qū)域得到橫向的分割掩模。然后對fd_bw(t)按列掃描,把得到每列的第一個邊界點和最后一個邊界點,用“1”填充第一個和最后一個邊界點之間的區(qū)域得到縱向的分割掩模,最后把2個掃描結(jié)果相“或”得到縱橫分割掩模。
縱、橫分割掩?!盎颉敝蟮慕Y(jié)果可能存在空洞或者孤立點,可以采用形態(tài)學(xué)的開閉運算剔除離散小區(qū)域,填充細縫或空洞[9];可以采用3次膨脹后再腐蝕的方法解決這一問題[10],也可以采取2次橫縱掃描的方式來填充余下的空洞,淹沒多余的孤立點。由于2次縱橫掃描方法簡單易實現(xiàn),特別適用于實心目標的檢測,故本文采用2次縱橫掃描方法得到最后的運動目標模板mask(t)。實驗證明,這種方法能取得較好的效果,如圖3所示。
圖3 2次掃描實驗效果圖
將運動目標模板mask(t)和當(dāng)前幀原始圖像 f(x,y,t)逐像素點相乘,提取出視頻運動目標,如式(5)所示。
式中:×表示逐像素點相乘。
為了驗證本文研究算法的有效性,利用“carwide”視頻序列[11]為例進行了分割實驗。
實驗結(jié)果如圖4所示。圖4(a)是視頻序列中的第4幀的原圖及其運動目標分割結(jié)果,圖4(b)是視頻序列中的第9幀的原圖及其運動目標分割結(jié)果,圖4(c)是視頻序列中的第14幀的原圖及其運動目標分割結(jié)果。從圖中可以看出,本文算法較好地實現(xiàn)了視頻序列中運動車輛的分割。
圖4 “carwide”視頻序列分割結(jié)果
本文研究了一種用于視頻序列中運動車輛的提取方法。該方法結(jié)合了3幀對稱差分方法和2次橫縱掃描方法的優(yōu)點,求解過程簡單,對背景不變的視頻序列中的單個運動車輛具有較好的檢測效果。實驗結(jié)果證實了該方法的有效性。
[1]ROLAND M,MLCHAEL W.A noise robust method for 2D shape estimation of moving objects in video sequences considering a moving camera[J].Signal Processing,1998,66(2):203-217.
[2]肖麗君,于哲舟,周栩,等.基于對稱差分算法的視頻運動目標分割[J].吉林大學(xué)學(xué)報:理學(xué)版,2008,46(4):691-696.
[3]沈未名,江柳.視頻對象分割及跟蹤方法研究[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2004,28(3):135-140.
[4]LU Y,LI Z N.Active video object extraction[C]//Multimedia and Expo IEEE International Conference,2004(1):563-566.
[5]楊文明.時空聯(lián)合的視頻對象分割[D].杭州:浙江大學(xué),2006.[6]PATRAS L,HENDRIKA.Video segmentation by MAP labeling of watershed segments[J].IEEE Trans.on Pattern,Analysis and Machine Intelligence,2001,23(3):326-332.
[7]楊莉,張弘,李玉山.視頻運動對象的自動分割[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2004,16(3):301-306.
[8]KIM C,HWANG J N.Fast and automatic video object segmentation and tracking for content-based applications[J].IEEE Transactions on Circuits and Systems for Video Technology,2002,12(2):122-129.
[9]SHAO Y C,SHYH Y M.Efficient moving object segmentation
algorithm using background registration technique [J].IEEE Transactions on Circuits and Systems For Video Technology,2002(12):577-582.
[10]趙彥玲.視頻對象分割算法的研究[D].濟南:山東大學(xué),2005.
[11]MDSP Super-Resolution And Demosaicing Datasets[EB/OL].[2014-01-09].http://users.soe.ucsc.edu/~ milanfar/software/sr-datasets.html.
Moving Vehicles Segmentation Method Based on Motion-changed Region Detection
SONG Haiying*,XIONG Jian
(Department of Communication Engineering,Chengdu Technological University,Chengdu 611730,China)
In this paper,a segmentation method for moving vehicles in video sequence is studied.Firstly,the intersection of three frame symmetric difference is used to detect the motion region of current frame.And the secondary horizontal-to-vertical scanning method is applied to fill the motion object template.Lastly,a dot product is done between the motion target template and the current frame to segment the moving object.The experimental results show that the method has good segmentation effect.
moving vehicles segmentation;frame difference;secondary horizontal-to-vertical scan
TP391.4
A
2095-5383(2014)02-0030-03
10.13542/j.cnki.51-1747/tn.2014.02.010
2014-02-23
四川省教育廳科研項目“基于目標分割的超分辨率重建研究”(14ZA0283);成都工業(yè)學(xué)院課題“超分辨率重建在智能交通中的應(yīng)用研究”(KY1311019B)
宋海英(1974-),女(土家族),湖北恩施人,副教授,博士,研究方向:圖像處理,通信作者郵箱:shying08@163.com。
熊建(1975-),男(漢族),四川仁壽人,講師,碩士,研究方向:信號處理。