辛 浩，李玲玲（淮北職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)系，安徽 淮北 235000）

基于幀間差分與背景消減的視頻摘要算法研究

辛 浩，李玲玲
（淮北職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)系，安徽 淮北 235000）

為克服幀間差分法只適合于幀像素變化較大的視頻檢測及背景消減法只適合于固定背景模型的視頻檢測的缺點(diǎn)，提出一種新的基于幀間差分與背景消減的視頻摘要算法，這種算法首先對前后兩幀的幀圖像像素進(jìn)行檢測，若無顯著運(yùn)動(dòng)對象，則繼續(xù)進(jìn)行背景模型對比檢測.實(shí)驗(yàn)結(jié)果表明，該算法能夠快速、精準(zhǔn)地對運(yùn)動(dòng)顯著及不顯著的視頻進(jìn)行摘要提取，濃縮事件精華，較高地還原視頻關(guān)鍵信息內(nèi)容.

視頻摘要；運(yùn)動(dòng)檢測；幀間差分；背景消減

0 引言

近年來，隨著多媒體技術(shù)的發(fā)展，人們越來越認(rèn)識到視頻摘要和檢索在多媒體內(nèi)容處理的重要性，尤其是在長時(shí)間的監(jiān)控視頻方面能夠發(fā)揮重要作用，視頻摘要［1］技術(shù)涉及多種學(xué)科領(lǐng)域，包括通信、視頻處理、心理感知、模式識別科學(xué)等，國內(nèi)外許多學(xué)者和實(shí)驗(yàn)室開始研究自動(dòng)、半自動(dòng)的摘要視頻生成方法.因此，在理論上有很大的研究意義，在實(shí)際應(yīng)用上也有廣闊的應(yīng)用前景，已成為國內(nèi)外研究的熱門話題［2］. 目前，已有的視頻摘要技術(shù)算法有很多，Acha［3］提出使用均值濾波的方式設(shè)計(jì)視頻摘要框架；Vu［4］提出視頻場景模型分割的方法.之后人們又先后提出基于光流信息的視頻摘要算法、基于聚類的視頻摘要算法等.這些算法應(yīng)用到具體的智能視頻監(jiān)控中至今還不能滿足所有需求［5］.因此，從海量的視頻信息里快速有效地提取可靠信息仍是人們迫切需要解決的問題.

1 常用運(yùn)動(dòng)目標(biāo)檢測方法

視頻摘要中的一個(gè)重要研究內(nèi)容就是運(yùn)動(dòng)目標(biāo)的檢測方法，其效果不僅關(guān)系到摘要算法的精確度，也為運(yùn)動(dòng)物體運(yùn)動(dòng)軌跡的追蹤及后期的運(yùn)動(dòng)軌跡場景的還原起到?jīng)Q定性的作用.運(yùn)動(dòng)目標(biāo)檢測法有很多種，常用的有幀間差分法、背景消減法［6］等.

1.1 幀間差分法

幀間差分法［7］就是靠檢測幀與幀之間的差別來進(jìn)行運(yùn)動(dòng)檢測的方法.其基本原理［8］是把時(shí)間段分成若干幀，每幀都有對應(yīng)的圖像序列，通過直接比較前后相鄰的幀所對應(yīng)的序列圖像的像素點(diǎn)有無變化來確定有沒有運(yùn)動(dòng)的目標(biāo).假設(shè)幀為ft,t∈(1,2,…,T)，σ為閾值，當(dāng)ft-ft-1≥σ時(shí)，則表示幀間像素點(diǎn)變化較大，幀間有運(yùn)動(dòng)目標(biāo)的產(chǎn)生.幀被標(biāo)記為新的關(guān)鍵幀保存下來.當(dāng)ft-ft-1≤σ時(shí)，則表示幀間像素點(diǎn)變化較小，幀間沒有運(yùn)動(dòng)目標(biāo)的產(chǎn)生，此幀被當(dāng)作無用幀丟棄.

此算法中σ的取值起到關(guān)鍵性的作用［9］.在同一光線背景下，σ的值過大會(huì)造成只能檢測大幅度的運(yùn)動(dòng)目標(biāo)，而忽略精細(xì)運(yùn)動(dòng)的檢測；σ的取值過小，又會(huì)造成無法去除圖像中的干擾噪聲，使得檢測結(jié)果不準(zhǔn)確.如果在背景光線復(fù)雜的情況下，閾值σ的選取可以設(shè)定為局部閾值與全局閾值，這是因?yàn)楸尘暗墓庹諒?qiáng)度相差太大，攝像頭所處環(huán)境不同，為了能夠更好地確定噪音的范圍，提高運(yùn)動(dòng)目標(biāo)的精確度而選擇設(shè)定的.

幀間差分法是視頻摘要技術(shù)中常用的運(yùn)動(dòng)目標(biāo)檢測法，其優(yōu)點(diǎn)是實(shí)現(xiàn)起來簡單方便，缺點(diǎn)是使用幀間差分法并不能精確完整地檢測出運(yùn)動(dòng)目標(biāo).σ的選取對于檢測結(jié)果的影響太大，對于細(xì)小的緩慢的運(yùn)動(dòng)很難判斷出運(yùn)動(dòng)區(qū)域，而大范圍的運(yùn)動(dòng)又很難做到精細(xì)；光照強(qiáng)度因素影響也較大，因而使用同一個(gè)σ值是不可取的［10］.

1.2 背景消減法

背景消減法的使用是建立在背景對比思想上的.其原理是把當(dāng)前幀的圖像與設(shè)定的背景模型對比，如果當(dāng)前幀的圖像與背景對比小于設(shè)定閾值τ，則認(rèn)為當(dāng)前幀的圖像與設(shè)定的背景參考模型基本吻合，則該幀無運(yùn)動(dòng)對象.如果當(dāng)前幀的圖像與設(shè)定的背景參考模型比較變化較大，則認(rèn)為有運(yùn)動(dòng)對象的出現(xiàn)［11］.

背景環(huán)境變化較小的視頻監(jiān)控適合于使用背景消減法提取運(yùn)動(dòng)軌跡［12］，所以，對于攝像頭固定不變的視頻尤其適用背景消減法.但是當(dāng)攝像頭能轉(zhuǎn)動(dòng)或多個(gè)攝像頭采集的多種背景視頻就不適合于使用背景消減法.

2 基于幀間差分與背景消減的視頻摘要算法

幀間差分法實(shí)現(xiàn)簡單，適合于幀圖像像素變化較大的視頻檢索，但是誤差較大；背景消減法適用背景模型相對固定的場景，不適合對背景變化較大的視頻檢索，所以，根據(jù)視頻監(jiān)控的實(shí)際需求，把幀間差分法與背景消減法相結(jié)合，提出一種新的基于幀間差分與背景消減的視頻摘要算法.

2.1 算法思想

基于幀間差分與背景消減的視頻摘要算法是把經(jīng)典的幀間差分檢測法與背景消減檢測法相結(jié)合.其基本思想是：設(shè)t時(shí)刻所對應(yīng)的幀圖像為fp(t)，則上一時(shí)刻所對應(yīng)的幀圖像為fp(t-1)，首先直接比較fp(t)與fp(t-1)的像素點(diǎn)差值，若fp(t)-fp(t-1)≥σ，可以認(rèn)為該時(shí)刻有運(yùn)動(dòng)目標(biāo)引起圖像像素點(diǎn)變化，則把此刻幀標(biāo)注為關(guān)鍵幀；否則認(rèn)為前后兩幀的像素點(diǎn)變化極小，需要進(jìn)行背景消減判斷.設(shè)t時(shí)刻所對應(yīng)的背景參考模型為fn(t)，若fp(t)-fn(t)≥τ，可以認(rèn)為當(dāng)前時(shí)刻的圖像與背景參考模型有一定的差別，因而有運(yùn)動(dòng)對象的產(chǎn)生，則標(biāo)注關(guān)鍵幀，更新背景參考模型.

其中，σ與τ為設(shè)定的閾值，σ與τ的選擇關(guān)系到視頻摘要算法的精確度，σ與τ的取值過高會(huì)使得算法對于場景的細(xì)小變化難以捕捉，降低算法的靈敏度；但是σ與τ過低，又會(huì)使算法難以消除噪聲的干擾，降低算法的精確度.

2.2 算法描述

（1）直接比較前后相鄰的幀所對應(yīng)的序列圖像的像素點(diǎn)，假設(shè)t時(shí)刻對應(yīng)的幀圖像為fp(t),t∈(1,2,…,T)，σ為閾值，計(jì)算fp(t)-fp(t-1)

（2）if（fp(t)-fp(t-1)≥σ）

｛使用fp(x,y,t,t-1)=1標(biāo)注關(guān)鍵幀列入序列；用count對已經(jīng)標(biāo)注的關(guān)鍵幀序列進(jìn)行統(tǒng)計(jì)計(jì)數(shù)；對統(tǒng)計(jì)標(biāo)注好的關(guān)鍵幀序列用冒泡排序法標(biāo)明下標(biāo)；對統(tǒng)計(jì)好的關(guān)鍵幀重新排序及幀視頻更新｝

（3）else if（fp(t)-fn(t)≥τ）

｛使用fp(x,y,t,t-1)=1標(biāo)注關(guān)鍵幀列入序列；統(tǒng)計(jì)計(jì)數(shù)并對關(guān)鍵幀序列用冒泡排序法標(biāo)明下標(biāo)；對統(tǒng)計(jì)好的關(guān)鍵幀重新排序及幀視頻更新；用fn(t)=fp(t)更新背景參考模型｝

（4）else

檢測是否達(dá)到視頻最后一幀，若不是最后一幀，則t=t+1，重新進(jìn)入幀像素的檢測.

2.3 算法流程圖

基于幀間差分與背景消減的視頻摘要算法通過幀圖像的檢測，進(jìn)行標(biāo)注顯著運(yùn)動(dòng)幀，通過背景檢測進(jìn)行不顯著運(yùn)動(dòng)幀的標(biāo)注，具體算法流程如圖1所示.

圖1 算法流程

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證基于幀間差分與背景消減的視頻摘要算法的有效性，在Vc++的研發(fā)環(huán)境下，使用該算法開發(fā)了“基于幀間差分與背景差分的視頻摘要系統(tǒng)”軟件，該軟件的界面如圖2所示.

圖2 視頻檢索軟件界面

3.1 實(shí)驗(yàn)方法

使用一臺(tái)PC，使用已經(jīng)開發(fā)的“基于幀間差分與背景消減的視頻摘要算法”的系統(tǒng)軟件對一段使用手機(jī)拍攝的背景有微弱變化的51 s的源監(jiān)控視頻進(jìn)行視頻摘要，該源視頻中的運(yùn)動(dòng)對象處于較弱的光線下，且源視頻中的運(yùn)動(dòng)對象前期的運(yùn)動(dòng)較微弱不顯著，后期有明顯的走動(dòng)過程，即運(yùn)動(dòng)顯著.具體實(shí)驗(yàn)步驟為：

（1）首先點(diǎn)擊“加載視頻”按鈕導(dǎo)入視頻，然后選擇源視頻文件，對源視頻進(jìn)行摘要檢索，在打開的對話框中選擇運(yùn)動(dòng)方法為“二者結(jié)合”，如圖3所示.

圖3 視頻摘要設(shè)置

（2）點(diǎn)擊確定，系統(tǒng)軟件會(huì)自動(dòng)對所加載視頻進(jìn)行“幀間差分與背景消減的視頻摘要算法”的視頻摘要檢測.

（3）導(dǎo)出摘要視頻，另存為“video（摘要視頻）.avi”

（4）比較源視頻與摘要視頻，如圖4和圖5所示.

圖4 源視頻文件

圖5 摘要視頻文件

3.2 實(shí)驗(yàn)結(jié)果分析

比較圖4和圖5發(fā)現(xiàn)，源視頻總時(shí)間段為51 s，摘要后總時(shí)間為29 s；源視頻中1～13 s、27～35 s無運(yùn)動(dòng)對象，摘要視頻中一直有運(yùn)動(dòng)對象.比較源視頻內(nèi)容與摘要視頻內(nèi)容，發(fā)現(xiàn)摘要視頻是把源視頻的1～13 s和27～35 s認(rèn)為無運(yùn)動(dòng)對象，自動(dòng)剔除；而對源視頻中的14～26 s和36～51 s的視頻內(nèi)容自動(dòng)檢測認(rèn)為有較明顯的運(yùn)動(dòng)對象存在，標(biāo)注關(guān)鍵幀進(jìn)行摘要提取，重新整合為有效的摘要視頻，具體數(shù)據(jù)如表1所示.

表1 源視頻與摘要視頻數(shù)據(jù)

該實(shí)驗(yàn)驗(yàn)證了基于幀間差分與背景消減的視頻摘要算法的有效性，能夠在背景模型晃動(dòng)及較暗的外界光線的干擾因素影響下，精確地對視頻中不顯著運(yùn)動(dòng)對象自動(dòng)檢測，而后進(jìn)行摘要提取，剔除無價(jià)值的信息，濃縮精華，高度地還原了視頻的有效價(jià)值.

4 結(jié)束語

本文提出的基于幀間差分與背景消減的視頻摘要算法，克服了傳統(tǒng)運(yùn)動(dòng)對象檢測算法的缺點(diǎn)，在不受外界光線的影響下，既能夠檢測運(yùn)動(dòng)物體顯著的場景，也能檢測微弱運(yùn)動(dòng)變化的場景，標(biāo)注出關(guān)鍵幀，再對關(guān)鍵幀進(jìn)行排序整合成有效的摘要視頻，高精度地還原了源視頻的有效信息.

［1］岳周龍.基于多目標(biāo)跟蹤的監(jiān)控視頻摘要系統(tǒng)［D］.合肥：合肥工業(yè)大學(xué)，2016.

［2］楊建全，梁華，王成友.視頻監(jiān)控技術(shù)的發(fā)展與現(xiàn)狀［J］.現(xiàn)代電子技術(shù)，2006,29（21）：84-88.

［3］ACHA R，PRITCH Y，PELEG S.Making a long video short：dynamic video synopsis［C］//2006 IEEE Computer Society Con?ference on Computer Vision and Pattern Recognition v1，New York，2006：435-441.

［4］VU V，BREMOND F，THONNAT M.Automatic video interpretation：a recognition algorithm for temporal scenarios based on pre-compiled scenario models［C］//Proceeding of International Conference on Computer Vision Systems，2003.

［5］BOIMAN O，IRANI M.Detecting irregularities in images and in video［C］//ICCV，Beijing，2005.

［6］解曉萌.復(fù)雜背景下運(yùn)動(dòng)目標(biāo)檢測和識別關(guān)鍵技術(shù)研究［D］.廣州：華南理工大學(xué)，2012.

［7］屈晶晶，辛云宏.連續(xù)幀間差分與背景差分相融合的運(yùn)動(dòng)目標(biāo)檢測方法［J］.光子學(xué)報(bào)，2014，43（7）：213-220.

［8］祝曉斌.面向智能視頻監(jiān)控的異常檢測與摘要技術(shù)［M］.北京：知識產(chǎn)權(quán)出版社，2015：126-129.

［9］汪國強(qiáng)，蓋琪琳，于懷勇，等.基于背景差分法的視頻目標(biāo)檢測算法研究［J］.黑龍江大學(xué)工程學(xué)報(bào)，2014（4）：64-67.

［10］朱志輝.基于視頻摘要生成技術(shù)的研究［J］.微電子學(xué)與計(jì)算機(jī)，2006，23（2）：76-78.

［11］代科學(xué)，李國輝，涂丹，等.監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測減背景技術(shù)的研究現(xiàn)狀和展望［J］.中國圖象圖形學(xué)報(bào)，2006，11 （7）：919-922.

［12］張小建，徐慧.基于視頻處理的運(yùn)動(dòng)車輛檢測算法的研究［J］.液晶與顯示，2012，27（1）：108-112.

A New Video Summarization Algorithm Based on Frame Difference and Background Subtraction Methods

XIN Hao，LI Lingling
（Department of Computing，Huaibei Vocational and Technical College，235000，Huaibei，Anhui，China）

Traditionally,frame difference method is only suitable to detect videos with huge difference between the pixels of frames while background subtraction method can only be used to detect videos with fixed back?grounds.To address such issues，in this work，a new video summarization algorithm combining both frame dif?ference method and background subtraction method is proposed.First，when detecting the videos，the pixels of two adjacent frames will be detected.If no moving object is detected，background models will be further compared and detected.Experiments show that this new algorithm has good performance to summarize both moving and stationary videos.It can not only fast but also accurately extract the key information of the detect?ed videos.

video summarization；motion detection；frame difference；background subtraction

TP 391.4

A

2095-0691（2017）02-0064-05

2017-03-30

安徽省淮北市科技攻關(guān)計(jì)劃項(xiàng)目（20140209）；安徽省自然科學(xué)研究重點(diǎn)項(xiàng)目（KJ2016A653）

辛 浩（1982— ），男，安徽淮北人，講師，研究方向：計(jì)算機(jī)軟件開發(fā)及應(yīng)用.