周渝斌

（上海工程技術(shù)大學(xué)機(jī)械工程學(xué)院 上海 201620）

海量監(jiān)控視頻快速回放與檢索技術(shù)

周渝斌

（上海工程技術(shù)大學(xué)機(jī)械工程學(xué)院 上海 201620）

為解決海量監(jiān)控視頻的快速瀏覽和檢索，介紹了一種基于目標(biāo)索引的視頻摘要和檢索方法。該方法在光流分析的基礎(chǔ)上，在畫面的靜止區(qū)域更新背景，運(yùn)動(dòng)的區(qū)域利用差分法分割出運(yùn)動(dòng)目標(biāo)圖像。經(jīng)過優(yōu)化的快速特征匹配和建立運(yùn)動(dòng)跟蹤模型后，根據(jù)目標(biāo)運(yùn)動(dòng)軌跡，按照時(shí)空距離進(jìn)行聚類。在以目標(biāo)圖像數(shù)據(jù)和運(yùn)動(dòng)參數(shù)進(jìn)行XML結(jié)構(gòu)化存儲(chǔ)為索引的基礎(chǔ)上，最后在檢索時(shí)，將符合條件的所有目標(biāo)圖像按照其原有時(shí)間順序逐幀貼到同一個(gè)背景圖像中，形成動(dòng)態(tài)的摘要視頻。該方法剔除了背景中大量的時(shí)空冗余信息，可在較短回放時(shí)間內(nèi)瀏覽全部有用目標(biāo)，顯著提高海量監(jiān)控視頻的查閱效率。

視頻摘要 視頻濃縮 視頻檢索 視頻監(jiān)控 目標(biāo)跟蹤

1 引言

遍布大街小巷的監(jiān)控?cái)z像頭實(shí)時(shí)錄制了海量的視頻數(shù)據(jù)，不僅有效地遏制了一些犯罪隱患，同時(shí)也提供了犯罪的證據(jù)，給警方破案帶來了很大的便利。然而，這些海量視頻數(shù)據(jù)的查找、分析工作常常會(huì)耗用警方大量的時(shí)間和人力。例如2012年1月6日上午發(fā)生在南京的銀行槍擊殺人搶劫案，警方為盡快鎖定劫匪在南京的活動(dòng)軌跡，動(dòng)用了500多名民警24小時(shí)不間斷工作，對上萬小時(shí)的視頻斷進(jìn)行逐一甄別，終于找到了兩段共14秒有用視頻，為警方破案提供了寶貴的線索。由此可見，如何忽略監(jiān)控視頻中大量的無用信息而快速檢索目標(biāo)信息，是當(dāng)前視頻監(jiān)控一種重要的研究課題。

傳統(tǒng)的快速視頻瀏覽技術(shù)有兩種，一種是快放，即以正常速度的幾倍至十幾倍的速度回放原始視頻，為快速解碼，通常需要丟幀；另一種稱為視頻摘要，其實(shí)現(xiàn)方法是通過一定的規(guī)則提取關(guān)鍵幀或關(guān)鍵視頻片段，來實(shí)現(xiàn)靜態(tài)或動(dòng)態(tài)的視頻摘要。但這兩種方法都以損失大量有用信息為代價(jià)來達(dá)到快速瀏覽的目的，也可以稱之為有損視頻摘要，不適合刑偵破案的需要。

本文介紹一種利用面向運(yùn)動(dòng)目標(biāo)時(shí)空分析的技術(shù)來建立視頻的摘要信息，將原本在不同時(shí)間出現(xiàn)的運(yùn)動(dòng)目標(biāo)同時(shí)播放出來。這是一種面向目標(biāo)的摘要提取方法，能同時(shí)實(shí)現(xiàn)快速視頻檢索切不損失有用信息，也可稱為“視頻濃縮”技術(shù)，或者稱為“視頻字典”。在提出利用時(shí)空分析濃縮視頻形成摘要方法后，后來A.Rav-Acha和Y.Pritch等人開始將這種技術(shù)應(yīng)用到單場景監(jiān)控視頻進(jìn)行時(shí)間壓縮摘要分析，2009年波斯頓大學(xué)的Z.Li又提出一種視頻條帶時(shí)空分析的摘要方法。這些方法都是以動(dòng)態(tài)目標(biāo)分析為基礎(chǔ)，當(dāng)目標(biāo)靜止后就不再跟蹤。利用這種概念從原始視頻中提取感興趣運(yùn)動(dòng)目標(biāo)后建立索引目錄，可形成目標(biāo)字典數(shù)據(jù)庫，通過字典詞條，快速檢索到目標(biāo)運(yùn)動(dòng)數(shù)據(jù)并定位到原始視頻片段。查詢摘要的時(shí)候，可根據(jù)用戶輸入的查詢條件，如尺寸、速度、顏色等，過濾掉不符合條件的目標(biāo)，剩下的目標(biāo)在調(diào)整遮擋參數(shù)后，逐幀融合到背景畫面中，形成一個(gè)全新的視頻段，其長度也根據(jù)畫面中目標(biāo)的數(shù)量和密度而變化。一段監(jiān)控視頻通?？蓧嚎s成原始長度幾十分之一的新視頻。用戶甚至可在短短幾分鐘內(nèi)，就能瀏覽完十幾個(gè)小時(shí)的監(jiān)控視頻。由于這種技術(shù)可以大大加快案件偵破中的海量視頻檢索，所以也是目前警方最迫切需要的一種新智能視頻分析技術(shù)。本文提出了運(yùn)動(dòng)跟蹤的目標(biāo)提取方法，可解決對目標(biāo)在運(yùn)動(dòng)過程中不斷變化運(yùn)動(dòng)狀態(tài)下仍然可以有效跟蹤的問題；同時(shí)對實(shí)際應(yīng)用中遇到的幾個(gè)問題提出了解決方法，如快速檢索的數(shù)據(jù)組織方法，多線程的同步等。

2 序列圖像的運(yùn)動(dòng)估計(jì)與目標(biāo)分割

2.1 時(shí)空圖像體運(yùn)動(dòng)估計(jì)

由于監(jiān)控相機(jī)絕大多數(shù)都固定不動(dòng)，背景圖像比較穩(wěn)定，序列圖像的變化主要來源于運(yùn)動(dòng)物體，因此，運(yùn)動(dòng)分析可以從時(shí)間相鄰幀的像素梯度最小的方向獲得，靜止區(qū)域像素的梯度方向顯然與圖像平面法線平行，其他方向則為運(yùn)動(dòng)區(qū)域，如圖1所示。

圖1 序列圖像的運(yùn)動(dòng)估計(jì)

定義運(yùn)動(dòng)目標(biāo)在時(shí)空圖像體中的速度v=(u，v，1)，其中u、v分別為空間x、y方向的速度，時(shí)間軸方向速度為1。像素灰度值g（x，y）在軌跡s方向上變化為0，即dg(t)/ds=0，該方程即為運(yùn)動(dòng)約束方程：

由于光照變化、物體變形和噪聲等影響，實(shí)際上為dg(t)/ds→0，找到最小誤差即可：

上式最小值可以通過不同的測度達(dá)到，若以w（x，t）小窗口的圖像差分為基準(zhǔn)進(jìn)行運(yùn)動(dòng)估計(jì)，上式最小值處即為最匹配位置，即計(jì)算：

窗函數(shù)縮寫后，上式可簡化成：

上式將運(yùn)動(dòng)變成張量J的特征值分析，減少了計(jì)算量，只要找到最小張量方向，即為運(yùn)動(dòng)方向。這種采用在時(shí)空圖像體中計(jì)算運(yùn)動(dòng)光流后，其圖像平面的光流F跟時(shí)空中的運(yùn)動(dòng)關(guān)系可定義為：

其中φx和φy分別為物體x、y運(yùn)動(dòng)方向與像法線的夾角，上式可用來計(jì)算時(shí)空圖像序列中運(yùn)動(dòng)目標(biāo)的速度，據(jù)此建立目標(biāo)的運(yùn)動(dòng)模型，以提高跟蹤的可靠性。

2.2 背景學(xué)習(xí)與更新

光流雖然可以分割出運(yùn)動(dòng)區(qū)域，但是不可能對每個(gè)像素進(jìn)行計(jì)算，否則計(jì)算量太大，而且光流也會(huì)把目標(biāo)的靜止部分分割成背景。從背景分割出目標(biāo)的方法很多，基本上都是基于圖像差分法，經(jīng)過優(yōu)化后能有效分割出目標(biāo)外形輪廓。幀間差分法可獲得運(yùn)動(dòng)目標(biāo)信息，但是無法分割靜態(tài)目標(biāo)。背景差分法能較完整地分割目標(biāo)，本文采用兩階段背景差分法分割目標(biāo)，并改進(jìn)了學(xué)習(xí)策略。

背景學(xué)習(xí)的關(guān)鍵在于如何有效、快速的背景更新，特別在天氣變化、車燈等原因?qū)е庐嬅媪炼茸兓瘯r(shí)，背景的更新速度要能跟進(jìn)這種變化才能持續(xù)有效地使用差分法找到目標(biāo)。當(dāng)更新太快時(shí)，靜態(tài)目標(biāo)、樹葉等小的目標(biāo)會(huì)影響背景像素的灰度值，反而帶來新的干擾。本文提出一種兩階段背景更新方法，在保證背景快速學(xué)習(xí)的同時(shí)，可有效消除光線突變、運(yùn)動(dòng)、靜止目標(biāo)等干擾。該方法在第一階段學(xué)習(xí)過程中，每次記錄下更新區(qū)域，當(dāng)所有的區(qū)域都更新完畢后，進(jìn)行第二階段。經(jīng)過第一階段后，通過背景差分可提取出運(yùn)動(dòng)目標(biāo)區(qū)域，第二階段只更新非運(yùn)動(dòng)目標(biāo)區(qū)域。當(dāng)目標(biāo)從運(yùn)動(dòng)變成靜止時(shí)，可通過對運(yùn)動(dòng)目標(biāo)的跟蹤，判斷出運(yùn)動(dòng)目標(biāo)所在的區(qū)域，而這時(shí)目標(biāo)還沒被更新到背景中，該區(qū)域能夠被差分出來，該部分也從背景可更新區(qū)域中扣除。第一階段幀間差分得到靜態(tài)區(qū)域，加上靜止目標(biāo)區(qū)域，剩下的區(qū)域像素才被更新。

背景差分后的像素灰度進(jìn)行閾值分割可獲得目標(biāo)區(qū)域：

上述閾值取Thres=20時(shí)，可獲得目標(biāo)外形輪廓，分割出目標(biāo)區(qū)域，但是當(dāng)整幅畫面的亮度都出現(xiàn)較大的變化時(shí)，閾值失效，如車燈或畫面中進(jìn)入較大的白色或暗色物體，相機(jī)的自增益會(huì)造成整個(gè)畫面的亮度變化，導(dǎo)致差分結(jié)果異常。采用閾值隨亮度自適應(yīng)變化的分割方式，即差分后的閾值自動(dòng)跟著當(dāng)前圖像亮度的變化自動(dòng)調(diào)整，將差分圖像的平均亮度加上20作為閾值：Thres=Avg（fdiff）+20，能適應(yīng)多數(shù)情況下的亮度變化。這個(gè)方法雖然很簡單，但是很多算法，如ViBe、OpenCV的codebook都沒有這樣做，導(dǎo)致實(shí)際測試效果較差。

3 目標(biāo)跟蹤

摘要重建是以每個(gè)運(yùn)動(dòng)目標(biāo)為單位，將每個(gè)目標(biāo)的全生命周期信息作為一個(gè)整體建立摘要索引，為此需要跟蹤目標(biāo)的運(yùn)動(dòng)軌跡，并根據(jù)運(yùn)動(dòng)參數(shù)和軌跡進(jìn)行分類。

幀間目標(biāo)的跟蹤通過建立目標(biāo)的運(yùn)動(dòng)模型后可實(shí)現(xiàn)。跟蹤目標(biāo)質(zhì)心在序列圖像中位置的運(yùn)動(dòng)，而不必對每一個(gè)特征點(diǎn)進(jìn)行跟蹤。幀間的立體運(yùn)動(dòng)信息包括速度和線性加速度，暫不考慮角加速度，將速度在兩個(gè)方向上進(jìn)行分解：水平vx和垂直vy，每個(gè)方向的當(dāng)前運(yùn)動(dòng)速度都等于勻速和加速度之和，可得到：

由于幀間時(shí)間間為1，下一幀的水平方向速度vx就是當(dāng)前幀跟前一幀間的運(yùn)動(dòng)矢量MV，加上當(dāng)前幀運(yùn)動(dòng)矢量跟上一幀運(yùn)動(dòng)矢量的變化量，即加速度ax，垂直方向也是如此。于是每一點(diǎn)的運(yùn)動(dòng)矢量應(yīng)該是包含兩個(gè)方向的勻速運(yùn)動(dòng)和加速度：(vx，vy，ax，ay)。幀間運(yùn)動(dòng)速度的變化量，包括加速度ax、ay，可以用來預(yù)測目標(biāo)質(zhì)心點(diǎn)在下一幀中的位置。預(yù)測的位置可以縮小追蹤匹配的范圍，加快運(yùn)算速度，目標(biāo)每次初始進(jìn)行跟蹤時(shí)，(⊿x，⊿y)可取較大的范圍，一旦跟蹤確定后，新的(⊿x，⊿y)可以根據(jù)其幀間速度和加速度縮小為 xi±(vx+ax+εx)，yi±(vy+ay+εy)。(εx，εy)為修正值，可取(εx，εy)=（0.1xi，0.1yi)。

運(yùn)動(dòng)預(yù)測的另一個(gè)好處是，當(dāng)目標(biāo)被遮擋后，要根據(jù)其原本的運(yùn)動(dòng)速度，預(yù)測其位置，特別是小目標(biāo)被大目標(biāo)擋住后，根據(jù)運(yùn)動(dòng)方程預(yù)測目標(biāo)的位置，在重新出現(xiàn)后，能在小范圍內(nèi)繼續(xù)跟蹤。如行人被汽車完全擋住后，行人可能連續(xù)多幀從畫面中消失，為了保證行人重新出現(xiàn)后繼續(xù)跟蹤，在遮擋發(fā)生后，根據(jù)行人遮擋前一刻的運(yùn)動(dòng)模型，繼續(xù)預(yù)測其運(yùn)動(dòng)位置。

4 路徑分類

對跟蹤到的目標(biāo)可計(jì)算出運(yùn)動(dòng)速度、加速度、行為模式、運(yùn)動(dòng)位置等多種參數(shù)，這些參數(shù)可以用來進(jìn)一步進(jìn)行異常行為判斷，如徘徊、越界、逃跑等。但是，在視頻濃縮中，主要滿足用戶的條件檢索，將不同時(shí)間出現(xiàn)的多個(gè)符合條件的目標(biāo)，同時(shí)顯示在背景畫面上，并保持各自原有的運(yùn)動(dòng)軌跡，以正常速度播放。如果不對目標(biāo)的軌跡進(jìn)行運(yùn)算，在回放的時(shí)候，不同時(shí)間出現(xiàn)的運(yùn)動(dòng)目標(biāo)可能出現(xiàn)在畫面中的同一位置，導(dǎo)致目標(biāo)圖像層疊而無法分辨。

4.1 目標(biāo)間的時(shí)空距離

運(yùn)動(dòng)目標(biāo)的圖像、參數(shù)按其原本的時(shí)間順序存入數(shù)據(jù)文件，回放的時(shí)候，再按照原有的時(shí)間順序保持其運(yùn)動(dòng)趨勢，同時(shí)以目標(biāo)像素替換背景中相應(yīng)位置的像素，就可以動(dòng)態(tài)地還原運(yùn)動(dòng)目標(biāo)的空間和時(shí)間信息。為了提高回放效率，總是將多個(gè)不同時(shí)間出現(xiàn)的目標(biāo)貼在同一背景上，經(jīng)常會(huì)出現(xiàn)有的地方多個(gè)目標(biāo)間相互遮擋，而有的地方卻沒有目標(biāo)的現(xiàn)象。為了提高回放的可視性，需要根據(jù)目標(biāo)的時(shí)間位置信息，即軌跡，來調(diào)整其在回放的時(shí)間順序。

根據(jù)目標(biāo)的軌跡調(diào)整目標(biāo)的回放時(shí)間，要計(jì)算回放時(shí)目標(biāo)間遮擋系數(shù)，據(jù)此定義兩個(gè)目標(biāo)在t時(shí)刻軌跡間的時(shí)空距離為：

其中l(wèi)i（t1）和lj（t2）分別為第i和第j個(gè)目標(biāo)在t1和t2時(shí)刻的位置，t2=t1+△t，△t為目標(biāo)j的調(diào)整時(shí)間。假設(shè)兩個(gè)目標(biāo)的半徑分別ri、rj，可通過下式判斷是否發(fā)生遮擋：

由于目標(biāo)大小在不同時(shí)刻不斷變化，ri、rj值也要更新?？梢杂?jì)算兩目標(biāo)發(fā)生遮擋總數(shù)為：

每設(shè)置一次時(shí)間調(diào)整值△t，可重新計(jì)算C，可找到最小遮擋次數(shù)時(shí)的值△t。

4.2 運(yùn)動(dòng)軌跡分類

由于畫面中的目標(biāo)很多，所有目標(biāo)間都進(jìn)行這種相關(guān)運(yùn)算顯然不合適，因此，需要對目標(biāo)的軌跡進(jìn)行分類，找到幾條常用路徑。當(dāng)同一類目標(biāo)同時(shí)出現(xiàn)時(shí)，才進(jìn)行距離運(yùn)算。在一般監(jiān)控場景中的路徑都不會(huì)很多，絕大多數(shù)只有5～8種主要路徑。如圖2中的廠區(qū)門口，可看出馬路上運(yùn)動(dòng)目標(biāo)的路徑只有5種：機(jī)動(dòng)車道、非機(jī)動(dòng)車道和三條不同方向進(jìn)出小區(qū)的路徑。

圖2 目標(biāo)運(yùn)動(dòng)軌跡及區(qū)域分割

如果選擇SVM方法對這些軌跡進(jìn)行分類則需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，而實(shí)時(shí)監(jiān)控中有多達(dá)成千上萬個(gè)目標(biāo)需要進(jìn)行分類，顯然不切實(shí)際。無監(jiān)督k-medoids聚類方法對只有幾種類別的路徑分類比較有效，速度也較快。首先確定路徑區(qū)域，將路徑區(qū)域分割成大小相等的矩形，計(jì)算每個(gè)矩形中的目標(biāo)出現(xiàn)的頻次。然后對根據(jù)每個(gè)目標(biāo)的起始和終點(diǎn)位置計(jì)算運(yùn)動(dòng)方向，將運(yùn)動(dòng)分為8個(gè)方向，根據(jù)運(yùn)動(dòng)方向進(jìn)行初分類。搜索所有的矩形區(qū)域，當(dāng)矩形中的運(yùn)動(dòng)方向滿足g∈（-gr，gr），r=0，1，2，…，7，其中g(shù)r為8個(gè)方向的角度閾值。判斷該區(qū)域?qū)儆谀硞€(gè)方向后，統(tǒng)計(jì)該方向出現(xiàn)的頻次，建立方向頻次矢量參數(shù)P（X，Y，G，N），X，Y為矩陣的中心點(diǎn)坐標(biāo)，G為方向，N為頻次。根據(jù)該參數(shù)進(jìn)行聚類，可以將所有的路徑區(qū)域分開，同方向不同位置的機(jī)動(dòng)車道和非機(jī)動(dòng)車道由于空間位置X，Y不同，被分割在不同的路徑類。經(jīng)過分類后的軌跡不僅為檢索回放時(shí)提供條件查詢，同時(shí)可由時(shí)間調(diào)整以減少相互遮擋、提高渲染效果。

5 摘要重建

濃縮視頻在檢索的時(shí)候，根據(jù)用戶輸入的檢索條件，將滿足條件的多個(gè)不同時(shí)間出現(xiàn)的目標(biāo)，按照它們的空間位置，調(diào)整時(shí)間差△t，以C→min最小遮擋的方式，同時(shí)顯示在背景畫面上，并保持各自原有的運(yùn)動(dòng)軌跡，以正常速度播放，同時(shí)滿足慢放、快放等。將目標(biāo)圖像按照被調(diào)整的時(shí)間重新貼在背景上并實(shí)現(xiàn)實(shí)時(shí)回放，同時(shí)支持用戶動(dòng)態(tài)調(diào)整目標(biāo)密度、播放速度，需要短時(shí)間內(nèi)快速檢索出這些數(shù)據(jù)，所以目標(biāo)數(shù)據(jù)的存儲(chǔ)方式必須有較高的效率。

5.1 數(shù)據(jù)存儲(chǔ)

當(dāng)動(dòng)態(tài)的摘要視頻按照時(shí)間順序逐幀播放的時(shí)候，同時(shí)支持用戶選擇其中的目標(biāo)，查看相應(yīng)的參數(shù)，如時(shí)間、速度、原始視頻，回放過程中每一個(gè)目標(biāo)的參數(shù)和對應(yīng)的圖像數(shù)據(jù)要同時(shí)讀出來，所以在摘要分析時(shí)，每個(gè)目標(biāo)的參數(shù)和圖像交叉存儲(chǔ)在同一個(gè)文件中，如圖3所示，d為參數(shù)，p為圖像。確認(rèn)目標(biāo)消失后，將目標(biāo)數(shù)據(jù)存入文件。由圖3中可以看到，目標(biāo)存儲(chǔ)的順序并沒有按照其出現(xiàn)的時(shí)間順序，而是按照消失的時(shí)間順序。但這并不能影響回放，因?yàn)榛胤攀前凑漳繕?biāo)時(shí)空遮擋來調(diào)整順序的。

圖3 目標(biāo)數(shù)據(jù)隊(duì)列n(1，2，3…)：目標(biāo)序號(hào)和統(tǒng)計(jì)參數(shù)；d：參數(shù)；p：圖像

由于目標(biāo)數(shù)據(jù)是按照一個(gè)整體存入文件，所以讀出時(shí)也是按照一個(gè)整體讀入內(nèi)存。每個(gè)目標(biāo)數(shù)據(jù)參數(shù)和圖像數(shù)據(jù)全部讀出后，在新目標(biāo)加入前，所有的操作都是內(nèi)存操作，節(jié)省了大量的磁盤文件操作。另外，為了加快目標(biāo)檢索速度，每個(gè)目標(biāo)都建立一個(gè)檢索數(shù)據(jù)結(jié)構(gòu)，存入索引數(shù)據(jù)文件。由于每個(gè)目標(biāo)數(shù)據(jù)在寫入之前已經(jīng)結(jié)束，數(shù)據(jù)長度已知，將目標(biāo)數(shù)據(jù)的長度、目標(biāo)路徑類型、目標(biāo)大小、平均速度等各種統(tǒng)計(jì)參數(shù)當(dāng)作索引，用XML存儲(chǔ)，根據(jù)目標(biāo)的類型存入不同的節(jié)點(diǎn)?；胤艜r(shí)通過目標(biāo)起始位置的參數(shù)用文件定位的方式快速搜索到某一個(gè)目標(biāo)數(shù)據(jù)的起始位置，均勻讀出各類目標(biāo)。用這種方式檢索數(shù)據(jù)，在回放過程中使用很少的時(shí)間就可以通過索引讀出大量的目標(biāo)數(shù)據(jù)，實(shí)現(xiàn)快速實(shí)時(shí)摘要出視頻的重建和回放。

5.2 目標(biāo)隊(duì)列調(diào)整

目標(biāo)在背景上渲染的順序按照先前的路徑分類方式，經(jīng)過調(diào)整時(shí)間差，計(jì)算時(shí)空距離后決定是否要渲染在背景上。將第一個(gè)目標(biāo)貼在背景畫面后，以后的每一個(gè)目標(biāo)讀出后，都要計(jì)算同類別目標(biāo)間的時(shí)空距離，如果出現(xiàn)重疊遮擋，則將該目標(biāo)的渲染時(shí)間往后移，直至不遮擋。如果某一段連續(xù)時(shí)間內(nèi)同一路徑上的目標(biāo)很多，則讀入內(nèi)存的目標(biāo)數(shù)量遠(yuǎn)遠(yuǎn)大于渲染在背景上的目標(biāo)數(shù)量，所以在讀入的時(shí)候，要有選擇地讀出在不同路徑上的目標(biāo)數(shù)據(jù)，對于相同路徑上的目標(biāo)數(shù)據(jù)達(dá)到一個(gè)最大值后，不再繼續(xù)讀入。這樣雖然同時(shí)渲染在背景上的目標(biāo)數(shù)量有可能少于設(shè)置定數(shù)量，即畫面中的目標(biāo)數(shù)量是隨時(shí)間不斷變化的，但是這樣的變化并不會(huì)很大，在一個(gè)路徑上的目標(biāo)經(jīng)過幾幀后就會(huì)讓出其位置空間，其他目標(biāo)就會(huì)補(bǔ)上，從長期來看，背景中不同位置的目標(biāo)大致總能被占滿。圖4a中沒有做時(shí)間調(diào)整，許多目標(biāo)疊加在一起，遮擋嚴(yán)重，經(jīng)過時(shí)空距離運(yùn)算后，將出現(xiàn)同一類相互遮擋的目標(biāo)播放次序時(shí)間調(diào)整，目標(biāo)間遮擋明顯減少，提高了視覺清晰度，如圖4b中所示。

圖4 目標(biāo)顯示時(shí)間調(diào)整后的空間位置

5.3 多線程任務(wù)同步

摘要分析過程中，背景學(xué)習(xí)和目標(biāo)跟蹤同時(shí)進(jìn)行，分析的目標(biāo)要寫入文件?；胤胚^程中，從文件讀入多個(gè)目標(biāo)的參數(shù)和圖像數(shù)據(jù)，然后根據(jù)路徑調(diào)整時(shí)間后按次序貼到背景中，同時(shí)還要不斷更新背景圖像，響應(yīng)用戶操作等。這些不同的任務(wù)要同時(shí)并行處理，特別是回放摘要時(shí)，每幀重建的畫面要等時(shí)間間隔勻速地渲染出來，多個(gè)任務(wù)之間不能相互等待數(shù)據(jù)，任務(wù)必須是非阻塞式的。結(jié)合當(dāng)前的多核CPU采用多線程同步技術(shù)，可加快摘要數(shù)據(jù)的訪問和回放。

回放中，負(fù)責(zé)數(shù)據(jù)更新的寫線程不斷檢查和更新目標(biāo)隊(duì)列，負(fù)責(zé)渲染的讀線程從隊(duì)列中取數(shù)據(jù)。為防止訪問沖突，同時(shí)考慮到時(shí)空遮擋而進(jìn)行的時(shí)間調(diào)整，數(shù)據(jù)隊(duì)列中的實(shí)際目標(biāo)數(shù)量比可讀數(shù)量多10～15個(gè)。隊(duì)列是單鏈?zhǔn)?，從前往后讀目標(biāo)數(shù)據(jù)，當(dāng)目標(biāo)最后一幀讀完，從隊(duì)列中清除，繼續(xù)往后，一直到倒數(shù)第三個(gè)目標(biāo)。更新線程，定時(shí)檢查隊(duì)列中的目標(biāo)數(shù)量，當(dāng)數(shù)量比預(yù)定值小時(shí)，開始讀出新的目標(biāo)數(shù)據(jù)，然后添加在隊(duì)列尾部。由于添加新目標(biāo)時(shí)，在讀出新目標(biāo)數(shù)據(jù)時(shí)不更新隊(duì)列數(shù)據(jù)，只是在最后一個(gè)目標(biāo)尾部添加鏈接地址，這時(shí)可鎖定數(shù)據(jù)，由于鎖定時(shí)間很短，可有效地避免訪問沖突。在每次添加時(shí)，可一次性添加5～10個(gè)新目標(biāo)，進(jìn)一步降低訪問頻次。

5.4 目標(biāo)檢索與過濾

目標(biāo)跟蹤過程中，可以提取到多種類型的特征參數(shù)：速度、大小、顏色、區(qū)域等，這些參數(shù)寫入數(shù)據(jù)庫后，在回放過程中，可以用來進(jìn)行目標(biāo)過濾，實(shí)現(xiàn)條件查詢。顏色和區(qū)域查詢相對簡單，對于速度和大小，由于鏡頭畫面與真實(shí)空間的仿射變形，同一個(gè)勻速目標(biāo)離鏡頭近時(shí)較大較快，逐漸遠(yuǎn)離鏡頭后，外形變小，速度也變慢，需要對查詢參數(shù)進(jìn)行修正，或者將不同空間位置的目標(biāo)參數(shù)歸一化，在統(tǒng)一的數(shù)據(jù)空間內(nèi)進(jìn)行目標(biāo)過濾。

6 總結(jié)與展望

本文大致全面地介紹了一種面向目標(biāo)的動(dòng)態(tài)監(jiān)控視頻摘要實(shí)現(xiàn)方法，由于篇幅關(guān)系，還有很多的理論和技術(shù)無法詳細(xì)論述，例如在目標(biāo)分割中，被遮擋后跟蹤方法中的特征更新、半遮擋后目標(biāo)的分割、樹葉等干擾目標(biāo)的過濾等，還有海量摘要數(shù)據(jù)的存儲(chǔ)與快速檢索、實(shí)時(shí)動(dòng)態(tài)摘要視頻的重建，以及多場景關(guān)聯(lián)的特征匹配和搜索等課題，都需要進(jìn)一步深入研究去解決，而每一個(gè)課題都還有很多的理論和實(shí)際問題有待解決。希望更多的研究人員加入該課題的研究，發(fā)現(xiàn)和解決遺留問題，只有這樣視頻摘要才能早日形成一個(gè)滿意的應(yīng)用型技術(shù)，為刑偵人員提供完善的監(jiān)控視頻檢索工具。

1.王毅，李弼程，彭天強(qiáng).視頻摘要技術(shù)[J].信息工程大學(xué)學(xué)報(bào)，2009，10（4）

2.陳宏.基于圖像聚類與挖掘的視頻摘要方法[J].視頻應(yīng)用與工程，2011，35（11）

3.姚彬，史萍，葛菲，等.監(jiān)控視頻的摘要提取方法研究[J].視頻應(yīng)用與工程，2010，34（4）

4.M.Irani， P.Anandan， J.Bergen， etal.Efficient representations of video sequences and their applications[J].Signal Processing：Image Communication，1996，8（4）

5.A.Rav-Acha，Y.Pritch，S.Peleg.Making a Long Video Short：Dynamic Video Synopsis，Proc.IEEE Conf[C].Computer Vision and Pattern Recognition，2006

6.Y.Pritch，A.Rav-Acha，A.Gutman，etal.Webcam Synopsis：Peeking Around the World，Proc.Int’l Conf[C].ComputerVision，2007

7.Z.Li，P.Ishwar，J.Konrad.Video conden sation by ribbon carving.IEEE Trans[C].Image Process，Nov.2009，18

8.B.Jahne.Spatio-Temporal Image Processing：Theoryand ScienticApplications[J].Computer Science，1993，751，(8)

9.熊亮，劉偉銘.基于背景Codebook模型的前景檢測算法[J].科學(xué)技術(shù)與工程，2010，10（9）

10.高韜，劉正光，張軍，等.基于特征點(diǎn)的多運(yùn)動(dòng)目標(biāo)跟蹤[J].電子與信息學(xué)報(bào)，2010，32（5）