賈 偉

(中國(guó)電子科技集團(tuán)第二十研究所，陜西西安 710068)

隨著多媒體技術(shù)的應(yīng)用越來越廣泛，基于內(nèi)容的視頻檢索技術(shù)被提出。鏡頭探測(cè)技術(shù)是低層視頻結(jié)構(gòu)化分析中的一項(xiàng)關(guān)鍵技術(shù)，好的鏡頭邊界檢測(cè)技術(shù)一定能為視頻結(jié)構(gòu)化分析打下堅(jiān)固的基礎(chǔ)，在視頻檢索中起著重要的作用;鏡頭檢測(cè)使更高層的語義視頻處理成為可能，鏡頭檢測(cè)意味著為視頻的結(jié)構(gòu)化表示提供基礎(chǔ)。在鏡頭邊界檢測(cè)方面，目前已經(jīng)有了許多研究。在鏡頭轉(zhuǎn)換時(shí)，視頻數(shù)據(jù)會(huì)發(fā)生一系列的變化，鏡頭邊界檢測(cè)方法就是通過比較前后兩幀間的差異來尋找這些變化的規(guī)律。根據(jù)所使用的視頻特征不同以及應(yīng)用的視頻對(duì)象不同，鏡頭邊界檢測(cè)算法可分成許多類，其中有一些算法應(yīng)用于壓縮視頻上，但是大部分算法都是處理非壓縮視頻的。視頻可以劃分成4個(gè)層次:鏡頭、圖像幀、場(chǎng)景、視頻。為提高鏡頭邊界檢測(cè)的查全率和精確度，本文基于圖像的顏色特征和空間特征，提出了全局閾值的鏡頭邊界檢測(cè)算法［1］。在目前研究的基于內(nèi)容的視頻檢索系統(tǒng)中，首先將視頻分割成獨(dú)立的鏡頭，接著對(duì)每個(gè)鏡頭選取關(guān)鍵幀來表示該鏡頭。視頻一般由多段鏡頭拼接而成，鏡頭內(nèi)部各幀圖像是連續(xù)變化的。因此，鏡頭邊界檢測(cè)是基于內(nèi)容的視頻檢索中十分關(guān)鍵的技術(shù)。

1 鏡頭邊界檢測(cè)方法

1．1 基于塊比較的方法

基于塊比較的方法將每幀圖像分成b塊，接著比較相鄰幀的相應(yīng)塊，第i幀和第(i+1)幀之間的差異就可以定義為［2］:

式中:DP(i，i+1，k)為第 i，i+1 兩幀的第 k塊的比較結(jié)果;Ck為預(yù)定義的第k塊的系數(shù)。

通過似然率值來判定鏡頭變化的公式如下:

式中:λk為似然率(likehood ratio);μk，i，σk，i分別為第i幀內(nèi)第k塊的均值和方差。當(dāng)發(fā)生變化的塊的數(shù)量達(dá)到一定程度時(shí)，則認(rèn)為發(fā)生了鏡頭切換。

1．2 基于直方圖比較的方法

直方圖法是使用得最多的計(jì)算幀間差的方法，使用像素亮度和色彩的統(tǒng)計(jì)值，不考慮像素的位置信息。直方圖比較推薦方法［3］:

式中:Hi(j)，Hi+1(j)分別為幀i，i+1的直方圖在灰度(彩色)級(jí)j上的值;n為灰度(彩色)級(jí)的數(shù)量。如果兩幀之差D(i，i+1)大于一個(gè)閾值T，則認(rèn)為發(fā)生了鏡頭切換。

2 顏色直方圖邊界檢測(cè)算法

2．1 顏色直方圖統(tǒng)計(jì)

顏色直方圖在圖像處理中得到廣泛應(yīng)用，其具有旋轉(zhuǎn)不變性和縮放不變性等特點(diǎn)，是一種概率統(tǒng)計(jì)的方法。顏色直方圖定義為圖像中3個(gè)顏色通道的聯(lián)合概率密度函數(shù)［4］

式中:h是直方圖函數(shù)，表示圖像中具有顏色(R=r，G=g，B=b)的像素?cái)?shù);P為概率密度函數(shù);N0為圖像的所有像素?cái)?shù)。在實(shí)際應(yīng)用中，普遍意義的聯(lián)合概率密度函數(shù)，又稱為歸一化的直方圖函數(shù)如下［5］:

式中:N(r，g，b)是顏色為(r，g，b)的像素總數(shù)。

2．2 顏色直方圖幀間差計(jì)算

在彩色圖中，圖像的顏色直方圖的統(tǒng)計(jì)有2種表現(xiàn)形式:

a．一維顏色直方圖。

直方圖的分塊數(shù)為3種顏色分塊數(shù)之和，是一維直方圖，統(tǒng)計(jì)像素屬于某種顏色分量級(jí)別的相對(duì)頻數(shù)，表達(dá)式為［6］:

b．三維顏色直方圖。

此時(shí)直方圖的分塊數(shù)為3種顏色分塊數(shù)之積，因?yàn)橛?個(gè)顏色分量，是三維直方圖。統(tǒng)計(jì)落入各小區(qū)間像素的個(gè)數(shù)得到直方圖，通過量化把顏色空間分成一個(gè)個(gè)顏色小區(qū)間。其不連續(xù)值表達(dá)式為［7］:

需要注意的一點(diǎn)是，在不同顏色空間進(jìn)行統(tǒng)計(jì)得到的結(jié)果也是不同的。

2．3 切變的視頻邊界的閾值選取

幀與幀之間的差別由以下3種噪聲引起:由視頻編輯設(shè)備產(chǎn)生的噪聲、同一鏡頭內(nèi)物體相互作用產(chǎn)生的噪聲、將模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)產(chǎn)生的噪聲。設(shè)這3種噪聲是高斯的，幀與幀之間差別的分布可分成兩部分:高斯噪聲和相機(jī)切換、漸變、相機(jī)移動(dòng)。令δ為不連續(xù)值的標(biāo)準(zhǔn)差，μ為均值，那么積分［8］:會(huì)在偏離均值的小范圍內(nèi)包含絕大多數(shù)不連續(xù)值，也可以理解為，不包括鏡頭轉(zhuǎn)換的幀間不連續(xù)值會(huì)落在0～(μ+αδ)內(nèi)。由于α為一個(gè)很小的常量，所以閾值T可以這樣定義:

這樣一來，落入這個(gè)閾值范圍之外的值將被認(rèn)為是鏡頭的邊界。

2．4 切變的識(shí)別

切變是鏡頭間的突然變化，它由一個(gè)鏡頭直接切換到下一個(gè)鏡頭，中間沒有時(shí)間延遲。前后兩個(gè)鏡頭之間沒有任何轉(zhuǎn)換幀，鏡頭切變常在兩幀圖像間完成，突變定義為前一個(gè)鏡頭f1(x，y，t)和后一個(gè)鏡頭f2(x，y，t)的直接銜接。切變后的幀屬于下一個(gè)鏡頭，切變前的幀屬于上一個(gè)鏡頭。一個(gè)突變的視頻幀序列 f(x，y，t)的定義如下［9］:

式中:u(t)是階梯函數(shù)(當(dāng)t≥0時(shí)為1，其他時(shí)刻為0);tcut是突變后的第一幀的時(shí)刻。

3 顏色直方圖突變鏡頭檢測(cè)算法

顏色直方圖突變鏡頭檢測(cè)算法的核心:計(jì)算抓取到的三通道彩色幀圖像的三維顏色直方圖值，采取調(diào)用opencv庫(kù)函數(shù)處理策略，并用式(7)［10］計(jì)算前后兩幀的幀間差。

整個(gè)算法可以梳理得到:首先，讀取視頻流文件，并同時(shí)創(chuàng)建輸出數(shù)據(jù)流變量的數(shù)組，接著創(chuàng)建并初始化兩張三維、三通道、100×100的圖像，用以存放要抓取到的前后兩幀圖像;其次，分別創(chuàng)建并初始化三張單維、單通道、100×100的圖像，分別關(guān)聯(lián)抓取到的三維、三通道圖像的r，g，b分量;然后，創(chuàng)建并初始化兩個(gè)三維直方圖變量，分別關(guān)聯(lián)到要抓取的前后兩幀圖像，量化分塊顏色直方圖，即對(duì) r，g，b分別進(jìn)行分塊量化;最后，抓取前后兩幀圖像，計(jì)算三維顏色直方圖值，根據(jù)量化好的顏色小空間分別計(jì)算前后兩幀間差，得到歸一化的總差值與閾值比較，若大于此閾值，可判定這兩幀相似性不高，這兩幀之間為一個(gè)突變，反之，若小于此閾值，則認(rèn)為是連續(xù)的，非突變，接著判定若當(dāng)前幀不是最后一幀，則指向下幀，返回上一步繼續(xù)循環(huán)，否則，釋放所有圖像、顏色直方圖，結(jié)束循環(huán)。

綜合上述核心算法分析，梳理得到如圖1所示的主算法流程圖。

圖1 主算法流程圖

4 實(shí)驗(yàn)結(jié)果與分析

4．1 量化顏色空間

本實(shí)驗(yàn)為了進(jìn)行全面有效的參數(shù)對(duì)比，故設(shè)定了兩個(gè)量化參數(shù)進(jìn)行對(duì)比:(1)設(shè)定工程中一幅三維圖像的顏色三通道R、G、B各自量化為4塊，則整個(gè)顏色空間被量化為64個(gè)顏色小區(qū)間;(2)設(shè)定工程中一幅三維圖像的顏色三通道R、G、B各自量化為3塊，則整個(gè)顏色空間被量化為27個(gè)顏色小區(qū)間。

4．2 顏色直方圖統(tǒng)計(jì)與計(jì)算

通過量化把顏色空間分成一個(gè)個(gè)顏色小區(qū)間，利用式(7)統(tǒng)計(jì)落入各小區(qū)間像素的個(gè)數(shù)得到直方圖。

4．3 切變的視頻邊界的固定閾值策略

計(jì)算出幀間差以后，閾值選擇最有效的方法是采用全局閾值，但是因?yàn)殚撝翟谡麄€(gè)視頻段上是固定不變的，會(huì)造成局部檢測(cè)結(jié)果失準(zhǔn)，故采取很多個(gè)閾值窮舉實(shí)驗(yàn)的方法。

4．4 切變的識(shí)別

比較得到的歸一化的總差值與閾值，若大于此閾值，可判定這兩幀相似性不高，這兩幀之間為一個(gè)突變(閾值在0．05～0．90間以 0．20的幅度遞增)，并寫入此閾值對(duì)應(yīng)的txt文件，記錄判定結(jié)果;反之，若小于此閾值，則認(rèn)為是連續(xù)的，非突變。

圖2所示為視頻鏡頭突變邊界的例樣截圖。

圖2 視頻Eurosport_25774629第99幀與第100幀截圖

由圖2可知，Eurosport_25774629視頻第99幀和100幀之間是一個(gè)視頻突變。圖3所示為視頻鏡頭突變邊界的工程實(shí)驗(yàn)過程截圖。

圖3 SBD工程截圖

4．5 突變邊界檢測(cè)實(shí)驗(yàn)結(jié)果

采取經(jīng)驗(yàn)枚舉分析的策略，閾值從0．05～0．90，每0．20遞增來評(píng)價(jià)，并且根據(jù)一個(gè)因變量、其他不變量原則，對(duì)不同視頻源進(jìn)行檢測(cè)實(shí)驗(yàn)，見表1。

4．6 實(shí)驗(yàn)結(jié)果分析

從表1可以看出，“召回率”與“準(zhǔn)確率”之間雖然沒有顯性直接的關(guān)系，然而在大規(guī)模數(shù)據(jù)集合中，這兩個(gè)指標(biāo)卻是相互制約的，兩者制約關(guān)系如圖4所示。

圖4 SBD準(zhǔn)確率與召回率關(guān)系圖

5 結(jié)束語

本文介紹了基于顏色直方圖的鏡頭邊界檢測(cè)的基本方法，該方法能較好地檢測(cè)出鏡頭突變。此文可較有效地檢測(cè)突變，突變的檢出率和準(zhǔn)確率均較高。使用本算法的特點(diǎn)是閾值為固定的全局閾值，計(jì)算效率高，局部中的顏色屬性變化較大，所以當(dāng)運(yùn)動(dòng)速度較快時(shí)，一定程度上造成了大運(yùn)動(dòng)對(duì)鏡頭邊界檢測(cè)的影響，使用固定的閾值會(huì)造成一些漏檢和誤檢。視頻檢索技術(shù)是建立未來數(shù)字圖書館的關(guān)鍵技術(shù)，如何準(zhǔn)確、快速地找出鏡頭邊界是很重要的，是視頻檢索的第一步，也是對(duì)視頻進(jìn)行索引的第一步。

表1 顏色空間量化64塊的準(zhǔn)確率、召回率、fscore的實(shí)驗(yàn)結(jié)果

［1］ 張維明．多媒體信息系統(tǒng)［M］．北京:電子工業(yè)出版社，2002．

［2］ 黃志軍，曾斌．多媒體數(shù)據(jù)庫(kù)技術(shù)［M］．北京:國(guó)防工業(yè)出版社，2005．

［3］ W．I．格羅斯基．多媒體信息管理技術(shù)手冊(cè)［M］．北京:科學(xué)出版社，1998．

［4］ 章毓晉．基于內(nèi)容的視覺信息檢索［M］．北京:科學(xué)出版社，2003．

［5］ Rui Y，Huang T S，Methrotra S．Content一 Based Image Retrieval with Relevanee Feed back in MARS［M］．New York:WHO，1997．

［6］ 楊福生．小波變換的工程分析與應(yīng)用［M］．北京:科學(xué)出版社，1999:112－144．

［7］ Zhang H J，Smoliar W．Developing power tools for video indexing and retrieval·proceeding soft heSPIE［J］．Storage and Retrieval for Image and Video Databases，1994，21(2):140 －149．

［8］ Zhang H J，YLow C，Smoliar W，et al．Video parsing，retrieval and browsing:an integrated and contellt based solution［J］．Proceedings of ACM Multimedia，1995，12(8):15 －24．

［9］ Naveen T，Bosveld F，Woods J W et al．Rate constrained multiresolution transmission of video［J］．IEEET Transactions on Circuits and Systems for Video Technology，1995，5(3):533 －544．

［10］ Yeo B L，Liu B．On the extraetion of DC sequenee from MpEGeom Pressed video proceedings［J］．IEEE International Conference on Image Processing，1995，2(10):260 －263．