史云靜，鄭海波，韓小萱，李 潔，朱秀昌

（南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003）

HSV下的基于圖像內(nèi)容的監(jiān)控視頻檢索方法

史云靜，鄭海波，韓小萱，李 潔，朱秀昌

（南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003）

隨著構建平安城市活動的推進，大量的高清化、數(shù)字化的監(jiān)控已經(jīng)逐漸遍布于大街小巷，隨之而來的是監(jiān)控視頻快速大量涌現(xiàn)，如何有效存儲、管理和利用海量的監(jiān)控視頻成為研究熱點?；趦?nèi)容和語義的視頻檢索技術成為一種可行的海量信息檢索技術，并成為越來越多學者的研究對象。在HSV空間下進行非歸一化量化圖像彩色信息并以此構建等價的局部二值模式作為基于內(nèi)容的視頻檢索圖像特征，同時提出了一種新穎、簡單的直方圖相似性度量方法檢索目標圖像，檢索結果更加符合人們的主觀視覺感受。

監(jiān)控視頻；視頻檢索；非歸一化量化；局部二值模式；直方圖；相似性度量

基于內(nèi)容的視頻檢索利用底層視覺特征進行檢索，底層視覺特征分為全局特征和局部特征，常用的全局特征有顏色特征[1]、紋理特征、形狀特征等。當然也有學者將顏色和紋理等信息綜合起來進行基于內(nèi)容的圖像檢索，如S.Nandagopal?an等人[2]提出的特征是將顏色、紋理和邊緣直方圖描述子（Edge Histogram Descriptor，EHD）聯(lián)合起來，而 Agarwal等人[3]則是將圖像先進行離散小波變換，然后再提取EHD。還有其他學者提出了一些其他特征，如Lee等人[4]設計了一種MPEG視頻段快速檢索方法，他們利用的特征是相鄰像素亮度差分量化直方圖（Adjacent Pixel Intensity Difference Quan?tization，APIDQ）。這種特征計算復雜度不高，同時對運動和光照不敏感。Liu等人[5]利用底層的顏色信息，結合邊緣方向提出了一種微結構描述子（Micro-Structure Descriptor，MSD）作為圖像檢索時的特征。Asha等人[6]基于局部特征描述子（Speeded Up Robust Feature，SURF）方法，利用隨機降度的方法降低存儲的復雜度來達到基于內(nèi)容的視頻檢索。

局部二值模式（Local Binary Pattern，LBP）是由Ojala等人[7]首次提出的用來描述圖像局部紋理特征的算子，本文將圖像的彩色信息與局部紋理信息結合起來構建彩色局部二值模式特征，將提取到的彩色局部二值模式特征進行直方圖統(tǒng)計，同時還提出了一種度量該直方圖相似性的方法，最終達到行之有效的基于圖像內(nèi)容的視頻檢索。

1 視頻檢索系統(tǒng)框架

一個視頻檢索系統(tǒng)包括的關鍵模塊有視頻庫、摘要庫的生成、特征庫的生成、語義庫的生成、數(shù)據(jù)庫管理系統(tǒng)、用于管理各個數(shù)據(jù)庫之間的映射關系、檢索算法、B/S或C/S模式的通信框架，并且各個模塊需要配合好，完成整個檢索過程。視頻檢索系統(tǒng)框架圖如圖1所示。

圖1 視頻檢索系統(tǒng)框架圖

視頻是一種層次結構，包括幀（視頻流的基本單位，每一幀就是一幅圖像）、鏡頭（指攝像機不間斷拍攝的一組圖像幀序列）、場景（語義上相關并且在時間上相鄰的若干鏡頭組成一個場景）、視頻（由各個場景組成視頻）。層次結構如圖2所示。

圖2 視頻層次結構示意圖

而監(jiān)控視頻又有其特殊性：監(jiān)控視頻的背景變化緩慢，監(jiān)控視頻有較大的冗余，監(jiān)控視頻中最有用的信息一般是運動的人或車輛等。同時，監(jiān)控視頻的壓縮格式一般比較局限于.mp4等幾種常見的格式。因此，監(jiān)控視頻處理時，可以先將視頻進行濃縮形成視頻摘要，大大壓縮視頻的數(shù)據(jù)量。

2 HSV下非歸一化彩色量化

本文選擇在HSV彩色空間[8]下進行處理，結合彩色空間量化方法[9]采用非歸一化的彩色空間量化方法[10]。通過對HSV彩色空間特點的研究發(fā)現(xiàn)，彩色空間主要可以分為3部分，分別是白色、黑色和彩色。當顏色的飽和度小于0.2或亮度大于0.8時，人眼會忽視彩色信息，感知為灰度。當亮度小于0.15時感覺為黑色，只有當飽和度大于0.2且亮度在0.15至0.8時人們可以感知到彩色信息?；诖薒iu等人[11]將色度分為8個域，飽和度和亮度分別劃分為3個域，最終彩色信息量化成72級（8×3×3=72）。計算機至少需要7 bit表示Liu的這種量化方法，然而7 bit最多可以表示128種量化級，顯然Liu的量化方法在同等存儲大小下未能充分利用像素信息?？紤]到計算機存儲的單位是字節(jié)，一個字節(jié)可以表示8 bit，為方便存儲，本文用8 bit量化，可以量化出256種色彩?？紤]到人眼對于亮度信息和色度信息比較敏感，所以本文將色度和亮度分為8個域，而飽和度分為4個域，具體量化方法為

將HSV空間下的圖像按上述域量化后再將彩色特征按式（4）構建為一維的特征，取值范圍在0～255。

式中：H，S和V分別表示HSV空間下像素的色度、飽和度和亮度值，Y表示非歸一化后的像素值。

3 彩色局部二值模式

原始的LBP算子[12]在3×3大小的窗口內(nèi)，將鄰域內(nèi)8個像素灰度值與中心像素進行比較，像素值大于中心像素值則標記為1，否則為0。利用3×3鄰域內(nèi)的8個點生成反映該區(qū)域的紋理信息的8 bit無符號數(shù)，即為LBP值，如圖3所示。

圖3 原始LBP算子示意圖

其后研究人員不斷對其改進、優(yōu)化，提出了LBPP，R算子（半徑為R的圓形區(qū)域內(nèi)含有P個采樣點）、LBP旋轉不變模式、LBP等價模式以及LBP旋轉不變的等價模式等。

本文對視頻圖像先進行顏色空間的轉換，然后在HSV空間下對視頻圖像進行色彩非歸一化量化，形成融合彩色信息的二維圖像，接著對該圖像進行LBP模式提取，并對各種模式進行直方圖統(tǒng)計，從而得到包含顏色及紋理信息的基于內(nèi)容檢索的圖像特征。算法流程框架如圖4所示。

圖4 算法流程框架示意圖

4 直方圖相似性度量方法及實驗結果

1）直方圖相似性度量方法

獲得圖像特征后要對特征進行匹配，找出最相似的圖像或原圖，這就涉及到如何選取相似性度量方法。常見的直方圖相似度量方法有如下3種[13]：

式中：hQl和hDl表示查詢圖像和視頻圖像的第l個特征個數(shù)，HQ和HD表示查詢圖像和視頻圖像特征的直方圖，L表示特征可取值的個數(shù)。

直方圖相交法雖然簡單，但是其忽略了比重大的特征，信息利用不全。對數(shù)似然的方法因為進行了對數(shù)運算可以壓縮比重大的特征，但由于乘法運算的存在，當檢索圖像的有些特征比重為零時會直接忽略該特征對全局的影響。卡方的方法運算比較復雜。本文提出了一種既能起到對比重大的特征進行壓縮又不會丟失某些特征，同時復雜度也不高的度量方法，定義如下

式（8）中l(wèi)g算式中的加1是為了避免lg算式中出現(xiàn)為0的情況，當兩幅圖像特征的直方圖越接近時，M值越小，完全相同時M為0。

2）實驗結果

本次實驗的計算機配置為：Inter（R）Core（TM）2 Duo CPU T5670@1.8 GHz，主頻1.79 GHz，2.0 Gbyte內(nèi)存，Win?dows 7操作系統(tǒng)，編程環(huán)境和運行平臺為MATLAB7.11.0。選取的視頻數(shù)據(jù)類型包括高速公路監(jiān)控視頻、室內(nèi)監(jiān)控視頻及大街上監(jiān)控視頻3類，視頻總大小約15 Gbyte。筆者對視頻先進行摘要生成，然后對生成的摘要進行特征提取生成特征庫，最后對特征庫進行匹配檢索得到檢索圖像所在的視頻及其相似的視頻幀，顯示最相似的6幅視頻幀，并列出前10幅最相似視頻幀。

圖5～7分別是灰度空間和HSV空間下非歸一化LBP3種模式特征的檢索結果?？梢园l(fā)現(xiàn)彩色特征檢索結果比灰度特征檢索結果更好，當然雖然3種彩色LBP特征都能檢索出原圖，但彩色LBP等價模式特征除了可以檢索出原圖外，其檢索出的其他相似圖像也更加符合人們的主觀感受。

圖8從左到右、從上到下的3幅實驗結果圖分別是彩色等價模式特征下3種相似性度量方法（直方圖法、對數(shù)似然函數(shù)法及本文提出的相似性度量方法）的檢索結果。實驗結果可以看出，本文提出的直方圖相似性度量方法檢索出的結果更加令人滿意。

5 總結

圖5 灰度空間下和HSV下非歸一化利用LBP旋轉不變模式作為特征的視頻檢索結果（截圖）

圖6 灰度空間下和HSV下非歸一化利用LBP旋轉不變的等價模式作為特征的視頻檢索結果（截圖）

圖7 灰度空間下和HSV下非歸一化利用LBP等價模式作為特征的視頻檢索結果（截圖）

圖8 彩色等價模式特征下3種相似性度量方法檢索結果（截圖）

本文對HSV空間圖像的彩色信息進行非歸一化量化后構建新的擁有色彩信息二維圖像同時結合局部紋理信息利用等價二值模式生成彩色LBP特征進行直方圖統(tǒng)計，并利用本文提出的直方圖相似性度量方法來實現(xiàn)基于圖像內(nèi)容的視頻檢索，結果表明這種方法更加符合人們的主觀感受。未來也可以考慮將一些其他的特征綜合起來構建特征庫。

[1] WANG J，KONG B，JIA Q L.Color-based image retrieval[J].Computer Systems&Applications，2011，20（7）：160-164.

[2] NANDAGOPALAN S，ADIGA B S，DEEPAK N.A universal model for content-based image retrieval[J].World Academy of Science，Engineering and Technology，2008（22）：644-647.

[3]AGARWAL S，VERMA A K，SINGH P.Content based image re?trieval using discrete wavelet transform and edge histogram de?scriptor[C]//Proc.2013 International Conference on Information Systems and Computer Networks（ISCON）.[S.l.]：IEEE Press，2013：19-23.

[4]LEE F，KOTANI K，CHEN Q，et al.Fast search for MPEG video clips from large video database using combined histogram features [C]//Proc.World Congress on Engineering.London：[s.n.]，2010：1-8.

[5]LIU G H，LI Z Y，ZHANG L，et al.Image retrieval based on mi?cro-structure descriptor[J].Pattern Recognition，2011，44（9）：2123-2133.

[6] ASHA S，SREERAJ M.Content based video retrieval using SURF descriptor[C]//Proc.2013 Third International Conference on Advances in Computing and Communications（ICACC）.[S.l.]：IEEE Press，2013：212-215.

[7] OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Trans.Pattern Analysis and Machine In?telligence，2002（24）：971–987.

[8]DONALD H M，PAULINE B.Computer graphics[M].[S.l.]：Publish?ing House of Electronics Industry，2004.

[9] WANG T，HU S M，SUN J G.Image retrieval based on color?space[J].Software，2002，13（10）：2031-2036.

[10] LI X Q，CHEN S C，SHU M L，et al.A novel hierarchical ap?proach to image retrieval using color and spatial information[C]// Proc.Third IEEE Pacific-Rim Conferenceon Multimedia（PCM2002）.[S.l.]：IEEE Press，2002：16-18.

[11]LIU J L，KONG D G，ZHAO H W，et al.Image retrieval based on weighted blocks and color feature[C]//Proc.2011 International Conference on Mechatronic Science，Electric Engineering and Computer（MEC）.[S.l.]：IEEE Press，2011：921-924.

[12] XUE X L.Research about access control system based on face recognition[D].Chengdu：Southwest Jiaotong University，2011.

[13] AHONEN T，HADID A，PIETIKAINEN M.Face description with local binary patterns：application to face recognition[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2006，28（12）：2037-2041.

責任編輯：閆雯雯

Method of Surveillance Video Retrieval Based on Image Content in HSV

SHI Yunjing,ZHENG Haibo,HAN Xiaoxuan,LI Jie,ZHU Xiuchang
（Image Processing and Communication Key Lab,Nanjing University of Posts and Telecommunications，Nanjing 210003，China）

With the advancement of building Peace City activities,a large number of HD(High Definition)and digital monitors has been gradually spread all over the streets,followed by lots of surveillance videos rapidly.How to storage,manage and use the vast amounts of surveillance videos effectively becomes a research hotspot.Video retrieval technology based on the content and semantic becomes a feasible method to search information from huge videos,and attracts more and more scholars and researchers’attention.In this paper,color information of images in HSV space with non-uniform quantization method is utilized and local binary pattern ia used as content based video retrieval image features.Besides,a novel but easy method is proposed to measure the similarity of two images' histogram to retrieval the target image and the result conformed to the people's subjective visual perception better.

surveillance video;video retrieval;non-uniform quantize;LBP(local binary pattern);histogram;similarity measure

TN991.73

A

10.16280/j.videoe.2015.04.005

2014-08-21

【本文獻信息】史云靜，鄭海波，韓小萱，等.HSV下的基于圖像內(nèi)容的監(jiān)控視頻檢索方法[J].電視技術，2015，39（4）.

國家自然科學基金項目（61071091）