李彥璇　王蓉　方銀旺

摘要：在科技飛速發(fā)展的今天，視頻圖像偵查技術(shù)在公安工作中發(fā)揮的作用越來(lái)越顯著，尤其是人臉檢測(cè)與識(shí)別技術(shù)的廣泛應(yīng)用，極大地提高了公安機(jī)關(guān)的辦案效率。本文研究了一種視頻中運(yùn)動(dòng)人臉的檢測(cè)與追蹤方法。首先，對(duì)視頻每幀圖像進(jìn)行分析，使用Haar分類器檢測(cè)出視頻圖像中的人臉，鎖定人臉區(qū)域；然后，對(duì)視頻序列中的人臉進(jìn)行跟蹤；最后，基于OpenCV視覺庫(kù)進(jìn)行了仿真實(shí)驗(yàn)。仿真實(shí)驗(yàn)結(jié)果表明該方法能準(zhǔn)確檢測(cè)出視頻中的人臉，可有效排除視頻中其他運(yùn)動(dòng)物體對(duì)跟蹤的干擾，能夠?qū)\(yùn)動(dòng)人臉進(jìn)行跟蹤。

關(guān)鍵詞：人臉檢測(cè)；人臉跟蹤；OpenCV；Haar分類器

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）28-0131-05

Study on Face Detection and Tracking Method in Video

LI Yan-xuan1，WANG Rong1，F(xiàn)ANG Yin-wang2

（1.People's Public Security University of China，Beijing 102623；2.Hangzhou State Tax Bureau，Hangzhou 310009）

Abstract： With the rapid development of science and technology， video image detection technology plays an increasingly prominent role in the public security work， especially the wide application of human face detection and recognition technology， which greatly improves the efficiency of public security organs. In this paper， a method of detecting and tracking moving human face in video is studied. Firstly， the video frames are analyzed and the Haar classifier is used to detect the face in the video frames， then the face region is locked， and the human face in the video sequence is tracked. Finally， the simulation experiment is carried out based on the OpenCV. Experimental results show that this method can detect the human face in the video， and can effectively eliminate the interference of other moving objects in the video.

Key words： face detection； face tracking； OpenCV； Haar classifier

視頻中人臉信息對(duì)于公安的案件偵破、嫌疑人鎖定、線索獲取、群體性事件和突發(fā)事件的預(yù)防和控制等方面有著不可或缺的作用，公安機(jī)關(guān)越來(lái)越重視其在公安工作中的應(yīng)用。目前，公安對(duì)于視頻信息的利用多數(shù)比較被動(dòng)，怎樣在大量且豐富的視頻數(shù)據(jù)中檢測(cè)和跟蹤到感興趣目標(biāo)，實(shí)現(xiàn)對(duì)其進(jìn)行分析和預(yù)判，已成為視頻監(jiān)控技術(shù)研究的關(guān)鍵。目前在智能視頻分析領(lǐng)域，國(guó)內(nèi)外研究的熱點(diǎn)主要集中在算法改進(jìn)和更高效求解復(fù)雜全局化的問題上，以解決檢測(cè)及跟蹤過程中的遮擋問題、光線問題，增強(qiáng)抗干擾能力和魯棒性。1996年，美國(guó)國(guó)防高級(jí)研究項(xiàng)目署啟動(dòng)了視頻監(jiān)控項(xiàng)目 VSAM（Visual Surveillance and Monitoring），進(jìn)行視頻監(jiān)控的管理和自動(dòng)化研究，提出了運(yùn)用自適應(yīng)模板匹配的方法進(jìn)行目標(biāo)跟蹤[1]。Nagel and Enkelman和Black and Weldon等人對(duì)光流方法進(jìn)行了改進(jìn)[2]。隨后，有學(xué)者使用“主動(dòng)輪廓”（active contours）（也稱為蛇模型），粒子濾波器（particle filter）對(duì)跟蹤算法進(jìn)行改進(jìn)[2]。國(guó)內(nèi)在這方面的研究雖然起步比較晚，但也已經(jīng)取得了一定的成就。南京理工大學(xué)提出了一種基于連續(xù)核密度逼近理論的運(yùn)動(dòng)目標(biāo)檢測(cè)方法和基于Bagging集成學(xué)習(xí)的運(yùn)動(dòng)陰影消除方法減小背景和照度的影響，通過一種改進(jìn)的基于空間顏色高斯混合模型的目標(biāo)跟蹤方法提高檢測(cè)的自適應(yīng)性[1]。南京郵電大學(xué)結(jié)合 Meanshift算法和 Kalman（卡爾曼）估計(jì)器算法的優(yōu)點(diǎn)，實(shí)現(xiàn)了復(fù)雜背景下遮擋弱小物體的跟蹤[3]。本文基于Opencv，分解視頻序列，利用Haar分類器檢測(cè)出視頻中的人臉，鎖定人臉區(qū)域，在VisualStudio2010平臺(tái)上編程實(shí)現(xiàn)視頻中人臉的跟蹤，簡(jiǎn)化算法復(fù)雜程度，提高跟蹤的準(zhǔn)確性和魯棒性。

1 人臉檢測(cè)方法

常用的人臉檢測(cè)方法大致分為兩類：基于特征的人臉檢測(cè)和基于統(tǒng)計(jì)的人臉檢測(cè)?；谔卣鞯娜四槞z測(cè)根據(jù)人臉的五官特征和其位置分布識(shí)別出圖像中的人臉區(qū)域，這種方法容易受到背景中其他物體的干擾，而且如果圖像中人臉尺寸太小也無(wú)法準(zhǔn)確檢測(cè)，識(shí)別率較低。建立人臉模板的方法雖然提高了檢測(cè)率，但是由于復(fù)雜的算法，檢測(cè)過程耗時(shí)太長(zhǎng)，檢測(cè)效率并不理想。基于特征的人臉檢測(cè)方法對(duì)于檢測(cè)復(fù)雜的人臉圖像表現(xiàn)出很大的局限性，基于統(tǒng)計(jì)的方法越來(lái)越受到研究者的青睞?；诮y(tǒng)計(jì)指使用大量的人臉模板來(lái)訓(xùn)練出人臉識(shí)別的分類器，通過訓(xùn)練好的分類器與圖像特征進(jìn)行匹配，得到人臉區(qū)域。常用的基于統(tǒng)計(jì)的人臉檢測(cè)方法有基于特征空間的檢測(cè)方法、基于神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法、基于支持向量機(jī)的檢測(cè)方法和Boosting方法[4]。

Boosting算法用多次決策的思想提高了分類器的學(xué)習(xí)能力，把不符合標(biāo)準(zhǔn)的特征排除在外，對(duì)符合檢測(cè)標(biāo)準(zhǔn)的特征繼續(xù)判斷，Boosting通過多個(gè)分類器的級(jí)聯(lián)形成強(qiáng)分類器，只有通過分類器的所有節(jié)點(diǎn)才認(rèn)為檢測(cè)到了物體，一旦判斷為不是目標(biāo)，則算法結(jié)束，這大大提高了檢測(cè)的準(zhǔn)確率[5]。其訓(xùn)練過程如圖1所示：

AdaBoost算法是對(duì)Boosting算法中的弱分類器的級(jí)聯(lián)，弱分類器大多數(shù)情況下只有一層決策樹，決策樹通過下式表示：

[fi=+1，vi≥ti-1，vi≥ti] （1）

其中[fi]表示第i個(gè)特征，[vi]表示特征值，[ti]為設(shè)定的閾值，如果特征值大于閾值，用1表示，表示可能是人臉，如果特征值小于閾值，用-1表示，表示可能不是人臉。

AdaBoost算法對(duì)于Boosting的改進(jìn)之處在于進(jìn)行多次閾值判斷時(shí)，給特征賦予一個(gè)權(quán)值。設(shè)Boosting算法訓(xùn)練T個(gè)分類器[ht]，[t∈{1，...，T}]，M個(gè)樣本，樣本圖像用[（xi，yi）]表示，其中[i∈{1，...，M}]，在圖像上第一次遍歷數(shù)據(jù)的時(shí)候，訓(xùn)練得到f1的閾值t1，然后使用得到的錯(cuò)誤來(lái)計(jì)算投票權(quán)值[ωt（i）]，將這個(gè)權(quán)值重新賦予下一次訓(xùn)練的特征，初始化權(quán)值：

[ω1（i）=1M]，[i∈{1，...，M}] （2）

尋找獲得錯(cuò)誤最小的投票權(quán)值[ωt（i）]的分類器[ht]：

[εt（i）=miniωiht-yi] （3）

其中[εt]為獲得最小誤差。

設(shè)置[ht]的權(quán)重：

[αt=log1-εtεt] （4）

更新節(jié)點(diǎn)權(quán)重：

[ωt+1（i）=ωt（i）exp（-αtyiht（xi））Wt] （5）

其中[Wt=ωt（i）j=1Mωt（j）]為權(quán)值歸一化值。

得到級(jí)聯(lián)加權(quán)分類器[5]：

[H（x）=signt=1Tαtht（x）] （6）

Harr分類器是人臉檢測(cè)中一種較為有效的方法，它實(shí)際上是基于統(tǒng)計(jì)的方法中Boosting算法的一個(gè)應(yīng)用，使用Haar-like特征對(duì)圖像區(qū)域的和或差進(jìn)行閾值化，Haar-like特征如圖2和圖3所示，圖2分別代表了垂直邊緣特征、垂直線性特征、水平邊緣特征和對(duì)角邊緣特征，圖3對(duì)這些原始特征進(jìn)行擴(kuò)展，分別代表邊緣特征、線性特征和中心特征。這些特征是通過對(duì)原始灰度圖像積分圖得到的，組成了Boosting分類器的全部“原材料”[6]?？梢酝ㄟ^這些特征組成的窗口在圖像上的移動(dòng)，篩選出圖像中哪些是人臉區(qū)域，哪些是非人臉區(qū)域。

Haar分類器把AdaBoost算法訓(xùn)練出的強(qiáng)分類器進(jìn)行了級(jí)聯(lián)，加強(qiáng)了分類器的分類性能，它在底層的特征提取中采用了高效率的矩形特征和積分圖方法[5]，當(dāng)圖像中包含較多的像素點(diǎn)時(shí)，搜索人臉特征過程復(fù)雜、計(jì)算量大，所以需要消耗很長(zhǎng)的時(shí)間，使用遍歷圖像積分的方法通過總結(jié)特征，大大降低了計(jì)算量，節(jié)約了搜索時(shí)間。

2人臉跟蹤方法

在第1節(jié)描述的人臉檢測(cè)方法的基礎(chǔ)上，本文采用Haar分類器實(shí)現(xiàn)人臉檢測(cè)，利用分解視頻為幀的思想，實(shí)現(xiàn)視頻中人臉的跟蹤，排除視頻中運(yùn)動(dòng)物體對(duì)檢測(cè)的干擾，簡(jiǎn)化跟蹤算法，為視頻中人臉跟蹤提供新的思路?；谌四槞z測(cè)的人臉跟蹤方法的實(shí)現(xiàn)原理如圖4所示。將輸入的視頻分解為幀，按幀進(jìn)行檢測(cè)，每檢測(cè)完一幀將檢測(cè)結(jié)果顯示出來(lái) ，繼續(xù)檢測(cè)下一幀，直到將視頻中的幀檢測(cè)完，通過這樣連續(xù)地檢測(cè)與顯示，實(shí)現(xiàn)對(duì)視頻中運(yùn)動(dòng)的人臉的跟蹤。該方法充分利用了Haar分類器的優(yōu)點(diǎn)，檢測(cè)準(zhǔn)確率高。

視頻人臉跟蹤實(shí)現(xiàn)的流程圖如圖4所示，首先打開攝像頭或通過打開指定路徑下的視頻，從輸入視頻流中獲得輸入圖像，判斷是否輸入成功，如果沒有獲取到圖像則退出，如果獲取到圖像捕捉視頻中第一幀，如果捕捉幀成功，則檢測(cè)該幀中的人臉，并標(biāo)定人臉區(qū)域，顯示標(biāo)定人臉的圖像幀，繼續(xù)捕捉下一幀。

3 實(shí)驗(yàn)仿真與結(jié)果分析

3.1實(shí)驗(yàn)仿真

仿真實(shí)驗(yàn)通過在VisualStudio2010平臺(tái)上用OpenCV視覺庫(kù)的函數(shù)、使用C++語(yǔ)言進(jìn)行編程實(shí)現(xiàn)，實(shí)驗(yàn)在聯(lián)想Intel（R）Core（TM）i5-2410M CPU@2.30GHz處理器的PC機(jī)上實(shí)現(xiàn)。實(shí)驗(yàn)用視頻來(lái)源于三星手機(jī)拍攝，格式轉(zhuǎn)化為“.avi”，用[f]表示幀數(shù)，總幀數(shù)[f=256]；攝像頭視頻來(lái)源于PC機(jī)自帶攝像頭實(shí)時(shí)攝像。視頻的拍攝環(huán)境分別為室內(nèi)、室外廣場(chǎng)和嘈雜的馬路邊，分別包括了簡(jiǎn)單背景、復(fù)雜背景和有其他運(yùn)動(dòng)物體的復(fù)雜背景。實(shí)驗(yàn)對(duì)視頻中有單個(gè)人臉、多個(gè)人臉的情況分別進(jìn)行仿真，對(duì)比沒有運(yùn)動(dòng)物體干擾的簡(jiǎn)單環(huán)境下人臉跟蹤和有運(yùn)動(dòng)物體干擾的復(fù)雜背景下的人臉跟蹤的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)結(jié)果中紅色區(qū)域表示檢測(cè)出的人臉區(qū)域。圖6實(shí)驗(yàn)環(huán)境為室內(nèi)，是在簡(jiǎn)單的環(huán)境中對(duì)單個(gè)人的檢測(cè)與跟蹤結(jié)果序列截圖，（a）、（b）、（c）、（d）、（e）、（f）分別為順序截取的隨機(jī)幀跟蹤結(jié)果；圖7實(shí)驗(yàn)環(huán)境為室外廣場(chǎng)，是對(duì)視頻中有多個(gè)人的檢測(cè)與跟蹤結(jié)果序列截圖，（a）、（b）、（c）、（d）、（e）、（f）分別為順序截取的隨機(jī)幀跟蹤結(jié)果；圖7是在嘈雜馬路邊的視頻人臉檢測(cè)與跟蹤效果序列截圖，（a）、（b）、（c）、（d）、（e）、（f）分別為順序截取的隨機(jī)幀跟蹤結(jié)果；圖8是打開攝像頭進(jìn)行實(shí)時(shí)跟蹤的效果隨機(jī)序列截圖，圖（a）表示連續(xù)跟蹤效果，圖（b）為跟蹤過程中某幀出現(xiàn)的誤檢。

（a）跟蹤連續(xù)

（b）誤檢幀

4.2結(jié)果分析

圖6表明該方法對(duì)于簡(jiǎn)單場(chǎng)景視頻中的人臉有很好的跟蹤效果；圖7顯示對(duì)于視頻中的多個(gè)人臉也有很好的跟蹤效果，除了個(gè)別幀會(huì)出現(xiàn)一個(gè)誤檢或者漏檢，整體跟蹤效果尚佳，準(zhǔn)確率可達(dá)97.6%，說(shuō)明適用于視頻中有多個(gè)人臉的情況；圖8是在復(fù)雜場(chǎng)景中的實(shí)驗(yàn)，視頻背景中有車輛等運(yùn)動(dòng)物體，結(jié)果顯示其他運(yùn)動(dòng)物體被有效排除在檢測(cè)外，說(shuō)明該方在視頻運(yùn)動(dòng)目標(biāo)的跟蹤中能夠?qū)θ四樣嗅槍?duì)性地進(jìn)行跟蹤。圖9（a）實(shí)現(xiàn)了攝像頭實(shí)時(shí)跟蹤，說(shuō)明該方法具有實(shí)時(shí)性，圖9（b）為實(shí)驗(yàn)過程中出現(xiàn)的誤檢情況，這種誤檢只會(huì)出現(xiàn)在偶爾幀中，例如視頻圖像中有類人臉特征的情況，這是由于檢測(cè)方法的局限造成的，圖9（b）的誤檢是由于系統(tǒng)將鼻子和嘴巴也誤以為是人臉特征，誤檢率為1.17%～2.34%。

實(shí)驗(yàn)結(jié)果表明該方法可以有效地對(duì)視頻中的人臉進(jìn)行跟蹤，只要捕獲到視頻幀、檢測(cè)到人臉就可以實(shí)現(xiàn)跟蹤。基于視頻幀的跟蹤有很好的實(shí)時(shí)性和針對(duì)性，算法簡(jiǎn)潔、易于實(shí)現(xiàn)，便于進(jìn)一步深入研究和功能擴(kuò)展。由于基于人臉檢測(cè)，使用該方法進(jìn)行跟蹤穩(wěn)定性較好，不僅適用于視頻中有運(yùn)動(dòng)的人臉，也適用于攝像機(jī)的運(yùn)動(dòng)形成的人臉位置變化的情況。

5結(jié)論

近些年來(lái)，公安工作越來(lái)越重視對(duì)視頻信息的利用，通過計(jì)算機(jī)智能的分析視頻中包含的信息，節(jié)約人力資源，提高工作效率。本文使用的方法通過在VisualStudio2010環(huán)境中使用OpenCV實(shí)現(xiàn)了對(duì)視頻中的人臉進(jìn)行跟蹤，基于Haar的分類器能將視頻關(guān)注點(diǎn)準(zhǔn)確集中于人臉上，采用分解幀的跟蹤方法避免其他運(yùn)動(dòng)物體的干擾。該方法可以幫助公安工作人員在利用視頻信息尋找線索時(shí)關(guān)注嫌疑人的活動(dòng)，對(duì)案件的偵破和人員的控制有著重要的意義。該方法為人臉跟蹤技術(shù)的進(jìn)一步研究提供了基本的模型和新的思路，在自適應(yīng)性、運(yùn)行速度和兼容性方面還有著很大的發(fā)展空間，通過對(duì)該方法的不斷完善和改進(jìn)，在視頻偵查中具有廣闊的應(yīng)用前景。

參考文獻(xiàn)：

[1] 王歡.運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)研究[D].南京理工大學(xué)，2009.

[2] Szeliski R.計(jì)算機(jī)視覺算法與應(yīng)用[M]. 艾海舟，興軍亮，譯.北京：清華大學(xué)出版社，2012：509-513.

[3] 李亞玲.視頻監(jiān)控中運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法的研究[D].南京郵電大學(xué)，2011.

[4] 廖紹雯.人臉檢測(cè)方法研究[J].河西學(xué)院學(xué)報(bào)，2012（2）.

[5] Bradski&Kaehler.于仕琪，劉瑞禎，譯.[M].清華大學(xué)出版社，2009.

[6] http：//blog.csdn.net/zouxy09/article/details/7922923.

[7] 李孟歆.基于小波邊緣提取的混合運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].集成技術(shù)，2013（5）.

[8] Yoo T.w.，Oh I.S. A fast algorithm for tracking human face based on chromatic histograms.Pattern Recognition Letters，1999，20：967-978.

[9] Wei G.，Sethi I.K..Face detection for image annotation.Pattern Recognition Letters，1999，20：1313～1321

[10] Abdel-Mottaleb M.，Elgammal A...Face detiction in complex environment from color images.In：Proc.IEEE Conf . On Image Processing，Kobe，1999，3（11～13）：622～626

[11] 雷玉堂.安防 & 智能化：視頻監(jiān)控系統(tǒng)智能化實(shí)現(xiàn)方案[M].北京：電子工業(yè)出版社，2013.

[12] 朱苗.基于視頻的智能人臉識(shí)別系統(tǒng)設(shè)計(jì)[D].北京：華南理工大學(xué)，2013.

[13] 黃海洋.基于復(fù)合人工神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法研究[D].黑龍江科技學(xué)院，2010.