朱超平，楊 藝

(1.重慶工商大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院， 重慶 400067;2.重慶市檢測控制集成系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室， 重慶 400067)

人臉識別是一種非接觸式的生物識別技術(shù)，現(xiàn)已廣泛用于商業(yè)、安防等眾多領(lǐng)域。相比指紋等接觸式的識別技術(shù)，人臉識別信息的獲取渠道更為廣泛，隱蔽性更強(qiáng)[1-4]。

從自然背景中識別人臉分為兩步：人臉檢測與人臉識別。傳統(tǒng)的檢測方法很多，例如Adaboost方法、SVM方法、DPM方法[5]等，其中多尺度形變部件模型DPM效果較為突出，連續(xù)在2007年—2009年獲得VOC[6](visual object class)的檢測冠軍。之后，深度學(xué)習(xí)出現(xiàn)，在性能上體現(xiàn)出明顯的優(yōu)勢，取代了傳統(tǒng)的檢測方法，但其在初始階段效果提升較慢。直到2014年，Ross Girshick提出R-CNN[7]，深度學(xué)習(xí)在檢測方面的效果才有了顯著提升，其在VOC 2007測試集上的mAP 達(dá)到48%。Ross Girshick在2015年和2016年相繼提出Fast R-CNN[8]和Faster R-CNN[9]，將VOC 2007上的mAP分別提升至70%和 73.2%。至此，F(xiàn)aster R-CNN的檢測效果已經(jīng)較為理想，但由于其“先提取候選框，再基于候選框分類”的分步檢測策略，F(xiàn)PS只達(dá)到7幀/s，遠(yuǎn)不能滿足實(shí)時(shí)需求。

針對Faster R-CNN速度太慢的問題，YOLO在其基礎(chǔ)上進(jìn)行了一系列改進(jìn)。不同于R-CNN系列將檢測問題轉(zhuǎn)化為分類問題的策略，YOLO將目標(biāo)檢測問題轉(zhuǎn)化為回歸問題，在很大程度上加快了計(jì)算的速度，F(xiàn)PS可達(dá)到45幀/s。但由于其候選框選取尺度和比例較為單一，因此在速度提升的同時(shí)，精度卻有所下降，在VOC 2007上的mAP只有63.4%。YOLO2在YOLO的基礎(chǔ)上繼續(xù)改進(jìn)。與Faster R-CNN中人工制定多尺度候選框選取策略不同，YOLO2采用K-means聚類作為候選框選取規(guī)則，在提升速度的同時(shí)，精度也有很大提升，在VOC 2007上的mAP達(dá)到78.6%。

本文提出的基于YOLO2和ResNet的人臉檢測識別方法旨在解決視頻監(jiān)控中的人臉識別問題。 YOLO2[10]快速檢測每幀視頻中的人臉，將結(jié)果輸入ResNet[11]得到人臉特征，并對比目標(biāo)人臉特征與本地人臉庫特征，計(jì)算人臉特征的余弦相似度，取其相似度最高的值作為識別結(jié)果。由于識別本身速度較快，故檢測速度的提升使得整體識別的速度顯著提升。

1 算法實(shí)現(xiàn)

1.1 YOLO2算法

YOLO2和YOLO[12]是繼Faster R-CNN后又一系列優(yōu)秀的檢測算法。Faster R-CNN系列算法均采取“候選框提取+分類”(即RPN+Fast R-CNN)的步驟實(shí)現(xiàn)多目標(biāo)檢測，其本質(zhì)是將檢測問題轉(zhuǎn)換為分類問題，精度很高，但速度不夠理想。YOLO使用一種將目標(biāo)分類和檢測聯(lián)合訓(xùn)練的方法，直接在輸出層回歸檢測目標(biāo)邊框的位置和類別，將檢測問題轉(zhuǎn)化為回歸問題，極大地改善了檢測速度。

YOLO的預(yù)訓(xùn)練分類網(wǎng)絡(luò)是GoogleNet[13]前20個卷積網(wǎng)絡(luò)加上平均池化層、全連接層，此時(shí)的輸入圖片大小為 224×224。檢測訓(xùn)練網(wǎng)絡(luò)在其基礎(chǔ)上增加了4個卷積層和2個全連接層，并把輸入大小改為448×448。448×448的圖片被分成7×7個網(wǎng)格，每個網(wǎng)格對應(yīng)2個候選邊框。邊框用于預(yù)測網(wǎng)格中心所含物體的位置，網(wǎng)格用于預(yù)測物體類別。輸入網(wǎng)絡(luò)后，含有物體的邊框被選出，經(jīng)NMS剔除重疊邊框，得到輸入圖片中目標(biāo)的位置和類別。YOLO處理示意圖見圖1[6]。

圖1 YOLO處理示意圖

相比Faster R-CNN，YOLO在速度上有明顯優(yōu)勢,但是單一比例的候選框使準(zhǔn)確率不高。針對這種情況，YOLO2進(jìn)行了一系列改進(jìn)。針對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)分布存在的差異性，YOLO2在每個卷積層后面添加了一個“批量歸一化(batch normalization)”的步驟，以提高網(wǎng)絡(luò)的訓(xùn)練速度。此外，YOLO2將預(yù)訓(xùn)練網(wǎng)絡(luò)的分辨率提高到448×448，在mAP上獲得了提升[14]。候選框選取方面，YOLO2用K-means聚類得到候選框的大小、比例和數(shù)量，在此基礎(chǔ)上平衡聚類結(jié)果和計(jì)算復(fù)雜度，得到合理的候選框選取參數(shù)。VOC和COCO上聚類結(jié)果示意圖見圖2[6]。

圖2 VOC和COCO上聚類結(jié)果示意圖

每個候選框輸出各自對應(yīng)的預(yù)測位置、置信度以及邊框中物體是每種類別的概率。為了使YOLO2適應(yīng)多尺度特征，YOLO2添加了一個“passthrough layer”，用于連接淺層特征與深度特征。在訓(xùn)練時(shí)采取多尺度訓(xùn)練，每經(jīng)過10輪訓(xùn)練就會隨機(jī)選擇新圖片的尺度。

速度方面，YOLO2也做了一些改進(jìn)措施。很多檢測網(wǎng)絡(luò)會使用VGGNet-16作為特征提取網(wǎng)絡(luò)，雖然其精度很高，但是過于復(fù)雜[15]。YOLO2采用GoogleNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，其前向傳播一次的運(yùn)算次數(shù)僅有VGG-16的1/4左右。雖然使用GoogleNet的精度略低于VGGNet-16，但速度有明顯改善。

除上述改進(jìn)之外， YOLO2在很多細(xì)節(jié)上也做了優(yōu)化。測試結(jié)果顯示：當(dāng)輸入圖片大小為 228×228時(shí)，其幀率達(dá)到90FPS，mAP幾乎達(dá)到與Faster R-CNN一樣的水準(zhǔn)。當(dāng)輸入圖片分辨率較高，為554×554時(shí)，YOLO2在VOC2007上的mAP達(dá)到78.6%，幀率可達(dá)到40FPS，完全滿足實(shí)時(shí)性需求。

1.2 ResNet算法

深度殘差網(wǎng)絡(luò)(deep residual networks，ResNet)是由Kaiming He提出的一種深度學(xué)習(xí)網(wǎng)絡(luò),于2015年獲得ImageNet目標(biāo)檢測、目標(biāo)定位以及COCO目標(biāo)檢測和COCO圖像分割的第一名。很多圖像處理相關(guān)的任務(wù)能取得較好的效果都得益于較深的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)的層數(shù)越深，意味著能提取到的特征越豐富，更能體現(xiàn)圖像的語義。但簡單的堆疊網(wǎng)絡(luò)會導(dǎo)致嚴(yán)重的梯度消失問題。這個問題在一定程度上可以通過標(biāo)準(zhǔn)初始化(normalized initialization)和正則化(intermediate normalization)解決，保證幾十層的網(wǎng)絡(luò)能夠正常收斂，但在更深的網(wǎng)絡(luò)上，精確度達(dá)到了飽和，效果反而變差。

針對上述情況，ResNet引入了殘差學(xué)習(xí)來解決深度網(wǎng)絡(luò)難以優(yōu)化的問題。形式上看，用H(x)表示最優(yōu)的映射，讓堆疊的非線性層去擬合另一個映射F(x)=H(x)-x，此時(shí)最優(yōu)映射可以表示為H(x)=F(x)+x。假設(shè)殘差映射比原映射更易優(yōu)化，那么，在極端情況下就很容易將殘差推至0，這比將映射逼近另一個映射要簡單得多[16]。殘差網(wǎng)絡(luò)示意圖見圖3[11]。F(x)+x可以通過在前饋網(wǎng)絡(luò)中增加一個“快捷連接”(shortcut connection)來表示?！翱旖葸B接”跳過一個或多個層，執(zhí)行簡單的恒等映射，既不會增加額外參數(shù)，也不會增加計(jì)算復(fù)雜度，且整個網(wǎng)絡(luò)依然可以用SGD和反向傳播進(jìn)行端到端的訓(xùn)練。

圖3 殘差網(wǎng)絡(luò)示意圖

ResNet算法將殘差網(wǎng)絡(luò)映射的每一組網(wǎng)絡(luò)視為一個構(gòu)造塊(residual block)，每個構(gòu)造塊定義為

y=F(x,{Wi})+x

(1)

其中：x、y分別為構(gòu)造塊的輸入、輸出向量；F(x,{Wi})為要訓(xùn)練的殘差映射，且式(1)中x和F的維度需要一致。若維度不一致，則在“快捷連接”上增加一個線性投影來匹配維度，表示如下：

y=F(x,{Wi})+Wsx

(2)

圖4是1個34層深的普通卷積網(wǎng)絡(luò)和1個34層深的 ResNet 網(wǎng)絡(luò)的對比圖。可以看到，普通直連的卷積神經(jīng)網(wǎng)絡(luò)和ResNet 的最大區(qū)別在于，ResNet 有很多旁路的支線將輸入直接連到后面的層，使得后面的層可以直接學(xué)習(xí)殘差。傳統(tǒng)的卷積層或全連接層在信息傳遞時(shí),或多或少會存在信息丟失、損耗等問題，ResNet 在某種程度上解決了這個問題，通過直接將輸入信息繞道傳到輸出保護(hù)信息的完整性，整個網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的那一部分，簡化了學(xué)習(xí)的目標(biāo)和難度。

圖4 34層普通卷積網(wǎng)絡(luò)與34層ResNet網(wǎng)絡(luò)

網(wǎng)絡(luò)設(shè)計(jì)規(guī)則: ① 對于輸出feature map大小相同的層，有相同數(shù)量的filters,即channel數(shù)相同; ② 當(dāng)feature map大小減半時(shí)(池化),filters數(shù)量翻倍。對于殘差網(wǎng)絡(luò)，維度匹配的shortcut連接為實(shí)線，反之為虛線。維度不匹配時(shí)，同等映射有兩種可選方案：直接通過zero padding 來增加維度(channel)或者乘以W矩陣投影到新的空間。采用1×1卷積實(shí)現(xiàn)，直接改變1×1卷積的filters數(shù)目以增加參數(shù)。

殘差學(xué)習(xí)的引進(jìn)使得基礎(chǔ)網(wǎng)絡(luò)的性能得到進(jìn)一步優(yōu)化，無論是在檢測還是識別方面，都可以取得更好的效果。

1.3 基于YOLO2和ResNet的人臉檢測與識別

針對城市監(jiān)控視頻，本文提出了一種人臉檢測識別方法。該方法分檢測、識別兩部分。檢測部分采用YOLO2，其速度和精度方面都有較好的效果。識別部分采用ResNet，其引入的殘差學(xué)習(xí)使得模型的精度比原始網(wǎng)絡(luò)更高。為驗(yàn)證方法的效果，針對檢測、識別和綜合性能測試，分別設(shè)計(jì)了一組試驗(yàn)。

1) 檢測部分：比較YOLO2和Faster R-CNN的檢測性能，設(shè)計(jì)了一組對比試驗(yàn)。用同一批數(shù)據(jù)訓(xùn)練YOLO2和Faster R-CNN，并對同一視頻進(jìn)行測試，比較其檢測的速度和精度。

2) 識別部分：根據(jù)YOLO2檢測獲得的人臉坐標(biāo)得到人臉圖像，分別用訓(xùn)練好的VGGNet[17]和ResNet對其進(jìn)行特征提取。同樣，分別用VGGNet和ResNet提取本地人臉庫的特征向量，計(jì)算檢測目標(biāo)和本地圖像的特征向量的余弦相似度，得到前5名和前1名的錯誤率，比較其性能。

3) 綜合測試：對一段實(shí)時(shí)的監(jiān)控視頻進(jìn)行測試。由于視頻相鄰幀變化較小，故每隔1s(25幀)檢測輸入視頻中每幀人臉的位置。根據(jù)檢測的位置，提取檢測的人臉特征，并對比本地?cái)?shù)據(jù)庫和視頻中出現(xiàn)的人臉特征，計(jì)算余弦相似度。若相似度達(dá)到閾值，則視為識別成功。記錄視頻中的實(shí)際人臉總數(shù)以及正確檢測人臉總數(shù)、正確識別總數(shù)、平均完成時(shí)間，最后評估整體效果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)平臺

為了驗(yàn)證兩種算法結(jié)合后在人臉檢測和識別中的效果，實(shí)驗(yàn)平臺采用intel E5-2460V4 CPU，圖像處理單元(GPU)采用英偉達(dá)K80顯卡，操作系統(tǒng)為CentOS6.5，軟件采用darknet(YOLO2)、Caffe(ResNet)。人臉檢測基準(zhǔn)數(shù)據(jù)集采用WIDER FACE。WIDER FACE提供了廣泛的人臉檢測基準(zhǔn)數(shù)據(jù)集，它包含32 203個圖像和393 703個人臉圖像，在尺度、姿勢、閉塞、表達(dá)、裝扮、關(guān)照等方面表現(xiàn)出大的變化。WIDER FACE基于61個事件類別組織，對于每一個事件類別，選取其中的40%作為訓(xùn)練集，10%用于交叉驗(yàn)證(cross validation)，50%作為測試集。訓(xùn)練數(shù)據(jù)集選取國內(nèi)著名的人臉數(shù)據(jù)庫CASIA_Webface，共10 575人，約50萬人臉圖片，每張圖片大小為250×250，每個人的圖片數(shù)量從幾十到幾百不等。利用海康威視DS-2CD3T45D-I3網(wǎng)絡(luò)高清監(jiān)控?cái)z像頭采集到的數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)集。

2.2 測試數(shù)據(jù)對比

第1組人臉檢測實(shí)驗(yàn)采用WIDFER FACE人臉檢測數(shù)據(jù)庫作為測試，每幀檢測1次，并與Faster R-CNN的檢測效果進(jìn)行對比。

表1 Faster R-CNN與YOLO2人臉檢測結(jié)果對比

第2組人臉檢測實(shí)驗(yàn)采用1組實(shí)際拍攝的視頻作為測試，每幀檢測1次，對比Faster R-CNN的檢測效果。從測試的結(jié)果來看，真實(shí)拍攝的視頻的檢測效果要略差于公開數(shù)據(jù)集上檢測的效果，但仍可以應(yīng)用到真實(shí)環(huán)境中的人臉檢測。

表2 Faster R-CNN與YOLO2在真實(shí)環(huán)境的測試對比

第3組人臉識別通過抽取網(wǎng)絡(luò)的最后一層全連接層的特征向量計(jì)算余弦相似度，得到VGGNet和ResNet的Top1和Top5相似度的錯誤率，結(jié)果見表3。

表3 VGGNet與ResNet人臉識別結(jié)果對比

由表3可看出，相較于VGGNet，ResNet的Top1和Top5的錯誤率更低，使用ResNet識別的效果更好。

第4組綜合測試部分，使用采集的含有人臉的監(jiān)控視頻進(jìn)行測試，測試結(jié)果見圖5、6。

從圖5、6的檢測和識別結(jié)果的整體效果來看，檢測和識別的速度較快，可以滿足實(shí)際應(yīng)用的實(shí)時(shí)性要求。整體識別率在單獨(dú)識別的基礎(chǔ)上有所降低，其中受影響較大的是檢測部分。

圖5 人臉檢測截圖

圖6 正確識別出人臉

3 結(jié)束語

為減輕城市治安管理中監(jiān)控和監(jiān)管的壓力，本文中提出了基于YOLO2和ResNet的人臉檢測識別方法，用于識別城市監(jiān)控視頻中出現(xiàn)的人臉的身份。利用公開數(shù)據(jù)庫和視頻監(jiān)控采集的數(shù)據(jù)進(jìn)行測試，結(jié)果顯示YOLO2和ResNet的整體識別效果較好，在實(shí)時(shí)性和準(zhǔn)確性方面均能滿足實(shí)際需求。本文方法的不足之處在于當(dāng)人臉傾斜角度較大或人臉區(qū)域較小時(shí)，容易出現(xiàn)漏檢現(xiàn)象。另外，由于存在運(yùn)動模糊情況，即使檢測到這種情況下的人臉，其識別效果也較差。未來將在后續(xù)的研究中針對上述情況進(jìn)行改進(jìn)，以提高整體的性能。