王學(xué)花，劉兆春

(安徽大學(xué) 江淮學(xué)院理工部，安徽 合肥 230001)

由于具有非接觸性、簡(jiǎn)易性、非強(qiáng)制性、易檢查性等優(yōu)點(diǎn)，人臉識(shí)別已經(jīng)成為應(yīng)用最為廣泛的生物特征識(shí)別技術(shù)。而由于人臉自身和環(huán)境等很多復(fù)雜的因素，人臉識(shí)別技術(shù)仍然面臨著巨大的挑戰(zhàn)。對(duì)于人臉本身，由于在整體結(jié)構(gòu)上，不同個(gè)體的人臉輪廓和器官外形區(qū)別不大，導(dǎo)致不同人臉的差異性不大。而對(duì)于環(huán)境和外界因素，由于光照、表情、角度、飾物、遮擋、化妝等很多不確定因素會(huì)對(duì)圖像產(chǎn)生一定的影響，進(jìn)而加大了人臉識(shí)別的難度。為了將人臉識(shí)別技術(shù)應(yīng)用到更多更復(fù)雜的實(shí)際場(chǎng)景，因此對(duì)于提高人臉識(shí)別技術(shù)精準(zhǔn)性和穩(wěn)定性以及增強(qiáng)魯棒性和使用的便捷性的研究具有十分重要的意義。[1]

本文設(shè)計(jì)了一種基于多通道特征融合與動(dòng)態(tài)樣本權(quán)重的卷積神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于人臉識(shí)別中。該方法使用多個(gè)通道同時(shí)提取人臉圖像抽象性和細(xì)節(jié)性的特征，解決 CNN 特征提取不充分的問題；另外，在訓(xùn)練過程中使用動(dòng)態(tài)樣本權(quán)重對(duì)損失函數(shù)進(jìn)行改進(jìn)，進(jìn)而使得模型更快地朝著減少錯(cuò)誤率的方向訓(xùn)練，加快收斂速度。

1 多通道特征融合

CNN 在每次卷積層的結(jié)果輸入給池化層之后，其特征圖的維數(shù)就會(huì)降低，而一般 CNN 都會(huì)有多層卷積層，這也意味著最后全連接層獲得的是經(jīng)過了多次降維和抽象的特征圖。[2]本文設(shè)計(jì)了多通道特征融合的網(wǎng)絡(luò)結(jié)構(gòu)，多通道表現(xiàn)在使用了兩個(gè)深度不同的卷積通道進(jìn)行特征提取。如圖 1 所示為多通道特征融合的CNN 框架圖。如圖所示，該網(wǎng)絡(luò)同時(shí)訓(xùn)練兩個(gè)相互獨(dú)立且層數(shù)不同的卷積層通道，深淺不同的卷積層同時(shí)提取抽象性和細(xì)節(jié)性的特征，之后兩個(gè)通道得到的特征全連接融合為固定維數(shù)的特征，最后使用 softmax 分類器進(jìn)行分類。

圖1 多通道特征融合的框架圖

2 動(dòng)態(tài)樣本權(quán)重

本文提出的動(dòng)態(tài)樣本權(quán)重的機(jī)制，在訓(xùn)練過程中，常規(guī)的損失函數(shù)為：

(1)

其中，N為樣本個(gè)數(shù)，loss(?)為對(duì)單個(gè)樣本求損失，xi為第i個(gè)樣本。

這種損失函數(shù)是通過對(duì)所有樣本損失求均值得到的，而本文設(shè)計(jì)的動(dòng)態(tài)樣本權(quán)重的思想是對(duì)每個(gè)樣本損失進(jìn)行加權(quán)求和：

式中，di為第i樣本的權(quán)重系數(shù)。

此時(shí)的損失函數(shù)就不僅僅是求所有樣本損失的均值了，在訓(xùn)練中可以針對(duì)某些易分錯(cuò)的樣本適當(dāng)?shù)卦黾悠鋎i值，進(jìn)而損失函數(shù)中這些樣本的比重增加，使得損失函數(shù)有目的地進(jìn)行訓(xùn)練，因而可以使網(wǎng)絡(luò)更快地收斂。

(2)用當(dāng)前訓(xùn)練的模型計(jì)算樣本的分類情況，得到錯(cuò)分類的樣本集Xerror；

(4)如果求得的加權(quán)誤差e<0.5，則繼續(xù)第 5 步對(duì)樣本權(quán)重進(jìn)行更新，否則退出不進(jìn)行此次權(quán)重更新。

本文使用動(dòng)態(tài)樣本權(quán)重的損失函數(shù)會(huì)使模型更快地達(dá)到收斂，本小節(jié)將用實(shí)驗(yàn)在MNIST數(shù)據(jù)集上證明動(dòng)態(tài)樣本權(quán)重的有效性。MNIST數(shù)據(jù)集是Google實(shí)驗(yàn)室的Corinna和紐約大學(xué)柯朗研究所的YanLeCun所創(chuàng)建的一個(gè)手寫數(shù)字的數(shù)據(jù)集，其中包含有60000張圖像的訓(xùn)練集和有10000張圖像的測(cè)試集，每一個(gè)圖像都是分辨率為28X28的灰度圖，如圖2為MNIST數(shù)據(jù)集的部分圖片展示。由于其具有圖像清晰、容易獲取、易于訓(xùn)練等優(yōu)點(diǎn)，MNIST數(shù)據(jù)集成為機(jī)器學(xué)習(xí)領(lǐng)域的入門數(shù)據(jù)集，同時(shí)也經(jīng)常被用來驗(yàn)證算法的可行性。[3-5]

圖2 MNIST數(shù)據(jù)集部分圖片展示

本文設(shè)計(jì)了一個(gè)全連接的BP神經(jīng)網(wǎng)絡(luò)對(duì)MNIST數(shù)據(jù)集進(jìn)行驗(yàn)證，由于每個(gè)圖像的分辨率為28X28，即有784個(gè)像素點(diǎn)，因此該全連接網(wǎng)絡(luò)的輸入有784個(gè)節(jié)點(diǎn)。此外網(wǎng)絡(luò)的輸出有10個(gè)節(jié)點(diǎn)，有2個(gè)隱層，第一個(gè)隱層有392個(gè)節(jié)點(diǎn)，第二個(gè)隱層有196個(gè)節(jié)點(diǎn)。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 BP網(wǎng)絡(luò)結(jié)構(gòu)

分別使用式(3-1)和加入了動(dòng)態(tài)樣本權(quán)重(DynamicSampleWeight,記為DSW)機(jī)制的損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)于DSW損失函數(shù)，每迭代50次就對(duì)樣本權(quán)重進(jìn)行一次更新。訓(xùn)練期間測(cè)試集的識(shí)別率曲線如圖4所示。

圖4 訓(xùn)練期間識(shí)別率曲線

從圖4的曲線中可以看出，在訓(xùn)練過程中，與傳統(tǒng)的損失函數(shù)相比，加入了DSW機(jī)制的損失函數(shù)訓(xùn)練相同次數(shù)得到的網(wǎng)絡(luò)模型，其識(shí)別率更高，說明加入了DSW機(jī)制的損失函數(shù)不僅能夠加快收斂速度，還可以增加模型的準(zhǔn)確率。從圖中還可得到，加入了DSW機(jī)制的模型在訓(xùn)練過程中其識(shí)別率一直高于傳統(tǒng)的方法，且加入了DSW機(jī)制的模型其識(shí)別率略微呈起伏式增長(zhǎng)，即在某一小段訓(xùn)練期間識(shí)別率增長(zhǎng)較快，而隨后就增長(zhǎng)變得緩慢一點(diǎn)，依次交替進(jìn)行，這也可以驗(yàn)證前面對(duì)于加入了DSW機(jī)制的損失函數(shù)有目的進(jìn)行訓(xùn)練的觀點(diǎn)，即在某一段訓(xùn)練中，損失函數(shù)著重訓(xùn)練某一種錯(cuò)分類樣本，因此該訓(xùn)練過程中識(shí)別率增加得較快；而當(dāng)對(duì)該類型錯(cuò)分類訓(xùn)練完畢后，樣本權(quán)重會(huì)隨著訓(xùn)練次數(shù)進(jìn)行更新，這一小段訓(xùn)練期間由于在進(jìn)行樣本權(quán)重的調(diào)整，因此訓(xùn)練過程變得緩慢，當(dāng)樣本權(quán)重調(diào)整適當(dāng)后，損失函數(shù)開始針對(duì)另一類錯(cuò)分類樣本進(jìn)行模型訓(xùn)練，以此步驟循環(huán)進(jìn)行，因此其識(shí)別率略微呈起伏式增長(zhǎng)。[6-8]

3 實(shí)驗(yàn)與結(jié)果分析

本文經(jīng)過具體的實(shí)驗(yàn)及分析對(duì)本文設(shè)計(jì)的多通道特征融合的有效性進(jìn)行驗(yàn)證，同時(shí)該多通道的網(wǎng)絡(luò)結(jié)構(gòu)也在實(shí)驗(yàn)中確定。為了驗(yàn)證本文設(shè)計(jì)的MFF-DSWCNN模型在人臉識(shí)別應(yīng)用上的有效性，使用了多種方法進(jìn)行對(duì)比實(shí)驗(yàn)。

CBCL人臉數(shù)據(jù)庫(kù)由麻省理工大學(xué)媒體實(shí)驗(yàn)室創(chuàng)建,包含10位志愿者的3240張不同姿態(tài)、光照和大小，分辨率為200X200的面部圖像，圖像背景為黑色。如圖5為數(shù)據(jù)庫(kù)的部分人臉圖像展示。CBCL是為探究不同姿態(tài)、光照下的人臉識(shí)別研究而采集的人臉數(shù)據(jù)庫(kù),是人臉識(shí)別領(lǐng)域一個(gè)比較經(jīng)典的數(shù)據(jù)集。

圖5 CBCL數(shù)據(jù)庫(kù)部分圖像

由于該數(shù)據(jù)庫(kù)采集的圖像都很清晰，背景為純黑色，且只有人臉面部的數(shù)據(jù)，并不包含身體、背景等無用的數(shù)據(jù)，因此不再對(duì)原始數(shù)據(jù)進(jìn)行人臉檢測(cè)和預(yù)處理，僅需將圖像的分辨率由200X200統(tǒng)一調(diào)整為128X128即可。[9-10]

為了驗(yàn)證多通道特征融合的有效性，并確定具體的網(wǎng)絡(luò)結(jié)構(gòu)，在本小節(jié)進(jìn)行了多組實(shí)驗(yàn)。實(shí)驗(yàn)中的識(shí)別率數(shù)據(jù)均是采用5折交叉驗(yàn)證方法獲得。使用5折交叉驗(yàn)證方法得到不同卷積層數(shù)的CNN最終的識(shí)別率如表1所示，訓(xùn)練階段在測(cè)試樣本上的識(shí)別率曲線如圖6所示。

表1 不同卷積層數(shù)的CNN識(shí)別率

圖6 訓(xùn)練期間的識(shí)別率曲線

從表1中可以看出，在卷積層數(shù)為1層到3層時(shí)，隨著卷積層數(shù)的增加，模型在訓(xùn)練集和測(cè)試集上的識(shí)別能力在提升；當(dāng)卷積層數(shù)達(dá)到4層以后，其識(shí)別率提升的幅度很小。圖6中也有類似的現(xiàn)象，在層數(shù)小于4時(shí)，當(dāng)訓(xùn)練3000次時(shí)的測(cè)試集識(shí)別率會(huì)隨著層數(shù)增加而升高，而當(dāng)層數(shù)為5和6時(shí)，訓(xùn)練3000次時(shí)的測(cè)試集識(shí)別率減少了。由于卷積層數(shù)為4層時(shí)，當(dāng)前的單通道網(wǎng)絡(luò)結(jié)構(gòu)對(duì)人臉的特征提取已經(jīng)達(dá)到了瓶頸，因而再增加卷積層數(shù)，識(shí)別率并不會(huì)發(fā)生明顯提升，反而會(huì)因?yàn)槟Ｐ蛥?shù)增多導(dǎo)致其復(fù)雜度增大，使得模型過擬合程度越來越明顯。

實(shí)驗(yàn)中將4層卷積層分別其它淺層卷積網(wǎng)絡(luò)組合，將不同通道提取到的特征輸入到全連接層進(jìn)行全連接融合，全連接層的節(jié)點(diǎn)數(shù)統(tǒng)一取2048。在數(shù)據(jù)集上使用5折交叉驗(yàn)證，得到不同層數(shù)卷積層與4層卷積層組合后的識(shí)別率見表2，訓(xùn)練階段在測(cè)試樣本上的識(shí)別率變化過程如圖7所示。

表2 不同深度的多通道網(wǎng)絡(luò)的識(shí)別率

圖7 訓(xùn)練期間的識(shí)別率曲線

為了驗(yàn)證本文設(shè)計(jì)的MFF-DSWCNN在人臉識(shí)別應(yīng)用上的有效性，將MFF-DSWCNN與經(jīng)典人臉識(shí)別的方法以及其它文獻(xiàn)的方法在CBCL人臉數(shù)據(jù)庫(kù)上進(jìn)行訓(xùn)練與測(cè)試實(shí)驗(yàn)并對(duì)比分析了結(jié)果。分別使用LBP與棧式自編碼器(StackedAuto-Encoder,SAE)結(jié)合的方法，多尺度非監(jiān)督特征學(xué)習(xí)(Multi-ScaleConvolutionAuto-Encoder,MSCAE)、多尺度Gabor特征融合的方法，Eigenface方法、Fisherface方法，以及MPCNN與MFF-DSWCNN進(jìn)行對(duì)比。表4為不同方法在CBCL人臉數(shù)據(jù)庫(kù)上的識(shí)別率對(duì)比。

表4 不同方法在CBCL數(shù)據(jù)庫(kù)上的識(shí)別率

為了測(cè)試本文MFF-DSWCNN對(duì)圖像遮擋和旋轉(zhuǎn)的魯棒性，分別對(duì)測(cè)試集進(jìn)行不同程度的遮擋和旋轉(zhuǎn)處理，對(duì)以上方法使用沒有進(jìn)行遮擋和旋轉(zhuǎn)處理的訓(xùn)練集對(duì)進(jìn)行訓(xùn)練，再分別使用經(jīng)過遮擋和旋轉(zhuǎn)處理的測(cè)試集進(jìn)行識(shí)別率測(cè)試。對(duì)于測(cè)試集的處理，本文采用遮擋程度從10%到50%的正方形黑塊隨機(jī)放置作為遮擋處理后的圖像，采用進(jìn)行順逆時(shí)針10到40度處理后的圖像作為旋轉(zhuǎn)處理后的圖像。圖8為部分經(jīng)過遮擋處理的測(cè)試集，該遮擋程度為40%，圖9為部分經(jīng)過旋轉(zhuǎn)處理的測(cè)試集，該部分圖像為原測(cè)試集經(jīng)過繞圖像中心順時(shí)針旋轉(zhuǎn)30度后的圖。圖10與圖11分別為遮擋樣本和旋轉(zhuǎn)樣本的識(shí)別率曲線。

圖8 部分經(jīng)過遮擋處理的測(cè)試樣本

圖9 部分經(jīng)過旋轉(zhuǎn)處理的測(cè)試樣本

圖10 遮擋樣本的識(shí)別率曲線

圖11 旋轉(zhuǎn)樣本的識(shí)別曲線

由上圖可以看出由于CNN對(duì)于圖像遮擋和旋轉(zhuǎn)具有一定程度的不變性，MPCNN和MFF-DSWCNN這兩個(gè)基于CNN的模型對(duì)于遮擋和旋轉(zhuǎn)的魯棒性表現(xiàn)最好，而相比MPCNN而言，MFF-DSWCNN對(duì)于特征提取的更加充分，因此對(duì)于人臉圖像遮擋和旋轉(zhuǎn)的魯棒性表現(xiàn)最好。

4 結(jié)論

針對(duì)傳統(tǒng)門禁系統(tǒng)在人臉識(shí)別中對(duì)于特征提取不充分和收斂速度慢的問題，本文設(shè)計(jì)了一種基于多通道特征融合與動(dòng)態(tài)樣本權(quán)重的卷積神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用于人臉識(shí)別中。該方法使用多個(gè)通道同時(shí)提取人臉圖像抽象性和細(xì)節(jié)性的特征，解決CNN特征提取不充分的問題。經(jīng)過以上多組實(shí)驗(yàn)的分析與對(duì)比，本文設(shè)計(jì)的方法不僅具有更高的識(shí)別率和更快的收斂速度，而且在圖像遮擋和旋轉(zhuǎn)方面具有較強(qiáng)的魯棒性。