許超

【摘 要】池化被廣泛應用于深度卷積神經網絡，是一種非常有效的特征選擇和降維方法，可以避免深度模型的過擬合問題。但常規(guī)的池化只局限于空間維度上相鄰的同類特征之間，無法對臨近通道的不同類特征降采樣。受到人腦中激活抑制現(xiàn)象的啟發(fā)，提出了一種新穎的通道池化，來進行通道間的特征選擇。對比實驗結果表面，通道池化有助于提高深度人臉識別網絡的準確率。

【關鍵詞】通道池化；深度學習；人臉識別；卷積神經網絡

中圖分類號： TP391.41；TP183 文獻標識碼： A 文章編號： 2095-2457（2018）04-0070-002

0 引言

隨著互聯(lián)網+和移動支付的推廣普及，極大便利了人們的生活，人臉識別因其自然、便捷和安全，成為了寄以厚望的下一代身份認證技術。算法原理、海量數(shù)據(jù)和硬件算力共同促成了深度學習的成功，基于深度卷積神經網絡的算法[1]在非受限人臉標準測試集[2]上取得到超越人類的成績。

深度卷積神經網絡的三大特點是：局部感知、權值共享和池化。作為一種有效的特征選擇和降維方法，池化被廣泛應用于卷積神經網絡，可以有效降低模型的過擬合風險，提高學習算法的魯棒性。然而，目前通用的池化只作用于高和寬兩個空間維度，在空間上相鄰的特征圖上降采樣，而生物大腦中神經鏈接的激活抑制現(xiàn)象更加普適，因此不同通道之間的特征選擇同樣重要。

1 卷積神經網絡

卷積神經網絡是一種受生物視覺神經系統(tǒng)啟發(fā)的，由卷積層、激活層和池化層交錯組合成的前饋神經網絡。典型特點是局部感知、權值共享和池化，其特殊的結構能建?？臻g相關性，稀疏連接能有效避免過擬合，因此可以學到性能出色的模型，被廣泛應用于圖像和視頻智能分析任務[3]。

人臉識別已發(fā)展了五十多年，涌現(xiàn)出了許多識別算法，包括基于幾何特征的方法，基于子空間映射的方法，基于稀疏表達的方法，以及最新的基于深度卷積神經網絡的方法。在深度學習之前，Eigenface[4]和Fisherface[5]等方法只能在受限條件（清晰靜態(tài)正臉）下表現(xiàn)不錯，在復雜的自然場景中，往往性能損失嚴重。在深度學習時代，人臉識別精度顯著提升，F(xiàn)aceID3[1]在非受限人臉標準測試集[2]上取得到超越人類的成績。

2 通道池化

深度卷積神經網絡以圖片作為直接輸入，在前向推理的過程中，圖片的信息被映射到高層語義空間。在低層的卷積層和池化層中，特征一直保持著寬、高和通道的三維結構，進入全連接層以后，才被編碼成一維向量。卷積層中的卷積核是三維結構，加權綜合所有通道臨近空間的信息；池化層操作每個通道的二維網格，降低空間上的信息冗余，實現(xiàn)對特征尺寸進行壓縮。

在深度卷積神經網絡中，三維特征的每個通道代表了一種特征的幾何分布，不同位置的同種特征對最終決策的貢獻不同，相同位置的不同特征也同樣差距，有些通道的特征反而在不斷干擾著分類器的準確判斷。但常規(guī)的池化操作只局限于空間維度上相鄰的同類特征之間，無法對臨近通道的不同類特征降采樣，針對這種情況，提出一種新穎的通道池化的方法，進行通道之間的特征選擇和降維。常規(guī)池化和通道池化的組合，可以有機組合出三維池化，提高了池化操作的通用性和靈活性。

3 網絡框架設計

隨著殘差網絡[6]的提出，非常深度的卷積神經網絡被廣泛采用，在各種視覺任務上取得最好的性能，其精巧的短路連接，可以預防梯度消失和加快訓練。因此，在人臉識別網絡框架設計時，引入殘差網絡的設計思想，改進并提出了31層的深度卷積神經網絡和基準對比網絡。

深度人臉識別網絡由5個卷積模塊和一個全連接層組成，共計31層，以192×224的三通道彩色人臉圖片作為輸入，將人臉編碼成512維的語義向量。每個卷積模塊包含兩個卷積層，兩個殘差單元和一個常規(guī)池化層，卷積層用于融合殘差特征，二維池化層對每個通道降采樣，使特征尺寸縮小一半，同時通道數(shù)放大一倍。設計的兩個殘差單元分別用于改進網絡和基準網絡的，基準單元類似于樸素的殘差單元，改進單元在兩個卷積層間采用通道池化進行降采樣。兩個網絡均采用帶參修正線性激活函數(shù)（PReLU）[7]作為激活函數(shù)，以避免神經網絡萎縮。

深度人臉模型的訓練目標函數(shù)由兩部分組成：通用的多分類損失函數(shù)Softmax和類內約束函數(shù)Center-Loss[8]。Softmax損失使深度模型盡可能分類正確，而中心損失函數(shù)使同一人的臉在高維語義空間中盡可能聚集分布，降低語義空間中不同人的臉分布重合的可能性，從而縮小類內距離、放大類間距離，提高深度人臉識別模型的泛化能力。

4 實驗結果分析

以開源深度學習庫Caffe[9]作為實現(xiàn)平臺，對改進網絡和基準網絡采用相同的訓練參數(shù)配置，訓練數(shù)據(jù)采的MS-Celeb[10]數(shù)據(jù)集。模型的初始學習率為0.001，每5輪學習率×0.1，共訓練20輪。

為了充分驗證通道池化的有效性，在萬級的非受限人臉驗證基準測試集LFW[2]和百萬級人臉檢索基準測試集MegafaceV1[11]上評估改進網絡和基準網絡的識別性能。從測試和評估結果可以看出，改進后的網絡相對于人臉分類、人臉驗證和人臉識別多個子任務都優(yōu)于基準模型，證實了通道池化對于提高深度人臉模型識別準確率和泛化能力的有效性。

表1 人臉識別模型性能評估

5 結論

常規(guī)的池化操作只局限于空間維度上相鄰的同類特征之間，無法對臨近通道的不同類特征降采樣。針對這種現(xiàn)象，提出了一種新穎的通道池化方法，使得池化操作更加通用和靈活。設置對比實驗，在LFW和Megaface基準測試集上，驗證了通道池化的有效性。通道池化的引入，可以提高深度人臉模型的準確率和泛化能力，是一種有效的特征選擇和降維方法。

【參考文獻】

[1]Sun Y， Liang D， Wang X， et al. Deepid3： Face recognition with very deep neural networks[J].arXiv preprint arXiv：1502.00873， 2015.

[2]Labeled faces in the wild： A database for studying face recognition in unconstrained environments[R].Technical Report 07-49， University of Massachusetts， Amherst， 2007.

[3]毛勇華，桂小林，李前，賀興時.深度學習應用技術研究[J].計算機應用研究，2016，33（11）：3201-3205.

[4]Turk M， Pentland A. Eigenfaces for recognition[J]. Journal of cognitive neuroscience， 1991，3（1）： 71-86.

[5]Belhumeur P N， Hespanha J P， Kriegman D J. Eigenfaces vs. fisherfaces： Recognition using class specific linear projection[J]. IEEE Transactions on pattern analysis and machine intelligence， 1997， 19（7）： 711-720.

[6]He K， Zhang X， Ren S， et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 770-778.

[7]He K， Zhang X， Ren S， et al. Delving deep into rectifiers： Surpassing human-level performance on imagenet classification[C]//Proceedings of the IEEE international conference on computer vision. 2015： 1026-1034.

[8]Wen Y， Zhang K， Li Z， et al. A discriminative feature learning approach for deep face recognition[C]//European Conference on Computer Vision. Springer International Publishing， 2016： 499-515.

[9]Jia Y， Shelhamer E， Donahue J， et al. Caffe： Convolutional architecture for fast feature embedding[C]//Proceedings of the 22nd ACM international conference on Multimedia. ACM， 2014： 675-678.

[10]Guo Y， Zhang L， Hu Y， et al. Ms-celeb-1m： A dataset and benchmark for large-scale face recognition[C]//European Conference on Computer Vision. Springer International Publishing， 2016： 87-102.

[11]Kemelmacher-Shlizerman I， Seitz S M， Miller D， et al. The megaface benchmark： 1 million faces for recognition at scale[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016： 4873-4882.