李林峰 李春青 田博源 廖曉霞

摘要：該文設(shè)計并實現(xiàn)了一個基于MTCNN的FaceNet架構(gòu)的人臉識別考勤系統(tǒng)。在系統(tǒng)中，將多級聯(lián)CNN模型（MTCNN）應(yīng)用于人臉檢測里，可以提高對光照陰影等自然變化因素存在的魯棒性，對于人臉識別部分采用FaceNet網(wǎng)絡(luò)架構(gòu)。實驗證明，基于MTCNN的FaceNet架構(gòu)相較于傳統(tǒng)的人臉檢測與識別具有更好的效果。最后，在保證識別速度和識別精度的前提下對數(shù)據(jù)的計算量進行了優(yōu)化。

關(guān)鍵詞：MTCNN：FaceNet架構(gòu);人臉識別

中圖分類號：TP37 文獻標識碼：A

文章編號：1009-3044（2020）27-0181-03

開放科學（資源服務(wù)）標識碼（OSID）：

現(xiàn)如今隨著教育力度的大力發(fā)展和學生人數(shù)的逐漸增多，傳統(tǒng)的考勤點名考勤或者簽名考勤存在著虛假簽到的弊端，極大影響了學生平時成績獲取的公平性[1]，而且，這些傳統(tǒng)的考勤方式拖慢并影響了課堂的連續(xù)性和統(tǒng)一管理，無法滿足現(xiàn)如今快速的學生增長趨勢所帶來的考勤弊端。近年來，隨著人工智能和互聯(lián)網(wǎng)的滲入，指紋考勤和人臉考勤應(yīng)運而生，這些新式的考前系統(tǒng)可以幫助考勤管理流程化并提高效率。但是在市面上出現(xiàn)的這些考勤系統(tǒng)都是商用的，對于普通的班級上課考勤來說，價格不菲。因此，本論文主要是設(shè)計并實現(xiàn)一個具有人臉數(shù)據(jù)添加、人臉識別的通用考勤系統(tǒng)。該系統(tǒng)將能快速地進行人臉圖像訓(xùn)練、獲取人臉圖像特征、特征提取和人臉識別，從而生成學生考勤打卡表格，讓教師考勤變得更智能、更高效。

1 系統(tǒng)功能結(jié)構(gòu)

人臉識別系統(tǒng)功能如下圖1所示，包括：添加新用戶、人臉錄入、提取人臉特征、人臉識別、考勤數(shù)據(jù)管理等功能。整個系統(tǒng)界面設(shè)計圖如圖1所示。

1.1添加新用戶

本學生考勤系統(tǒng)服務(wù)定位于高校的課堂考勤管理，因此設(shè)置有兩種權(quán)限的角色：管理員和普通用戶。管理員擁有全部的權(quán)限，可以對整個系統(tǒng)信息進行管理。而添加新用戶的工作則是管理員添加使用本系統(tǒng)進行考勤的教師用戶，這個每一位系統(tǒng)中的教師用戶就可以使用本系統(tǒng)考勤并期末導(dǎo)出考勤數(shù)據(jù)。

1.2人臉錄入

人臉識別的前提是人臉數(shù)據(jù)錄入并進行訓(xùn)練。新建的人臉數(shù)據(jù)表包括院系、班級和學號屬性。錄入過程為：首先選擇人臉數(shù)據(jù)表與對應(yīng)的學號，點擊打開攝像頭，利用OpenCV庫調(diào)用攝像頭進行，獲取人臉圖像數(shù)據(jù)。人臉錄入界面如圖2所示。

1.3提取人臉特征

上一步獲取人臉圖像數(shù)據(jù)后，點擊“特征提取”，系統(tǒng)將會對人臉圖像數(shù)據(jù)獲取，然后送人Facenet進行訓(xùn)練得到128維的特征向量，然后遍歷特征值數(shù)據(jù)庫中的數(shù)據(jù)進行對比檢測，如果數(shù)據(jù)中的數(shù)據(jù)與被識別的數(shù)據(jù)相似度高于閩值，則表示該人臉數(shù)據(jù)已經(jīng)存在，不再保存人臉特征數(shù)據(jù)，反之，則需要保存新的人臉特征數(shù)據(jù)。

1.4人臉識別

人臉識別過程就是考勤打卡過程，與人臉識別過程類似，可以用來檢驗本系統(tǒng)的準確性和魯棒性。其識別過程為：通過攝像頭獲取學生面部數(shù)據(jù)，然后獲得128維的特征向量，然后遍歷特征值數(shù)據(jù)庫中的數(shù)據(jù)進行對比檢測，如果數(shù)據(jù)中的數(shù)據(jù)與被識別的數(shù)據(jù)相似度高于閾值，則表示該人這是同一個人臉數(shù)據(jù)，更新考勤數(shù)據(jù)表，反之，則檢測不到這個人，無法進行考勤。

1.5 考勤數(shù)據(jù)管理

本系統(tǒng)創(chuàng)建采用有人臉特征表、學生考勤表等數(shù)據(jù)表，管理員對人臉特征數(shù)據(jù)表和學生考勤表進行增、刪、改、查的操作。

2 基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測

基于多任務(wù)級聯(lián)卷積神經(jīng)[2]網(wǎng)絡(luò)（MTCNN）檢測是在CNN網(wǎng)絡(luò)模型上的改進。在2016年的時候Kaipeng Zhang，Zhan-peng Zhang，Zhifeng Li，Yu Qiao提出了人臉檢測模型：MTCNN（Multi-task Cascaded Convolutional Net works）。這個模式是一種Multi-task的人臉檢測框架，使用3個CNN級聯(lián)算法結(jié)構(gòu)，將人臉檢測和人臉特征點檢測同時進行，MTCNN人臉檢測方法對自然環(huán)境中光線，角度和人臉表情變化更具有魯棒性。本文多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)采用FaceNet網(wǎng)絡(luò)架構(gòu)。

2.1 MTCNN人臉預(yù)處理

在對模型進行訓(xùn)練之前，往往需要對圖片進行預(yù)處理，如濾波處理，尺寸變換，色彩空間變換等，目的是為了減少因為光照，旋轉(zhuǎn)，遮擋等自然因素的干擾，以提高檢測準確率。目前人臉檢測的引用場景越來越多，從單一限定場景發(fā)展到廣場、車站、地鐵口等場景，人臉檢測面臨的要求也越來越高，比如：人臉尺度多變、姿勢多樣包括俯拍人臉、戴帽子口罩等的遮擋、表情夸張、化妝偽裝、光照條件惡劣等。其次為了在檢測過程中，能檢測到不同大小的人臉，需要把圖片進行多次尺寸變換，即對圖像進行圖像金字塔變換，以便為模型提供足夠多的不同尺寸圖片數(shù)據(jù)。圖像金字塔變換如圖3所示。

同時為了處理過度曝光或低曝光的圖片，需要對圖片進行預(yù)白化，改變圖像的平均像素值為0，改變圖像的方差為單位方差1，保證訓(xùn)練圖片均處于理想狀態(tài)。一般的計算公式如公式（1）：

2.2 MTCNN人臉檢測

MTCNN中每一層都采用P-NET檢測模型。對于P-NET的模型來說，是用單尺度[12，12]的圖片訓(xùn)練出來的，所以在推斷的時候，想要識別各種尺度的人臉更準，需要把待識別的人臉的尺度先變化到接近模型尺度[12，12]。經(jīng)過多次試驗，設(shè)置縮小因子為：√2/2≈0.709，即為每次縮放都為上一次圖片面積的1/2。圖像經(jīng)過3次卷積和1次池化操作后，原來[12，12，3]的矩陣變?yōu)閇1，1，32]，然后利用這個[1，1，32]的向量，再通過一個[1，1，2]的卷積，再通過二分類，從而得到了“是否存在人臉”的分類結(jié)果。其流程圖如下圖4所示。

在二分類的問題中，本文選擇交叉熵作為損失函數(shù)，具體公式如公式（2）：

2.3MTCNN檢測效果

本系統(tǒng)進行了單人人臉檢測和多人人臉檢測檢測，單人人臉檢測效果如圖5所示，多人臉檢測效果如圖6所示：

3 系統(tǒng)數(shù)據(jù)優(yōu)化

本文主要從圖像數(shù)據(jù)優(yōu)化和數(shù)據(jù)庫表中數(shù)據(jù)優(yōu)化進行系統(tǒng)的數(shù)據(jù)優(yōu)化。

3.1 尺度變化

MTCNN是多級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，如果輸入圖片規(guī)模太大，那么在進行模型推理的時候往往會很耗費時間。為了能夠檢測多尺度的人臉，那么在設(shè)置minsize的時候minsize越小，re-size的的金字塔層數(shù)也就越多，PNET的計算量也就越多，消耗的時間也就越長。所以在第一階段，可以通過增大mlnsize來減少pnet部分的計算量。其次，在產(chǎn)生圖像金字塔時，resize的選擇的縮放算法不同，運行時間也不同。所以在使用MTCNN進行人臉檢測完成后，需要單獨把人臉裁剪出來，并縮放成合適的大小，在測試時，重新縮放大小為[200，200]-[140-140]的區(qū)間內(nèi)。經(jīng)測試，這種方法對FaceNet影響范圍在可接受范圍。

3.2 計算數(shù)據(jù)優(yōu)化

在傳統(tǒng)的人臉識別中，往往會把許多人的人臉混合在一起進行訓(xùn)練，那么就會造成當在一個比較大的數(shù)據(jù)中再次添加一個人臉圖像的時候，存在需要重新把之前的數(shù)據(jù)再訓(xùn)練一次的問題。因此，在本系統(tǒng)中，在MTCNN進行人臉檢測的時候，可以選擇當前圖像中最大的人臉，并進行裁剪縮放然后送入Facenet中進行訓(xùn)練比對，這樣每次進行Facenet訓(xùn)練時候都可以達到最小的訓(xùn)練量。解決了再次訓(xùn)練問題，同時對每個人的人臉特征模型進行分類保存，從而大幅度地提升了系統(tǒng)運行效率。

4 結(jié)束語

本文實現(xiàn)了一個的通用的人臉識別考勤系統(tǒng)，能夠穩(wěn)定、快速地幫助老師進行課堂考勤和考勤管理，大大提高了校園信息化管理能力和課堂工作效率。

參考文獻：

[1]孫玥，楊國為.基于人臉識別的學生考勤系統(tǒng)的研究[J].現(xiàn)代電子技術(shù)，2020，43（10）：116-118，123.

[2]龍海強，譚臺哲.基于深度卷積網(wǎng)絡(luò)算法的人臉識別方法研究[J].計算機仿真，2017，34（1）：322-325，371.

【通聯(lián)編輯：唐一東】

作者簡介：李林峰-（1998-），男，學生;李春青（1983-），通訊作者，女，講師，主要研究方向為數(shù)據(jù)挖掘技術(shù)與計算機應(yīng)用技術(shù);田博源（1998-），男，學生;廖曉霞（1999-），女，學生。