裴慶慶

（鄭州工業(yè)應(yīng)用技術(shù)學(xué)院 河南省新鄭市 451100）

1 人臉識別及深度學(xué)習(xí)相關(guān)技術(shù)

1.1 人臉識別技術(shù)

隨著人臉識別技術(shù)的不斷的發(fā)展，其不僅能夠?qū)㈧o態(tài)圖片中的人臉準(zhǔn)確的識別、標(biāo)記出來，還能夠捕獲動態(tài)視頻中的人臉信息，并做出準(zhǔn)確識別，這個過程即為人臉識別人臉識別是目前最直觀的生物特征識別技術(shù)，在各個領(lǐng)域的應(yīng)用也十分廣泛。目前常用的生物識別技術(shù)包括指紋識別、語音識別、虹膜識別等，相比這類生物識別技術(shù)， 人臉識別具有非侵入性的功能優(yōu)勢，只要錄像設(shè)備視野內(nèi)出現(xiàn)人臉信息，系統(tǒng)就可以識別出人臉，因此即使在用戶不希望與系統(tǒng)合作的環(huán)境中該技術(shù)仍然適用。除此以外人臉識別系統(tǒng)還具備身份認(rèn)證、欺詐檢測、訪問控制等多種功能。當(dāng)然，現(xiàn)實(shí)中人臉圖像具有高度的可變性，比如光照因素、年齡變經(jīng)、頭部角度與姿勢、表情等因素均有可能更改臉部圖像特征，因此在環(huán)境不受限制的條件下人臉識別是最具挑戰(zhàn)性的生物識別方法之一。

1.2 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)范疇中的一個子集，是指利用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的一種方法模型，也稱為深度結(jié)構(gòu)學(xué)習(xí)或分層學(xué)習(xí)。深度學(xué)習(xí)需要海量的數(shù)據(jù)支持及強(qiáng)大的計(jì)算能力，學(xué)習(xí)的深度越深就能夠提取到越高級的特征。深度學(xué)習(xí)是一種無需人工構(gòu)建特征的端到端的數(shù)據(jù)驅(qū)動方法，其根據(jù)標(biāo)簽融合、交叉、替換抽取到的特征，完成自我調(diào)節(jié)，最終獲得更優(yōu)化的模型。在非監(jiān)督數(shù)據(jù)上可以通過以下兩個步驟有效訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)：先是層層構(gòu)建單層的神經(jīng)元，每次訓(xùn)練即訓(xùn)練一個單層網(wǎng)絡(luò)；然后所有訓(xùn)練都結(jié)束后再用wake-sleep 算法進(jìn)行優(yōu)化處理。在該算法中最頂層是單層神經(jīng)網(wǎng)絡(luò)，其它層間均為雙向權(quán)重的圖模型，雙向權(quán)重包括向上與向下兩種，向上權(quán)重的作用是“認(rèn)知”，向下權(quán)重的作用是“生成”，每層網(wǎng)絡(luò)訓(xùn)練完成后，wake-sleep 算法會對所有權(quán)重做出調(diào)整，以保證所生成的最頂層表示能夠準(zhǔn)確復(fù)原底層節(jié)點(diǎn)，使得“認(rèn)知”與“生成”達(dá)成一致。wake-sleep 算法包括“wake”與“sleep”兩個階段，wake（醒）階段通過外界的特征與向上的權(quán)重采用梯度下降的方法修改層與層之間的向下權(quán)重，是一個認(rèn)知的過程，而sleep（睡）階段則是通過最頂層表示與向下的權(quán)重生成底層狀態(tài)，修改層與層之間的向上權(quán)重，屬于生成過程。學(xué)習(xí)第一層的參數(shù)，得到一個三層神經(jīng)網(wǎng)絡(luò)的隱藏層，該隱藏層可以使得輸入與輸出相差最小。如此層層訓(xùn)練、學(xué)習(xí)即可得到每一層的參數(shù)。

2 人臉識別的主要流程

人臉識別主要流程包括建立數(shù)據(jù)集、識別目標(biāo)正面、將實(shí)時采集的人臉圖像與數(shù)據(jù)庫中存儲的面部圖像進(jìn)行比較、識別圖像。訓(xùn)練模型之前采集人臉圖像時要對數(shù)據(jù)進(jìn)行預(yù)處理，提高數(shù)據(jù)質(zhì)量；然后檢測人臉的位置，標(biāo)注人臉關(guān)鍵點(diǎn)；對采集到的人臉圖像進(jìn)行結(jié)構(gòu)簡化處理，將人臉圖像的特征提取出來，為后續(xù)的人臉識別做準(zhǔn)備；人臉識別過程中將訓(xùn)練好的數(shù)據(jù)輸入系統(tǒng)，構(gòu)建人臉識別模型后再與目標(biāo)圖數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對；最后再進(jìn)行活體檢測，即通過眨眼、點(diǎn)頭等動作檢測人臉是否實(shí)際生物存在。下文針對每個環(huán)節(jié)進(jìn)行詳細(xì)介紹：

2.1 人臉圖像采集及預(yù)處理

人臉圖像采集主要包括兩個來源，一是批量疊加導(dǎo)入現(xiàn)有的人臉圖像，完成人臉圖像采集，批量疊加導(dǎo)入的人臉圖像需要合并幾個不同的原始圖片集，將同一個人在不同來源的圖像信息集合在一起。另外一個來源即為實(shí)時圖像采集，利用某個特定樣本的實(shí)時跟蹤設(shè)備錄入信息，比如攝像頭。采集到的人臉圖像會受到許多外部因素的干擾，比如光線、面部表情的變化等，因此原始圖像不適合提取模型特征，需要通過一系列圖像轉(zhuǎn)換對數(shù)據(jù)進(jìn)行預(yù)處理，比如旋轉(zhuǎn)、切割、降噪、縮放等等。

2.2 人臉檢測

人臉檢測的主要目的是進(jìn)一步篩選人臉圖像信息，消除噪聲，獲取更精準(zhǔn)的圖像信息，進(jìn)一步確認(rèn)人臉的具體位置，確定圖像大小及位置等。不過人臉檢測的主要困難在于對面部內(nèi)部變化的檢測及獲取圖像時環(huán)境的變化，人臉通常會隨著情緒的變化而產(chǎn)生一些復(fù)雜的細(xì)節(jié)動態(tài)，且裝飾物也可能會改變面部特征，因此增加了人臉檢測的難度。另一方面，圖像獲取環(huán)境會發(fā)生變化，包括獲取圖像的角度、光線影響、成像設(shè)備的景深及焦距等參數(shù)。因此為改善圖像采集質(zhì)量，現(xiàn)在人臉檢測的方法主要包括檢測膚色、檢測邊緣特征以及基于統(tǒng)計(jì)的檢測方法，應(yīng)用最為廣泛的為基于統(tǒng)計(jì)的方法，雖然其誤檢率較高，但是其效率高、性能好，因此被廣泛應(yīng)用于各個領(lǐng)域。

2.3 提取人臉特征

根據(jù)算法模型提取人臉上的特征。人臉特征包括人臉視覺特征與人臉像素統(tǒng)計(jì)性特征兩大類，而提取人臉特征的方法又包括基于代數(shù)特征的提取以及基于知識的提取。提取人臉特征時先將人臉圖像進(jìn)行維度放大處理，將其轉(zhuǎn)換為一個灰度矩陣后經(jīng)過一系列的代數(shù)變化即可提取出特定的代數(shù)特征值，這些數(shù)據(jù)具有良好的聚類性，能夠?qū)⑷四樀奶攸c(diǎn)準(zhǔn)確的表示出來，整個過程即為基于代數(shù)特征的人臉特征提取方法。用幾何形態(tài)表征將人臉中最具代表性的部位描述出來，再將其轉(zhuǎn)換為幾何圖案的組合，這個過程即為基于知識的人臉特征提取方法。

2.4 人臉識別及活體鑒別

獲取人臉圖像特征數(shù)據(jù)后通過模型映射到訓(xùn)練集上，模開設(shè)置相似度閾值，超出相似度閾值的數(shù)據(jù)信息可以篩除，接下來再根據(jù)相似度信息、人物信息對輸出人臉圖像做進(jìn)一步篩選，最終確定最合適的人臉圖像。活體鑒別的主要作用是判斷系統(tǒng)識別的對象是否為真實(shí)生物體，以保證人臉識別的安全性，因?yàn)橄到y(tǒng)獲得的人臉可能是一張照片的復(fù)刻，如果缺乏活體鑒別可能會存在安全隱患，因此系統(tǒng)中需要加出眨眼、轉(zhuǎn)頭等活體鑒別過程。

3 基于深度學(xué)習(xí)算法的人臉識別系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)整體框架

本研究提出的人臉識別系統(tǒng)是基于tensorflow 深度學(xué)習(xí)框架，采用FaceNet 構(gòu)建實(shí)時人臉檢測及識別系統(tǒng)，實(shí)驗(yàn)在應(yīng)用場景下多姿態(tài)及光照的人臉識別任務(wù)，能夠由攝像頭讀取視頻提取幀，檢測人臉特征，將采集到的數(shù)據(jù)與數(shù)據(jù)庫中預(yù)存的人臉特征數(shù)據(jù)進(jìn)行對比，最終完成人臉識別。具體設(shè)計(jì)是先由攝像頭中提取人臉圖像保存于本地?cái)?shù)據(jù)庫中，針對同一個人臉需要提取多張圖片，提取出每張圖片的128 維特征值，再將同一個人臉多張圖片的128 維特征均值計(jì)算出來，再對照攝像頭錄制的人臉特征值，比照二者人臉向量的歐式距離即可計(jì)算機(jī)數(shù)據(jù)庫中人臉圖像與攝像頭錄制人臉圖像的相似性。該系統(tǒng)能夠?qū)崿F(xiàn)人臉數(shù)據(jù)的實(shí)時采集，并支持人臉實(shí)時注冊，建立人臉數(shù)據(jù)庫，能夠?qū)崟r采集攝像頭圖像進(jìn)行人臉識別，并支持多張人臉的檢測與識別。

3.2 基于FaceNet的人臉識別

FaceNet 主要用于驗(yàn)證人臉是否為同一個人，是基于百萬級人臉數(shù)據(jù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)，其可以將人臉圖像映射(embedding)成128 維度的特征向量，直接以該特征向量為特征依據(jù)，通過機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)人臉識別。本研究在進(jìn)行人臉匹配數(shù)據(jù)訓(xùn)練時，將LFW 數(shù)據(jù)集中照片轉(zhuǎn)換為統(tǒng)一大小，形成人臉檢測與關(guān)鍵點(diǎn)的對齊，便于后續(xù)的人臉識別任務(wù)。FaceNet 模型訓(xùn)練過程中可以借助訓(xùn)練好的embedding 來幫助下個模型生成新的embedding，可以獲得更穩(wěn)定、效果更好的模型。

3.3 基于深度學(xué)習(xí)算法的人臉識別系統(tǒng)設(shè)計(jì)

本研究提出的基于深度學(xué)習(xí)算法的人臉識別系統(tǒng)包括人臉圖像實(shí)時采集與注冊模塊、人臉檢測模塊、人臉識別模塊及可視化操作界面。

3.3.1 人臉圖像實(shí)時采集與注冊模塊

本系統(tǒng)先搭建一個基本框架，將攝像頭錄制到的人臉圖像信息收集起來，建立一個人臉特征數(shù)據(jù)庫，收集到的人臉圖像都對應(yīng)設(shè)置一個文件名，將同一個人多張人臉圖片存儲為對應(yīng)的文件夾。上文中提到，完成人臉識別需要利用FaceNet 對人臉圖像數(shù)據(jù)進(jìn)行訓(xùn)練，構(gòu)建對應(yīng)的人臉識別模型，人臉識別數(shù)據(jù)庫構(gòu)建完成后，即可利用該模型提取人臉特征數(shù)據(jù)，數(shù)據(jù)庫中包含每個ID 人臉的embedding 信息，提取到的數(shù)據(jù)再利用FaceNet 生成npz 文件，每張人臉均進(jìn)行特征提取并存儲于一個詞典中。自建數(shù)據(jù)庫集完成圖像采集，多次人臉注冊，多次采集圖像，并進(jìn)行多次特征提取，最終將人臉特征保存于數(shù)據(jù)庫中。

3.3.2 人臉檢測模塊

攝像頭可以實(shí)時收集人臉信息，通過攝像頭檢測每個視頻幀中的人臉特征信息，并標(biāo)記人臉框，采用MTCCN 提取視頻提取幀人臉框，再將人臉框數(shù)據(jù)輸入facenet 提取人臉特征。MTCNN 可以檢測出人臉位置，獲取一個人臉的bounding box，利用訓(xùn)練好的Facenet 模型提取人臉圖像的特征，注意所有人臉圖片需要對齊統(tǒng)一圖片大小。

3.3.3 人臉識別模塊

人臉圖像對齊后利用訓(xùn)練好的Facenet 模型將人臉圖像embedding 成128 維特征值，提取embedding vector 后對照人臉數(shù)據(jù)庫中所有特征數(shù)據(jù)。數(shù)據(jù)庫中包含了自建的人臉數(shù)據(jù)庫，可以生成embedding 人臉特征數(shù)據(jù)庫，采用facenet 提取出人臉特征采用訓(xùn)練好的SVM 分類器對檢測到的人臉特征向量進(jìn)行分類，不僅能夠提高處理效率，且精度更高。

3.3.4 制作可視化操作界面

采用python 語言設(shè)計(jì)可視化界面，利用PyQt5 及QtDesigner制作操作界面，將.ui 文件轉(zhuǎn)換為.py 文件代碼，Qt5 有自己的返回值無法實(shí)時占用攝像頭，可以用定時器完成人臉圖像的實(shí)時采集，每秒能夠識別30 張左右的圖片，且能夠依次完成多個ID 人臉圖像的采集。點(diǎn)擊“開始”系統(tǒng)即實(shí)時檢測視頻幀中的人臉圖像，并在對應(yīng)區(qū)域顯示出人臉識別的結(jié)果。

4 結(jié)語

總之，人臉識別技術(shù)有著其它生物識別技術(shù)不具備的獨(dú)特優(yōu)勢，比如非接觸式的驗(yàn)證過程提升了用戶體驗(yàn)，人臉識別能夠同時比對多張人臉信息，且每張人臉信息都是獨(dú)一無二的，因此人臉識別技術(shù)的應(yīng)用越來越廣泛。而經(jīng)過多年發(fā)展深度學(xué)習(xí)已經(jīng)成為極為普及的多種識別模型技術(shù)，尤其是在人臉識別領(lǐng)域，一直都是人工智能領(lǐng)域的重要研究方向。相信隨著科技的進(jìn)步，人臉識別技術(shù)對人們生活的影響也會越來越大。