段俊杰 文勇軍 唐立軍

(長沙理工大學物理與電子科學學院 湖南 長沙 410114)

(近地空間電磁場環(huán)境監(jiān)測與建模湖南高校重點實驗室 湖南 長沙 410114)

0 引 言

教育電子身份號(EEID)具有與公民身份證號碼一一對應(yīng)的特性，利用EEID實現(xiàn)統(tǒng)一身份認證，既可對用戶實行實名管理，又可以保護用戶個人信息隱私[1-3]。目前國內(nèi)已有教育電子身份號一千余萬個用戶，在實名制網(wǎng)絡(luò)空間的應(yīng)用上發(fā)揮了重要作用，但由于EEID是固定不變的身份標識碼，若不采取有效的監(jiān)控方法，僅憑用戶EEID登錄網(wǎng)絡(luò)不能保證是用戶本人的行為。因此，實現(xiàn)有效、安全的網(wǎng)絡(luò)實名制管理，需要研究一個既方便有效又安全可靠的網(wǎng)絡(luò)實名制登錄方法，確保每個用戶使用本人的身份標識碼上網(wǎng)。人臉識別技術(shù)是通過視頻掃描來確認使用者的身份，用戶在進入登錄界面時，能對人臉特征進行分析鑒定和更新，但直接用于網(wǎng)絡(luò)管理容易泄露用戶信息，且不便建立實名制網(wǎng)絡(luò)空間[4]。本文在采用EEID管理系統(tǒng)的基礎(chǔ)上，探索一種EEID與人臉特征識別的關(guān)聯(lián)方法，研究一種EEID+人臉識別的實名制登錄與管理系統(tǒng)，為網(wǎng)絡(luò)管理提供一種有效的實名制管理方法。

1 原理介紹

1.1 EEID實名制網(wǎng)絡(luò)空間的建立

圖1為EEID實名制實現(xiàn)原理，身份信息經(jīng)過加密后生成EEID，管理員可以通過EEID反向查看用戶身份保密信息，其他用戶不可見，保證了用戶實名制安全。在EEID基礎(chǔ)上設(shè)置的其他非保密信息對所有人都是可見的，方便用戶之間的交流。EEID實名制管理是通過EEID與網(wǎng)絡(luò)結(jié)合生成EEID標識的網(wǎng)絡(luò)空間，利用EEID與用戶一一對應(yīng)的關(guān)系，實現(xiàn)實名制管理，這種方法具有保護用戶個人隱私的優(yōu)勢。

圖1 EEID實名制實現(xiàn)

1.2 活體檢測方法

活體檢測方法主要通過人機動作配合來檢測真人與照片的差別[5]。首先使用局部約束模型(Constrained Local Model,CLM)檢測人臉關(guān)鍵點，整個過程包括形狀模型構(gòu)建和Patch模型構(gòu)建，如圖2所示。形狀模型構(gòu)建就是對人臉模型形狀進行建模，描述了形狀變化遵循的準則。而Patch模型則是對每個特征點周圍鄰域進行建模，建立一個特征點匹配準則，判斷最佳特征點[6]。

圖2 形狀模型和Patch模型

為確?；铙w檢測快速有效，設(shè)定橢圓約束區(qū)域A，假設(shè)活體的關(guān)鍵點(xi，yi)，則(xi，yi)處于攝像頭內(nèi)的條件滿足：

(1)

圖3為人臉各關(guān)鍵點位置坐標，檢測感興趣的區(qū)域(ROI)，如嘴唇、眼睛或臉頰關(guān)鍵點位置變化，從而實現(xiàn)動作的追蹤與判斷。

圖3 人臉關(guān)鍵點位置

眨眼、張嘴動作檢測公式如下：

(2)

式中：將眼部和嘴部區(qū)域近似看成橢圓，Sk表示第k幀的橢圓面積；α為面積變化值。

攝像頭檢測人臉照片可以近似看成二維物體的投影，無論旋轉(zhuǎn)和平移，攝像頭采集到的圖片都不具有三維變化特征。如攝像頭前的人臉照片平移或者以鼻子為對稱軸轉(zhuǎn)動時，兩臉頰的關(guān)鍵點到鼻子的距離與初始距離是成比例的，兩臉頰的面積比不變；而真人人臉是三維的，搖頭或點頭時兩邊臉頰不會成比例變化，面積比會有明顯變化。

在整個檢測過程中，隨機動作配合可以在一定程度上防止視頻欺騙，而隨機圖片傳輸增加了人臉識別的安全性。

1.3 人臉識別方法

(1) 人臉對齊：使用級聯(lián)回歸樹(ensemble of regression trees,ERT)方法定位人臉68個關(guān)鍵點，獲取68個關(guān)鍵點中的左右眼、鼻子和上嘴唇位置的關(guān)鍵點矩陣，對照模板的基準關(guān)鍵點矩陣，計算兩矩陣的相似變換矩陣：

(3)

式中：s為伸縮量；t為位移量；θ為旋轉(zhuǎn)角度。用相似變換矩陣對整個圖做相似變換，圖像保持形狀不變，大小位置變化。

(2) 歸一化：尺度歸一化將圖像尺度統(tǒng)一調(diào)整到224×224，為卷積神經(jīng)網(wǎng)絡(luò)提取特征提供同一尺寸。幅度歸一化將輸入圖像的像素歸一到同樣的范圍，即將分布于[0,255]的原始圖像像素歸一化到[0,1]，有利于提升算法的運行效率和學習表現(xiàn)。

(3) 特征提?。壕矸e神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks)，是深度學習(deep learning)的代表算法之一[7]。深度結(jié)構(gòu)表示擁有層次結(jié)構(gòu)，分為卷積層、池化層和全連接層。卷積層用于提取輸入數(shù)據(jù)的特征，池化層是對卷積層輸出的特征信息進行選擇與過濾，全連接層位于卷積網(wǎng)絡(luò)的最后部分，將得到的特征信息進行分類。

(4) 卷積層之間的稀疏連接模擬人的視覺神經(jīng)系統(tǒng)結(jié)構(gòu)：視覺皮層細胞從視網(wǎng)膜上的光感受器接收信號，但單個視覺皮層細胞不會接收光感受器的所有信號，而是只接受其所支配的刺激區(qū)域，即感受野內(nèi)的信號。只有感受野內(nèi)的刺激才能夠激活該神經(jīng)元。大量視覺皮層細胞通過系統(tǒng)地將感受野疊加，完整接收視網(wǎng)膜傳遞的信號并建立視覺空間[8]。

圖4為牛津大學計算機視覺組(Visual Geometry Group)研發(fā)的一種深度卷積神經(jīng)網(wǎng)絡(luò)VGG16[9]。VGG16卷積神經(jīng)網(wǎng)絡(luò)包含13個卷積層和3個全連接層。它的卷積層采用3×3的卷積核，卷積核小，卷積輸出的特征數(shù)據(jù)更多更強有力，而且多個卷積層與非線性激活函數(shù)交替的結(jié)構(gòu)，比單一卷積層的結(jié)構(gòu)更能提取出深層的更好的特征。最后的全連接層FC8層輸出的值可以作為人臉的特征值。一幅人臉圖應(yīng)用VGG16卷積神經(jīng)網(wǎng)絡(luò)在FC8層得到2 622個特征值，考慮到特征值太多，數(shù)據(jù)存取壓力大，識別效率低，因此在不影響識別效果的情況下，可以將特征值數(shù)量適當裁剪。

圖4 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)圖

(5) 特征值數(shù)目選?。簽檫x擇合適的特征值數(shù)目，通過VGG-16卷積神經(jīng)網(wǎng)絡(luò)提取同人、不同光照和不同人、同光照的特征值，比較余弦相似度，結(jié)果見表1?？梢钥闯?，在特征值數(shù)目大于500時，同人不同特征值的相似度變化量是0.001～0.04，而小于500時，同人相似度變化量大于0.01，不同人相似度變化量大于0.03。選取500個特征值就基本能滿足人臉識別的要求。

表1 不同特征值數(shù)目的相似度測試

(6) 相似度計算：計算數(shù)據(jù)庫中已登記的人臉特征值與現(xiàn)捕獲的特征值的余弦相似度，對比預(yù)設(shè)定的閾值進行身份識別。兩人臉特征空間A=(A1,A2,…,An)、B=(B1,B2,…,Bn)，它們的余弦相似度為：

(4)

(7) 閾值設(shè)定：為了選定合適的相似度閾值，需要測試同環(huán)境條件下不同人的最大相似度和不同環(huán)境條件下同人的最小相似度。對9組人在兩種條件下的相似度進行測試，結(jié)果如表2所示，隨機9組不同人同光照條件下的相似度均在0.70以下，而且同人不同光照條件下的相似度均在0.88以上。將閾值設(shè)在兩者之間并且偏向于高相似度，才能保證高識別率，本文設(shè)為0.85。

表2 不同人組的相似度測試

2 EEID與人臉識別的關(guān)聯(lián)方法

2.1 關(guān)聯(lián)方法介紹

EEID+人臉識別的網(wǎng)絡(luò)實名制管理系統(tǒng)即在EEID實名制管理系統(tǒng)基礎(chǔ)上，將EEID與人臉識別關(guān)聯(lián)，實現(xiàn)人、名一致且保護用戶隱私。EEID與人臉識別的關(guān)聯(lián)方法分為EEID與人臉建模關(guān)聯(lián)和EEID與人臉識別比對關(guān)聯(lián)兩部分。

(1) EEID與人臉建模關(guān)聯(lián)：將EEID與身份證信息一致的人臉數(shù)據(jù)進行建模，提取人臉特征，并將生成的人臉模板(人臉特征值)保存到數(shù)據(jù)庫中。

(2) EEID與人臉識別比對關(guān)聯(lián)：將捕獲到的人臉特征與數(shù)據(jù)庫中已登記的EEID所綁定的人臉特征作比對進行認證。

2.2 設(shè)計與實現(xiàn)

EEID+人臉識別的網(wǎng)絡(luò)實名制管理系統(tǒng)采用Struts+Spring+Hibernate框架設(shè)計實現(xiàn)，主要包括注冊登記與認證登錄兩個部分。圖5為系統(tǒng)功能，圖6為系統(tǒng)結(jié)構(gòu)。

圖5 功能模塊

圖6 系統(tǒng)結(jié)構(gòu)

2.3 活體檢測流程

如圖7所示，活體檢測從第0幀(K=0)開始，前50幀(K<50)是用戶調(diào)整攝像頭中人臉位置的緩沖時間，第50幀至190幀是眨眼、張嘴等動作隨機檢測的時間，超過190幀提示檢測失敗。隨機動作和時間限制可以增加安全性，提高系統(tǒng)效率。

圖7 活體檢測流程

2.4 注冊流程

注冊的流程如圖8所示。首先用戶EEID已經(jīng)實名信息驗證，對已注冊的用戶驗證身份，對未注冊的用戶實名注冊；其次用戶特征信息驗證，用人臉識別的方法建立用戶的人臉圖像特征，添加活體檢測防止用照片來干擾對人臉信息獲??；最后，提取用戶人臉特征值，保存到數(shù)據(jù)庫。

圖8 注冊流程

2.5 認證登錄流程

認證登錄階段是將EEID與人臉認證登錄中的1∶1人臉核實進行融合，避免1∶N人臉識別的效率問題，并保證了操作用戶為本人，增強實名制登錄的安全性。流程如圖9所示。

圖9 認證登錄流程

首先驗證用戶EEID，查找用戶特征值信息；然后進行活體檢測，區(qū)分真假人臉，保證人臉識別的安全性；最后，更新數(shù)據(jù)庫特征值，保存用戶特征值信息變化。

3 性能測試

本系統(tǒng)測試用戶是實驗室的14人，測試環(huán)境為：Windows 10 x64版本，CPU：AMD Ryzen 5 1600 六核，GPU: Nvidia GeForce GTX 1050,RAM：8 GB，攝像頭：Logitech c270。測試內(nèi)容包括注冊、認證登錄功能和系統(tǒng)響應(yīng)。

3.1 注冊功能測試

分別在未實名認證的用戶真人、已實名認證的用戶真人和已實名認證的用戶照片三種情況下對14個用戶的注冊操作進行測試，結(jié)果如表3所示。未實名認證的用戶真人注冊成功率為0，而已實名認證的用戶真人注冊功率為100%，說明未實名認證的用戶不能進行注冊；已實名認證的用戶照片的注冊成功率為0，說明活體檢測能夠區(qū)分真人和照片。因此，注冊模塊實現(xiàn)了EEID與人臉建模的關(guān)聯(lián)。

表3 注冊功能測試

3.2 認證登錄功能測試

從14個已注冊用戶中隨機選取9個，分別測試EEID與符合用戶照片、EEID與符合用戶和EEID與其他不符合用戶的三種登錄情況。測試結(jié)果匯總?cè)绫?所示，EEID與符合用戶的登錄成功率為100%，而EEID與其他不符合用戶真人的登錄成功率為0，說明EEID與用戶人臉特征一一對應(yīng)；EEID與符合用戶照片的登錄成功率為0，進一步證明活體檢測方法的有效性。因此，認證登錄模塊實現(xiàn)了EEID與人臉識別比對的關(guān)聯(lián)。

表4 登錄功能測試

3.3 系統(tǒng)響應(yīng)測試

需要測試系統(tǒng)各個模塊的響應(yīng)時間以保證系統(tǒng)實時有效。系統(tǒng)注冊和認證登錄模塊的響應(yīng)時間如表5所示。活體檢測、特征提取與數(shù)據(jù)傳輸與存儲等的耗時是固定的，其中活體檢測占據(jù)主要耗時，人機配合動作的活體檢測雖然減少了系統(tǒng)效率，但是增強了安全性；認證登錄需要查詢EEID和計算相似度，所以時間相比于注冊增加了，并且隨著注冊用戶數(shù)的增加而增加。除活體檢測以外，人臉識別的單獨用時為250 ms左右，少于1 s，響應(yīng)靈敏。

表5 系統(tǒng)響應(yīng)時間測試 ms

4 結(jié) 語

將EEID與人臉識別結(jié)合，設(shè)計并實現(xiàn)了EEID+人臉識別的實名制登錄與管理系統(tǒng)實現(xiàn)網(wǎng)絡(luò)實名制管理。系統(tǒng)采用EEID與人臉識別比對關(guān)聯(lián)實現(xiàn)了單次比對識別身份，避免了N次比對，大大節(jié)約了比對時間。前端活體檢測與后端識別的分離充分減少數(shù)據(jù)傳輸壓力，合理相似度閾值的設(shè)定能夠準確地辨明人臉。該系統(tǒng)可實現(xiàn)人臉的活體檢測、實時更新人臉特征，既可保證網(wǎng)絡(luò)用戶實名的不可替代性，又可保護用戶信息安全。系統(tǒng)注冊登錄的高成功率和秒級的響應(yīng)時間證實了EEID與人臉識別的關(guān)聯(lián)方法的可行性。