唐 慧, 束 鑫, 楊習(xí)貝, 李 玥

(江蘇科技大學(xué) 計算機學(xué)院, 鎮(zhèn)江 212003)

人臉作為比較容易獲取的生物特征,近年來被廣泛地應(yīng)用于生物特征識別領(lǐng)域,比如機場車站身份驗證、學(xué)校小區(qū)門禁系統(tǒng)和移動終端人臉識別等．人臉識別在給人們帶來快捷方便生活體驗的同時,其安全性越來越受到人們重視．當(dāng)非法用戶在人臉識別系統(tǒng)鏡頭前展示真實用戶的人臉照片或人臉視頻以試圖通過系統(tǒng)驗證時,就會出現(xiàn)欺詐攻擊．文獻[1]中,研究人員檢查了基于在線社交網(wǎng)絡(luò)的面部信息,披露商業(yè)面部認(rèn)證系統(tǒng)Face Unlock、Face Lock Pro、Visidon、Veriface、Luxand Blink和Fast Access的最新版本的威脅．雖然發(fā)布在社交網(wǎng)絡(luò)上的圖片平均只有39%能夠被用作欺詐材料,但這些圖片足以騙過74名用戶中77%的面部認(rèn)證軟件．在2013年的生物計量學(xué)國際會議上，一名化著特殊妝容的女性成功騙過了一個面部識別系統(tǒng)．這顯示出人臉識別系統(tǒng)在欺詐攻擊下的脆弱性．為了有效解決人臉識別系統(tǒng)中存在的風(fēng)險與漏洞,在人臉識別前加上反欺詐技術(shù)顯得尤為重要．

欺詐攻擊方式一般可分為打印攻擊、重放攻擊和3D模型攻擊3種,其中打印攻擊和重放攻擊的欺詐材料獲取方便,因此在人臉識別系統(tǒng)中存在的風(fēng)險較高．近年來,針對打印攻擊和重放攻擊的人臉反欺詐研究層出不窮,主要分為基于人體運動信息的分析、基于深度信息的分析、基于局部紋理特征提取以及將以上方法相融合的算法．文獻[2]中提出使用臉、聲音和嘴唇動作3種不同的特征來識別真人,但這種方法易受到重放視頻的攻擊．文獻[3]中提出一種融合深度紋理特征和面部運動線索的魯棒表示方法，如眨眼，以應(yīng)對圖片和回放等攻擊．文獻[4]中提出了一種利用人臉細(xì)微運動參數(shù)和投影中的等比特性來區(qū)分人臉真?zhèn)蔚姆椒?該方法相比單特征的提取方法具有較高的欺詐檢測性能．文獻[5]中將時間和空間信息組合，形成紋理描述符來進行欺詐檢測．文獻[6]中提出基于顏色紋理的欺詐檢測初步方法．文獻[7]中進一步證明了顏色紋理能夠有效區(qū)分真臉和假臉．文獻[8]中提出將局部紋理和CNN相結(jié)合識別局部欺詐紋理,利用全局深度信息判別臉部是否具有深度的雙流方法．文獻[9]中提出基于卷積神經(jīng)網(wǎng)絡(luò)融合圖像質(zhì)量線索和運動線索的方法,實驗證明,該方法在跨數(shù)據(jù)庫之間具有很強的泛化能力．

文獻[6-7,10]中利用真臉和假臉在顏色通道中更易區(qū)分的特性證明了顏色紋理對人臉反欺詐識別的有效性．文獻[11]中認(rèn)為常用的手工設(shè)計特征,例如LBP[12]，能夠捕捉面部細(xì)節(jié),因此在人臉識別領(lǐng)域應(yīng)用比較廣泛．傳統(tǒng)LBP的獲取是通過逐位比較中心點與臨近點之間的大小得到表示該像素的編碼，因此LBP不但容易受到噪聲影響,而且可能包含大量冗余信息．MB-LBP[13]利用子塊的均值進行LBP編碼，相比傳統(tǒng)的LBP更能反映圖片的全局信息,因此將MB-LBP應(yīng)用于人臉反欺詐更強健．為了反映人臉不同位置的紋理信息,文中將人臉圖片劃分為多個子塊來統(tǒng)計紋理信息，提出基于分塊彩色MB-LBP紋理的人臉反欺詐識別算法．

1 MB-LBP彩色紋理

針對欺詐視頻的攻擊,文中提出一種基于分塊彩色MB-LBP紋理的人臉反欺詐識別算法．該算法可分為5個步驟:臉部提取、顏色空間轉(zhuǎn)換、MB-LBP紋理特征提取、分塊直方圖統(tǒng)計和分類．該算法的流程圖如圖1．

圖1 人臉反欺詐識別算法流程圖Fig.1 Flowchart of the face anti-spoofing algorithm

1.1 臉部提取

為了提高文中算法的識別效率，一段視頻中只選擇一幀作為樣本圖片．考慮到視頻的頭部和尾部有可能出現(xiàn)沒有呈現(xiàn)臉部區(qū)域的視頻幀,因此選擇視頻中間的一幀作為實驗樣本．利用文獻[14]算法獲取臉部位置信息,如果未檢測到臉部,則返回的臉部位置信息為空值,該算法將會對下一幀進行檢測,直至檢測到面部信息為止．考慮到一些背景信息會對人臉欺詐檢測具有一定的輔助作用,因此經(jīng)過人臉定位后對其擴大1.5倍再進行剪裁，形成添加了背景信息的數(shù)據(jù)庫．當(dāng)擴充后的圖像大小超過原始圖片時,則以原始圖片中臉部位置到邊界的最小距離為標(biāo)準(zhǔn)進行剪裁．

圖2為使用LBP、6×6 MB-LBP和9×9 MB-LBP 3種方法在CASIA未添加背景和添加背景兩種數(shù)據(jù)庫中得到的錯誤率．可以看出3種特征提取方法中未添加背景數(shù)據(jù)庫中的錯誤率比添加背景數(shù)據(jù)庫中的錯誤率更高,說明圖片背景信息對人臉欺詐檢測具有輔助作用．

圖2 不同數(shù)據(jù)庫中的實驗結(jié)果比較Fig.2 Comparison of experimental resultswith or without background

1.2 顏色空間轉(zhuǎn)換

眾所周知,人眼對亮度的感知程度要高于對色彩的感知程度,因此傳統(tǒng)的人臉反欺詐識別主要集中在人臉亮度信息的分析上．但一些成像設(shè)備通常需要使用色域映射函數(shù)來使設(shè)備之間保持色彩感知特性,而這種算法的重點在于以色度信息為代價保留原始圖像的空間局部亮度變化．因此,在彩色空間內(nèi)分析圖片的紋理更能區(qū)別真臉和假臉．而且圖片或者視頻在再造過程中會產(chǎn)生打印瑕疵、視頻偽影和噪聲信號等,使得再造的欺詐樣本和真實樣本之間具有明顯差異,這種差異在彩色空間更為明顯．

Lab顏色空間具有設(shè)備無關(guān)的特性,即Lab顏色空間比一些成像設(shè)備甚至人眼的色域都要大,能夠全面地表示不同設(shè)備呈現(xiàn)的圖像．對于低質(zhì)量的圖片,如表1，為NUAA數(shù)據(jù)庫中真臉和假臉示例圖片在不同顏色空間中的表示．對比真臉和假臉的灰階圖像,不太容易直接用肉眼區(qū)分真臉和假臉有哪些不同,但是在Lab空間中,通過肉眼就可以看到真臉和假臉的紋理具有很大差異．圖3表示CASIA庫中高分辨率下真臉和假臉的余弦相似度值．

表1 真臉和假臉在不同顏色空間中的表現(xiàn)Table 1 Inllustration of true face and false facesin different color spaces

圖3 真臉和假臉的余弦相似度Fig.3 Cosine similarity between thereal face and the fake face

圖3第1行表示真實臉部圖片,第2行表示兩種打印攻擊方式下獲取的人臉圖片,第3行表示重放攻擊下獲取的人臉圖片,其中cos(θ)表示假臉圖片和對應(yīng)真臉圖片的余弦相似度,表示為:

(1)

式中，x1k,x2k(k=1,…,n)分別表示第1幅圖片和第2幅圖片的第k個特征點．

在Lab彩色空間的b通道中真假圖片的相似度值明顯比灰度圖中的相似值小得多,說明彩色空間不但有利于辨別低質(zhì)量的臉部欺詐圖片,對于高質(zhì)量的人臉欺詐圖片同樣適用．

1.3 MB-LBP紋理特征提取

局部二值模式(local binary pattern, LBP)能夠精細(xì)地反映局部像素之間的差異,在紋理識別方面具有突出的表現(xiàn)．但人臉欺詐識別是一種二分類問題，即分為真臉和假臉，因此不需要使用過于精細(xì)的紋理信息進行分類,而且由于LBP局部化特性而容易受到噪聲干擾．MB-LBP恰恰彌補了傳統(tǒng)LBP的不足,MB-LBP和LBP不同之處在于前者需要將子區(qū)域內(nèi)若干像素的平均值作為表示該區(qū)域的像素點,然后同LBP一樣，閾值化求特征值．MB-LBP的表示如下:

(2)

(3)

(4)

式中：row、col分別為當(dāng)前子域中由像素點gn(i,j)構(gòu)成矩陣的行和列．

圖4(a)中分別給出了6×6、9×9、12×12的MB-LBP，圖4(b)后3個小圖對應(yīng)為使用以上3種MB-LBP提取的特征圖，圖4(b)前2個小圖分別為原圖和LBP特征圖．

圖4 MB-LBP類型及其特征提取后的效果圖Fig.4 Types of MB-LBP and the diagrams afterfeature extraction

圖5給出了6×6的MB-LBP求解過程,6×6像素以2×2像素為子域求平均值后得到3×3的小塊,然后求得其LBP特征．在2×2的子域中，row=2且col=2．

圖5 MB-LBP求解過程Fig.5 Calculation process of the MB-LBP algorithm

1.4 分塊直方圖統(tǒng)計

一般情況下,在獲取人臉圖片的紋理特征后直接對其作直方統(tǒng)計,形成表示該圖像的一維特征向量．這種直接統(tǒng)計全局信息的方法獲取的特征向量維度較小而且操作簡單，但會丟失圖像的空間結(jié)構(gòu)信息,使提取的特征向量不能充分地表示該圖像．因此文中提出分塊紋理統(tǒng)計,即將圖像分為若干小塊,然后統(tǒng)計每個小塊的直方圖特征,最后將所有的特征級聯(lián)．分塊紋理統(tǒng)計類似于精細(xì)分類,該方法在一定程度上保留了圖片的空間結(jié)構(gòu)信息,因此更能突出目標(biāo)特征．

圖6(a)中,顯然(1)和(2)更為相似,但當(dāng)使用全局直方圖統(tǒng)計時,(1)和(2)的直方圖具有很大的差異,但(1)和(3)卻具有相同的直方圖.圖6(b)是使用分塊直方圖統(tǒng)計得出的紋理直方圖,(1)、(2)較為相似,因此得出的直方圖也更相近.分塊直方圖統(tǒng)計的方法雖然增加了特征向量的維度,但也使得特征向量能更好地反映圖像的紋理結(jié)構(gòu)．

圖6 全局直方圖統(tǒng)計和分塊直方統(tǒng)計Fig.6 Global historic statistics and Blockregion historic statistics

1.5 分類

文中采用MATLAB自帶的支持向量機分類器進行二值分類，支持向量機采用線性核函數(shù)．CASIA數(shù)據(jù)庫以等價錯誤率(equal error rate，EER)和半總錯誤率(half total error rate，HTER)為評價指標(biāo),NUAA數(shù)據(jù)庫以準(zhǔn)確率、真正率(true postive rate，TPR)和真負(fù)率(true negative rate，TNR)為評價指標(biāo)．

2 實驗結(jié)果與分析

2.1 相關(guān)數(shù)據(jù)庫

文中算法在CASIA FASD和NUAA兩個公開數(shù)據(jù)庫上進行實驗．CASIA FASD數(shù)據(jù)庫[15]采集50名用戶的臉部形成600段視頻,其中訓(xùn)練集為20個類,測試集為30個類．CASIA中150段視頻使用低、中、高3種分辨率的成像設(shè)備采集真實人臉,余下的450段視頻是人工再造形成的欺詐視頻,包含了彎曲照片攻擊、裁剪照片攻擊和視頻回放攻擊3種欺詐類型．NUAA[16]是南京航空航天大學(xué)公開的人臉反欺詐識別數(shù)據(jù)庫．真實人臉圖片集是15名用戶在不同時間不同光照條件下采集的5 105張人臉圖片,欺詐圖片集則是對真實人臉照片翻拍形成的,共有7 464張圖片．實驗中分別從真實人臉庫和欺詐人臉庫各取2 100張圖片形成訓(xùn)練集,其余圖片則作為測試集．

2.2 參數(shù)設(shè)置

圖7是使用LBP、6×6 MB-LBP、9×9 MB-LBP和12×12 MB-LBP 4種特征提取方法在CASIA和NUAA兩個數(shù)據(jù)庫中得到的錯誤率、等價錯誤率和半總錯誤率的折線圖.從3個性能指標(biāo)看,6×6 MB-LBP和9×9 MB-LBP在兩個數(shù)據(jù)庫中的表現(xiàn)效果都比LBP好,雖然6×6 MB-LBP和9×9 MB-LBP在CASIA和NUAA中的表現(xiàn)各占優(yōu)勢,但9×9 MB-LBP在不同數(shù)據(jù)庫間所表現(xiàn)的性能更加穩(wěn)定．

在分塊直方圖統(tǒng)計部分,如果將圖片劃分成較少的子塊則難以把圖片的空間結(jié)構(gòu)具體表示出來．如果劃分的子塊太多，又會使表示圖片的向量維數(shù)太高，造成計算困難．為了平衡以上二者之間的關(guān)系,文中統(tǒng)一將特征人臉劃分為3×3的子塊,然后將每一小塊上的特征直方圖級聯(lián)起來．

圖7 LBP、6×6 MB-LBP、9×9 MB-LBP、12×12 MB-LBP的性能比較Fig.7 Performance comparison of LBP，6×6 MB-LBP，9×9 MB-LBP and 12×12 MB-LBP

2.3 算法比較與分析

文中算法通過在CASIA和NUAA兩個數(shù)據(jù)庫上與現(xiàn)有方法進行比較，體現(xiàn)算法優(yōu)越性．表2中，文中算法的EER低于文獻[5-6,12,17-19]中的算法,說明文中算法的性能超過了上述算法．相比文獻[5]中使用LBP-TOP提取紋理特征的方法,文中的EER降低了5.54%．文中算法與彩色空間中提取統(tǒng)一模式LBP[6]和馬爾可夫特征[19]兩種算法相比,其EER分別降低了1.14%、2.94%,甚至比文獻[17]中的深度學(xué)習(xí)方法降低了2.24%．

表2 不同算法在CASIA數(shù)據(jù)庫中的比較Table 2 Performance of different methodsin the CASIA database %

該算法的HTER比LBP結(jié)合多層離散余弦變量的方法[12]降低了7.2%．雖然文中算法在HTER方面不如文獻[18]中使用長短時記憶單元與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的深度神經(jīng)網(wǎng)絡(luò)方法優(yōu)越,但文中算法在EER指標(biāo)上表現(xiàn)更佳．值得一提的是,欺詐樣本獲取相對困難,因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型時易受到欺詐樣本限制,而且模型訓(xùn)練的時間比使用傳統(tǒng)手工方法更長．

由于NUAA數(shù)據(jù)庫沒有明確的劃分訓(xùn)練集、驗證集、測試集,研究人員通常用TPR、TNR和檢測準(zhǔn)確率作為該數(shù)據(jù)庫的評價指標(biāo),為了和其他算法進行公平比較,文中在NUAA數(shù)據(jù)庫上使用上述3個指標(biāo)對文中算法進行分析．表3為不同算法在NUAA數(shù)據(jù)庫中的實驗結(jié)果．文中算法和LBP特征提取[20]、HOG特征提取[21]、LBP+傅里葉譜方法[22]及灰度共生矩陣(GLCM)結(jié)合小波分析[23]的方法相比在3個指標(biāo)上都達到了最高值,其中在真負(fù)率上達到了100%的檢測結(jié)果．雖然傅里葉頻譜融合LBP的方法在真正率上的檢測效率也達到100%,但需進行頻譜變換，使得計算復(fù)雜度較高,而且在TNR和檢測準(zhǔn)確率方面不如文中算法．綜上所述,文中算法在CASIA和NUAA上都表現(xiàn)出較好的人臉欺詐檢測性能．

表3 不同算法在NUAA數(shù)據(jù)庫中的比較Table 3 Performance of different agrithmsin the NUAA database %

3 結(jié)論

針對視頻和圖像攻擊,文中提出一種基于分塊彩色MB-LBP紋理的人臉反欺詐算法．假臉在再造過程中產(chǎn)生的差異在彩色空間更為明顯，利用該特性,文中在Lab彩色空間中提取臉部圖像的MB-LBP紋理能夠增大真臉和假臉之間的差異．利用MB-LBP代替?zhèn)鹘y(tǒng)的LBP是為了減少人臉圖片中的冗余特征，降低噪聲影響,而且MB-LBP更能反映圖片的全局信息．為了反映圖片的結(jié)構(gòu)特征,文中將圖片分為多個小塊并統(tǒng)計直方圖信息．實驗證明,文中算法在CASIA和NUAA數(shù)據(jù)庫中都取得了較好的實驗效果,但不足之處在于增加了特征向量的維度．下一步工作將重點考慮如何在盡量不影響算法檢測性能的情況下對特征向量進行降維處理．文中算法在數(shù)據(jù)庫中表現(xiàn)出較高的檢測精度,而且利用視頻中一幀圖像就可以檢測出樣本真假,從而大大節(jié)約了計算開銷．綜上,文中算法在實際應(yīng)用中具有一定的可行性．