陳麗 李志紅 李艷萍 任曉光 包長春

摘?要：多光譜面部識別系統(tǒng)基于不同光譜圖像開發(fā)，近年來取得了快速進(jìn)步。本文首先介紹了多光譜面部識別系統(tǒng)的組成，然后在檢索相關(guān)研究論文并分析的基礎(chǔ)上，介紹了用于面部分析的公共多光譜數(shù)據(jù)庫，識別系統(tǒng)的性能評價方法，分析了對面部識別系統(tǒng)的實現(xiàn)方法及應(yīng)用，最后對多光譜面部識別系統(tǒng)的發(fā)展趨勢給出了相關(guān)分析。本文旨在為多光譜面部識別系統(tǒng)的研究提供參考。

關(guān)鍵詞：面部識別;多光譜圖像;神經(jīng)網(wǎng)絡(luò)

中圖分類號：TN707

當(dāng)今社會，面部識別系統(tǒng)的應(yīng)用越來越廣泛，例如企業(yè)收集員工信息（如上下班打卡），或是智能手機(jī)進(jìn)行用戶身份驗證。在檢測圖像時，傳統(tǒng)的面部識別系統(tǒng)僅使用可見光譜（visible spectrum，VIS），越來越多的研究發(fā)現(xiàn)這些系統(tǒng)存在一定的局限性，如面部有遮擋、姿勢發(fā)生變化、被檢人員不配合，以及光線變化時，其識別精確度會受到不同程度的影響[1]。

為了提高面部識別效率，基于多光譜圖像的面部識別系統(tǒng)被開發(fā)出來。紅外光譜，包括近紅外（Near Infrared，NIR）、短波長紅外（Short Wavelength Infrared，SWIR）、中波長紅外（Medium Wavelength Infrared，MWIR）和長波長紅外（Long Wavelength Infrared，LWIR）光譜，已成功地用于面部識別系統(tǒng)。與VIS光譜相比，紅外光譜基本不受光度差異等不利條件的影響，使得多光譜面部識別系統(tǒng)適應(yīng)性更為廣泛。

本文首先介紹了多光譜面部識別系統(tǒng)的組成，然后在檢索并分析相關(guān)文獻(xiàn)的基礎(chǔ)上，介紹了圖像數(shù)據(jù)庫、性能評價和識別系統(tǒng)實現(xiàn)方法，并對其發(fā)展趨勢進(jìn)行了分析，旨在為相關(guān)研究提供借鑒。

1 多光譜面部識別系統(tǒng)的基本組成

多光譜面部識別系統(tǒng)由5個部分組成（見下圖），即圖像采集、人臉檢測、人臉比對、特征提取和分類識別，具體地說，其過程為：利用相機(jī)采集多光譜圖像;對圖像進(jìn)行人臉檢測，獲得人臉邊界框，并對圖片進(jìn)行裁剪，去除與被檢測人員無關(guān)的背景;提取面部地標(biāo)，如鼻子、眼睛、下巴和耳朵等，利用其位置信息，系統(tǒng)即可自主進(jìn)行面部對齊，需要指出的是面部檢測和面部地標(biāo)提取可在所有光譜圖像上進(jìn)行，但一般優(yōu)先使用可見光圖像，再使用其他光譜圖像輔助;面部特征提取，具體提取哪些特征取決于所用的模型方法，且提取的面部特征包含或嵌入了表征被檢測人員身份的深度信息;對提取的面部特征按照一定的算法進(jìn)行分類，最終確定圖像中人員的具體身份。相比于僅使用VIS光譜的面部識別系統(tǒng)，多光譜面部識別系統(tǒng)能夠更準(zhǔn)確地識別被檢測人員，尤其在訪問高安全級別場所時，能確保只有授權(quán)人員允許進(jìn)入。

2 發(fā)表論文概況

對多光譜面部識別系統(tǒng)的研究論文進(jìn)行檢索，具體做法為：利用艾斯維爾的ScienceDirect數(shù)據(jù)庫檢索有影響因子的期刊上發(fā)表的、光譜面部識別相關(guān)的所有研究論文，并排除會議論文，時間范圍限定在2000—2020年之間。通過檢索發(fā)現(xiàn)，一共315篇論文發(fā)表在132種學(xué)術(shù)期刊上，且2016—2020年間多光譜人臉識別的報道呈指數(shù)增長，歸納起來有三個因素促進(jìn)了其發(fā)展：（1）近紅外和長波紅外光譜波段的相機(jī)價格顯著降低，大大推動了其普及性;（2）為增強(qiáng)識別系統(tǒng)的效率，需要減少系統(tǒng)中的人為干預(yù)，這就要求增加新的技術(shù)手段分?jǐn)傇瓉砣说墓ぷ魅蝿?wù);（3）深度學(xué)習(xí)在人臉識別系統(tǒng)中的實現(xiàn)，進(jìn)一步推動多光譜識別的應(yīng)用，使其具有了良好的應(yīng)用前景。

3 圖像數(shù)據(jù)庫分類

多光譜圖像數(shù)據(jù)庫有公共數(shù)據(jù)庫和個人數(shù)據(jù)兩種。對論文中涉及的多光譜圖像數(shù)據(jù)庫進(jìn)行分析，顯示公共數(shù)據(jù)庫最為常用，因為這些數(shù)據(jù)庫允許數(shù)據(jù)庫之間的性能比較，使得研究人員更容易的選擇最適合的數(shù)據(jù)庫，以實現(xiàn)其最佳設(shè)計功能。個人數(shù)據(jù)庫一般由論文作者自行開發(fā)并使用，沒有功能比較模塊。大多數(shù)論文使用中國科學(xué)院的NIR-VIS 2.0、Oulu-CASIA NIR-VIS和中國科學(xué)技術(shù)大學(xué)的USTC-NVIE），且CASIA NIR-VIS 2.0數(shù)據(jù)庫使用頻率最高，原因主要包括兩點：（1）該數(shù)據(jù)庫的數(shù)據(jù)集協(xié)議已提前定義，即在訓(xùn)練和測試階段已確定使用哪些圖像，易于實現(xiàn)方法比較;（2）數(shù)據(jù)庫由兩個子數(shù)據(jù)庫組成，其中一個子數(shù)據(jù)庫含有原始圖像，另一個子數(shù)據(jù)庫包含分辨率為128×128像素的圖像，且已進(jìn)行了面部檢測和面部對齊，該子數(shù)據(jù)庫更加直觀，能幫助研究人員更容易實現(xiàn)其設(shè)計目的。

進(jìn)一步按照名稱、創(chuàng)建年份、使用的光譜波段、人數(shù)、圖像數(shù)量等對數(shù)據(jù)庫進(jìn)行分析。從下表可以看出，大多數(shù)據(jù)庫都已有若干年的歷史;數(shù)據(jù)庫中的平均人數(shù)為138人，人少遠(yuǎn)遠(yuǎn)小于僅含VIS圖像的數(shù)據(jù)庫，數(shù)據(jù)庫圖像少，不利于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)。對公共多數(shù)據(jù)庫中光譜圖像的光譜波段分析發(fā)現(xiàn)，聯(lián)合使用SWIR和MWIR光譜圖像的數(shù)據(jù)庫數(shù)量非常少，分別為11%和7%，其原因可能是與NIR或LWIR相機(jī)相比，SWIR和MWIR相機(jī)的價格仍然十分昂貴，不適于大規(guī)模普及。

4 多光譜面部識別系統(tǒng)性能評價方法

面部識別系統(tǒng)主要用于人員身份識別和驗證。身份識別是指確定一個人身份的過程，通過與數(shù)據(jù)庫中的大量身份信息進(jìn)行一對多的比較來確定;身份驗證指比對被識別人員與其提供的身份信息，確認(rèn)其是否允許進(jìn)入或通過的過程，是一對一的比較。如果數(shù)據(jù)庫容量很大，身份識別過程將非常耗時，此時需要使用一系列標(biāo)準(zhǔn)對多光譜面部識別系統(tǒng)進(jìn)行性能評價，其中最常用的是Rank-N分值、驗證率、誤報率（FAR）和算法計算時間[2]。

識別系統(tǒng)的性能可利用身份識別預(yù)測返回值在N范圍內(nèi)（即Rank-N）結(jié)果的百分比來衡量。Rank-1是指預(yù)測返回值為正確（即最高分）的百分比，其計算方法為：身份識別正確的圖像數(shù)除以要識別的圖像總數(shù)。Rank-10是指在預(yù)測返回值排名前10的圖像所占的百分比。Rank-N可作為Rank-1的拓展和補(bǔ)充，但它不用于驗證哪張圖像最有可能正確，而是驗證正確圖像是否在這N張最可能的圖像之中。

身份識別可分為兩種類型，如果我們事先知道要識別的人存在于數(shù)據(jù)庫中，稱之為閉集識別，如果事先不知道這個人是否存在于數(shù)據(jù)庫中，稱之為開放集識別。在閉集識別過程中，經(jīng)常使用累積匹配（Cumulative Match Characteristic，CMC）曲線進(jìn)行性能評價，CMC曲線根據(jù)Rank-N范圍內(nèi)圖像的識別正確率繪制而成，其中最常用的N值是5和10。在開放集識別中，通常使用受試者工作特征（Receiver Operating Characteristic，ROC）曲線進(jìn)行性能評價，從ROC曲線可以計算得到ROC曲線下的面積（即AUC），AUC越接近1.0（即100%正確），那么應(yīng)用該圖像數(shù)據(jù)庫進(jìn)行身份識別的精準(zhǔn)度越高，性能越好。

如果用TP代表系統(tǒng)識別為正確、實際為正確的圖像數(shù)，F(xiàn)N代表系統(tǒng)識別為錯誤、實際為正確的圖像數(shù)，那么驗證率（真陽性率）即可表示為：TP/（TP+FN）×100%。如用FP代表系統(tǒng)識別為正確、實際為錯誤的圖像數(shù)，TN為系統(tǒng)識別為正確、實際為正確的圖像數(shù)，那么FAR（誤報率，也可稱為假陰性率）即可表示為：FP/（FP+TN）×100%。在門禁系統(tǒng)中，F(xiàn)AR用于衡量識別系統(tǒng)（如面部識別系統(tǒng)）允許未經(jīng)授權(quán)用戶訪問的可能性，F(xiàn)AR值越低，門禁系統(tǒng)越安全可靠。然而實際應(yīng)用中，F(xiàn)AR值降低會伴隨驗證率降低，這就需要對算法進(jìn)行微調(diào)，以在FAR和驗證率之間取得權(quán)衡，從而滿足面部識別系統(tǒng)的性能要求。

算法計算時間也可用于性能評價，使用多種方法獲得的Rank-N分值相差不大，或系統(tǒng)要求固定FAR時，可通過計算識別所需的時間，來衡量多光譜面部識別系統(tǒng)的性能。

5 多光譜面部識別系統(tǒng)的實現(xiàn)方法

5.1 方法分類

對現(xiàn)有論文中多光譜面部識別系統(tǒng)進(jìn)行分析，按照系統(tǒng)訓(xùn)練和測試階段的圖像通道數(shù)量，可分為三種方式：

（1）多通道到多通道;

（2）多通道到單通道;

（3）單通道到單通道，其中每個通道可以是某個確定的光譜波段或某光譜范圍內(nèi)的光譜。

多通道到多通道方法是在訓(xùn)練和測試階段使用相同的通道，使用這種方法，可以獲得更多的圖像信息，但缺點是設(shè)備成本較高。多通道到單通道方法是在訓(xùn)練階段使用多個通道，而在測試階段只使用一個通道，使用該方法可顯著降低實現(xiàn)人臉識別系統(tǒng)的成本。最后一種方法使用頻率最低，在訓(xùn)練和測試階段僅使用一個通道。

按照圖像特征提取和分類，又可將多光譜面部識別系統(tǒng)分為特征表征、耦合子空間學(xué)習(xí)、圖像合成、圖像融合和深度神經(jīng)網(wǎng)絡(luò)五種方法。

5.2 特征表征方法及典型應(yīng)用

特征表征方法是在圖像特征提取階段，提取出不同光譜圖像的最佳特征，通過特征提取，減少了初始圖像信息量，簡化了分類器的計算難度，也降低了不同光譜波段的圖像間隙。但特征提取方法有一個明顯的缺點，即忽略了人臉的空間結(jié)構(gòu)，而空間結(jié)構(gòu)是在異質(zhì)人臉識別系統(tǒng)（包括多光譜面部識別系統(tǒng)）中取得良好性能的關(guān)鍵信息。

Nicolo等利用Gabor濾波器提取圖像的幅值和相位，然后分別用簡化韋伯局部描述符、LBP和廣義LBP這三種局部特征描述子進(jìn)行特征提取，每個局部特征描述子生成一個包含135個bins的直方圖，然后將三個直方圖合并為單一的特征向量（或直方圖），并使用相對熵比較信息損耗，建立基于SWIR與VIS光譜通道的面部識別系統(tǒng)，在TINDERS數(shù)據(jù)庫上取得97.8%的Rank-1評分[3]。

Cao等使用復(fù)合多瓣描述子對NIR和VIS光譜圖像提取特征，并用相對熵比較信息損耗，建立了多光譜面部識別系統(tǒng)，在TINDERS數(shù)據(jù)庫上測試，1%誤報率（FAR）下的驗證率達(dá)91.54%，Rank-1評分為70.14%。對SWIRI和VIS光譜圖像，則取得1% FAR下的驗證率為99.46%，Rank-1評分為78.65%。Peng等開發(fā)了一種基于高幀率的圖像表征方法，該方法使用馬爾可夫網(wǎng)絡(luò)模型描述不同光譜圖像，并考慮了相鄰圖像之間的空間兼容性。在CASIA NIR-VIS 2.0和USTC-NVIE數(shù)據(jù)庫上進(jìn)行識別系統(tǒng)測試，Rank-50評分分別為83.32%和95.38%[4]。

5.3 耦合子空間學(xué)習(xí)及典型應(yīng)用

耦合子空間學(xué)習(xí)方法是指將不同光譜圖像的特征投射到一個公共子空間中，這個子空間允許在不同光譜圖像共有的冗余特征中，識別出最相關(guān)特征，該方法可減少多光譜圖像間隙。該方法也有明顯的缺點：一是當(dāng)圖像間隙較大時，公共子空間的辨別能力會大大減弱;二是在向子空間上投射圖像特征不可避免地發(fā)生信息損耗，從而降低面部識別系統(tǒng)的性能。

Huang使用判別性譜回歸的圖像特征提取方法，將VIS和NIR的面部圖像投射到一個公共判別式子空間，以進(jìn)行面部識別，在CASIA-HFB數(shù)據(jù)庫上獲得了95.33%的Rank-1評分[5]。

Hu等在預(yù)處理階段使用高斯差分濾波器，以減少VIS圖像的光度變化和LWIR圖像的位置變化的影響，并降低VIS和LWIR圖像之間的模態(tài)間隙，提取圖像特征后采用16×16像素的梯度直方圖描述，最終建立了基于偏最小二乘法模型的一對多面部識別模型。利用NVESD數(shù)據(jù)庫在1米、2米和4米進(jìn)行VIS和LWIR光譜圖像的面部識別，得到的Rank-1評分分別為82.3%、70.8%和33.3%。在距離1m、2m和4m處也進(jìn)行了MWIR和VIS光譜圖像的面部識別，分別獲得了92.7%、81.3%和64.6%的Rank-1評分[6]。

5.4 圖像合成方法及典型應(yīng)用

圖像合成方法是將圖像從不同光譜統(tǒng)一轉(zhuǎn)換至VIS光譜后，再應(yīng)用為VIS圖像設(shè)計的面部識別系統(tǒng)進(jìn)行識別，該面部識別系統(tǒng)的性能高度依賴于合成的圖像的準(zhǔn)確性。

Litvin等使用卷積神經(jīng)網(wǎng)絡(luò)將LWIR光譜圖像轉(zhuǎn)換合成為VIS光譜圖像，同時修改了FusionNet架構(gòu)及其訓(xùn)練算法，以減少過擬合、增加橋聯(lián)、初始化有泄露的線性修正單元函數(shù)（ReLUs）和正交正則化后的Dropout。利用該方法對RGB-D-T數(shù)據(jù)庫中有姿勢、位置和光度變化的三種圖像進(jìn)行了測試，分別產(chǎn)生了86.94%、97.52%和99.19%的Rank-1評分。

He等使用生成對抗網(wǎng)絡(luò)方法將NIR光譜圖像轉(zhuǎn)換為VIS光譜圖像，該方法使用了一個圖像修正組件，可將任意姿態(tài)的NIR圖像轉(zhuǎn)換為正面姿態(tài)的VIS圖像，生成兼具NIR和VIS紋理特征的圖像，然后，采用圖像扭曲程序?qū)D像集成到一個端到端的深度網(wǎng)絡(luò)中，最后使用卷積神經(jīng)網(wǎng)絡(luò)模型LightCNN進(jìn)行面部識別。在CASIA NIR-VIS 20、Oulu-CASIA NIR-VIS和 BUAA-VisNir數(shù)據(jù)庫上進(jìn)行測試，Rank-1評分分別為98.6%、99.9%和99.7%，1% FAR下的驗證率分別為99.2%、98.1%和98.7%，0.1%FAR的驗證率分別為97.3%、90.7%和97.8%[7]。

5.5 圖像融合方法及典型應(yīng)用

圖像融合方法包括兩種方法：特征融合和分值融合。特征融合將特征提取器獲得的多個圖像特征，例如邊緣、角度、線條和紋理等，合并為一個特征向量，用于執(zhí)行圖像切割或面部檢測。分值融合則聯(lián)合使用多個分類器和全局分類器，提高了分類器的整體性能，最常用的分值融合方法是多數(shù)投票法，即選擇所有分類器給出的最高頻率的分類，并將其分配給全局分類器;另一種分值融合方法是自適應(yīng)加權(quán)法，指每個分類器按照性能高低，被分配一個動態(tài)加權(quán)值。使用圖像融合方法的面部識別系統(tǒng)，可聯(lián)合使用多個低成本攝像機(jī)，在降低錯誤率的同時，還可減低應(yīng)用成本。

Singh使用粒度支持向量機(jī)（Granular SVM，GSVM）計算動態(tài)和局部加權(quán)值，從而將VIS和LWIR光譜圖像進(jìn)行融合，采用二維Log-Polar極坐標(biāo)變換提取全局面部特征，采用局部二值模式（LBP）提取局部面部特征。在UND-X1和NIST Equinox數(shù)據(jù)庫上進(jìn)行系統(tǒng)性能測試，0.01%FAR下的驗證率分別為99.91%和99.54%。

Kanmani對融合方法進(jìn)行了三種優(yōu)化，來解決異質(zhì)面部識別問題。前兩種優(yōu)化方法為：將輸入圖像通過雙樹離散小波變換分別分解為高頻系數(shù)和低頻系數(shù)，采用群體優(yōu)化技術(shù)尋找最優(yōu)加權(quán)值，以進(jìn)行VIS和LWIR光譜圖像的融合。第三種優(yōu)化方法采用自適應(yīng)粒子群優(yōu)化算法，避免了粒子群算法的過早收斂，該算法采用曲波變換對圖像進(jìn)行分解，并采用頭腦風(fēng)暴優(yōu)化算法改善最優(yōu)加權(quán)值的搜索過程。對基于三種優(yōu)化方法的識別系統(tǒng)在IRIS數(shù)據(jù)庫上進(jìn)行測試，分別獲得94.17%、94.50%和96.00%的Rank-1評分[8]。

5.6 深度學(xué)習(xí)網(wǎng)絡(luò)方法及典型應(yīng)用

隨著人類神經(jīng)網(wǎng)絡(luò)研究的深入，人工神經(jīng)網(wǎng)絡(luò)方法開始應(yīng)用于面部識別系統(tǒng)中，且逐漸超過其他方法。面部識別系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)的基本過程是：將圖像發(fā)送給神經(jīng)網(wǎng)絡(luò)，提取一組圖像特征，當(dāng)接收到來自同一個人的另一幅圖像時，神經(jīng)網(wǎng)絡(luò)產(chǎn)生一組相似的特征信息，反之則產(chǎn)生不同的特征信息。目前最常用的神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)，它比傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)包含更多的決策層。然而，需要指出的是，訓(xùn)練時間是現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)的短板，很大程度上依賴于圖形處理單元的性能?；谏窠?jīng)網(wǎng)絡(luò)的識別系統(tǒng)在不同數(shù)據(jù)庫上進(jìn)行性能評價，可使用Rank-N分值、驗證率和FAR衡量，如果這些指標(biāo)結(jié)果類似，則可通過訓(xùn)練和分類階段的算法計算時間進(jìn)行衡量。

Sarfraz利用深度神經(jīng)網(wǎng)絡(luò)捕捉LWIR和VIS光譜圖像之間的非線性關(guān)系，減少了異質(zhì)圖像間隙。經(jīng)測試，與偏最小二乘模型相比，該方法在UND-X1數(shù)據(jù)庫上提高了10%的Rank-1評分，在NVESD數(shù)據(jù)庫上提高了15%～30%的Rank-1評分[9]。

Hu等開發(fā)了具有散射損耗和分集組合的多重深度網(wǎng)絡(luò)，其中散射損耗可減少不同模態(tài)間隙，保留被檢人員的身份鑒別信息，而分集組合（DC）自適應(yīng)調(diào)整各深度網(wǎng)絡(luò)的加權(quán)值。在CASIA NIR-VIS 2.0數(shù)據(jù)庫上進(jìn)行測試，獲得Rank-1評分為98.9%，1%和0.1%FAR時的驗證率分別為99.6%和97.6%。在Oulu-CASIA NIR-VIS數(shù)據(jù)庫上進(jìn)行測試，得到的Rank-1評分為99.8%，1%和0.1%FAR下的驗證率分別為驗證率為88.1%和65.3%。

Peng等使用深度局部描述子學(xué)習(xí)框架建立了面部識別系統(tǒng)，該學(xué)習(xí)框架能直接從面部圖像中學(xué)習(xí)具有鑒別性和緊湊的局部信息，并使用一種新的交叉模態(tài)枚舉損失算法來消除局部斑塊層面上的模態(tài)間隙，然后將其集成到卷積神經(jīng)網(wǎng)絡(luò)中，利用深度局部描述子進(jìn)行特征提取。在CASIA NIR-VIS 2.0數(shù)據(jù)庫上進(jìn)行測試，該系統(tǒng)獲得9668%的Rank-1評分[10]。

He等在卷積神經(jīng)網(wǎng)絡(luò)中使用Wasserstein distance函數(shù)計算概率分布差異，減少了VIS和NIR圖像之間的模態(tài)間隙，建立多光譜面部識別系統(tǒng)。在CASIA NIR-VIS 2.0、Oulu-CASIA NIR-VIS和BUAA-VisNir數(shù)據(jù)庫上測試，獲得Rank-1評分分別為98.7%、98.0%和97.4%，1%FAR下的驗證率分別為99.5%、81.5%和96.0%，0.1%FAR下的驗證率分別為98.4%，54.6%和91.9%。

Bae等引入了兩個模塊提高同質(zhì)面部識別。第一個模塊包括三個子模塊：

（1）預(yù)處理鏈，可保證平移后的圖像與原圖像光度相似;

（2）CycleGAN函數(shù)，用于NIR到VIS的圖像轉(zhuǎn)換;

（3）二元神經(jīng)網(wǎng)絡(luò)，用于在映射函數(shù)的學(xué)習(xí)過程中添加約束的同時學(xué)習(xí)隱空間。

第二個模塊則使用數(shù)據(jù)庫中的圖像及相應(yīng)轉(zhuǎn)換圖像，對主干模型進(jìn)行優(yōu)化，獲得512維的嵌入向量。使用CASIA NIR-VIS 2.0數(shù)據(jù)庫進(jìn)行測試，沒有預(yù)處理模塊的系統(tǒng)，Rank-1評分為99.07%，01%FAR下的驗證率為98.67%，使用預(yù)處理模塊的系統(tǒng)，Rank-1評分為99.40%，0.1%FAR下的驗證率為98.74%[11]。

6 結(jié)論和展望

經(jīng)過系統(tǒng)的分析研究，我們發(fā)現(xiàn)最常用的面部識別方法和取得最佳效果的方法都是基于神經(jīng)網(wǎng)絡(luò)的。事實上，至少36%的研究論文使用神經(jīng)網(wǎng)絡(luò)建立了多光譜面部識別方法。值得注意的是，自2019年以來，由于使用神經(jīng)網(wǎng)絡(luò)（主要是生成對抗網(wǎng)絡(luò)）來進(jìn)行圖像合成，圖像合成方法再次得到大量使用。

經(jīng)過綜合分析研究，還發(fā)現(xiàn)在不同的數(shù)據(jù)庫中比較方法性能時，最常用的指標(biāo)是Rank-1評分。目前多光譜人臉識別系統(tǒng)性能還受限于多光譜數(shù)據(jù)庫是否能夠使用。通過分析研究發(fā)現(xiàn)，目前應(yīng)用最廣泛的公共數(shù)據(jù)庫是CASIA NIR-VIS 2.0。然而，與可見光波段的圖像數(shù)據(jù)庫相比，目前公共的多光譜數(shù)據(jù)庫容量（圖像總數(shù)）非常小，這可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)在訓(xùn)練階段出現(xiàn)過擬合?？傊喙庾V數(shù)據(jù)庫有幾個局限性，如圖像數(shù)量較少，沒有公共數(shù)據(jù)庫提供同一個人在不同光譜波段的面部圖像，同一數(shù)據(jù)庫中圖像之間不存在位姿、光度和距離變化。

與僅使用可見光波段圖像的面部識別系統(tǒng)相比，多光譜面部識別方法可取得更好的性能。通過多光譜圖像在面部識別中的應(yīng)用，可以克服某些光譜波段的圖像間隙，例如LWIR光譜圖像可不受光度差異的影響，能夠補(bǔ)充VIS圖像的缺點。然而，由于目前多光譜數(shù)據(jù)庫中圖像數(shù)量少，使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行多光譜面部識別系統(tǒng)仍受到限制，有很大的發(fā)展和改進(jìn)空間。多光譜面部識別系統(tǒng)的主要目的仍然是安全和監(jiān)視，特別是在機(jī)場或軍事機(jī)密地區(qū)等關(guān)鍵地點，但隨著人工智能的發(fā)展和技術(shù)水平的進(jìn)步，該系統(tǒng)將快速進(jìn)入現(xiàn)代生活的方方面面，為人們提供更為優(yōu)質(zhì)便捷的服務(wù)。

參考文獻(xiàn)：

[1]Zhang W，Zhao X，Morvan J M，et al.Improving Shadow Suppression for Illumination Robust Face Recognition[J].IEEE Trans Pattern Anal Mach Intell，2019，41（3）：611-624.

[2]Wu F，Jing X Y，Dong X，et al.Intraspectrum Discrimination and Interspectrum Correlation Analysis Deep Network for Multispectral Face Recognition[J].IEEE Trans Cybern，2020，50（3）：1009-1022.

[3]Peng C，Gao X，Wang N，et al.Graphical Representation for Heterogeneous Face Recognition[J].IEEE T Pattern Anal，2017，39（2）：1-16.

[4]Huang X，Lei Z，F(xiàn)an M，et al.Regularized discriminative spectral regression method for heterogeneous face matching.[J].IEEE T Image Process，2013，22（1）：1-15.

[5]Zhifeng L，Dihong G，Qiang L，et al.Mutual Component Analysis for Heterogeneous Face Recognition[J].ACM T Intel Syst Tec，2016，7（3）：1-18

[6]Hu S，Choi J，Chan A L，et al.Thermal-to-visible face recognition using partial least squares[J].J Opt Soc Am A，2015，32（3）：431-442.

[7]Nnamdi O，Thirimachos B.Bridging the spectral gap using image synthesis：a study on matching visible to passive infrared face images[J].Mach Vision Appl，2017，28（5-6）：1-15.

[8]Andre L，Kamal N，Sergio E，et al.A novel deep network architecture for reconstructing RGB facial images from thermal for face recognition[J].Multimed Tools Appl，2019，78（18）：1-13.

[9]Ayan S，Debotosh B，Mita N.Human face recognition using random forest based fusion of à-trous wavelet transform coefficients from thermal and visible images[J].AEU-Int J Electron C，2016，70（8）：1-9.

[10]M S S，Rainer S.Deep Perceptual Mapping for Cross-Modal Face Recognition[J].Int J Comput Vision，2017，122（3）：1-13.

[11]Weipeng H，Haifeng H.Discriminant Deep Feature Learning based on joint supervision Loss and Multi-layer Feature Fusion for heterogeneous face recognition[J].Comput Vis Image Und，2019，184（1）：1-18.

基金項目：河北省高等學(xué)?？茖W(xué)技術(shù)研究項目（基于SOPC的人臉檢測系統(tǒng)的設(shè)計，項目編號：QN2019176）

通訊作者：陳麗（1987—?），女，碩士，助理研究員，研究方向：數(shù)字圖像處理。