周晨怡，黃 靖*，楊 豐，劉婭琴

(1.南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣州 510515；2.廣東省醫(yī)學(xué)圖像處理重點實驗室(南方醫(yī)科大學(xué))，廣州 510515)

隨著互聯(lián)網(wǎng)應(yīng)用的普及，人們在越來越依賴互聯(lián)網(wǎng)的同時，信息安全也面臨著較大的風(fēng)險。為了保證個人隱私信息的安全性，除了用戶要提高個人信息保護(hù)意識以外，基于生物特征識別的身份驗證技術(shù)也亟待提升。單一模態(tài)的生物特征識別技術(shù)由于易受噪聲污染[1]且復(fù)制和偽造難度低[2]，無論是在識別率還是穩(wěn)定性上都不能達(dá)到完美的結(jié)果[3]。因此研究者們針對以上缺點提出了多模態(tài)生物特征識別技術(shù)，通過融合面部、指紋、掌紋、聲音和虹膜等[4]多種特征來提高生物特征識別的穩(wěn)定性、準(zhǔn)確性和不可偽造性[5]。

生物特征識別系統(tǒng)分為圖像采集、特征提取、特征匹配以及分類決策四個階段。根據(jù)融合的階段不同，多模態(tài)生物特征融合方法可分為四類，即傳感器層融合[6]、特征層融合[7-8]、分?jǐn)?shù)層融合[9-10]以及決策層融合[11-12]。傳感器層融合是將多個采集器采集到的數(shù)據(jù)進(jìn)行拼接，因此對采集裝置的要求較高。特征層融合是指將多個模態(tài)的特征向量進(jìn)行融合，從而使融合后的特征向量具有比單模態(tài)更強(qiáng)的識別能力[12]。分?jǐn)?shù)層融合是指在識別過程中生成一個多模態(tài)匹配分?jǐn)?shù)[13]，并對其使用歸一化等方式提高匹配精度。決策級融合則是將多個分類器的分類結(jié)果融合得出最終決策[14]。其中，特征層融合作為信息量最多的融合層，理論上能夠取得最佳的識別效果[4]，但是由于異質(zhì)特征融合過程中會存在不同生物特征難以兼容的問題，在特征層融合的難度較大[15]，常見的特征層融合方法有典型相關(guān)分析法(canonical correlation analysis, CCA)[16-17]以及判別相關(guān)分析法(discriminant correlation analysis, DCA)[12]等。

決策層作為高層次的融合，它所需處理的數(shù)據(jù)量相比起其他層次小，通信量小，抗干擾性較強(qiáng)[18]。Kittler等[19]提出使用簡單的邏輯“與”“或”運算，即AND規(guī)則和OR規(guī)則進(jìn)行融合。但是由于決策層融合所涉及的信息量過小，提升的程度有限，因此雖然其簡單可行，但是在處理中會忽略特征之間的內(nèi)在聯(lián)系。Sinha等[20]提出使用加權(quán)投票進(jìn)行表決，即在各個分類器相同權(quán)重的情況下，以“少數(shù)服從多數(shù)”的方式得出最終決策。為了進(jìn)一步提高準(zhǔn)確性。Pinar等[21]使用模糊決策進(jìn)行決策層融合，即應(yīng)用模糊集合論把不易量化的因素和信息進(jìn)行量化處理，再通過模糊集合的數(shù)學(xué)運算，變非定量決策為定量決策。但是以上的方法只是針對決策層的少量信息進(jìn)行融合，受各模態(tài)分類性能差異和外部噪聲等因素影響較大。

為了彌補(bǔ)決策層信息不足的缺點，提出一種基于特征信息引導(dǎo)的決策層融合方法，應(yīng)用于虹膜、手指靜脈和手掌靜脈三種模態(tài)的身份識別。利用特征距離的分布信息對決策融合進(jìn)行引導(dǎo)，同時增加分類器分類性能參數(shù)作為決定置信度的另一個主要因素，不僅在特征層面上，更在分類性能的層面上對置信度進(jìn)行定量的描述，從而完善本文提出的多模態(tài)生物特征識別系統(tǒng)，同時達(dá)到識別精度和抗干擾能力的提升。

1 單模態(tài)生物特征

為了提高身份認(rèn)證的安全性，使用虹膜、手指靜脈和手掌靜脈三種單模態(tài)特征進(jìn)行融合。靜脈識別由于其活體識別和不外顯的特點[22]，能夠提高識別系統(tǒng)的安全性。同時，三種模態(tài)在特征上相互獨立且互補(bǔ)[23]，使入侵者很難同時偽造用戶的多組生物特征[24]。針對不同模態(tài)特征，下面將根據(jù)各模態(tài)生物特征的特性進(jìn)行預(yù)處理。

1.1 虹膜特征

虹膜為位于黑色瞳孔和白色鞏膜之間的環(huán)形可視區(qū)域，包含細(xì)絲、斑點、冠狀等豐富的紋理結(jié)構(gòu)。這些特征在嬰兒發(fā)育階段形成后，便具有終身不變性[25]，竊取和復(fù)制虹膜的難度大，因此虹膜識別方法的安全性較高。虹膜識別中，對虹膜圖像的預(yù)處理和虹膜區(qū)域的定位會影響其識別率。為了準(zhǔn)確地定位虹膜的內(nèi)外邊界，去除發(fā)絲和眼瞼的干擾，使用Canny算子檢測圖像邊緣，采用Hough變換定位瞳孔以及虹膜邊界[26]。

1.2 手指靜脈特征

手指靜脈不同于傳統(tǒng)的指紋，其中流動中的血液可吸收特定波長光線，形成清晰的靜脈圖像[27]。手指靜脈識別是根據(jù)手指有規(guī)則的定向排列的條狀靜脈紋路進(jìn)行身份識別，因此其擁有特征不外顯，不易于竊取的優(yōu)點[28]。在手指靜脈進(jìn)行識別之前，需要對其進(jìn)行預(yù)處理操作，對手指區(qū)域提取出感興趣區(qū)域(region of interest, ROI)，再經(jīng)過自適應(yīng)局部對比度增強(qiáng)[29]算法完成對手指靜脈圖像的預(yù)處理。

1.3 手掌靜脈特征

手掌靜脈與手指靜脈同為活體識別，包含靜脈多且重復(fù)概率低于指紋[22]，同樣了受到身份鑒別領(lǐng)域的青睞。由于手掌靜脈識別性能的高低很大程度上取決于手掌靜脈圖像的質(zhì)量[30]，因此采用文獻(xiàn)[31]的增強(qiáng)方法，對原始的手掌圖像進(jìn)行去掌紋的靜脈圖像增強(qiáng)處理。

1.4 特征識別過程

為了方便驗證多模態(tài)生物特征識別方法的識別性能與抗干擾能力，對所有單模態(tài)生物特征采用主成分分析方法(principal component analysis, PCA)[31]進(jìn)行壓縮并提取特征，計算兩幅圖像之間的特征距離，將待測圖像按最近鄰分類法進(jìn)行分類，得識別結(jié)果。

2 基于特征信息引導(dǎo)決策融合的多模態(tài)生物特征識別方法

以虹膜、手指和手掌靜脈三種特征組成多模態(tài)生物特征識別系統(tǒng)，識別系統(tǒng)的框架如圖1所示。

2.1 決策融合的權(quán)重計算

2.1.1 特征距離的歸一化

為了豐富決策層的信息，利用特征層的距離信息輔助引導(dǎo)決策層融合，根據(jù)特征距離信息計算各模態(tài)的置信度，用置信度進(jìn)行權(quán)重判定，從而得出預(yù)測結(jié)果。

圖2 特征距離分布及量綱

根據(jù)文獻(xiàn)[9,32]研究分析，對于特征匹配距離來說，真值距離(即識別正確的匹配距離)和假值距離(即識別錯誤的匹配距離)分布的非重疊區(qū)域越大，則該模態(tài)的特征識別能力越強(qiáng)，越不容易識別錯誤。

首先計算一個基于真值距離和假值距離之間的非重疊區(qū)域參數(shù)作為量綱：

γk=max(Imp,k)-μ(Imp,k)+μ(Gen,k)-min(Gen,k)

(1)

式(1)中，μ表示均值；Gen,k為真值距離集合；Imp,k為假值距離集合，對于三模態(tài)的生物特征識別系統(tǒng)來說k=1,2,3。由式(1)可知，γk為圖2中的非重疊區(qū)域。γk越高，則說明距離之間的區(qū)分度越高，分類能力越強(qiáng)?？紤]到重疊鄰域存在介于均值和極值之間的距離分?jǐn)?shù)，去除重疊鄰域使γk更體現(xiàn)距離的區(qū)分能力。

(2)

2.1.2 置信度及權(quán)重的計算

在識別系統(tǒng)中，拒識率(false rejection rate，F(xiàn)RR)是衡量系統(tǒng)分類性能的一個重要參數(shù)。拒識率是指系統(tǒng)將真正的合法個體拒絕，從而造成的出錯概率，其值越低，系統(tǒng)的性能越好。在多模態(tài)識別過程中，模態(tài)間的分類性能差異會降低系統(tǒng)的識別精度。因此，將拒識率納入模態(tài)置信度的計算，有利于融合系統(tǒng)有效地提取分類能力的信息。根據(jù)特征距離信息以及拒識率，計算每個模態(tài)的置信度為

(3)

計算每個模態(tài)在決策層融合的權(quán)重為

(4)

模態(tài)權(quán)重值反映了各模態(tài)的子分類結(jié)果在決策中所處的地位，因此會直接影響到最終決策的質(zhì)量和效果。選擇融合系統(tǒng)的特征距離信息以及分類拒識率作為權(quán)重因子的兩個主要參數(shù)。權(quán)重因子越高，該模態(tài)的分類能力越強(qiáng)，對于最終決策的影響力越大。

2.2 決策層融合

在決策融合時，利用式(4)計算得出的權(quán)重因子作為子決策的權(quán)重得出最終決策H：

(5)

(6)

式中，Hk為每個子模態(tài)的識別結(jié)果;Cj為目標(biāo)類別。

本文所提出的基于特征信息引導(dǎo)的決策融合方法，通過計算每一模態(tài)匹配時的距離量綱[圖2和式(1)]獲得包含模態(tài)區(qū)分能力的特征距離信息。由于特征距離來自不同模態(tài)，其匹配距離所包含的信息不同，為非標(biāo)準(zhǔn)化的特征距離。本文的優(yōu)點在于不追求其標(biāo)準(zhǔn)化，而是通過提取特征距離在分布上的有效信息，加上系統(tǒng)的拒識率，得到該模態(tài)的置信度。將這個置信度通過數(shù)學(xué)映射得出權(quán)重，從而引導(dǎo)進(jìn)行決策級的融合。所提出的決策融合策略是根據(jù)數(shù)量龐大的統(tǒng)計結(jié)果和一定的學(xué)習(xí)方式，權(quán)衡對比匹配從而得出最終的決策結(jié)果。

3 實驗結(jié)果與分析

由于目前暫無公開的多模態(tài)生物特征數(shù)據(jù)庫，且研究[35]表明兩個個體之間生物特征在統(tǒng)計學(xué)上是獨立的，因此將三種模態(tài)數(shù)據(jù)庫進(jìn)行隨機(jī)的1對1匹配，組成一個虛擬的同源多模態(tài)數(shù)據(jù)集。數(shù)據(jù)庫中包括100位用戶，每位用戶分左右側(cè)各采集6個樣本。如圖3所示，每個樣本包括1幅虹膜、1幅手掌靜脈和3幅手指靜脈圖像。其中，虹膜圖像來自CASIA-IrisV4數(shù)據(jù)庫，分辨率為640×480；手掌靜脈圖像采用香港理工大學(xué)生物特征識別研究中心(PolyU_BRC)手掌靜脈數(shù)據(jù)庫中的ROI圖像，原始圖像大小為128×128的256色灰度圖像；手指靜脈圖像選取山東大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒炇业腟DUMLA-HMT手指靜脈數(shù)據(jù)庫，大小為320×240像素，包含了食指、中指以及無名指的手指靜脈。本文實驗的測試環(huán)境為安裝了MATLAB軟件(版本:2015年)的臺式計算機(jī)，主機(jī)配置：CPU為Intel(R)Core(TM)i5-6500 @ 3.20 GHz，安裝內(nèi)存為8GBRAM。

圖3 多模態(tài)特征識別數(shù)據(jù)庫范例

為了驗證本文提出的基于特征距離信息引導(dǎo)的決策層融合算法的有效性和魯棒性，共設(shè)計了4個實驗：

實驗1比較在不同的訓(xùn)練樣本數(shù)下，本文方法的識別時間和識別率。

實驗2比較在不同模態(tài)的組合之下，多種決策融合方法的性能，驗證本算法在不同的多模態(tài)系統(tǒng)下的有效性。

實驗3為了驗證本算法充分利用特征層等前項信息的假設(shè)，在系統(tǒng)增加特征融合，對多種決策融合方法的性能進(jìn)行比較。

實驗4為了驗證本識別系統(tǒng)在復(fù)雜情境下具有自適應(yīng)能力的假設(shè)，比較在PCA特征能量較低情況下，不同決策融合方法的性能優(yōu)劣。

3.1 實驗1

在使用PCA算法壓縮多模態(tài)特征向量空間時，需要把數(shù)據(jù)庫中圖像分為訓(xùn)練集和測試集，并且訓(xùn)練集和測試集的比例會影響到最后的測試結(jié)果。為了選擇最佳的參數(shù)，實驗通過改變每類訓(xùn)練樣本的個數(shù)(N=2,3,4,5)得到不同的識別率，其中類內(nèi)總數(shù)為6。在其他條件相同的情況下，比較不同訓(xùn)練樣本個數(shù)下多模態(tài)識別系統(tǒng)的識別率和識別時間，實驗結(jié)果如表1所示。

表1 不同訓(xùn)練樣本個數(shù)下的識別時間和識別率比較

通過表1可以看出，隨著訓(xùn)練樣本個數(shù)的增加，多模態(tài)生物特征系統(tǒng)的識別率逐漸增長，當(dāng)N≥3時，識別率已經(jīng)達(dá)到最優(yōu)，但識別時長也逐漸增長。因此選擇訓(xùn)練樣本數(shù)為3，既保證了識別的精度，又縮短了運行時間。

3.2 實驗2

根據(jù)實驗1的結(jié)果，選擇每類訓(xùn)練樣本個數(shù)為3。為了驗證本文提出的決策融合算法的有效性，分別選擇雙模態(tài)模式：虹膜和手掌靜脈，虹膜和手指靜脈，以及三模態(tài)模式：虹膜、手掌和手指靜脈進(jìn)行特征匹配，比較四種決策層融合算法的識別率。

從表2可以看出選擇AND規(guī)則的識別率在各模式下均為最低。除此之外，對于使用模糊決策和投票方法，增加模態(tài)后識別率確有提升，但無論是雙模態(tài)還是三模態(tài)下均低于本文提出的方法，說明了在增加特征匹配的距離信息和分類性能作為決策權(quán)重指標(biāo)之后，系統(tǒng)識別效果提升。

表2 不同模態(tài)下各種決策融合方法的識別率對比

3.3 實驗3

由表2可知，本文提出的算法相比于其他決策融合算法，識別效果更優(yōu)。為了進(jìn)一步證明本文算法融合了特征層信息豐富的優(yōu)點，對實驗2中的三模態(tài)識別系統(tǒng)繼續(xù)進(jìn)行實驗。在保證三模態(tài)識別系統(tǒng)其他部分不變的情況下，在手指靜脈模態(tài)中增加了特征層融合——使用典型相關(guān)分析CCA[16, 37]以及判別相關(guān)分析DCA[12]融合食指、中指以及無名指的手指靜脈特征，觀察其對最終的識別結(jié)果造成的影響，其中CCA和DCA分別可以通過并行[38-39]和串行[38-39]方法進(jìn)行融合。

表3 多模態(tài)下各種決策融合方法的識別率對比

通過表3可以觀察到，使用不同的特征融合方法，都會給AND規(guī)則、模糊決策和多數(shù)投票的決策融合方法帶來識別率的提升(2.67%～15.66%)。但是對于本文提出的方法而言，增加特征層的融合方法，系統(tǒng)的識別率并沒有提升，這證明了本文所提出的方法已經(jīng)充分地利用特征層級的豐富信息應(yīng)用于決策，不需要再進(jìn)行額外的特征融合。本文提出的算法補(bǔ)充了特征距離和分類性能參數(shù)的信息，對識別精度的提升優(yōu)于一般決策融合算法。

3.4 實驗4

在使用PCA算法對特征向量空間進(jìn)行壓縮的過程中，需要選擇保留的特征主成分能量百分比，即保留了原特征向量空間內(nèi)信息的百分比。為了驗證本識別系統(tǒng)在復(fù)雜情境下的自適應(yīng)能力，以實驗3為基礎(chǔ)(保留手指靜脈模態(tài)中的特征融合)，在保證其他條件相同時，降低特征分量的主成分能量百分比，模擬環(huán)境噪聲較大時，單模態(tài)識別性能下降的情況。在改變特征主成分能量(從25%變化至95%)下，圖4為使用串并行CCA和串并行DCA的特征融合后，不同決策融合算法的識別率曲線。通過圖4可以很明顯地發(fā)現(xiàn)，模擬識別系統(tǒng)出現(xiàn)噪聲時，AND規(guī)則、模糊決策和多數(shù)投票的決策融合算法的識別能力均低于本文算法，尤其在特征主成分能量較低時，差距更加明顯。這說明了本算法在特征主成分能量較低時，可以通過計算置信度獲得特征匹配分?jǐn)?shù)中含有的有效信息，通過權(quán)重動態(tài)地調(diào)整各模態(tài)對最終決策的影響。在圖4的各融合系統(tǒng)下，本方法的識別率均遠(yuǎn)優(yōu)于其他方法，并且當(dāng)特征主成分能量為25%時，差距最明顯，即當(dāng)特征信息最匱乏時，系統(tǒng)噪聲最大，本文算法可以通過特征距離信息和分類性能參數(shù)，使系統(tǒng)在此復(fù)雜情境下更具魯棒性。

圖4 不同決策融合算法的識別率曲線

4 結(jié)論

以多模態(tài)生物特征識別系統(tǒng)為研究對象，提出了通過特征距離信息引導(dǎo)的決策融合算法，得到如下結(jié)論。

(1)本文提出的多模態(tài)的生物特征融合識別系統(tǒng)充分發(fā)揮了虹膜特征安全性高、手指和手掌靜脈紋理特征識別率高的優(yōu)點。特別是增加了以活體檢驗為特點的靜脈識別，大大提高了多模態(tài)識別系統(tǒng)的安全性。同時本文提出的融合策略在分配權(quán)重的過程中加入了前端特征層的距離信息和分類器的分類性能參數(shù)，充分利用了原始圖像的數(shù)據(jù)信息，具有很強(qiáng)的實用性，使得融合系統(tǒng)在提高效率的同時，對準(zhǔn)確性以及可靠性都有了提高。

(2)在系統(tǒng)噪聲水平較高，特征有效信息較少時，本文基于特征距離信息引導(dǎo)的決策融合方法表現(xiàn)優(yōu)于其他融合算法，證明了其在噪聲較大的復(fù)雜情境下可以通過補(bǔ)充特征距離信息及分類性能參數(shù)達(dá)到識別精度提升的效果，使系統(tǒng)更具魯棒性。