張艷 高梓健 許昌康 王年? 魯璽龍

(1.安徽大學 電子信息工程學院，安徽 合肥 230601；2.公安部物證鑒定中心，北京 100038)

生物特征識別技術用于身份識別、門禁系統(tǒng)以及重點防控對象[1]。生物特征識別技術應用的基本前提為對象是唯一的，通過其獨特的生理特征和行為特征來識別每個對象[2]。隨著生物特征識別技術的廣泛應用，人們需要更獨特、更方便和用戶友好性的識別技術。人體足跡壓力因其穩(wěn)定性和獨特性使其成為一種較新的生物特征，并且已經驗證了其唯一性[3]。觸覺壓力足跡是指對象在站立或行走時，腳掌面通過力的傳遞作用在壓力采集器上反饋的壓力值分布[4]。觸覺壓力足跡可以反映對象的身高、體重、年齡等生理特征和行為習慣，因此研究者可以在一定程度上根據(jù)觸覺壓力足跡圖像分析對象形態(tài)特征和分類，也能為刑偵、醫(yī)療、安保等領域帶來便捷，這就要求研究者具有大量的足跡專業(yè)知識和大量訓練，因此若想進行大范圍推廣具有較大的難度。

近幾年，卷積神經網絡因其強大的建模能力得到快速發(fā)展。相比傳統(tǒng)方法，卷積神經網絡的引入給圖像處理和自然語言處理等領域帶來了很大的提升，如圖像分類、目標識別、語音識別等[5- 8]。Wang等[9]針對人體觸覺壓力足跡分布面，提出了一種基于高斯曲率和平均曲率的觸覺壓力足跡曲面提取方法，并以此為基礎，提出了能夠反映人體生理特征的一種基于足跡圖像整體特征和局部特征的表達方法。梁棟等[10]借助足底不同區(qū)域的壓力點最大值、壓力中心點的坐標和壓力值來提取拉普拉斯譜特征，同時結合足底輪廓及壓力比值特征，提出一種靜態(tài)觸覺步態(tài)識別方法，該方法可以用于門禁和考勤系統(tǒng)。Kulkarni等[11]采用貝葉斯正則化反向傳播訓練的多層感知機，對人體觸覺壓力足跡圖像依據(jù)像素值進行分類，該方法用于區(qū)分平足、普通足和高弓足，有助于研究步態(tài)分析和運動生物力學。Keatsamarn等[12]應用深度學習中的幾個卷積層提取觸覺壓力足跡圖像的特征圖，達到分類的目的，在一定程度上緩解了觸覺壓力足跡圖像分類需要專業(yè)人士才能實現(xiàn)的問題。

圖神經網絡可用來處理數(shù)據(jù)類型關系圖。Garcia等[13]針對小樣本學習設計出圖卷積網絡，其中支持集中所有樣本都和查詢集建立一定的關系，每個輸入節(jié)點都由嵌入網絡提取后的卷積特征和給定的標簽信息表示，通過圖網絡的聚合功能更新節(jié)點特征來傳播標簽信息。Kim等[14]針對圖網絡中邊的特殊性，基于樣本類內相似性和類間相異性提出了邊緣標簽圖神經網絡(EGNN)，通過節(jié)點和邊的交替更新得到邊的預測結果。Yang等[15]通過建立樣本的分布級表示，構成分布傳播圖網絡(DPGN)，同時建立圖上的樣本級關系和分布級關系，在雙圖循環(huán)更新中將帶標簽信息的樣本傳播到不帶標簽的樣本，得到邊的預測結果。

單樣本學習和多樣本學習是通用的兩種學習范式，都可以對哪個標簽可以描述實例做出回答，但是都不能對每個標簽的實例描述程度有多大做出回答[16]。標簽分布學習最早由Geng[17]提出，目的是找到一種可以表示每個標簽描述實例相對重要性的算法。深度標簽分布學習將每幅圖像標簽轉換為離散標簽分布，并利用深度卷積將預測的標簽分布和基準真值標簽分布之間散度最小化，以進行學習標簽分布[18]。基于面部的情緒分布學習利用了可以在一定程度上解決‘如何描述情感’糊性的標簽分布學習法，并且提出了局部利用標簽相關性的分布學習法[19]。條件概率神經網絡框架輸入是樣本和標簽，輸出是一個隱層的標簽分布[20]。文獻[15]根據(jù)標簽分布學習規(guī)則[17]，首次在圖神經網絡中提出分布級表示，以樣本在每類占據(jù)的重要程度，將一個樣本的分布級關系建模到其他樣本，通過設計的雙圖網絡交替更新來建立樣本相似度和樣本分布的關聯(lián)，實現(xiàn)了樣本卷積特征向量和分布關系的混合。

本研究根據(jù)標簽分布和標簽one-hot向量權值和為1的特殊性，提出了一種融合分布圖結構。采用小樣本訓練策略在一定程度上克服了觸覺壓力足跡中樣本數(shù)量的問題。首先利用嵌入網絡提取樣本的卷積特征，通過范數(shù)化和正則化得到樣本相關性矩陣。其次利用標簽one-hot向量來構建類間相關性矩陣。最后利用卷積核將樣本相關性矩陣和類間相關性矩陣進行融合，并且用標簽分布的準則生成分布圖的節(jié)點特征。樣本相關性矩陣和標簽相關性矩陣分別包含了樣本間和類別間的相關性信息，依據(jù)標簽分布準則在分布模塊中將樣本相關性矩陣和標簽相關性矩陣進行融合重分配，提升了樣本在網絡中的初始表達能力，同時提升了樣本分布關系的區(qū)分度，從而更好地在標記樣本和未標記樣本之間建立關聯(lián)。本研究提出的方法，在觸覺壓力足跡數(shù)據(jù)集上5-way1-shot和5-way5-shot任務中獲得了較好的分類準確率。

1 算法

1.1 問題定義

小樣本分類任務的目的是在每個類提供較少樣本時訓練分類器。每個小樣本分類任務(T)都包含一個輸入標簽對的支持集(S)和一個未標記標簽對的查詢集(Q)。假設訓練集一共有C類，隨機抽取N類，并從N類中任意抽取K個不同樣本，則稱該問題為N-wayK-shot。更具體地講，在元學習每輪訓練中，N-wayK-shot問題的訓練和測試任務都如下：T=S∪Q，其中S={(x1，y1)，(x2，y2)，…，(xN×K，yN×K)}，Q={(xN×K+1，yN×K+1)，(xN×K+2，yN×K+2)，…，(xN×K+q，yN×K+q)}。q是查詢樣本的數(shù)量，而xi和yi?{C1，C2，…，Cn}=CT?C，其中C是訓練集或測試集中所有類的集合。在訓練階段，提供標簽給支持集和查詢集進行訓練。在測試階段時，給出測試數(shù)據(jù)Dtest，目的是訓練出一個較好的分類器，該分類器能夠在S?Dtest時，用少量的支持樣本將查詢樣本Q?Dtest映射到正確的標簽上，實現(xiàn)準確分類。其中，訓練集和測試集的標簽空間是互斥的，即Ctrain∩Ctest=?。

1.2 融合分布圖網絡框架

本研究提出了基于小樣本學習的融合分布圖網絡框架(Fusion Distribution Graph Network，F(xiàn)DGN)，如圖1所示。該框架包括融合模塊和分布模塊，融合模塊用于構建樣本相關性矩陣和類間相關性矩陣，分布模塊用于重構特征分布信息。

圖1 FDGN的5-way1-shot總體框架Fig.1 5-way1-shot framework of FDGN

1.2.1 初始化設置

對于FDGN的每一個任務T，令G=(V，E)來構建一個全連接圖，其中V是節(jié)點的集合，可以表示成V：={vi}i=1，2，…，A，E是邊特征的集合，可以表示成E：={Eij}i， j=1，2，…，A，i和j表示樣本編號，A是每次任務T的樣本總數(shù)，也就是A=N·K+Q(Q是查詢集)，圖網絡中圖的構建示意圖如圖2所示。本研究預測的不是節(jié)點信息，而是邊信息，因此提供的基準真值標簽也不再是標簽，而是真值邊標簽，即

(1)

其中yi和yj表示樣本標簽。

圖2 2-way2-shot圖模型Fig.2 A graph model in 2-way2-shot

在點圖P和分布圖D中，圖的初始邊特征e0采用基準真值邊特征進行初始化，即

(2)

(3)

其中x、femb、Wemb分別代表任務樣本數(shù)、嵌入網絡和嵌入網絡參數(shù)集。

1.2.2 相關性矩陣融合模塊

本研究通過類間和樣本間的相關性進行特征信息融合，以構造更具有相關性的特征信息。其中樣本間矩陣MX和類間相關性矩陣ML，分別為：

MX=softmax(XXT)

(4)

ML=softmax(LLT)

(5)

MF=Conv1*1(MX‖ML)

(6)

(7)

(8)

其中，Conv代表卷積塊，β取值范圍為[0，1]。

1.2.3 特征重分布模塊

點圖中建立了樣本間關系，而分布模塊中特征向量描述樣本在每類中分配的相對重要程度。本研究依據(jù)標簽分布學習規(guī)則將一個樣本的分布級別關系建模到所有其他樣本，并且每個特征向量對所有樣本的分布程度總和為1。

(9)

圖3 分布模塊的具體設置Fig.3 Detailed setting of distribution module

其中，‖代表串聯(lián)操作，φd代表分布模塊網絡。所有卷積塊都有批一化操作和LeakyReLU激活函數(shù)，為了緩解過擬合，在卷積塊4和卷積塊5中引入了Dropout層。

1.3 目標函數(shù)和損失函數(shù)

(10)

根據(jù)雙圖網絡，損失函數(shù)則同時包含點圖和分布圖損失以獲得更好的收斂效果，即

(11)

(12)

(13)

其中，LCE是交叉熵損失，yi是樣本i的基準真值標簽。

1.4 前向更新模塊

前向更新模塊采用雙圖結構實現(xiàn)更新，具體過程如下所示。

1.點圖邊特征更新：

2.分布圖節(jié)點特征更新：

3.分布圖邊特征更新：

4.點圖邊特征更新：

2 實驗及分析

本研究先在Mini-Imagenet和Tiered-Imagenet小樣本數(shù)據(jù)集上驗證算法的有效性。然后，針對觸覺壓力足跡集的特點對網絡參數(shù)進行微調，驗證了FDGN在足跡分類的有效性；同時探討了超參數(shù)β對觸覺壓力足跡數(shù)據(jù)集實驗結果的影響。

2.1 Mini-Imagenet和Tiered-Imagenet實驗

2.1.1 數(shù)據(jù)集

Mini-ImageNet數(shù)據(jù)集[21]總共有100類，是ILSVRC- 12的子集[22]，例如打印機、藏獒、指示牌、陶瓷碗等。每個類有600張圖像，均為84×84的RGB圖像。本研究按照64、16、20類分別用于訓練、驗證和測試[23]。

Tiered-ImageNet數(shù)據(jù)集[24]與Mini-Imagenet數(shù)據(jù)集[21]類似，是ILSVRC- 12的子集[22]，總共有608類，其中每個類別都屬于從Imagenet高層節(jié)點中抽取的34個高層類別中的一個。每個較高級別的類別包括10到20個類，分為20個類(351個子類)6個驗證集(97個子類)和8個測試集(160個子類)類別。每個類的平均圖像數(shù)量為 1 281 張，見表1。

表1 Mini-Imagenet和Tiered-Imagenet數(shù)據(jù)集具體設置Table 1 Detailed settings of Mini-Imagenet and Tiered-Imagenet datasets

2.1.2 實驗結果與分析

本研究在數(shù)據(jù)處理方面按照文獻[25- 26]提到的基本設置，如圖像亮度對比度調整、圖像中心隨機裁剪和水平翻轉。5-way1-shot在每輪的批數(shù)設為25。所有實驗中全部采用Adam優(yōu)化器，初始學習率設置為10-3，并且每17 000輪學習率降低0.1個百分點，權重衰減率設置為10-5，總迭代次數(shù)為10萬次。本文結果采用每1 000輪的平均準確率表示。

為驗證本研究方法的優(yōu)越性，進行了關系網絡(RN)[27]等6個基于ConvNet嵌入網絡的小樣本學習算法，以及DPGN[15]等4個基于ResNet12嵌入網絡的圖網絡小樣本學習算法下的5-way1-shot任務進行比較。其中ConvNet主要由4個Conv-BN-REU模塊組成，最后兩個模塊還包含Droput層以緩解過擬合[28]。ResNet12與文獻[29]中描述的相同，主要有4個塊，其中有一個用于ResNet12的殘留塊。所有嵌入網絡的最后卷積特征由全局平均池化處理，然后是具有批歸一化的全連接層[30]，以獲得128維特征嵌入。

如表2所示，嵌入網絡采用ConvNet時，本研究提出的算法分別與TPN[31]、ProtoNet[32]、RN[27]、MAML[33]、EGNN[14]、DPGN[15]進行比較，其中傳統(tǒng)小樣本算法TPN[31]在Mini-Imagenet和Tiered-Imagenet 數(shù)據(jù)集下5-way1-shot任務的準確率分別是55.51%和59.91%，而本研究提出的算法的準確率分別為71.44%和70.40%，準確率有了大幅度的提升。基于圖網絡的小樣學習算法DPGN[15]在Mini-Imagenet和Tiered-Imagenet數(shù)據(jù)集下5-way1-shot任務的準確率分別是66.01%和69.43%，本研究基于分布融合的圖網絡使得準確率分別提升了5.43和0.97個百分點。

表2 基于ConvNet嵌入模塊的算法分類準確率Table 2 Classification accuracy of embedded module based on ConvNet

嵌入網絡采用ResNet12，將本研究提出的算法分別與Shot-Free[34]、Meta-Transfer[35]、MetaOptNET[36]、DPGN[15]進行比較，結果見表3。其中本研究在Mini-Imagenet和Tiered-Imagenet數(shù)據(jù)集下5-way1-shot任務的準確率分別是71.71%和74.34%，較傳統(tǒng)小樣本算法MetaOptNET[36]的準確率分別提升了9.07和8.53個百分點，同時較基于圖網絡小樣學習算法DPGN[15]的準確率分別提升了3.94和1.89個百分點。因此本研究提出的算法在不同嵌入網絡中都達到了較好的實驗結果。

表3 基于ResNet12嵌入模塊的算法分類準確率Table 3 Classification accuracy of embedded module based on ResNet12

表4中任務方式采用5-way1-shot，討論了不同層數(shù)下圖卷積聚合鄰域信息能力對實驗結果的影響，其中l(wèi)代表圖卷積的層數(shù)。實驗表明，當層數(shù)較淺時，經過的點圖和分布圖的交替更新次數(shù)不能很好地將標簽信息從帶標簽的樣本傳播到未帶標簽的樣本中，并且在更新時因層數(shù)較淺導致節(jié)點聚合鄰域信息時不能準確記住重要且獨特的信息。而當層數(shù)較深時，會不可避免地遭遇圖網絡的過平滑問題[37]，從而使節(jié)點過度混合鄰域信息，造成信息冗余，導致性能下降。因此在本實驗中l(wèi)為6時得到了最好結果。

表4 不同網絡層數(shù)的分類準確率Table 4 Classification accuracy of different network layers

2.2 觸覺壓力足跡實驗

2.2.1 數(shù)據(jù)集

觸覺壓力足跡數(shù)據(jù)集依托公安部物證鑒定中心和安徽大學共建的足跡感知與分析實驗室采集構建。該數(shù)據(jù)集包含137位正常成年人足跡數(shù)據(jù)，每位對象左、右足分別站立在壓力采集板上采集10次，其中每個對象有左、右足各10張足跡圖像。由于少數(shù)人站姿不規(guī)范，10張圖像中少數(shù)存在傾斜和缺失情況，如圖4所示。由于數(shù)據(jù)采集過程中會因硬件的原因產生噪聲，如數(shù)據(jù)線、電阻元器件等硬件，所以數(shù)據(jù)均經過手動處理噪聲且經過標準化處理。

(a)右足

(b)左足

(c)傾斜右足

(d)殘缺左足圖4 觸覺壓力足跡數(shù)據(jù)Fig.4 Tactile pressure footprint data

本研究中觸覺壓力足跡數(shù)據(jù)集分為3個觸覺壓力足跡數(shù)據(jù)子集，分別為左右足數(shù)據(jù)集(Foot_all)、左足數(shù)據(jù)集(Foot_left)、右足數(shù)據(jù)集(Foot_right)，數(shù)據(jù)集的具體構建見表5。

表5 觸覺壓力足跡數(shù)據(jù)集具體信息Table 5 Detailed information of pressure footprint of tactile pressure footprint data set

2.2.2 實驗結果與分析

5-way1-shot和5-way5-shot實驗過程中，本研究的訓練集、驗證集、測試集均以137人的數(shù)據(jù)集按照117：10：10的比例進行劃分，所有觸覺壓力足跡圖像的尺寸大小均改成84×84，并用傳統(tǒng)的數(shù)據(jù)增強方法[25- 26]，如圖像的水平翻轉、圖像中心隨機裁剪和圖像亮度對比度調整。本研究在基于觸覺壓力足跡數(shù)據(jù)集上的實驗網絡層數(shù)l選擇為6。

為驗證本研究提出的算法在觸覺壓力足跡數(shù)據(jù)上的有效性，分別在ConvNet和ResNet12為嵌入網絡的小樣本學習算法中進行比較。如表6所示，在嵌入網絡采用ConvNet時，本研究提出的算法在3個觸覺壓力足跡數(shù)據(jù)子集上基于5-way1-shot和5-way5-shot任務下都取得了不錯的效果。在Foot_all數(shù)據(jù)集的5-way1-shot任務中，本研究的準確率是88.87%，較傳統(tǒng)小樣本算法RN[27]和基于圖網絡的小樣本算法DPGN[15]分別提升了12.04和1.92個百分點。在Foot_left數(shù)據(jù)集5-way1-shot任務中，本研究的準確率是83.91%，較傳統(tǒng)小樣本算法RN[27]和基于圖網絡的小樣本算法DPGN[15]分別提升了13.76和0.89個百分點。在Foot_all數(shù)據(jù)集的5-way5-shot任務中，本研究的準確率是97.79%，較RN[27]和DPGN[15]分別提升了3.30和0.94個百分點。

在嵌入網絡采用ResNet12時，本文算法同樣也取得了較好的結果。在Foot_all數(shù)據(jù)集的5-way1-shot任務中，較傳統(tǒng)小樣本算法RN[27]和基于圖網絡的小樣本算法DPGN[15]分別提升了7.00和2.17個百分點。在Foot_left數(shù)據(jù)集的5-way1-shot任務中，較傳統(tǒng)小樣本算法H-Protonet[38]和基于圖網絡的小樣本算法DPGN[15]分別提升了7.29和2.03個百分點。在Foot_all數(shù)據(jù)集的5-way5-shot任務中，本研究的準確率是98.66%，較H-Protonet[38]和DPGN[15]分別提升了8.34和0.41個百分點。在Foot_right數(shù)據(jù)集的5-way1-shot和5-way5-shot任務中更是分別達到了90.45%和98.96%。

表6 基于5-wayN-shot任務在觸覺壓力足跡數(shù)據(jù)集上的準確率Table 6 Accuracy of 5-wayN-shot task on tactile footprint pressure data set

由表6可知，測試Foot_left數(shù)據(jù)集的準確率低于Foot_all數(shù)據(jù)集。分析數(shù)據(jù)集得知，F(xiàn)oot_left數(shù)據(jù)集的采集會被儀器靈敏度和被采對象動作不規(guī)范等因素干擾，導致Foot_left數(shù)據(jù)集中存在部分殘缺圖片(如圖4(d)所示)，對網絡提取重要且獨特的壓力特征造成了一定的干擾，使得準確率下降。不過，本研究提出的方法與其他模型比較，仍取得了不錯的實驗結果。

由表2、表3和表6可知，F(xiàn)DGN不僅在小樣本公共數(shù)據(jù)集上表現(xiàn)優(yōu)越，而且在由足跡感知與分析實驗室采集的觸覺壓力足跡數(shù)據(jù)集上也得到不錯的效果。由此說明本研究所提出的改進對于分類能夠具有一定提升。并且多個數(shù)據(jù)集的結果顯示本研究所提出的模型相較與原模型結果都有提升，進一步說明本研究提出的模型具有一定的可適用性和魯棒性。

2.3 消融實驗

如圖5所示，不同的β值對實驗結果存在一定的影響。當取值稍小時，使得初始標簽one-shot向量趨于0，對計算自注意模塊的權重系數(shù)產生一定的干擾，同化了分布模塊的權重分配。當β取值較大時，自注意模塊中初始表達特征比重過大，在分布模塊中一定程度上弱化了相關性矩陣信息，導致卷積特征表達能力下降，影響樣本特征在被分配時的重要程度。因此本文中β取0.5。

圖5 基于5-way1-shot上不同β的準確率Fig.5 Accuracy of 5-way1-shot task on different β

本文的分布圖節(jié)點特征vD經過重新設計取得了不錯的實驗結果。對于本文提出的融合相關性矩陣和分布模塊對構建vD的影響，實驗結果表明，加入樣本相關性矩陣和類間相關性矩陣后實驗分類準確率分別達到了68.41%和68.84%，較初始模型DPGN算法[15]分別提升了0.64和1.07個百分點，這說明由正則范數(shù)化生成的相關性矩陣擁有更好的卷積特征表達能力。分布模塊中未用融合相關性矩陣時準確率是68.57%，較DPGN提升了0.80個百分點，當考慮到融合相關性矩陣時準確率提升至69.41%。從以上分析可知，融合相關性矩陣和分布模塊對模型準確度有一定的提升。

3 結語

本研究在重構分布圖節(jié)點特征上提出了一個基于小樣本學習的融合分布圖網絡，即首先通過融合相關矩陣獲得卷積特征信息，然后由自注意模塊來豐富特征信息，最后經分布模塊按照標簽學習準則重分配分布圖的節(jié)點特征，網絡在更新時明確地結合了樣本級和分布級的關系。大量的實驗表明，本研究提出的方法在小樣本學習公共數(shù)據(jù)集上獲得了不錯的結果，基于5-way1-shot的實驗結果在Mini-Imagenet、Tiered-Imagenet數(shù)據(jù)集上分別達到71.71%和74.34%。同時在3個觸覺壓力足跡數(shù)據(jù)集上獲得了較好的分類準確率，其中在觸覺壓力左右足數(shù)據(jù)集上5-way1-shot和5-way5-shot的實驗結果分別達到88.87%和98.66%，在觸覺壓力右足數(shù)據(jù)集上的5-way1-shot和5-way5-shot實驗分別達到90.45%和98.96%。在接下來的研究中，應進一步挖掘觸覺壓力足跡的類間差異和類內差異，并嘗試圖神經網絡中邊特征的不同聚合方式，以提高足跡特征表達能力，從而獲得性能更好的網絡模型。