朱小鵬，云利軍,2+，張春節(jié)，王 坤

(1.云南師范大學(xué) 信息學(xué)院，云南 昆明 650500；2.云南師范大學(xué) 云南省光電信息技術(shù) 重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500)

0 引 言

人體步態(tài)與虹膜、指紋一樣，作為每個(gè)人獨(dú)一無(wú)二的生物特征[1]，在近些年越來(lái)越受到了關(guān)注。目前在國(guó)內(nèi)對(duì)步態(tài)識(shí)別也展開(kāi)了相應(yīng)的研究，但是相比于虹膜識(shí)別、指紋識(shí)別以及人臉識(shí)別，步態(tài)識(shí)別的相關(guān)研究要略顯滯后。在虹膜識(shí)別、指紋識(shí)別、人臉識(shí)別等領(lǐng)域中，深度學(xué)習(xí)等技術(shù)也早已成為了較為常用的技術(shù)手段，而步態(tài)識(shí)別的常用技術(shù)手段依舊停留在使用傳統(tǒng)的圖像處理技術(shù)。相比于虹膜、指紋、人臉等這些生物特征，步態(tài)有著其獨(dú)一無(wú)二的特點(diǎn)與優(yōu)勢(shì)[2]。首先步態(tài)數(shù)據(jù)的采集可以是非接觸式的方式，采集距離可達(dá)50 m；其次，步態(tài)數(shù)據(jù)的采集是一種非配合式的采集方法[3]，在采集的過(guò)程中并不需要被采集人的完全配合，正是由于這些優(yōu)點(diǎn)，所以步態(tài)識(shí)別在被用在刑事偵查領(lǐng)域時(shí)能夠保證一線公安干警的人身安全。

從目前的步態(tài)識(shí)別研究中來(lái)看，絕大多數(shù)還是著重于在可見(jiàn)光下對(duì)人體步態(tài)數(shù)據(jù)的收集與識(shí)別進(jìn)行研究，而在紅外圖像中的步態(tài)識(shí)別的研究工作則較為少見(jiàn)。由于紅外攝像儀與可見(jiàn)光攝像機(jī)的成像原理的不同[4]，造成了紅外攝像儀的成像質(zhì)量遠(yuǎn)不如可見(jiàn)光相機(jī)的成像質(zhì)量，但在一些特殊場(chǎng)景和天氣中，例如黑夜、大雨、大雪、濃霧等極端天氣下和可視條件差等情況下，紅外攝像儀仍然能夠保持正常工作[5]。基于紅外攝像儀的這一特性也極大程度上擴(kuò)展了步態(tài)識(shí)別應(yīng)用的條件與領(lǐng)域。

1 相關(guān)工作

1.1 現(xiàn)有研究

目前，在步態(tài)識(shí)別領(lǐng)域的相關(guān)研究仍然不多，特別是利用深度學(xué)習(xí)等方法進(jìn)行步態(tài)識(shí)別任務(wù)的研究則更為少見(jiàn)?，F(xiàn)有的步態(tài)識(shí)別方法中較為典型的就是步態(tài)能量圖(gait engery image，GEI)[6]。通常我們把每個(gè)人的行走過(guò)程定義成若干個(gè)步態(tài)周期組成的集合，而步態(tài)能量圖的主要思想就是把人體行走中的某個(gè)步態(tài)周期中的所有輪廓按照某種規(guī)則相疊加在一起，以此構(gòu)成該識(shí)別目標(biāo)的步態(tài)模板，再以此模板去完成相關(guān)的識(shí)別任務(wù)。該方法的優(yōu)點(diǎn)在于能夠最大程度減少步態(tài)輪廓圖中的噪點(diǎn)干擾，同時(shí)也能夠較為有效融合步態(tài)輪廓圖中的空間信息。但是步態(tài)能量圖所存在的不足也較為明顯，當(dāng)采集步態(tài)信息的時(shí)候，如果兩個(gè)攝像頭所拍攝的角度有較大差別，那么生成的步態(tài)能量圖勢(shì)必會(huì)因?yàn)榻嵌仍虍a(chǎn)生差別。

例如，Maryam Babaeea等[7]提出了一種基于深度學(xué)習(xí)的方法來(lái)將不完整的步態(tài)周期轉(zhuǎn)換為相應(yīng)的完整步態(tài)能量圖(GEI)。更確切地說(shuō)，這種轉(zhuǎn)變是通過(guò)訓(xùn)練幾個(gè)獨(dú)立的自動(dòng)編碼器完成的，然后把它們組合成一個(gè)統(tǒng)一的模型。

另外，施沫寒、王志海提出了區(qū)別于單純依靠圖像本身進(jìn)行步態(tài)識(shí)別的方法，將步態(tài)周期中的時(shí)間序列作為一個(gè)重要的因素，并使用基于Shapelet的時(shí)間序列分類方法進(jìn)行步態(tài)識(shí)別[8]，但是該方法與深度學(xué)習(xí)相關(guān)方法相比時(shí)僅在數(shù)據(jù)量較小時(shí)準(zhǔn)確率較好。Hanqing Chao等[9]提出了一種步態(tài)識(shí)別的觀念，即把步態(tài)周期中的每幀圖片視為單個(gè)步態(tài)特征，再使用深度神經(jīng)網(wǎng)絡(luò)對(duì)這些單幀步態(tài)圖片進(jìn)行特征學(xué)習(xí)，在使用CASIA-B的數(shù)據(jù)集進(jìn)行訓(xùn)練后，最終得出的準(zhǔn)確率能夠維持在95%左右。

Zifeng Wu等[10]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)的步態(tài)識(shí)別方法網(wǎng)絡(luò)。通過(guò)一小組標(biāo)記的多視角人類行走視頻，可以訓(xùn)練深度網(wǎng)絡(luò)以此來(lái)對(duì)人物身份進(jìn)行識(shí)別。

除了以上這些方法，還有相關(guān)研究人員使用非計(jì)算機(jī)視覺(jué)領(lǐng)域的方法完成了對(duì)人體步態(tài)的識(shí)別。當(dāng)視角發(fā)生改變后帶來(lái)的是識(shí)別準(zhǔn)確率的下降，為了解決此問(wèn)題，Xianye Ben等[11]提出了張量分析法，該方法通過(guò)通用的張量表示框架實(shí)現(xiàn)了跨視點(diǎn)步態(tài)識(shí)別任務(wù)。

1.2 研究準(zhǔn)備

在研究中，本文采用了CASIA-C步態(tài)數(shù)據(jù)庫(kù)[12]，該數(shù)據(jù)庫(kù)是由中國(guó)科學(xué)院自動(dòng)化研究所生物識(shí)別與安全技術(shù)研究中心所提供的。CASIA-C步態(tài)數(shù)據(jù)庫(kù)為紅外圖像數(shù)據(jù)庫(kù)，其中包含了153人在正常行走、快走、慢走、攜帶包走等4種條件下的步態(tài)圖片。CASIA-C數(shù)據(jù)庫(kù)為本文的研究提供了基礎(chǔ)條件，但由于紅外攝像機(jī)本身的成像原理，造成了CASIA在成像后具有圖像缺失等缺點(diǎn)，因此本文利用傳統(tǒng)圖像處理技術(shù)對(duì)該數(shù)據(jù)集進(jìn)行了前期預(yù)處理。

在識(shí)別模型方面，采用了本團(tuán)隊(duì)前期的研究成果，在可見(jiàn)光的步態(tài)識(shí)別研究中所搭建的LFN模型[13]，并在LFN的基礎(chǔ)上做了進(jìn)一步的改進(jìn)與優(yōu)化，使得模型的識(shí)別準(zhǔn)確率和穩(wěn)定性都有了較大的改善，改進(jìn)后的模型將其稱為L(zhǎng)FN V2。

2 數(shù)據(jù)集與模型

本文實(shí)驗(yàn)采用的數(shù)據(jù)集為生物識(shí)別與安全技術(shù)研究中心所提供的紅外步態(tài)數(shù)據(jù)庫(kù)，但由于紅外圖像本身存在對(duì)比度低、噪點(diǎn)多、邊緣模糊、視覺(jué)特性差[14-16]等特點(diǎn)，為了抑制紅外圖像所產(chǎn)生的不屬于步態(tài)的額外信息，本文在該數(shù)據(jù)集的基礎(chǔ)上做了相應(yīng)的預(yù)處理，以滿足本文的實(shí)驗(yàn)要求。在前期使用本團(tuán)隊(duì)搭建的用于可見(jiàn)光的步態(tài)識(shí)別模型得到了良好的效果，但由于紅外圖像存在輪廓缺失的情況，從而造成了步態(tài)輪廓特征的丟失，使該模型應(yīng)用在紅外圖像時(shí)出現(xiàn)了不穩(wěn)定的情況?；诖?，本文對(duì)模型做了進(jìn)一步改進(jìn)。

2.1 數(shù)據(jù)預(yù)處理

由于CASIA-C的原始數(shù)據(jù)是把用紅外攝像儀所拍攝的行人步行視頻分解成單幀圖像后，再進(jìn)行了簡(jiǎn)單的前背景分離，這就造成了在CASIA-C數(shù)據(jù)集中每張圖片的行人步態(tài)輪廓并不在統(tǒng)一的位置，當(dāng)直接把這樣的源數(shù)據(jù)用作模型輸入時(shí)，就會(huì)導(dǎo)致模型在進(jìn)行步態(tài)特征學(xué)習(xí)時(shí)，會(huì)學(xué)習(xí)到很多不必要的行人輪廓所處的空間信息，這與我們僅僅只想關(guān)注行人本身的步態(tài)特征相違背。

基于此，本文將對(duì)CASIA-C數(shù)據(jù)庫(kù)做出相應(yīng)的預(yù)處理，其主要思想就是需要獲得每個(gè)行人步態(tài)輪廓的外接矩形，且需要保證外接矩形在每張步態(tài)輪廓的方向一致，以免增加額外的空間信息。因?yàn)镃ASIA-C數(shù)據(jù)集已經(jīng)將所有圖像轉(zhuǎn)為了二值化圖像，所以本文在確定步態(tài)輪廓外接矩形的坐標(biāo)點(diǎn)時(shí)，選擇了直接對(duì)圖形的像素點(diǎn)進(jìn)行逐個(gè)掃描。由于圖像本身是二值化圖像，所以當(dāng)像素值由0變換為255后，就可以判定其屬于步態(tài)輪廓范圍，當(dāng)把整幅圖像掃描結(jié)束后，將圖像中屬于步態(tài)輪廓的列像素最小的坐標(biāo)記為ymin， 將列像素中最大的坐標(biāo)記為ymax， 同時(shí)在圖像的行像素中將最小的坐標(biāo)記為xmin， 最大的行像素的坐標(biāo)記為xmax。 由這4個(gè)點(diǎn)可以得出行人步態(tài)輪廓外接矩形的頂角坐標(biāo)為 (xmin,ymin)， (xmax,ymin)， (xmin,ymax)， (xmax,ymax)， 隨后根據(jù)這4個(gè)頂角坐標(biāo)就可以確定出行人步態(tài)輪廓的外接矩形，并按照這個(gè)外接輪廓截取出符合預(yù)期的數(shù)據(jù)。按照以上方法進(jìn)行預(yù)處理后的效果如圖1所示。

圖1 輪廓裁剪后的對(duì)比

從圖1中可以看出，經(jīng)過(guò)預(yù)處理后能夠很好丟棄掉不屬于步態(tài)本身的空間特征信息，從而使模型只專注于對(duì)步態(tài)特征的提取。同時(shí)為了防止后期數(shù)據(jù)歸一化時(shí)的人體輪廓的形變，我們按照裁剪出來(lái)的人體外接矩形的長(zhǎng)或?qū)挼某叽?，在周?chē)畛渖虾谏袼?，使其變?yōu)橐粡堈叫蔚膱D片，以利于后期對(duì)數(shù)據(jù)歸一化時(shí)調(diào)整圖像大小不會(huì)發(fā)生形變。

對(duì)數(shù)據(jù)預(yù)處理的第二步就是抹除掉人體輪廓中不屬于步態(tài)信息的特征，例如因紅外熱成像本身的原因，使其會(huì)記錄下行人在被采集圖像時(shí)所穿衣服的大致輪廓，或者是由于行人佩戴了飾品，從而造成圖像局部的空洞。這些因素都會(huì)在無(wú)意間增加與步態(tài)信息無(wú)關(guān)的特征，從而使得模型學(xué)習(xí)了這些無(wú)關(guān)特征后降低模型的泛化能力。

由于非步態(tài)信息的特征在圖像中的表現(xiàn)大多數(shù)為黑色的空洞，所以在這部分的預(yù)處理中本文使用了圖像形態(tài)學(xué)中的閉運(yùn)算，其數(shù)學(xué)表達(dá)式為

img=close(source,element)= erode(dilate(source,element)

(1)

式中：img表示經(jīng)過(guò)閉運(yùn)算得出的最后圖像，close表示閉運(yùn)算，erode表示圖形學(xué)中的腐蝕[17]，dilate代表圖形學(xué)中的膨脹[18]，source表示原圖像，而element則表示在進(jìn)行閉運(yùn)算時(shí)所需核的尺寸。將閉運(yùn)算展開(kāi)之后，可以發(fā)現(xiàn)閉運(yùn)算的本質(zhì)就是對(duì)圖像中人體輪廓部分先進(jìn)行膨脹以彌合圖像本身的黑洞，再進(jìn)行腐蝕把由于膨脹而變形的人體輪廓恢復(fù)到接近原始的狀態(tài)。經(jīng)過(guò)閉運(yùn)算之后的效果如圖2所示。

圖2 經(jīng)過(guò)閉運(yùn)算后步態(tài)對(duì)比

圖2中，圖2(a)、圖2(c)為沒(méi)有經(jīng)過(guò)閉運(yùn)算的步態(tài)圖像，圖2(b)、圖2(d)是經(jīng)過(guò)閉運(yùn)算處理后的步態(tài)輪廓圖像。從圖中可明顯看出，經(jīng)過(guò)閉運(yùn)算處理之后的圖像把穿著的衣服、所背包裹以及發(fā)際線帶來(lái)的輪廓很好彌合了起來(lái)，使得模型著重于對(duì)步態(tài)輪廓的學(xué)習(xí)而不需要對(duì)這部分的特征進(jìn)行學(xué)習(xí)，從而提高了模型的泛化能力。

2.2 模型改進(jìn)

在對(duì)步態(tài)識(shí)別的前期研究中，對(duì)可見(jiàn)光條件下的人體步態(tài)識(shí)別進(jìn)行了深入研究，搭建了自己的步態(tài)識(shí)別模型并取得了較好的效果。由于紅外圖像的成像質(zhì)量要遠(yuǎn)低于普通可見(jiàn)光圖像，而且由于紅外圖像本身的特性給步態(tài)識(shí)別帶來(lái)了許多額外的信息，使得該模型并沒(méi)有在紅外圖像的步態(tài)識(shí)別中表現(xiàn)出良好的性能?；诖?，本文對(duì)該模型進(jìn)行了改進(jìn)，以使其能夠在紅外圖像的步態(tài)識(shí)別中表現(xiàn)出良好的識(shí)別效果。具體方法包括以下3個(gè)步驟：

(1)保證LFN的大框架不發(fā)生改變，只在局部進(jìn)行微調(diào)，以保證模型依然具有對(duì)步態(tài)特征進(jìn)行學(xué)習(xí)的能力?？紤]到紅外圖像的步態(tài)輪廓圖具有更多的噪點(diǎn)，導(dǎo)致了圖像具有更多的冗余信息，我們?cè)谠O(shè)計(jì)模型的時(shí)候希望獲得更大范圍的步態(tài)特征信息。因此本文在LFN的基礎(chǔ)上取消了全連接層之前的最后一個(gè)池化層，以此來(lái)獲得更大范圍的步態(tài)輪廓信息。同時(shí)，為了抑制圖像訓(xùn)練中的過(guò)擬合現(xiàn)象，把LFN中Dropout隨機(jī)隱藏神經(jīng)元[19]的個(gè)數(shù)由50%增大到了60%，從而使得模型獲得更強(qiáng)的魯棒性。

(2)把所有的卷積層后連接的激活函數(shù)由線性整流函數(shù)(ReLU)[20]改成了Maxou[21]激活函數(shù)，這主要是因?yàn)樵谑褂肦eLU時(shí)如果權(quán)重為負(fù)數(shù)的時(shí)候梯度將會(huì)被置為0，從而導(dǎo)致這個(gè)神經(jīng)元有很大的概率將不會(huì)再被任何數(shù)據(jù)所激活。Maxout的工作原理類似于池化層，根據(jù)模型設(shè)計(jì)者自己設(shè)置的超參k，然后輸出k個(gè)參數(shù)中的最大值。由于Maxout具有非常強(qiáng)的擬合能力，所以能夠擬合出任意激活函數(shù)的形態(tài)，同時(shí)也能夠很好彌補(bǔ)ReLU中神經(jīng)元死亡的缺點(diǎn)。

(3)對(duì)LFN的優(yōu)化器以及學(xué)習(xí)率的調(diào)整策略進(jìn)行了更改。在LFN中使用的優(yōu)化器為Adam[22]，其優(yōu)點(diǎn)在于擁有較高的計(jì)算效率同時(shí)對(duì)內(nèi)存需求較少，并且能夠自動(dòng)進(jìn)行學(xué)習(xí)率的調(diào)整，但在實(shí)驗(yàn)驗(yàn)證過(guò)程中Adam的表現(xiàn)并不穩(wěn)定。所以，本文在優(yōu)化器方面將其改為隨機(jī)梯度下降(SGD)的優(yōu)化算法，并將初始學(xué)習(xí)率設(shè)置為0.05，同時(shí)每經(jīng)過(guò)30輪訓(xùn)練后把學(xué)習(xí)率迭代更改為上次學(xué)習(xí)率的0.8倍。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，發(fā)現(xiàn)改進(jìn)之后的LFN V2相比于LFN，在識(shí)別能力和正確率的穩(wěn)定性方面都有了較大進(jìn)步。改進(jìn)后的LFN V2結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)后的模型結(jié)構(gòu)

與LFN一樣，改進(jìn)后的LFN V2對(duì)輸入層經(jīng)過(guò)一次卷積、激活和池化操作之后，再對(duì)得到的圖片張量數(shù)據(jù)賦值為3份，然后用所分得的3份數(shù)據(jù)各自進(jìn)行相應(yīng)的計(jì)算。上面兩層分別進(jìn)行卷積、激活、池化等操作后，再把所得的結(jié)果相加，而最下面的一層中池化層核的尺寸要大于上面兩層的池化層，其目的是為了能夠得到與上兩層不同的感受野特征，以此達(dá)到更好的效果。

該模型的各部分參數(shù)見(jiàn)表1。

表1 模型結(jié)構(gòu)參數(shù)

由表1可以看出卷積層Conv4中所輸出的張量維度為256，但我們將Maxout的超參設(shè)置為2，卷積層Conv4的維度被Maxout合并為了128，因此該部分?jǐn)?shù)據(jù)能夠正常與上部分?jǐn)?shù)據(jù)相合并。

2.3 損失函數(shù)

損失函數(shù)的主要作用是衡量當(dāng)前模型中樣本的預(yù)測(cè)值與真實(shí)值之間的大小，本文中依然選擇了對(duì)數(shù)似然函數(shù)作為損失函數(shù)，相比與其它的損失函數(shù)，在多分類任務(wù)中對(duì)數(shù)似然函數(shù)要更加簡(jiǎn)潔，同時(shí)在樣本量足夠多的條件下其收斂性更好。其公式如下所示

(2)

3 實(shí)驗(yàn)設(shè)置與結(jié)果

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集設(shè)置

首先，分別從未經(jīng)預(yù)處理和經(jīng)過(guò)預(yù)處理過(guò)后的數(shù)據(jù)集中隨機(jī)挑選出實(shí)驗(yàn)中將要用到的數(shù)據(jù)，其中行人樣本為153個(gè)，在每個(gè)樣本中隨機(jī)挑選出250張圖片，這些圖片中分別包含了正常步行、快步行走、慢速行走以及攜帶包行走，由于250張圖片是隨機(jī)挑選的，所以這4類照片的數(shù)量并不嚴(yán)格相等。同時(shí)，再次將每個(gè)樣本中的250張圖片隨機(jī)按照80%與20%的比例分為實(shí)驗(yàn)的訓(xùn)練集與測(cè)試集，所得訓(xùn)練集共30 600張圖片，測(cè)試集7650張圖片。

3.1.2 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)設(shè)置中，以同樣的數(shù)據(jù)集作為前提，分別以LFN模型和改進(jìn)之后的LFN V2模型進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)主要分為在同一模型條件下，使用未經(jīng)處理的數(shù)據(jù)集和經(jīng)過(guò)處理的數(shù)據(jù)集進(jìn)行效果對(duì)比，ReLU與Maxout效果對(duì)比，取消全連接層之前的池化層與未取消全連接層之前的池化層對(duì)比，使用Adam優(yōu)化器與SGD優(yōu)化器對(duì)比。在比較過(guò)程中，主要以測(cè)試集的識(shí)別準(zhǔn)確率為對(duì)比目標(biāo)。在加載實(shí)驗(yàn)數(shù)據(jù)集的時(shí)候我們會(huì)統(tǒng)一將步態(tài)輪廓圖壓縮成64*64分辨率大小的圖片，然后再輸入模型內(nèi)進(jìn)行訓(xùn)練。

此外，由于缺少相關(guān)紅外圖像方面的步態(tài)識(shí)別研究，本文將選取非紅外圖像的步態(tài)研究成果作為本次實(shí)驗(yàn)的橫向?qū)Ρ取?/p>

3.2 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中，首先使用了原版LFN模型進(jìn)行了實(shí)驗(yàn)，并將其實(shí)驗(yàn)結(jié)果作為對(duì)照組。實(shí)驗(yàn)所用數(shù)據(jù)集如前文介紹，共用153名非重復(fù)的行人步態(tài)輪廓，其中每個(gè)行人包含200張的訓(xùn)練集圖片與50張測(cè)試集圖片，訓(xùn)練集與測(cè)試集的圖片相互之間不重復(fù)。

本文使用LFN模型進(jìn)行了1000輪的實(shí)驗(yàn)，根據(jù)其實(shí)驗(yàn)結(jié)果中的數(shù)據(jù)繪制了準(zhǔn)確率的曲線圖，如圖4所示。

圖4 原LFN模型的識(shí)別準(zhǔn)確率

圖4中，位于上方的虛線為模型訓(xùn)練集的正確率，在經(jīng)過(guò)1000輪訓(xùn)練后，模型在訓(xùn)練集上的準(zhǔn)確率能夠達(dá)到99.5%以上。圖中下方的實(shí)線是模型對(duì)測(cè)試集的正確率，由曲線可以看出在經(jīng)過(guò)800輪的訓(xùn)練之后，模型對(duì)測(cè)試集的正確率開(kāi)始逐漸收斂到97.5%至98.0%之間，其準(zhǔn)確率最高可以達(dá)到98.24%，但也可以明顯看出，測(cè)試集的準(zhǔn)確率波動(dòng)幅度較大。

在ReLU與Maxout的對(duì)比中，我們首先采用了未經(jīng)輪廓裁剪與形態(tài)學(xué)處理的原始圖像數(shù)據(jù)，在該次實(shí)驗(yàn)中，我們僅僅對(duì)ReLU與Maxout進(jìn)行了更換，模型結(jié)構(gòu)與超參設(shè)置均保持不變，使用ReLU進(jìn)行了1000次迭代訓(xùn)練后，根據(jù)訓(xùn)練結(jié)果繪制了準(zhǔn)確率曲線，如圖5所示。

圖5 激活函數(shù)為ReLU的識(shí)別準(zhǔn)確率

由圖5可以看出，使用ReLU激活函數(shù)的模型，在測(cè)試集的準(zhǔn)確率基本上維持在98%以下。

隨后在同樣的超參設(shè)置下，我們將ReLU改為Maxout后同樣進(jìn)行了1000次的迭代訓(xùn)練，訓(xùn)練結(jié)果如圖6所示。

圖6 激活函數(shù)為Maxout的識(shí)別準(zhǔn)確率

由圖6可以看出將ReLU改為Maxout后經(jīng)過(guò)1000次的迭代訓(xùn)練，在測(cè)試集上的識(shí)別準(zhǔn)確率收斂到98.5%左右，由以上兩次對(duì)比實(shí)驗(yàn)結(jié)果可以看出在未經(jīng)預(yù)處理的數(shù)據(jù)集上，使用Maxout的效果要優(yōu)于ReLU的效果。

隨后我們對(duì)取消全連接層前面的池化層的合理性同樣進(jìn)行了實(shí)驗(yàn)驗(yàn)證，此外在本輪實(shí)驗(yàn)中我們所采用的數(shù)據(jù)集是經(jīng)過(guò)上文方法預(yù)處理后的數(shù)據(jù)集。同樣地，我們依舊在保證模型基本結(jié)構(gòu)與超參的設(shè)置不變的前提下，將有最后一個(gè)池化層和沒(méi)有最后一個(gè)池化層進(jìn)行了實(shí)驗(yàn)對(duì)比。如圖7所示為保留最后一個(gè)池化層后經(jīng)過(guò)1000次迭代訓(xùn)練的準(zhǔn)確率曲線。

圖7 保留最后一個(gè)池化層的識(shí)別準(zhǔn)確率

從圖7我們可以明顯的看出，在保留了最后一個(gè)池化層后模型在測(cè)試集上的準(zhǔn)確率是明顯低于98%，且在前100輪訓(xùn)練中準(zhǔn)確率的波動(dòng)性較大。

隨后我們將經(jīng)過(guò)預(yù)處理之后的數(shù)據(jù)輸入到經(jīng)過(guò)上文所述的改進(jìn)模型后，在同樣的超參設(shè)置下進(jìn)行了1000輪訓(xùn)練，訓(xùn)練后的準(zhǔn)確率如圖8所示。

圖8 LFN V2模型的識(shí)別準(zhǔn)確率

由圖8可以看出在改進(jìn)后的LFN V2模型中，在測(cè)試集上的正確率平均約在98.8%左右，由上述實(shí)驗(yàn)對(duì)比結(jié)果可以看出，雖然在前期由于模型的各種參數(shù)與學(xué)習(xí)率大小還未達(dá)到較為理想的區(qū)間，導(dǎo)致在訓(xùn)練的前200輪中，測(cè)試集的正確率具有較大的波動(dòng)，但是隨著模型對(duì)參數(shù)的學(xué)習(xí)，以及模型學(xué)習(xí)率按照預(yù)先設(shè)置的條件進(jìn)行改變后，測(cè)試集的準(zhǔn)確率波動(dòng)有了明顯的改善，經(jīng)過(guò)400輪訓(xùn)練后模型在測(cè)試集的準(zhǔn)確率收斂到了98.8%左右，并在隨后的訓(xùn)練中一直保持在這個(gè)范圍，沒(méi)有出現(xiàn)明顯的波動(dòng)。經(jīng)過(guò)改進(jìn)后的LFN V2模型無(wú)論是在模型的穩(wěn)定性以及識(shí)別正確率上都優(yōu)于未經(jīng)改進(jìn)或改進(jìn)不完全的模型。

由于紅外步態(tài)識(shí)別方面的相關(guān)研究較少，所以使用了較為相近的基于可見(jiàn)光的步態(tài)識(shí)別的相關(guān)研究成果與本文的模型作橫向?qū)Ρ?，?duì)比結(jié)果見(jiàn)表2。

表2 步態(tài)識(shí)別相關(guān)研究對(duì)比

表2中所選橫向?qū)Ρ鹊哪Ｐ投际菓?yīng)用在可見(jiàn)光下的步態(tài)識(shí)別，并且在其研究過(guò)程中將人體的步態(tài)按照攝像機(jī)不同的角度進(jìn)行了區(qū)分，且所選用的數(shù)據(jù)皆是其研究數(shù)據(jù)中最好的結(jié)果。雖然從數(shù)據(jù)上看，本文的模型識(shí)別結(jié)果要好于其它模型，但是由于應(yīng)用領(lǐng)域不同及其研究的是不同角度上對(duì)步態(tài)識(shí)別的結(jié)果，所以其在單一角度上的圖片總量要少于本文數(shù)據(jù)集，因而僅從數(shù)據(jù)上比較并不嚴(yán)謹(jǐn)，在此列出的原因僅是為了與本文給出的模型效果進(jìn)行簡(jiǎn)單的橫向?qū)Ρ取?/p>

4 結(jié)束語(yǔ)

本文首先對(duì)紅外圖像數(shù)據(jù)集進(jìn)行了預(yù)處理，剔除了數(shù)據(jù)集中包含的冗余空間信息，并使用圖像形態(tài)學(xué)中的閉運(yùn)算，先使圖像進(jìn)行一定程度的膨脹，再對(duì)其進(jìn)行相應(yīng)的腐蝕操作，以此彌合圖像中冗余的紋理信息。此外提出了一種基于深度學(xué)習(xí)的紅外人體步態(tài)識(shí)別方法。其模型主要來(lái)源于本團(tuán)隊(duì)早期為可見(jiàn)光人體步態(tài)識(shí)別設(shè)計(jì)的一個(gè)深度學(xué)習(xí)模型，并在此模型的基礎(chǔ)上進(jìn)行了改進(jìn)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，改進(jìn)之后的模型對(duì)紅外圖像中的人體步態(tài)識(shí)別的準(zhǔn)確率和穩(wěn)定性有了較大的提升。