高毅，何淼

（1.痕跡檢驗(yàn)鑒定技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室（中國刑事警察學(xué)院），遼寧 沈陽 110035；2.中國科學(xué)院 沈陽自動(dòng)化研究所，遼寧 沈陽 110016）

1 引言

步態(tài)識別方法作為一種遠(yuǎn)距離非配合式身份驗(yàn)證方法，在安防、刑偵、社會(huì)保障等領(lǐng)域有重要應(yīng)用。相比于人臉識別方案［1］，步態(tài)識別方法對于目標(biāo)距離和分辨率的要求更低，也不需要拍攝清晰正面圖像。相比于重識別方案［2］，步態(tài)識別方法對于目標(biāo)服裝配飾的改變魯棒性更高，更適合于非配合式場景以及長時(shí)段目標(biāo)搜索。對步態(tài)識別算法的研究在近幾年來受到了越來越多的重視，成為新一代身份認(rèn)證的關(guān)鍵技術(shù)［3］。

目前，主流的步態(tài)識別方法主要依賴目標(biāo)輪廓序列作為輸入，對目標(biāo)身份進(jìn)行識別，此外在近幾年的研究中也有部分利用密集3D 表示作為輸入的步態(tài)識別研究成果［4］，但是由于其對3D 姿態(tài)恢復(fù)［5］的依賴，落地應(yīng)用相對較為困難。目前基于輪廓序列的步態(tài)識別算法主要分為三類：第一類方法將步態(tài)序列圖像轉(zhuǎn)化成單張步態(tài)能量圖進(jìn)行處理，后續(xù)的處理手段與人臉識別、行人重識別等方法類似。Chen［6］等人利用潛在條件隨機(jī)場配合支持向量機(jī)對步態(tài)能量圖進(jìn)行處理，取得了較好的識別效果。Wu［7］等人在步態(tài)能量圖的基礎(chǔ)上利用卷積神經(jīng)網(wǎng)絡(luò)在不同場景下對多種預(yù)處理方法和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了分析，得到的跨角度步態(tài)識別模型相比之前的方法精度有了較大提高。He［8］等人利用生成對抗網(wǎng)絡(luò)學(xué)習(xí)不同視角下步態(tài)能量圖的特征表示，對步態(tài)能量圖進(jìn)行了更一般化的表達(dá)。此類方法的網(wǎng)絡(luò)結(jié)構(gòu)較為簡單，計(jì)算量更加可控，然而此類方法忽視了步態(tài)圖像重要的時(shí)間信息，同時(shí)步態(tài)能量圖的合成也使得部分空間細(xì)節(jié)信息變得模糊，使得方法對于相似目標(biāo)的識別較為困難，普遍難以達(dá)到較高精度；第二類方法依靠時(shí)序卷積方法對步態(tài)輪廓連續(xù)序列圖像進(jìn)行處理，強(qiáng)調(diào)前后若干幀之間步態(tài)特征的連續(xù)變化，由于較高的短時(shí)識別效果得到了較好的發(fā)展。Liao［9］等人利用卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)的姿態(tài)關(guān)鍵點(diǎn)，并借助LSTM 分析其時(shí)序特征進(jìn)行目標(biāo)的識別。Wolf［10］等人將長步態(tài)序列切割成多個(gè)長度相等的短序列，并利用多視角的3D 卷積操作分析短序列內(nèi)目標(biāo)的步態(tài)輪廓信息。Wu［11］等人提出了針對步態(tài)識別問題的時(shí)空圖注意網(wǎng)絡(luò)，利用網(wǎng)絡(luò)的一個(gè)分支對空間區(qū)域進(jìn)行加權(quán)篩選，并構(gòu)建了時(shí)空圖描述時(shí)序的變化關(guān)系。然而此類方法最容易受到步頻、采樣頻率等因素的干擾，在實(shí)際應(yīng)用場景下性能會(huì)大幅降低；第三類方法以2019 年提出的Gaitset 方法［12］為代表，是一類不依賴步態(tài)圖像順序約束的步態(tài)識別算法，具有高度的靈活性，對于實(shí)際場景的應(yīng)用具有明顯優(yōu)勢。然而此類方法依然有其局限性。首先，和其他兩類步態(tài)識別方法一樣，Gaitset 方法的輸入依賴于行人目標(biāo)的輪廓提取，而無論使用實(shí)例分割方法還是使用運(yùn)動(dòng)目標(biāo)檢測方法，在行人密集遮擋較為嚴(yán)重的情況下所提取到的輪廓總會(huì)受到遮擋的影響，通過運(yùn)動(dòng)目標(biāo)檢測配合行人檢測方法獲取的輪廓會(huì)有冗余的響應(yīng)，而通過實(shí)例分割方法獲取到的目標(biāo)輪廓會(huì)由于遮擋產(chǎn)生殘缺，這種冗余和殘缺會(huì)大幅降低步態(tài)識別方法的精度。第二，Gaitset 方法在對于背包、穿大衣等干擾場景的魯棒性依然有待提高。最后，Gaitset 方法所提取的特征高達(dá)15 872維，對于實(shí)際使用中大范圍長時(shí)段的步態(tài)匹配問題，如此高維的特征很難進(jìn)行大規(guī)?？焖倨ヅ渌阉?。

針對上述問題，本文對Gaitset 方法進(jìn)行了改進(jìn)。一方面，在Gaitset 基礎(chǔ)上添加基于隨機(jī)二值膨脹的數(shù)據(jù)增廣方法，在普通視角下模擬背包、穿大衣和密集遮擋場景的步態(tài)圖像，提升算法對上述干擾的魯棒性。另一方面，通過對HPP（Horizontal Pyramid Pooling）結(jié)構(gòu)收益來源的分析，對HPP 結(jié)構(gòu)進(jìn)行退化，同時(shí)引入CoordConv方法增強(qiáng)特征的絕對位置辨識能力，既可以降低密集遮擋下其他目標(biāo)的局部特征對于步態(tài)識別問題的干擾，又可以藉此簡化Gaitset 方法后端結(jié)構(gòu)，大幅減少模型的參數(shù)量和計(jì)算量。我們利用仿真得到的密集遮擋場景數(shù)據(jù)集、Casia-B 數(shù)據(jù)集以及Casia-C 數(shù)據(jù)集［13］對所提算法進(jìn)行了測試。實(shí)驗(yàn)結(jié)果表明，所提改進(jìn)對于Gaitset 方法均有明顯效果提升。

2 密集遮擋條件下步態(tài)識別算法設(shè)計(jì)

2.1 密集遮擋場景步態(tài)輪廓仿真數(shù)據(jù)集

為對步態(tài)識別算法的抗密集遮擋魯棒性進(jìn)行定量分析，首先建立密集遮擋場景步態(tài)輪廓仿真數(shù)據(jù)集。本數(shù)據(jù)集依靠Casia-B 數(shù)據(jù)集的測試部分進(jìn)行仿真生成，待測目標(biāo)ID 為75～124，干擾目標(biāo)ID 為1～124。

對于每張待測目標(biāo)圖像，隨機(jī)選擇來自隨機(jī)其他ID 目標(biāo)隨機(jī)角度的隨機(jī)輪廓圖像作為干擾進(jìn)行輪廓的合并。干擾圖像的中心坐標(biāo)范圍為［0∶w，-h/2∶3h/2］，其中w和h為原始目標(biāo)包絡(luò)框的寬和高。生成數(shù)據(jù)如圖1 所示?？梢钥吹?，得到的混合圖像能夠很好地模擬密集遮擋人群中目標(biāo)輪廓的提取結(jié)果。當(dāng)遮擋目標(biāo)中心縱坐標(biāo)處于［-h/2∶h/2］時(shí)，輪廓形態(tài)與目標(biāo)身后存在其他行人干擾下監(jiān)控視角的目標(biāo)提取結(jié)果相似。當(dāng)遮擋目標(biāo)中心縱坐標(biāo)處于［h/2∶3h/2］時(shí)，輪廓形態(tài)與目標(biāo)被前方其他行人遮擋狀態(tài)下監(jiān)控視角的目標(biāo)提取結(jié)果相似。最后，通過原始包絡(luò)框位置重新將受干擾后的目標(biāo)輪廓提取出來，得到待測圖像。最終生成的數(shù)據(jù)集格式與Casia-B 數(shù)據(jù)集相同。

圖1 密集遮擋場景步態(tài)輪廓仿真數(shù)據(jù)集Fig.1 Simulation dataset of gait contour in dense occlusion scene

2.2 基于隨機(jī)二值膨脹的數(shù)據(jù)增廣方法

數(shù)據(jù)增廣方法在行人重識別領(lǐng)域大放異彩，REA 方法［14］在行人重識別領(lǐng)域?qū)λ惴敯粜缘奶嵘哂忻黠@效果。然而步態(tài)識別領(lǐng)域與行人重識別領(lǐng)域在圖像特征中有著明顯的不同。首先，步態(tài)識別方法的輸入通常并非RGB 三通道的彩色圖像，而是二值化的黑白目標(biāo)輪廓掩膜。其次，步態(tài)識別領(lǐng)域遮擋干擾通常來源于能夠運(yùn)動(dòng)的其他行人的輪廓，而非大量的固定遮擋物，形態(tài)普遍較為圓潤。上述兩個(gè)問題使得REA方法在步態(tài)識別領(lǐng)域不再有與行人重識別領(lǐng)域同等的明顯效果。

為了提升算法對于部分遮擋、服裝變化、配飾干擾等問題的魯棒性，在步態(tài)識別領(lǐng)域提出基于隨機(jī)二值膨脹的數(shù)據(jù)增廣方法。首先隨機(jī)選取圖像的部分區(qū)域，將其提取出來，復(fù)制映射到與圖像相同大小的全零矩陣中。得到待膨脹區(qū)域圖像。進(jìn)而利用隨機(jī)大小和形狀的膨脹核對待膨脹區(qū)域圖像進(jìn)行二值膨脹操作。膨脹核形狀包括橢圓形和矩形。形狀包括（3，3），（5，5），（7，7），（9，9），（3，7），（7，3）。膨脹后的圖像和原圖進(jìn)行邏輯或運(yùn)算操作，得到最終輸出的增廣圖像。增廣結(jié)果如圖2 所示?？梢钥闯?，通過隨機(jī)二值膨脹后的目標(biāo)增廣輪廓與目標(biāo)受遮擋、服裝變化以及配飾干擾情況下的干擾輪廓有一定的相似性。

圖2 基于隨機(jī)二值膨脹的數(shù)據(jù)增廣效果Fig.2 Output of the data augmentation method based on random binary expansion

2.3 多尺度水平金字塔和CoordConv

在原始的GaitSet 算法中，后半部分的多尺度水平金字塔的參數(shù)量占了較大比重，降低了算法的魯棒性。與此同時(shí)，多尺度水平金字塔輸出的特征向量長達(dá)15 872 維，降低了后續(xù)匹配識別的速度，限制了算法的應(yīng)用規(guī)模。

針對這一問題，首先對多尺度水平金字塔的精度收益進(jìn)行分析。網(wǎng)絡(luò)中存在兩部分多尺水平度金字塔結(jié)構(gòu)，一部分來自序列池化通道，即網(wǎng)絡(luò)的主通道，另一部分來自多級全局通道，即網(wǎng)絡(luò)的輔通道。與此同時(shí)，兩個(gè)通道各自存在5個(gè)不同的尺度，即1，1/2，1/4，1/8，1/16，計(jì)算量和輸出特征維度所占比例為1∶2∶4∶8∶16，依次遞增。為驗(yàn)證HPP 結(jié)構(gòu)不同尺度特征對于精度的貢獻(xiàn)，對GaitSet 模型進(jìn)行了裁剪測試，對比了0～180°之間11 個(gè)不同角度下的步態(tài)識別精度。本文中所有數(shù)據(jù)均為跨視角場景下的精度結(jié)果，即Probe 準(zhǔn)確率是排除相同Gallery 視角的平均值。具體結(jié)果如表1 所示。

可以看出，HPP 結(jié)構(gòu)中隨著特征尺度的不斷豐富，普通場景下獲取的精度收益在不斷降低，而干擾場景下的精度依然有大幅提升，此外計(jì)算量和參數(shù)量的增加速度卻在不斷提高。在這種情況下對HPP 結(jié)構(gòu)進(jìn)行優(yōu)化和裁剪就變得極為重要。

直觀地，通過裁剪小尺度特征圖可以快速降低HPP 模塊的參數(shù)量和輸出特征向量的長度。然而表1 中的實(shí)驗(yàn)表明通過這種直觀而簡單粗暴的剪裁，得到的簡化網(wǎng)絡(luò)的特征精度同樣會(huì)有大幅衰退。這種衰退主要有兩方面原因：一方面，水平特征金字塔可以從側(cè)面為特征提供一定的絕對位置信息，這種信息對于不同位置特征的區(qū)分以及前景遮擋和后景干擾具有重要意義。不同于處理自然圖像時(shí)網(wǎng)絡(luò)可以通過較大的感受野感受卷積補(bǔ)零的區(qū)域來獲取大致的絕對位置信息，步態(tài)輪廓圖像具有二值特性，網(wǎng)絡(luò)無法分辨補(bǔ)零區(qū)域和原始背景區(qū)域，這種絕對位置信息也就無法通過卷積網(wǎng)絡(luò)直接獲取；另一方面，縮短特征向量的長度也會(huì)同時(shí)降低特征的部分表達(dá)能力。雖然過長的特征向量中存在大量冗余信息，但是不進(jìn)行信息的冗余部分分析和篩選直接進(jìn)行裁剪依然會(huì)裁掉大量關(guān)鍵的特征表達(dá)，降低最終的輸出精度。

HPP 結(jié)構(gòu)最早來源于行人重識別任務(wù)，其主要價(jià)值在于應(yīng)對行人部件水平位置不對齊的問題，利用更少水平切割數(shù)的大金字塔尺度特征生成空間上相對松弛的距離表達(dá)。然而這種表達(dá)對于步態(tài)應(yīng)用并不完全適用。重識別問題主要研究目標(biāo)在不同相機(jī)拍攝場景下的匹配問題，通常由于攝像機(jī)的拍攝角度、拍攝距離以及拍攝時(shí)間的不同，目標(biāo)在圖像中的形態(tài)變化嚴(yán)重，很難嚴(yán)格對齊，但是攝像機(jī)提供的圖像內(nèi)目標(biāo)紋理特征較為豐富，可以較好支撐非對齊狀態(tài)下的特征提取和匹配，因此為了圖像處理系統(tǒng)的簡潔性，通常不在樣本輸入之前進(jìn)行嚴(yán)格對齊，研究主要集中于對圖像特征提取能力和魯棒性的提升，需要算法對于圖像間目標(biāo)部件的不對齊問題進(jìn)行適應(yīng)。區(qū)別于重識別問題中圖像豐富的紋理特征信息，步態(tài)序列中的單張圖像內(nèi)只有目標(biāo)輪廓，信息遠(yuǎn)少于行人重識別任務(wù)，因此更加強(qiáng)調(diào)時(shí)序圖像上手臂、腿部等重要部件的空間位姿對比，空間位置信息的時(shí)序變化對其十分關(guān)鍵，因此松弛的空間表達(dá)對于步態(tài)特征的學(xué)習(xí)是不利的。與此同時(shí)，由于每個(gè)樣本都是序列圖像而非單張圖像，其內(nèi)部本就存在對齊問題，通常在輸入網(wǎng)絡(luò)之前就需要將對齊問題提前解決，否則對于網(wǎng)絡(luò)性能的影響是災(zāi)難性的，這一點(diǎn)在基于步態(tài)能量圖的方法中體現(xiàn)尤其明顯。而在空間嚴(yán)格對齊的情況下，HPP 結(jié)構(gòu)并不會(huì)提升特征表達(dá)的信息量。如圖3 所示，每個(gè)低分辨率的金字塔特征都能用更高分辨率的特征進(jìn)行簡單的平均或極值運(yùn)算得到。最后，不同于標(biāo)準(zhǔn)SPP 空間金字塔，HPP 用在網(wǎng)絡(luò)的最后端，對于多尺度特征的提取也并無明顯作用。

表1 不同尺度的水平金字塔池化精度收益分析Tab.1 Analysis of accuracy benefit of horizontal pyramid pooling with different scales

圖3 空間嚴(yán)格對齊的情況下HPP 結(jié)構(gòu)的特征表達(dá)冗余問題Fig.3 Feature representation redundancy of HPP structure in case of strict spatial alignment

除了上述任務(wù)不適應(yīng)問題之外，正如引言中提到的，HPP 結(jié)構(gòu)引入了大量的參數(shù)量，并顯著提升了目標(biāo)特征表達(dá)的長度，一方面提升了算法在大規(guī)模檢索時(shí)的計(jì)算代價(jià)，另一方面也給信息量本就比較少的步態(tài)特征提取問題帶來了更多的過擬合風(fēng)險(xiǎn)。

因此本文并未對HPP 結(jié)構(gòu)進(jìn)行裁剪，而是直接對HPP 結(jié)構(gòu)進(jìn)行了改進(jìn)，提出了退化水平金字塔結(jié)構(gòu)，即DHPP（Degenerated Horizontal Pyramid Pooling）。如圖4 所示，首先退化HPP 結(jié)構(gòu)，僅保留116 的特征尺度，此時(shí)HPP 結(jié)構(gòu)退化為PCB 結(jié)構(gòu)。在此基礎(chǔ)上，對平均池化和最大池化兩個(gè)分支分別加入注意力結(jié)構(gòu)對每個(gè)子區(qū)域選取的特征進(jìn)行自適應(yīng)加權(quán)和篩選。最終兩個(gè)通道的輸出特征按位相加得到最終的輸出特征。與上述分析一致，在步態(tài)輪廓識別任務(wù)中我們發(fā)現(xiàn)退化后網(wǎng)絡(luò)的參數(shù)量有了大幅降低，性能卻反而有了小幅度提升。在針對遮擋問題的測試中，我們發(fā)現(xiàn)DHPP 去除了HPP 對于特征的空間位置表達(dá)相對松弛的問題，性能提升幅度更加明顯。

圖4 DHPP 結(jié)構(gòu)示意Fig.4 DHPP structure

與此同時(shí)為進(jìn)一步解決絕對位置信息難以獲取的問題，在網(wǎng)絡(luò)中引入了CoordConv 方法［15］。CoordConv 方法可以在網(wǎng)絡(luò)中提供絕對位置信息作為特征補(bǔ)充，彌補(bǔ)卷積結(jié)構(gòu)由于平移不變性造成的絕對位置信息缺失問題。這種問題在二值圖像處理中表現(xiàn)得尤其嚴(yán)重。通過這種方法，可以一定程度降低剪裁多尺度水平金字塔對精度的影響。

2.4 網(wǎng)絡(luò)訓(xùn)練方式和整體結(jié)構(gòu)

在上述分析的基礎(chǔ)上，對加入DHPP 結(jié)構(gòu)的GaitSet 網(wǎng)絡(luò)繼續(xù)進(jìn)行分析，判斷退化后的小尺度水平分割特征在主通道和輔通道（即MGP）上的性能區(qū)別以及對于最終精度的影響。為了直觀對比兩個(gè)通道之間的區(qū)別，再此沒有使用所提的數(shù)據(jù)增廣方法以及引入的CoordConv 方法。分別利用原始數(shù)據(jù)集和密集遮擋數(shù)據(jù)集進(jìn)行分析，判斷兩路通道對于不同場景下的適應(yīng)性。具體結(jié)果如表2 所示。

表2 主/輔通道在不同場景下的識別精度Tab.2 Gait recognition accuracy of main and auxiliary channels in different scenarios

可以看出，網(wǎng)絡(luò)輔通道的普通模式和背包模式特征表達(dá)能力通常略高于主通道，而主通道對于穿大衣這一嚴(yán)重干擾場景的魯棒性明顯更強(qiáng)。針對本文的主要應(yīng)用，在密集遮擋場景下，主通道的整體價(jià)值要高于輔通道，對輔通道進(jìn)行裁剪可以進(jìn)一步降低網(wǎng)絡(luò)的計(jì)算量以及參數(shù)量，并大幅降低特征向量的輸出長度。

然而，如果在訓(xùn)練階段就進(jìn)行裁剪，僅通過主通道進(jìn)行訓(xùn)練，變相減少了代價(jià)與特征之間的跳躍連接結(jié)構(gòu)，減弱了信息的傳播通路，降低了訓(xùn)練過程中的特征監(jiān)督，會(huì)使得網(wǎng)絡(luò)訓(xùn)練變得困難。如表3 所示，在訓(xùn)練階段減除輔通道對于主通道的特征學(xué)習(xí)具有明顯影響，而減除主通道代價(jià)分支之后輔通道的特征學(xué)習(xí)效果同樣明顯降低。

針對信息的傳播通路的問題，我們使用訓(xùn)練聯(lián)合-測試剪裁方法。訓(xùn)練過程中保留主通道的代價(jià)梯度信息方向傳播，測試過程中將主通道完全剪裁，以降低算法的計(jì)算復(fù)雜度。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖5 所示。網(wǎng)絡(luò)使用三元損失函數(shù)進(jìn)行訓(xùn)練，其中margin 設(shè)置為0.2，具體如公式（1）所示。每批樣本選擇8 個(gè)ID 的16 個(gè)隨機(jī)角度的步態(tài)輪廓圖像集進(jìn)行訓(xùn)練。每個(gè)圖像集隨機(jī)提取30 張亂序圖像，圖像分辨率為64×64。學(xué)習(xí)率設(shè)置為0.000 1。

表3 多通道訓(xùn)練與單通道訓(xùn)練的性能差異Tab.3 Performance difference between multi-channel training and single channel training

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集與評價(jià)指標(biāo)

為了定量評價(jià)算法的步態(tài)識別精度，本課題使用Casia-B 數(shù)據(jù)集中的ID 為1～74 的步態(tài)輪廓進(jìn)行訓(xùn)練，并使用2.1 中生成的密集遮擋場景步態(tài)輪廓仿真數(shù)據(jù)集、Casia-B 數(shù)據(jù)集中ID 為75～124 的步態(tài)輪廓進(jìn)行測試。此外為了進(jìn)一步驗(yàn)證所提方法對目標(biāo)不同行走速度的適應(yīng)性，我們在Casia-C 數(shù)據(jù)集中也進(jìn)行了訓(xùn)練、測試和對比。

圖5 網(wǎng)絡(luò)整體結(jié)構(gòu)圖Fig.5 Overall network structure

Casia-B 數(shù)據(jù)集是目前應(yīng)用最廣泛的步態(tài)識別數(shù)據(jù)集之一。數(shù)據(jù)集內(nèi)同標(biāo)注了124 個(gè)不同行人目標(biāo)在正常、背包、穿大衣3 種形態(tài)下的步態(tài)序列圖像。其中每個(gè)行人目標(biāo)標(biāo)注了正常狀態(tài)下拍攝六組圖像序列，背包狀態(tài)下兩組圖像序列，穿大衣狀態(tài)下兩組圖像序列。每組圖像序列中均提取了0～180°中共計(jì)11 個(gè)角度圖像的步態(tài)輪廓。該數(shù)據(jù)集并沒有明確數(shù)據(jù)中的訓(xùn)練集和測試集范圍，因此我們選擇了目前最通用的方法進(jìn)行數(shù)據(jù)的分割。訓(xùn)練集包括前74 個(gè)行人目標(biāo)的全部數(shù)據(jù)，而測試集使用后50 人的圖像。在測試集中使用普通條件的前4 個(gè)圖像（NM-01-NM-04）作為目標(biāo)參考圖庫序列，使用包括普通條件下后兩個(gè)序列（NM-05，NM-06）、背包條件下的兩個(gè)序列（BG-01，BG-02）以及穿大衣條件下的兩個(gè)序列（CL-01，CL-02）作為待識別序列。Casia-B 數(shù)據(jù)集主要強(qiáng)調(diào)跨視角場景下步態(tài)識別方法的適應(yīng)能力，同時(shí)也考驗(yàn)在目標(biāo)衣著和配飾等表征發(fā)生變化時(shí)步態(tài)識別算法的魯棒性。

密集遮擋仿真數(shù)據(jù)集通過Casia-B 數(shù)據(jù)集進(jìn)行建立。在保持Casia-B 數(shù)據(jù)集原有視角變化和著裝干擾的同時(shí)進(jìn)一步提升了干擾的強(qiáng)度，目標(biāo)除了衣著和配飾的變化之外，還會(huì)受到其他目標(biāo)的遮擋，更有利于分析算法在密集遮擋場景下的魯棒性。

Casia-C 數(shù)據(jù)集是一個(gè)在夜間場景下利用紅外相機(jī)拍攝的大規(guī)模步態(tài)數(shù)據(jù)集。數(shù)據(jù)集中共包含153 人，每個(gè)人在包括正常行走、快速行走、慢速行走、背包行走4 種條件下進(jìn)行步態(tài)采集。在本文的實(shí)驗(yàn)中將前33 人的步態(tài)數(shù)據(jù)作為訓(xùn)練集，后120 人的數(shù)據(jù)作為測試集。在測試集中使用普通條件的前2 個(gè)圖像（fn00，fn01）作為目標(biāo)參考圖庫序列，使用包括普通條件下后2 個(gè)序列（fn02，fn03）、背包條件下的2 個(gè)序列（fb00，fb01）、快走條件下的2 個(gè)序列（fq00，fq01）以及慢走條件下的2 個(gè)序列（fs00，fs01）作為待識別序列。Casia-C 數(shù)據(jù)集多用于測試步態(tài)識別算法對目標(biāo)不同行走速度下行走姿態(tài)變化的魯棒性，同時(shí)也可以進(jìn)一步測試步態(tài)識別算法的全天時(shí)適應(yīng)能力。

3.2 密集遮擋場景步態(tài)輪廓仿真數(shù)據(jù)集測試結(jié)果

本方法主要針對密集遮擋場景下的步態(tài)識別方法進(jìn)行設(shè)計(jì)，首先使用自建的密集遮擋場景步態(tài)輪廓仿真數(shù)據(jù)集對算法性能進(jìn)行測試，以GaitSet 方法作為基線算法，與改進(jìn)算法進(jìn)行比較。具體結(jié)果如表4 所示。

表4 在密集遮擋仿真數(shù)據(jù)集下所提算法與基線算法的性能對比Tab.4 Performance comparison between the proposed algorithm and the baseline algorithm in dense occlusion simulation dataset

可以看出，通過上述改進(jìn)，改進(jìn)后的方法對抗密集遮擋輪廓的魯棒性相比于基線算法有了明顯提高。通過精簡，算法的輸出特征維度有了明顯降低，而在密集遮擋場景下魯棒性仍然高于原始算法。

與此同時(shí)，可以看出服裝和配飾對目標(biāo)的局部遮擋能力越強(qiáng)，對步態(tài)識別方法的挑戰(zhàn)就越大。背包場景下目標(biāo)的兩臂輪廓提取受到了一定的限制，而腿部輪廓變化并不受影響，對步態(tài)識別算法的精度影響相對較小。而穿大衣場景下目標(biāo)膝蓋以上部分的輪廓變化受到了大幅限制，算法僅通過小腿以下區(qū)域和兩臂的輪廓特征變化對目標(biāo)身份進(jìn)行判斷難度較大。本文所提方法在這兩種干擾下性能所受的影響相比于基線算法都有所降低。

3.3 Casia-B 數(shù)據(jù)集測試結(jié)果

為了進(jìn)一步驗(yàn)證算法的性能，在Casia-B 數(shù)據(jù)集上對比了更多近幾年發(fā)表的相關(guān)算法，包括基于步態(tài)能量圖的經(jīng)典方法CNN-3D，CNNLB［7］，基于時(shí)序輪廓的經(jīng)典方法STGAN［11］，近兩年提出的最新方法Bi-Route［16］，ICNet［17］，Two-Path［18］，MBRDNet［19］以及我們的基線工作Gait-Set。具體結(jié)果如表5 所示。

很明顯，本方法在非密集遮擋的理想條件下同樣能夠達(dá)到較高的步態(tài)識別精度，各項(xiàng)改進(jìn)的加入并沒有影響到算法在理想條件的效果。與此同時(shí)，方法對于服飾變化（穿大衣）以及配飾改變（背包）的魯棒性有一定提高。所提算法相比于近幾年提出的其他步態(tài)識別算法，整體精度有了一定提升。

基于步態(tài)能量圖的方法精度相比于其他方法普遍較為落后，主要原因在于時(shí)序信息的丟失降低了方法能夠提取的特征維度。大部分算法分別在36°和144°這2 個(gè)角度達(dá)到性能峰值，而在0°，90°和180°這3 個(gè)角度性能最差。這與不同視角下時(shí)序步態(tài)輪廓展示出的3D 姿態(tài)信息有著密切的關(guān)系。在側(cè)面、正面和背面這三種情況下，步態(tài)輪廓信息表達(dá)出的關(guān)鍵部件空間變化維度會(huì)發(fā)生明顯的降低，因此步態(tài)識別精度會(huì)大幅衰退。同時(shí)，和背面相比，正面輪廓能夠較好表現(xiàn)出行人前腳輪廓的運(yùn)動(dòng)過程，步態(tài)特征辨識度相對更高。

3.4 Casia-C 數(shù)據(jù)集測試結(jié)果

接下來為了更加全面地測試所提算法的性能水平，同時(shí)驗(yàn)證所提方法對于行人在不同行走速度下姿態(tài)變化的魯棒性，在Casia-C 數(shù)據(jù)集上進(jìn)行了算法的性能測試和對比，對比方法包括FBC［20］，OFCD+PcA+LDA［21］以及我們的基線工作GaitSet。具體結(jié)果如表6 所示。

從實(shí)驗(yàn)結(jié)果中可以看出，所提方法對于目標(biāo)行走速度不同帶來的姿態(tài)變化魯棒性較高。與此同時(shí)，在夜間背包場景下也可以看出所提方法相比于基線方法在局部遮擋魯棒性上的優(yōu)勢。

表5 所提算法與其他最新算法在Casia-B 數(shù)據(jù)集上的性能對比Tab.5 Performance comparison of the proposed algorithm and other latest algorithms on Casia-B dataset

表6 所提算法與其他算法在Casia-C 數(shù)據(jù)集上的性能對比Tab.6 Performance comparison of the proposed algorithm and other algorithms on Casia-C dataset

3.5 消融實(shí)驗(yàn)

最后，為了驗(yàn)證提出的各項(xiàng)改進(jìn)取得的效果，我們在兩個(gè)數(shù)據(jù)集上對算法分別進(jìn)行消融實(shí)驗(yàn)。首先在密集遮擋場景步態(tài)輪廓仿真數(shù)據(jù)集上進(jìn)行測試，具體結(jié)果如表7 所示。其中C，R，D，T 分別對應(yīng)引入CoordConv、隨機(jī)膨脹、DHPP和聯(lián)合訓(xùn)練裁剪，Dims 為輸出特征向量長度。

表7 在密集遮擋仿真數(shù)據(jù)集下所提算法的消融實(shí)驗(yàn)結(jié)果Tab.7 Ablation experimental results of the proposed algorithm on dense occlusion simulation dataset

可以看出，通過加入絕對位置信息，提升了步態(tài)局部特征的前后景區(qū)分能力，令特征提取更加集中于目標(biāo)行人輪廓，算法在普通場景和背包場景的性能有了明顯提升。通過加入基于隨機(jī)二值膨脹的數(shù)據(jù)增廣方法，提升了算法整體的抗過擬合能力，對于密集遮擋干擾魯棒性和遷移能力有明顯增強(qiáng)，從精度上看算法在密集遮擋數(shù)據(jù)集中三種場景下的精度均有大幅提升。與此同時(shí)，以上兩項(xiàng)改進(jìn)之間并不存在沖突，可以同時(shí)提升算法的識別精度和魯棒性。最后，為了降低算法輸出特征的維度，提高算法的實(shí)用性，對HPP 部分進(jìn)行了改進(jìn)，通過更加嚴(yán)格的特征空間表達(dá)和自適應(yīng)的特征區(qū)域選取，算法整體精度進(jìn)一步得到了提升，此外進(jìn)一步配合聯(lián)合訓(xùn)練方法對網(wǎng)絡(luò)結(jié)構(gòu)和輸出特征進(jìn)行裁剪，最終網(wǎng)絡(luò)利用約四分之一的特征表達(dá)長度達(dá)到了遠(yuǎn)高于原始算法的精度水平。

進(jìn)一步，我們在Casia-B 數(shù)據(jù)集上同樣進(jìn)行了消融實(shí)驗(yàn)。具體結(jié)果如表8 所示。

可以看出，通過加入CoordConv 提升絕對位置的感知能力，算法在背包場景下對干擾的魯棒性有了明顯的提高。進(jìn)一步加入隨機(jī)二值膨脹的數(shù)據(jù)增廣方法之后，背包場景和穿大衣場景下的魯棒性再次明顯提升。但是這兩種針對干擾問題提出的方法均對無干擾存在的普通場景下的精度帶來了小幅影響。通過對HPP 結(jié)構(gòu)的退化和改進(jìn)，DHPP 結(jié)構(gòu)大幅提升了算法的整體性能，利用僅一半左右的特征表達(dá)長度，不僅補(bǔ)足了之前CoordConv 方法和隨機(jī)二值膨脹方法對普通模式精度的影響，算法對背包場景的魯棒性也有了進(jìn)一步提升。最后對方法進(jìn)行聯(lián)合訓(xùn)練和測試裁剪，精簡了算法的結(jié)構(gòu)，降低了計(jì)算量和參數(shù)量，同時(shí)再次減少了一半的特征表達(dá)長度，算法的精度并未受到嚴(yán)重影響，對于實(shí)際部署更加友好，最終得到的特征表達(dá)能力整體依然高于原始算法。

表8 在Casia-B 數(shù)據(jù)集下所提算法的消融實(shí)驗(yàn)結(jié)果Tab.8 Ablation experimental results of the proposed algorithm on Casia-B dataset

4 結(jié)論

針對實(shí)際應(yīng)用中行人普遍結(jié)伴而行，造成步態(tài)輪廓提取過程中目標(biāo)受到前景或后景的其他行人干擾的問題，本文提出了密集遮擋條件下的步態(tài)識別算法。本方法首先總結(jié)了此前經(jīng)典的GaitSet 方法在實(shí)際應(yīng)用中存在的問題。針對這些問題分別提出了解決思路。一方面通過提出基于隨機(jī)二值膨脹的數(shù)據(jù)增廣方法來提升算法對遮擋、背包、穿大衣等問題的魯棒性；另一方面分析了水平金字塔池化模塊的精度收益來源和局限性，根據(jù)分析結(jié)果對其進(jìn)行改進(jìn)，提出DHPP 結(jié)構(gòu)，并引入CoordConv 方法配合聯(lián)合訓(xùn)練策略來簡化網(wǎng)絡(luò)結(jié)構(gòu)，并在保證算法精度的同時(shí)降低算法輸出特征維度。實(shí)驗(yàn)結(jié)果表明，本方法大幅提升了步態(tài)識別算法針對密集遮擋場景下的魯棒性，常規(guī)場景下算法整體精度相比于近幾年提出的步態(tài)識別算法同樣具有優(yōu)勢。