徐碩，鄭鋒，唐俊*，鮑文霞

1.安徽大學(xué)電子信息工程學(xué)院，合肥 230601；2.南方科技大學(xué)工學(xué)院，深圳 518055

0 引 言

步態(tài)識(shí)別旨在通過(guò)行人行走的模式判斷其身份，具有遠(yuǎn)距離、易采集、不易模仿和偽裝等優(yōu)點(diǎn)(賁晛燁 等，2012)，在視頻監(jiān)控、公共安全等領(lǐng)域有著廣闊的應(yīng)用前景。步態(tài)識(shí)別方法分為基于外觀的方法和基于模型的方法?；谕庥^的方法使用輪廓圖像作為輸入數(shù)據(jù)并從中提取步態(tài)特征。輪廓圖像的優(yōu)點(diǎn)是易于獲取和處理，且去除了背景和人體紋理信息等干擾因素，更專注于步態(tài)?；谀Ｐ偷姆椒ㄏ韧ㄟ^(guò)輸入數(shù)據(jù)對(duì)步態(tài)進(jìn)行建模，如關(guān)節(jié)角度、運(yùn)動(dòng)軌跡和姿態(tài)等，再通過(guò)模型提取步態(tài)特征。

目前，步態(tài)識(shí)別尤其是基于深度學(xué)習(xí)的方法大多采用基于外觀的方法?；谕庥^的方法一般面臨兩個(gè)難點(diǎn)，一是輪廓圖像在不同視角下差異較大；二是輪廓圖像在不同的行走狀態(tài)下差異較大，如攜帶背包、衣物變化等干擾。對(duì)于視角的差異，Yu等人(2019)利用生成對(duì)抗網(wǎng)絡(luò)將各個(gè)視角的輪廓圖像都轉(zhuǎn)換至相同的視角，再提取特征以提高對(duì)視角變化的魯棒性。Wang等人(2019)利用動(dòng)態(tài)視覺(jué)傳感器獲取數(shù)據(jù)并通過(guò)運(yùn)動(dòng)一致性去除噪聲，再使用卷積神經(jīng)網(wǎng)絡(luò)提取步態(tài)特征。Zhang等人(2019a)結(jié)合同步態(tài)和跨步態(tài)兩種網(wǎng)絡(luò)的優(yōu)勢(shì)，設(shè)計(jì)了一種聯(lián)合網(wǎng)絡(luò)提取步態(tài)特征。Ben 等人(2019a，2020)針對(duì)跨視角問(wèn)題提出了一系列步態(tài)識(shí)別算法，如提出一種通用張量表示框架從跨視角步態(tài)張量數(shù)據(jù)中進(jìn)行耦合度量學(xué)習(xí)、提出耦合雙線性判別投影算法以跨視角對(duì)齊步態(tài)圖像以及提出了耦合區(qū)塊對(duì)齊算法。對(duì)于行走狀態(tài)的差異，大多數(shù)方法都不做針對(duì)性處理，僅靠卷積神經(jīng)網(wǎng)絡(luò)自身提取盡可能與行走狀態(tài)無(wú)關(guān)的步態(tài)特征。由于輸入數(shù)據(jù)為輪廓圖像序列，因此時(shí)序特征的融合也是研究的關(guān)注點(diǎn)。Wu等人(2017)利用傳統(tǒng)算法，先將輪廓圖像序列融合為一幅特征模板圖像，再將該模板送入卷積網(wǎng)絡(luò)提取特征，并針對(duì)不同場(chǎng)景設(shè)計(jì)了不同的圖像預(yù)處理方法和網(wǎng)絡(luò)結(jié)構(gòu)，該方法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，僅需要從一幅步態(tài)模板圖像中提取特征。Wolf等人(2016)利用3D卷積網(wǎng)絡(luò)從輪廓圖像序列中提取時(shí)空特征，能夠更充分地融合時(shí)序上的信息，但計(jì)算量較大且3D卷積網(wǎng)絡(luò)對(duì)序列的長(zhǎng)度有限制。Chao等人(2019)設(shè)計(jì)新的卷積網(wǎng)絡(luò)從輪廓圖像序列的每幅圖像中提取空間特征，再通過(guò)時(shí)序池化和特征融合的方法得到時(shí)空步態(tài)特征，該方法網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單且融合效果良好。在此基礎(chǔ)上，Chao等人(2021)提出新的特征融合方法并改進(jìn)訓(xùn)練策略，進(jìn)一步提高算法的識(shí)別準(zhǔn)確率；Zhang等人(2019b)利用自動(dòng)編碼器將序列中的步態(tài)特征解耦為外觀特征和姿態(tài)特征，再用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)融合時(shí)序信息生成步態(tài)特征。

與基于外觀的方法相比，基于模型的方法較少。由于早期方法沒(méi)有建立合適的模型，導(dǎo)致識(shí)別準(zhǔn)確率與基于外觀的方法相比有很大差距。另一方面早期方法構(gòu)建的模型僅適用于嚴(yán)格條件限制下的場(chǎng)景，因此泛化性能較差。隨著姿態(tài)估計(jì)算法的進(jìn)步，可以利用已有的姿態(tài)估計(jì)器獲取較為準(zhǔn)確的姿態(tài)信息，這為基于模型的方法提供了新的思路。Liao等人(2017)利用姿態(tài)估計(jì)方法提取2D姿態(tài)關(guān)鍵點(diǎn)，并使用卷積網(wǎng)絡(luò)提取步態(tài)特征；之后進(jìn)一步使用3D姿態(tài)關(guān)鍵點(diǎn)(Liao等,2020)，提高了算法對(duì)視角場(chǎng)景下的準(zhǔn)確率，同時(shí)結(jié)合人體姿態(tài)先驗(yàn)如上下肢的運(yùn)動(dòng)關(guān)系、運(yùn)動(dòng)軌跡等提取步態(tài)特征。此外，也有部分工作利用深度相機(jī)、雷達(dá)等獲取3D姿態(tài)骨架并從中提取步態(tài)特征(Kastaniotis等，2015；Sadeghzadehyazdi等，2019)。相比之下，雖然這些方法獲取的姿態(tài)信息更加準(zhǔn)確，但需要額外的硬件設(shè)備，不便于實(shí)際應(yīng)用。

綜上所述，基于外觀的方法和基于模型的方法各有優(yōu)缺點(diǎn)?；谕庥^的方法效果較好且步驟簡(jiǎn)單，但易受外界因素干擾，如人體外觀變化、視角變化等，這些因素導(dǎo)致輪廓圖像改變，進(jìn)而影響識(shí)別準(zhǔn)確率；基于模型的方法對(duì)外觀變化更加魯棒，但在建模過(guò)程中丟棄了外觀信息，導(dǎo)致可用信息減少，而且姿態(tài)準(zhǔn)確性受姿態(tài)估計(jì)算法的限制，識(shí)別準(zhǔn)確率與基于外觀的方法仍有一定差距?；诖?，融合外觀與模型兩種方法有助于進(jìn)一步提高步態(tài)識(shí)別的準(zhǔn)確率。目前，與此相似的研究是多模態(tài)特征融合(Vaezi Joze等，2020)，由于外觀和模型兩種方法的網(wǎng)絡(luò)結(jié)構(gòu)和特征維度有較大差異，常見(jiàn)的特征融合方法如特征相加、張量積等并不能直接用于步態(tài)識(shí)別算法。針對(duì)以上問(wèn)題，本文設(shè)計(jì)了一種基于特征融合的步態(tài)識(shí)別算法，使用雙分支網(wǎng)絡(luò)，兩條分支分別用于提取外觀特征和姿態(tài)特征，最后利用特征融合模塊，將兩種特征自適應(yīng)地融合以發(fā)揮兩種特征間的互補(bǔ)性。本文算法的創(chuàng)新之處在于：1)設(shè)計(jì)了一種雙分支卷積神經(jīng)網(wǎng)絡(luò)，利用外觀和姿態(tài)兩種數(shù)據(jù)分別提取外觀特征和姿態(tài)特征，并進(jìn)一步融合以得到更準(zhǔn)確更魯棒的步態(tài)特征，從而達(dá)到更高的準(zhǔn)確率；2)設(shè)計(jì)了一種新的特征融合模塊，能夠有效利用外觀特征和姿態(tài)特征間的互補(bǔ)性，且適用于兩種特征維度差距較大的情形；3)在CASIA-B(Institute of Automation,Chinese Academy of Sciences,Gait Dataset B)數(shù)據(jù)集上與主流方法進(jìn)行實(shí)驗(yàn)對(duì)比，驗(yàn)證了算法的有效性。

1 本文網(wǎng)絡(luò)模型

本文算法的總體結(jié)構(gòu)如圖1所示，輸入數(shù)據(jù)為原始RGB視頻序列，通過(guò)背景分割算法得到輪廓圖像序列，通過(guò)姿態(tài)估計(jì)算法獲得姿態(tài)關(guān)鍵點(diǎn)序列。輪廓圖像數(shù)據(jù)通過(guò)外觀分支網(wǎng)絡(luò)得到外觀特征，姿態(tài)關(guān)鍵點(diǎn)數(shù)據(jù)通過(guò)姿態(tài)分支網(wǎng)絡(luò)得到姿態(tài)特征。之后兩種特征通過(guò)特征融合模塊得到最后的步態(tài)特征。在測(cè)試時(shí)將步態(tài)識(shí)別看做檢索問(wèn)題，根據(jù)樣本間步態(tài)特征的距離判斷其相似性。

圖1 本文網(wǎng)絡(luò)框架圖Fig.1 The pipeline of the our network

1.1 數(shù)據(jù)預(yù)處理

(1)

對(duì)于輪廓圖像，首先按照邊界去除無(wú)用的背景，只保留包含輪廓圖像的區(qū)域；再將輪廓圖像保持寬高比例不變的同時(shí)將高度縮放到64像素，并將圖像的寬度左右平均填充到44像素，最后對(duì)所有輪廓圖像進(jìn)行標(biāo)準(zhǔn)化處理。

1.2 外觀分支網(wǎng)絡(luò)

本文算法采用GaitSet(Chao等，2019)作為外觀分支網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)主干由6層卷積層組成，輸入輪廓圖像序列后得到特征圖序列。該網(wǎng)絡(luò)的分支用于融合網(wǎng)絡(luò)淺層與深層的特征，圖2中的池化操作表示在時(shí)序上對(duì)序列進(jìn)行池化，⊕表示對(duì)應(yīng)元素相加，因此分支網(wǎng)絡(luò)的另一作用是融合時(shí)序信息。經(jīng)過(guò)主干與分支兩條路徑后得到兩種特征圖，為了便于后期的特征融合，添加了拼接操作將兩種特征圖在通道維度上拼接，經(jīng)過(guò)池化層下采樣和全連接層上采樣后得到外觀特征。

圖2 外觀分支網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of the appearance branch network

1.3 姿態(tài)分支網(wǎng)絡(luò)

圖3 姿態(tài)分支網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of the pose branch network

1.4 特征融合模塊

輸入數(shù)據(jù)經(jīng)過(guò)外觀分支網(wǎng)絡(luò)和姿態(tài)分支網(wǎng)絡(luò)后，分別得到外觀特征圖fA和姿態(tài)特征圖fP。其中，fA∈Rh1×w1×c1，fP∈Rh2×w2×c2。h1、w1、c1和h2、w2、c2分別表示外觀特征圖和姿態(tài)特征圖的高度、寬度和通道數(shù)。外觀特征圖fA和姿態(tài)特征圖fP經(jīng)過(guò)池化融合后得到最終的外觀特征fa和姿態(tài)特征fp。特征融合常見(jiàn)的方法有相加、加權(quán)平均、張量積和拼接等，在本文算法的雙分支網(wǎng)絡(luò)中，由于外觀分支網(wǎng)絡(luò)與姿態(tài)分支網(wǎng)絡(luò)結(jié)構(gòu)不同，特征維度有很大差距。在實(shí)施中，外觀特征fa∈R15 872×1，而姿態(tài)特征fp∈R1 024×1，因此相加、加權(quán)平均并不適用于該算法的網(wǎng)絡(luò)，同時(shí)外觀特征維度較高導(dǎo)致張量積的計(jì)算量很大。相比之下，特征拼接的融合方法簡(jiǎn)單且適用于該算法的雙分支網(wǎng)絡(luò)，但僅使用特征拼接不能充分利用兩種特征的互補(bǔ)性。

受MMTM(multi-modal transfer module)(Vaezi Joze 等，2020)利用SE(squeeze excitation)模塊處理多模態(tài)模型中不同尺寸特征圖的啟發(fā)，本文算法設(shè)計(jì)了一種基于SE模塊(Hu 等，2018)的特征融合模塊(squeeze-and-excitation feature fusion module，SEFM)，結(jié)構(gòu)圖如圖4(a)所示。SEFM模塊使用SE模塊的結(jié)構(gòu)以融合外觀和姿態(tài)兩種特征。具體融合方法為：

1)對(duì)外觀特征圖fA和姿態(tài)特征圖fP分別池化下采樣，得到全局外觀特征f′a∈R1×1×c1和全局姿態(tài)特征f′p∈R1×1×c2，將兩種特征拼接后得到拼接特征f′c∈R1×1×(c1+c2)，這里采用了全局最大池化將特征圖的空間信息壓縮到通道維度中，以便于融合不同尺寸的特征圖。

2)將拼接特征f′c映射到低維空間,得到融合特征f′m，該過(guò)程可表示為

f′m=Wf′c+b

(2)

式中，W表示權(quán)重，b表示偏差；f′m=R1×1×ce，ce表示映射后的特征通道數(shù)，該過(guò)程稱為壓縮(squeeze)，算法實(shí)施中ce=(c1+c2)/2。

3)將融合特征分別映射到全局外觀特征空間和全局姿態(tài)特征空間，該過(guò)程稱為激勵(lì)(excitation)，得到外觀特征圖和姿態(tài)特征圖的激勵(lì)值ea和ep，可表示為

ea=σ(Wf′m+b),ep=σ(Wf′m+b)

(3)

式中，σ(·)表示sigmoid函數(shù)；ea∈R1×1×c1，ep∈R1×1×c2；兩次映射的權(quán)重和偏差值不共享，訓(xùn)練網(wǎng)絡(luò)時(shí)各自獨(dú)立訓(xùn)練。

4)將激勵(lì)值ea和ep分別看做外觀特征圖fA和姿態(tài)特征圖fP通道上的權(quán)重，將其擴(kuò)展到與對(duì)應(yīng)特征圖相同的尺寸后再通過(guò)哈達(dá)瑪積計(jì)算加權(quán)后的特征圖。該過(guò)程與SE模塊相似，可看做是通道維度上的注意力機(jī)制，不同之處在于SEFM有兩種激勵(lì)輸出。最后將加權(quán)后的特征圖與原始特征圖相加，得到新的外觀特征圖f′A和姿態(tài)特征圖f′P。

5)分別對(duì)外觀特征圖f′A和姿態(tài)特征圖f′P做池化下采樣，將所得特征展開(kāi)為1維向量后，拼接得到最終的步態(tài)特征f。

從整體結(jié)構(gòu)上看，SEFM以特征拼接為基礎(chǔ)融合兩種特征的信息，并通過(guò)壓縮—激勵(lì)過(guò)程學(xué)習(xí)外觀特征和姿態(tài)特征的權(quán)重，以達(dá)到自適應(yīng)融合的目的。SE模塊在通道維度上進(jìn)行加權(quán)，這種注意力機(jī)制使模型更多關(guān)注有效特征并抑制不重要特征。而SEFM特征融合模塊可看做在姿態(tài)和外觀兩種特征上加權(quán)，首先將兩種特征在空間上壓縮并拼接得到融合特征，壓縮單元接收融合特征并進(jìn)一步生成一個(gè)全局的聯(lián)合表示，激勵(lì)單元?jiǎng)t根據(jù)這個(gè)聯(lián)合表示強(qiáng)調(diào)姿態(tài)和外觀兩種特征中更重要的特征。

為了研究外觀特征和姿態(tài)特征對(duì)融合結(jié)果的影響，在原始模塊的基礎(chǔ)上對(duì)激勵(lì)過(guò)程進(jìn)行改動(dòng)，得到另外兩種融合模塊，分別如圖4(b)和圖4(c)所示，稱為SEFM-A和SEFM-P。與原始模塊不同的是，SEFM-A模塊在激勵(lì)階段只計(jì)算外觀特征圖的激勵(lì)值，即將姿態(tài)特征融入外觀特征，姿態(tài)特征保持不變；而SEFM-P模塊在激勵(lì)階段只計(jì)算姿態(tài)特征圖的激勵(lì)值，即將外觀特征融入姿態(tài)特征，外觀特征保持不變。

圖4 3種不同的特征融合模塊結(jié)構(gòu)Fig.4 Architecture of three different feature fusion modules((a)SEFM；(b)SEFM-A；(c)SEFM-P)

在訓(xùn)練過(guò)程中，雙分支網(wǎng)絡(luò)使用了兩種損失函數(shù)，分別為三元組損失Ltriple和交叉熵?fù)p失LCE。其中三元組損失作用于融合后的步態(tài)特征，而交叉熵?fù)p失作用于融合前的姿態(tài)特征，總的損失為

L=Ltriple+λLCE

(4)

式中，λ為權(quán)重參數(shù)，算法實(shí)施中取λ=2。

2 實(shí) 驗(yàn)

為了評(píng)估雙分支特征融合網(wǎng)絡(luò)的步態(tài)識(shí)別算法的有效性，在CASIA-B數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)中的模型均使用Pytorch框架實(shí)現(xiàn)。

2.1 數(shù)據(jù)集

2.2 實(shí)驗(yàn)細(xì)節(jié)

訓(xùn)練時(shí)，每次迭代從訓(xùn)練樣本里隨機(jī)挑選16位行人，再?gòu)拿總€(gè)行人的數(shù)據(jù)中隨機(jī)挑選8個(gè)序列，因此批尺寸為128；之后從每個(gè)序列中隨機(jī)選取連續(xù)的30幀作為輸入數(shù)據(jù)，不足30幀的序列重復(fù)至30幀。所有網(wǎng)絡(luò)均采用Adam優(yōu)化器，姿態(tài)分支網(wǎng)絡(luò)的初始學(xué)習(xí)率為0.000 2，外觀分支網(wǎng)絡(luò)和特征融合模塊的初始學(xué)習(xí)率為0.000 1；在跨視角設(shè)置中，共迭代60 000次，并在第45 000次時(shí)將學(xué)習(xí)率衰減至各自的0.1倍；在不同行走狀態(tài)設(shè)置中，共迭代20 000次；三元組損失的閾值距離設(shè)為0.2。

2.3 實(shí)驗(yàn)結(jié)果

表1是雙分支網(wǎng)絡(luò)與不同的特征融合方式的測(cè)試結(jié)果。前3行是雙分支網(wǎng)絡(luò)中單個(gè)分支網(wǎng)絡(luò)的準(zhǔn)確率，后4行是雙分支網(wǎng)絡(luò)結(jié)合不同的特征融合模塊的結(jié)果。

表1 不同特征融合方法的Rank-1準(zhǔn)確率Table 1 Rank-1 accuracies of different feature fusion methods /%

從表1可以看出，1)基于外觀的方法在準(zhǔn)確率上遠(yuǎn)高于基于模型的方法，因?yàn)橐环矫孀藨B(tài)數(shù)據(jù)本身包含的信息少于輪廓圖像，另一方面受姿態(tài)提取算法的限制，獲得的姿態(tài)關(guān)鍵點(diǎn)并不完全準(zhǔn)確。但經(jīng)過(guò)特征拼接后，得到的準(zhǔn)確率優(yōu)于外觀分支網(wǎng)絡(luò)，證明了外觀特征和姿態(tài)特征存在互補(bǔ)性，二者融合后得到的步態(tài)特征更加準(zhǔn)確。2)添加MMTM、SEFM和SEFM-A共3種特征融合模塊后最終的準(zhǔn)確率急劇降低，甚至低于外觀分支網(wǎng)絡(luò)；而添加SEFM-P特征融合模塊后準(zhǔn)確率提升。導(dǎo)致該結(jié)果的原因仍在于姿態(tài)數(shù)據(jù)，由于相機(jī)角度限制，行人在行走過(guò)程中存在自遮擋現(xiàn)象，此外原始RGB視頻的分辨率較低，以及姿態(tài)估計(jì)算法的性能限制，這些因素共同導(dǎo)致了姿態(tài)數(shù)據(jù)中存在部分噪聲。因此在特征融合的過(guò)程中，如果將姿態(tài)特征融入外觀特征，反而會(huì)因引入噪聲，導(dǎo)致外觀特征也不準(zhǔn)確。在幾種特征融合方法中，MMTM和SEFM將姿態(tài)特征和外觀特征相互融合；SEFM-A將姿態(tài)特征融入外觀特征中，所以這3種融合模塊都導(dǎo)致準(zhǔn)確率降低。而SEFM-P將外觀特征融入姿態(tài)特征，同時(shí)保持外觀特征不變，避免了外觀特征受噪聲污染；特征拼接也同樣保持了外觀特征不變，因此這兩種特征融合方法都提高了準(zhǔn)確率。根據(jù)準(zhǔn)確率對(duì)比，可以看出本文算法設(shè)計(jì)的幾種SEFM模塊都優(yōu)于MMTM模塊，而且SEFM-P達(dá)到了最高的準(zhǔn)確率，證明了本文算法中特征融合模塊的有效性。

表2和表3分別列舉了跨視角設(shè)置下基于特征融合的算法和近年主流的步態(tài)識(shí)別算法在CASIA-B數(shù)據(jù)集上采用MT和LT兩種劃分方式的準(zhǔn)確率。其中PoseGait(Liao 等，2020)和JointsGait(Li 等，2020)是基于姿態(tài)模型的方法；GaitSet(Chao等，2019)、CNN-LB(CNN-matching local features at the bottom layer)(Wu等，2017)和GaitNet-pre(Zhang 等，2019b)是基于外觀的方法，使用輪廓圖像作為輸入；EV-Gait(event-based gait recognition)(Wang 等，2019)也是基于外觀的方法，但其輸入數(shù)據(jù)為事件圖像(event image)。結(jié)合表1，本文算法的外觀分支網(wǎng)絡(luò)采用與GaitSet算法相同的網(wǎng)絡(luò)結(jié)構(gòu)。在MT實(shí)驗(yàn)設(shè)置下，3種步行狀態(tài)的平均準(zhǔn)確率分別為91.4%、83.3%和66.7%，而GaitSet(MT)的平均準(zhǔn)確率分別為92.0%、84.3%和62.5%。這是因?yàn)楸疚乃惴ㄔ趯?shí)驗(yàn)實(shí)施中調(diào)整了序列數(shù)據(jù)的采樣方式，在略微降低NM、BG狀態(tài)準(zhǔn)確率的條件下，大幅提高了CL狀態(tài)的準(zhǔn)確率。與另一種基于姿態(tài)的方法PoseGait相比，本文算法的姿態(tài)分支網(wǎng)絡(luò)的準(zhǔn)確率較低。這是因?yàn)榭紤]到提取姿態(tài)的計(jì)算復(fù)雜度，本文算法采用了2D姿態(tài)數(shù)據(jù)，而PoseGait采用的3D姿態(tài)數(shù)據(jù)在跨視角時(shí)更有優(yōu)勢(shì)，因此具有更高的準(zhǔn)確率。在結(jié)合姿態(tài)分支網(wǎng)絡(luò)、外觀分支網(wǎng)絡(luò)和特征融合模塊SEFM-P后，本文算法的雙分支網(wǎng)絡(luò)準(zhǔn)確率進(jìn)一步提升，分別為93.4%、84.8%和70.9%。相比于GaitSet(MT)，在3種行走狀態(tài)下的準(zhǔn)確率分別提升了1.4%、0.5%和8.4%。在LT實(shí)驗(yàn)設(shè)置中，本文算法同樣優(yōu)于CNN-LB、GaitSet(LT)、GaitNet-pre和EV-Gait等方法，達(dá)到了最高的準(zhǔn)確率。需要說(shuō)明的是，與外觀分支網(wǎng)絡(luò)GaitSet相比，本文算法在CL行走狀態(tài)下提升較大，說(shuō)明本文算法對(duì)衣物變化等外觀干擾因素具有更好的魯棒性；但在NM和BG行走狀態(tài)下提升較小，這是因?yàn)樽藨B(tài)分支網(wǎng)絡(luò)的準(zhǔn)確率遠(yuǎn)低于外觀分支網(wǎng)絡(luò)，限制了特征融合的效果。根據(jù)表2的結(jié)果，基于姿態(tài)的算法如PoseGait、JointsGait等，其準(zhǔn)確率遠(yuǎn)低于其他幾種基于外觀的算法，這也是目前基于姿態(tài)的算法面臨的主要問(wèn)題。

表2 跨視角設(shè)置下不同算法在CASIA-B數(shù)據(jù)集上采用MT方式時(shí)的平均Rank-1準(zhǔn)確率Table 2 Rank-1 accuracies of different methods on the CASIA-B dataset with MT under different views /%

表3 跨視角設(shè)置下不同算法在CASIA-B數(shù)據(jù)集上采用LT方式時(shí)的平均Rank-1準(zhǔn)確率Table 3 Rank-1 accuracies of different methods on the CASIA-B dataset with LT under different views /%

表4為不同行走狀態(tài)設(shè)置下的實(shí)驗(yàn)結(jié)果?？梢钥闯?，與JUCNet(joint unique-gait and cross-gait network)(Zhang等，2019a)和CNN-LB相比，本文算法在CL行走狀態(tài)下的平均準(zhǔn)確率為90.0%，遠(yuǎn)高于CNN-LB算法的62.5%。在BG行走狀態(tài)下的平均準(zhǔn)確率為94.9%，優(yōu)于JUCNet算法的93.2%。GaitNet-pre算法通過(guò)特征解耦提取與行走狀態(tài)無(wú)關(guān)的步態(tài)特征，在CL行走狀態(tài)下達(dá)到了89.8%的平均準(zhǔn)確率，與本文算法的90.0%相差不大，但在BG行走條件下的準(zhǔn)確率低于本文算法。與外觀分支網(wǎng)絡(luò)GaitSet算法相比，本文算法在BG和CL行走狀態(tài)下的準(zhǔn)確率分別提高了1.6%和6.7%，說(shuō)明SEFM-P特征融合模塊能夠有效融合外觀和姿態(tài)兩種特征，且融合姿態(tài)特征后能夠提升算法對(duì)背包、衣物等外觀變化的魯棒性。

表4 不同行走狀態(tài)設(shè)置下不同算法在CASIA-B數(shù)據(jù)集上的平均Rank-1準(zhǔn)確率Table 4 Rank-1 accuracies of different methods on the CASIA-B dataset under different walk conditions /%

3 結(jié) 論

步態(tài)識(shí)別算法包括基于外觀的方法和基于模型的方法兩類，結(jié)合兩類方法的優(yōu)點(diǎn)，設(shè)計(jì)了一種雙分支特征融合網(wǎng)絡(luò)的步態(tài)識(shí)別算法。該算法通過(guò)兩條分支網(wǎng)絡(luò)分別提取外觀特征和姿態(tài)特征，再利用特征融合模塊融合兩種特征以得到更準(zhǔn)確的步態(tài)表示，適用于能夠同時(shí)獲得輪廓圖像和人體姿態(tài)的場(chǎng)景。CASIA-B數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該算法與目前主流的算法相比具有優(yōu)勢(shì)，達(dá)到了更高的準(zhǔn)確率。與其他步態(tài)識(shí)別算法相比，該算法能夠利用更豐富的步態(tài)信息，對(duì)于衣物外觀變化這類干擾因素具有更好的魯棒性；與其他特征融合方法相比，該算法在融合兩種特征的同時(shí)，能夠避免外觀特征受姿態(tài)特征中的噪聲影響，得到更準(zhǔn)確的特征。盡管該算法在準(zhǔn)確率上有所提升，但對(duì)姿態(tài)數(shù)據(jù)的處理上還存在不足。首先，該算法沒(méi)有對(duì)姿態(tài)數(shù)據(jù)中的噪聲進(jìn)行處理，導(dǎo)致姿態(tài)特征的準(zhǔn)確性較低；其次，該算法使用兩條分支網(wǎng)絡(luò)分別提取特征，效率有所降低。在未來(lái)的工作中，將圍繞以上問(wèn)題進(jìn)一步改進(jìn)。一方面提高網(wǎng)絡(luò)對(duì)姿態(tài)數(shù)據(jù)中噪聲的魯棒性，以得到更準(zhǔn)確的步態(tài)表示；另一方面優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提高算法效率使其滿足實(shí)際應(yīng)用的需求。