許文正，黃天歡，賁晛燁*，曾翌，張軍平

1.山東大學(xué)信息科學(xué)與工程學(xué)院，青島 266237；2.復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，上海 200437

0 引 言

步態(tài)識(shí)別是指通過(guò)一個(gè)人的行走方式來(lái)確定其身份。行走方式可以通過(guò)許多傳感設(shè)備記錄，如壓力傳感器、加速度傳感器、陀螺儀和攝像機(jī)等。其中，攝像機(jī)是日常生活中常見(jiàn)的視覺(jué)傳感設(shè)備，由攝像機(jī)拍攝的步態(tài)視頻可以直接使用，也可以通過(guò)前景—背景分割轉(zhuǎn)換為二值化的輪廓圖序列。隨著公共場(chǎng)所監(jiān)控?cái)z像頭的大規(guī)模部署，基于視頻的步態(tài)識(shí)別成為目前主流的步態(tài)識(shí)別方式。

與人臉、指紋和虹膜等其他生物特征識(shí)別方法相比，基于視頻的步態(tài)識(shí)別具有許多獨(dú)特優(yōu)勢(shì)。首先，步態(tài)特征可以通過(guò)攝像頭從遠(yuǎn)距離以較低的分辨率獲取，而人臉、虹膜等特征均需要近距離采集，指紋還需要接觸式采集；其次，步態(tài)識(shí)別不需要被識(shí)別者的明確配合，可以以其不易察覺(jué)的方式進(jìn)行，而其他識(shí)別方法則可能出現(xiàn)被識(shí)別者拒絕配合的情況；最后，步態(tài)特征難以偽裝或隱藏，而人臉識(shí)別系統(tǒng)則很容易被假冒圖像或佩戴口罩所欺騙?；谝陨溪?dú)特優(yōu)勢(shì)，步態(tài)識(shí)別在安防監(jiān)控、調(diào)查取證和日?？记诘葓?chǎng)景下具有廣闊的應(yīng)用前景。

然而，目前基于視頻的步態(tài)識(shí)別系統(tǒng)的魯棒性還有待提升，其性能很容易受到視角變化、著裝、攜物和遮擋等協(xié)變量的影響。在這些協(xié)變量中，視角的變化在實(shí)際應(yīng)用中經(jīng)常發(fā)生，并會(huì)使行人的外觀產(chǎn)生很大改變。因此，實(shí)現(xiàn)跨視角的步態(tài)識(shí)別一直是該領(lǐng)域最具挑戰(zhàn)性和最重要的任務(wù)之一，許多學(xué)者對(duì)此進(jìn)行了研究。1994 年，Niyogi 和Adelson（1994）首次將步態(tài)特征用于身份識(shí)別，但僅研究了步行者的側(cè)視輪廓。2006 年，Han 和Bhanu（2006）提出了步態(tài)能量圖（gait energy image，GEI），通過(guò)對(duì)步態(tài)周期中的二值輪廓求平均值，將步態(tài)中的時(shí)空信息聚合到單個(gè)圖像中，這種表示方法后來(lái)得到廣泛使用。2015 年，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）首次用于步態(tài)識(shí)別（Wu 等，2015）。隨后的幾年中，新的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不斷涌現(xiàn)，步態(tài)識(shí)別的性能得到大幅提高。

隨著近幾年步態(tài)識(shí)別的快速發(fā)展，許多綜述文獻(xiàn)對(duì)該領(lǐng)域的進(jìn)展進(jìn)行了總結(jié)。一些文獻(xiàn)（何逸煒和張軍平，2018；王科俊 等，2019；Nambiar 等，2020；Sepas-Moghaddam 和Etemad，2023；Santos 等，2023）專(zhuān)注于綜述基于視頻的步態(tài)識(shí)別研究，另一些（Connor 和Ross，2018；Wan 等，2019）則同時(shí)關(guān)注基于視頻和其他傳感器的方法。2019 年之前的綜述沒(méi)有涵蓋近兩年最新的深度學(xué)習(xí)方法，而兩篇最新的綜述 文 章（Sepas-Moghaddam 和Etemad，2023；Santos等，2023）則只回顧了基于深度學(xué)習(xí)的方法，沒(méi)有專(zhuān)門(mén)關(guān)注步態(tài)識(shí)別中的跨視角問(wèn)題。

由于賁晛燁等人（2012）在10 多年前綜述了2012 年之前的步態(tài)特征表達(dá)及識(shí)別方法，因此，不同于現(xiàn)有的綜述文獻(xiàn)，本文重點(diǎn)關(guān)注2012 年之后基于視頻的跨視角步態(tài)識(shí)別的重要研究，并且不局限于基于深度學(xué)習(xí)的方法。

1 跨視角步態(tài)數(shù)據(jù)庫(kù)

步態(tài)數(shù)據(jù)庫(kù)是研究步態(tài)識(shí)別不可或缺的工具，數(shù)據(jù)庫(kù)中的數(shù)據(jù)規(guī)模和協(xié)變量等因素會(huì)影響步態(tài)識(shí)別算法的性能。表1 按時(shí)間順序總結(jié)了幾種主流的跨視角步態(tài)數(shù)據(jù)庫(kù)。其中，CASIA-A（CASIA gait database，dataset A）、CASIA-B 和CASIA-E 數(shù)據(jù)庫(kù)由中國(guó)科學(xué)院自動(dòng)化研究所建立。CASIA-A 建立時(shí)間較早，所含樣本和視角數(shù)也較少；CASIA-B 是使用最廣泛的跨視角步態(tài)數(shù)據(jù)庫(kù)，包含了相對(duì)較多的樣本數(shù)、視角數(shù)和其他協(xié)變量，其他數(shù)據(jù)庫(kù)很少在這3 方面均占優(yōu)勢(shì)；CASIA-E 是新建立的大規(guī)模數(shù)據(jù)庫(kù)，包含更多的樣本和協(xié)變量，增加了俯視視角和熱紅外模態(tài)子集，未來(lái)具有很好的應(yīng)用前景。USF（University of South Florida）數(shù)據(jù)庫(kù)的協(xié)變量較多，但僅有兩個(gè)視角，在早期跨視角步態(tài)識(shí)別工作中應(yīng)用較多。OU-ISIR Speed（OU-ISIR gait database，treadmill dataset A）、OU-ISIR Clothing、OU-ISIR MV、OU-ISIR LP（OU-ISIR gait database，large population dataset）、OU-MVLP（OU-ISIR gait database，multi-view large population dataset）和OU-MVLP Pose 均由日本大阪大學(xué)建立。OU-ISIR Speed 和OU-ISIR Clothing 數(shù)據(jù)庫(kù)分別包含速度和服裝協(xié)變量，但所含樣本和視角數(shù)較少；OU-ISIR MV 包含較多視角數(shù)，但樣本規(guī)模較小且沒(méi)有其他協(xié)變量；OU-ISIR LP和OU-MVLP使用較廣泛，其中OU-ISIR LP 視角較少且變化范圍小，OU-MVLP 包含最多的樣本，但沒(méi)有其他協(xié)變量；OU-MVLP Pose 在OU-MVLP 的基礎(chǔ)上提取了姿勢(shì)序列。Gait3D 是最近提出的數(shù)據(jù)庫(kù)，其中采用了39 個(gè)攝像頭采集的步態(tài)信息對(duì)人體進(jìn)行3 維建模。圖1給出了常用數(shù)據(jù)庫(kù)的采集環(huán)境示例。

表1 主流的跨視角步態(tài)數(shù)據(jù)庫(kù)Table 1 Popular cross-view gait databases

圖1 常用數(shù)據(jù)庫(kù)采集環(huán)境示例Fig.1 Examples of commonly used database acquisition environments（（a）USF；（b）CASIA-B；（c）OU-ISIR LP；（d）OU-MVLP）

2 跨視角步態(tài)識(shí)別方法

步態(tài)識(shí)別通常包括數(shù)據(jù)采集、特征表示和分類(lèi)3 個(gè)基本步驟，許多綜述對(duì)此進(jìn)行詳細(xì)介紹。本文重點(diǎn)關(guān)注基于視頻的跨視角步態(tài)識(shí)別方法，從特征表示和分類(lèi)的角度介紹針對(duì)跨視角問(wèn)題的解決方案，包括基于3 維步態(tài)信息的識(shí)別方法、基于視角轉(zhuǎn)換模型的識(shí)別方法、基于視角不變特征的識(shí)別方法和基于深度學(xué)習(xí)的識(shí)別方法。

2.1 基于3維步態(tài)信息的識(shí)別方法

3 維步態(tài)信息方法從多個(gè)拍攝視角的步態(tài)視頻中提取信息，構(gòu)建3 維步態(tài)模型用于跨視角步態(tài)識(shí)別。Shakhnarovich 等人（2001）通過(guò)4 個(gè)靜態(tài)校準(zhǔn)攝像頭生成行人的多視角分割輪廓，用于構(gòu)建3 維視覺(jué)外殼模型，并通過(guò)最近鄰算法進(jìn)行分類(lèi)。視覺(jué)外殼模型具有可以重建任何3 維形狀的通用性?xún)?yōu)勢(shì)，但對(duì)分割錯(cuò)誤非常敏感。另外，大多數(shù)視覺(jué)外殼算法不會(huì)對(duì)輪廓形狀中的不確定性建模。為了解決以上問(wèn)題，Grauman 等人（2003）提出了一種用于視覺(jué)外殼重建的貝葉斯方法，在視覺(jué)外殼重建中使用基于類(lèi)的先驗(yàn)知識(shí)來(lái)減少輪廓提取時(shí)分割錯(cuò)誤的影響。Gu 等人（2010）提出了一種融合姿勢(shì)恢復(fù)和分類(lèi)的視角無(wú)關(guān)框架，使用視覺(jué)外殼重建體積序列，采用無(wú)標(biāo)記姿勢(shì)恢復(fù)方法從體積數(shù)據(jù)中獲取3 維人體關(guān)節(jié)，并通過(guò)基于樣本的隱馬爾可夫模型（exemplarbased hidden Markov models，EHMM）對(duì)歸一化關(guān)節(jié)位置進(jìn)行建模，然后采用最大后驗(yàn)（maximum a posteriori，MAP）分類(lèi)器進(jìn)行分類(lèi)。

為了在垂直高傾角和透視失真的情況下跟蹤和估計(jì)步行者的3 維身體姿勢(shì)，Rogez 等人（2014）使用低維流形對(duì)3 維姿勢(shì)和相機(jī)視角進(jìn)行建模并學(xué)習(xí)輪廓的生成模型，通過(guò)在場(chǎng)景的水平面和姿勢(shì)視角流形上聯(lián)合使用遞歸貝葉斯采樣，進(jìn)行具有高透視效果的視角不變3 維步態(tài)跟蹤。然而，這種跟蹤必須在人為設(shè)置的環(huán)境中進(jìn)行。Luo 等人（2016）提出了基于3 維人體重建和虛擬姿勢(shì)合成的多協(xié)變量步態(tài)識(shí)別方法（arbitrary view gait recognition based on body reconstruction and virtual posture synthesis，AVGR-BRPS），框架如圖2 所示，利用多視角步態(tài)輪廓估計(jì)的靜態(tài)形狀和運(yùn)動(dòng)姿勢(shì)特征組合形成3 維步態(tài)向量，進(jìn)而構(gòu)建3 維步態(tài)詞典。與視覺(jué)外殼模型相比，這種參數(shù)化的模型更加精確。該方法還引入了基于壓縮感知的自遮擋優(yōu)化同步稀疏表示模型，并通過(guò)在稀疏表示中搜索最小重構(gòu)殘差進(jìn)行分類(lèi)，步態(tài)模型輸出Y的最終分類(lèi)可以表示為

圖2 AVGR-BRPS框架（Luo等，2016）Fig.2 The framework of AVGR-BRPS（Luo et al.，2016）

式中，A是訓(xùn)練集詞典，是稀疏表示向量，δi是選擇第i類(lèi)相關(guān)系數(shù)的特征函數(shù)。為了解決背景變化、遮擋等造成的輪廓分割不完整問(wèn)題，Tang 等人（2017）提出了3 維步態(tài)局部相似性匹配框架。首先使用水平集能量消耗函數(shù)估計(jì)3 維姿勢(shì)，然后使用拉普拉斯形變能量函數(shù)實(shí)現(xiàn)身體形狀變形以修復(fù)不完整的步態(tài)輪廓，最后通過(guò)多線(xiàn)性子空間分類(lèi)器和多數(shù)投票法融合，進(jìn)行任意視角的步態(tài)識(shí)別。

基于3 維步態(tài)信息的方法對(duì)大視角變化具有較好的魯棒性，但是往往需要昂貴復(fù)雜的校準(zhǔn)多攝像機(jī)系統(tǒng)，或大量的計(jì)算和幀同步，這些因素都限制了其在現(xiàn)實(shí)監(jiān)控場(chǎng)景中的應(yīng)用。

2.2 基于視角轉(zhuǎn)換模型的識(shí)別方法

典型的視角轉(zhuǎn)換模型（view transformation model，VTM）利用奇異值分解（singular value decomposition，SVD）將特征矩陣分解為視角無(wú)關(guān)和對(duì)象無(wú)關(guān)矩陣，設(shè)g是受試者m(m= 1，2，…，M)在視角θi(i= 1，2，…，I)下的步態(tài)特征。奇異值分解的過(guò)程為

式中，向量v是受試者任何視角下的固有步態(tài)特征，它構(gòu)成了視角無(wú)關(guān)矩陣；對(duì)象無(wú)關(guān)矩陣Pθ是投影矩陣，它可以將v投影為特定視角θ下的步態(tài)特征向量。從視角θi到θj的步態(tài)特征變換方式為

式中，P是Pθi的偽逆。

Makihara 等人（2006）提出了一種使用頻域特征和視角轉(zhuǎn)換模型從不同視角識(shí)別步態(tài)的方法。通過(guò)基于步態(tài)周期性的傅里葉分析提取頻域特征，即

式中，Ngait是第i個(gè)子序列的幀長(zhǎng)，g(x，y，n)表示第n幀輪廓坐標(biāo)(x，y)處的像素值，ω0是對(duì)應(yīng)于Ngait的基角頻率，Gi(x，y，k)是g(x，y，n)的離散傅里葉變換。該方法使用多個(gè)視角的多人訓(xùn)練集來(lái)獲得視角轉(zhuǎn)換模型，并在識(shí)別階段將注冊(cè)特征轉(zhuǎn)換為與輸入特征相同的視角方向以進(jìn)行匹配。

基于SVD（singular value decomposition）的VTM（view transformation model）方法假設(shè)步態(tài)特征矩陣可以分解為視角無(wú)關(guān)和對(duì)象無(wú)關(guān)子矩陣，且二者沒(méi)有重疊元素，但在數(shù)學(xué)上尚未得到驗(yàn)證。此外，使用全局特征進(jìn)行視角轉(zhuǎn)換可能會(huì)因環(huán)境變化而產(chǎn)生噪聲和不確定性。為了克服這些局限性，Kusakunniran等人（2010）將VTM 的構(gòu)造重新表述為一個(gè)回歸問(wèn)題，提出了利用支持向量回歸（support vector regression，SVR）從不同視角的步態(tài)能量圖（gait energy images，GEI）建立VTM 的新方法，通過(guò)源視角下的局部興趣區(qū)域（region of interest，ROI）預(yù)測(cè)目標(biāo)視角下相應(yīng)的運(yùn)動(dòng)信息。設(shè)和分別為受試者m在源視角θi和目標(biāo)視角θj下的GEI，則通過(guò)預(yù)測(cè)的回歸模型f定義為

式中，p表示g的第p個(gè)像素，ROI表示g上與p相關(guān)的局部興趣區(qū)域，＜·，·＞ 表示點(diǎn)積運(yùn)算，w和b是可學(xué)習(xí)的參數(shù)。由于VTM 的大小僅取決于ROI 的大小和支持向量的數(shù)量，計(jì)算復(fù)雜性可以得到很好的控制，同時(shí)系統(tǒng)對(duì)噪聲更具魯棒性。隨后，Kusakunniran 等人（2012）又提出了另一種基于回歸的VTM，采用基于彈性網(wǎng)絡(luò)的稀疏回歸來(lái)避免過(guò)擬合，為構(gòu)建VTM提供了更穩(wěn)定的回歸模型。

在利用SVD 或回歸訓(xùn)練VTM 時(shí)，目標(biāo)視角與離散的訓(xùn)練視角不一致會(huì)導(dǎo)致精度下降。為了解決視角離散性問(wèn)題，Muramatsu等人（2015）提出了用于跨視角匹配的任意視角轉(zhuǎn)換模型（arbitrary VTM，AVTM），將3 維步態(tài)體積投影到目標(biāo)視角，生成2 維步態(tài)輪廓以提取步態(tài)特征。盡管使用了3 維步態(tài)體積，但不同于視覺(jué)外殼方法，該方法只需要獨(dú)立受試者而不是目標(biāo)受試者的數(shù)據(jù)。該方法還將步態(tài)特征分為不同身體部分，分別估計(jì)每個(gè)部分合適的目標(biāo)視角，并使用轉(zhuǎn)換到估計(jì)視角的一對(duì)步態(tài)特征計(jì)算每個(gè)部分的匹配分?jǐn)?shù)，從而抑制轉(zhuǎn)換誤差并提高識(shí)別精度。VTM 方法的另一個(gè)問(wèn)題是不同步態(tài)特征對(duì)的視角轉(zhuǎn)換質(zhì)量可能不同，這會(huì)產(chǎn)生不均勻偏差的匹配分?jǐn)?shù)。為此，Muramatsu等人（2016）提出了具有質(zhì)量度量和分?jǐn)?shù)歸一化框架的VTM，如圖3所示，量化了編碼偏差程度的轉(zhuǎn)換質(zhì)量Qt和相異性邊界質(zhì)量Qb，用于計(jì)算兩個(gè)步態(tài)特征來(lái)自同一受試者的后驗(yàn)概率以及匹配分?jǐn)?shù)。Qt和Qb的計(jì)算式為

圖3 包含質(zhì)量度量和分?jǐn)?shù)歸一化框架的VTM（Muramatsu等，2016）Fig.3 VTM incorporating a score normalization framework with quality measures（Muramatsu et al.，2016）

式中，x為視角θ1下的注冊(cè)步態(tài)特征，x為視角θ2下的查詢(xún)步態(tài)特征，Rθ1和Rθ2為對(duì)象無(wú)關(guān)的投影矩陣，R和R是其對(duì)應(yīng)的偽逆。

基于VTM 的方法不需要多攝像機(jī)系統(tǒng)與幀同步，且在測(cè)試階段計(jì)算速度快，適合實(shí)時(shí)應(yīng)用。但VTM 的參數(shù)對(duì)用于訓(xùn)練的多視角圖像非常敏感，需要足夠的訓(xùn)練樣本來(lái)構(gòu)建更通用的VTM。另外，雖然VTM 使變換后的步態(tài)特征與原始步態(tài)特征之間的誤差最小化，但其沒(méi)有考慮區(qū)分性因素。

2.3 基于視角不變特征的識(shí)別方法

視角不變特征提取的核心思想是從跨視角步態(tài)數(shù)據(jù)中提取不隨視角變化的步態(tài)特征。早期方法嘗試從步態(tài)中提取手工制作的視角不變特征。例如，Bobick 和Johnson（2001）恢復(fù)了受試者的靜態(tài)身體和步幅參數(shù)，并使用線(xiàn)性回歸映射不同視角間的特征。Wang 等人（2003）提出了基于統(tǒng)計(jì)形狀分析的步態(tài)識(shí)別算法，使用改進(jìn)的背景減法提取行人的運(yùn)動(dòng)外輪廓，然后將輪廓的時(shí)間變化表示為公共坐標(biāo)系中復(fù)向量配置的相關(guān)序列，并通過(guò)Procrustes 形狀分析（Procrustes shape analysis，PSA）獲得平均形狀作為步態(tài)特征，最后采用基于全Procrustes 距離度量的監(jiān)督模式分類(lèi)進(jìn)行識(shí)別。Jean等人（2009）使用從輪廓序列中提取的雙腳和頭部的2 維軌跡作為步態(tài)特征，并對(duì)其進(jìn)行視角規(guī)范化。Goffredo等人（2010）將無(wú)標(biāo)記運(yùn)動(dòng)估計(jì)的下肢姿勢(shì)作為視角不變的步態(tài)特征，為了解決特征空間高維性的問(wèn)題，在識(shí)別階段采用自適應(yīng)順序前向浮動(dòng)選擇搜索算法，使用基于驗(yàn)證的評(píng)估準(zhǔn)則找到分類(lèi)錯(cuò)誤最小化的特征子集，并確保不同類(lèi)別之間的良好可分性。該方法可以有效地進(jìn)行大視角變化下的步態(tài)識(shí)別，但在視角變化較小或正面視角情況下性能較差，且無(wú)標(biāo)記運(yùn)動(dòng)估計(jì)不具有魯棒性。Kusakunniran 等人（2013）通過(guò)改進(jìn)的PSA方案從步態(tài)輪廓而不是肢體姿勢(shì)構(gòu)建視角不變特征，并基于Procrustes 距離連續(xù)測(cè)量步態(tài)相似性，增加了方法的魯棒性。

視角相關(guān)信息往往復(fù)雜地嵌入步態(tài)中，使得視角不變特征很難準(zhǔn)確提取。為此，一些方法將原始步態(tài)特征映射到判別子空間，以更好地獲得視角不變特征。例如，Cheng 等人（2008）通過(guò)高斯過(guò)程潛變 量 模 型（Gaussian process latent variable model，GP-LVM）將步態(tài)輪廓非線(xiàn)性轉(zhuǎn)化為低維嵌入，并通過(guò)隱馬爾可夫模型（hidden Markov model，HMM）對(duì)步態(tài)序列的時(shí)間動(dòng)力學(xué)進(jìn)行建模。Bashir 等人（2010）沒(méi)有將步態(tài)特征投影到一個(gè)公共空間，而是通過(guò)典型相關(guān)分析（canonical correlation analysis，CCA）將每對(duì)步態(tài)特征投影到兩個(gè)具有最大相關(guān)性的子空間。對(duì)于一對(duì)步態(tài)特征Gx和Gy，CCA 的目標(biāo)是找到相應(yīng)的投影矩陣Px和Py，使投影后Gx和Gy間的相關(guān)系數(shù)ρ最大，即

式中，Cxx和Cyy分別為Gx和Gy的集合內(nèi)協(xié)方差矩陣，Cxy和Cyx為集合間協(xié)方差矩陣。Px和Py可由特征值方程求得，具體為

Hu（2014）提出的稀疏局部判別典型相關(guān)分析（sparse local discriminant CCA，SLDCCA）采用局部稀疏約束對(duì)CCA 進(jìn)行改進(jìn)，進(jìn)一步提出了不相關(guān)多線(xiàn) 性SLDCCA（uncorrelated multilinear SLDCCA，UMSLDCCA）框架，直接從多維步態(tài)特征中提取不相關(guān)的判別特征。Kusakunniran 等人（2014）注意到視角變化對(duì)不同部分的步態(tài)特征影響不同，并且來(lái)自不同視角的局部特征間存在相關(guān)性，使用二分圖對(duì)不同視角特征間的相關(guān)性進(jìn)行建模，通過(guò)運(yùn)動(dòng)聯(lián)合聚類(lèi)將不同視角中最相關(guān)的步態(tài)片段劃分為同一組，并在這些分組上應(yīng)用CCA，而不是像Bashir 等人（2010）那樣使用全局步態(tài)特征，其模型框架如圖4所示。為了克服CCA 在處理高維特征時(shí)計(jì)算困難的不足，Xing 等人（2016）提出完全典型相關(guān)分析（complete canonical correlation analysis，C3A），將奇異廣義特征值計(jì)算轉(zhuǎn)化為兩個(gè)特征值分解問(wèn)題，以更低的計(jì)算成本更精確地計(jì)算投影向量。不同于Xing 等人（2016）將向量作為輸入，Ben 等人（2020）提出耦合雙線(xiàn)性判別投影（coupled bilinear discriminant projection，CBDP），直接將不同視角的原始GEI（而不是向量化GEI）映射到公共矩陣子空間，從而保留了空間信息。另外，與無(wú)監(jiān)督CCA 相比，該方法能最大化類(lèi)間距離并最小化類(lèi)內(nèi)距離。為了解決不同視角間可能共享的步態(tài)信息沒(méi)有得到充分利用的問(wèn)題，Ben 等人（2019a）提出了耦合塊對(duì)齊（coupled patch alignment，CPA）算法，首先構(gòu)建由樣本及其類(lèi)內(nèi)和類(lèi)間近鄰組成的塊，為每個(gè)塊設(shè)計(jì)目標(biāo)函數(shù)，然后將所有局部獨(dú)立的塊組合成一個(gè)統(tǒng)一的目標(biāo)函數(shù)。不同于CCA 使用全局樣本集，CPA 根據(jù)類(lèi)內(nèi)和類(lèi)間近鄰度量的局部塊對(duì)集合進(jìn)行重新排序。上述大多數(shù)方法都訓(xùn)練了多個(gè)不同視角的映射矩陣，Hu等人（2013）則提出了采用酉線(xiàn)性投影的視角不變判別投影（view-invariant discriminative projection，ViDP），ViDP 的單一性使得跨視角步態(tài)識(shí)別能夠在查詢(xún)視角未知的情況下進(jìn)行。Hu（2013）還設(shè)計(jì)了一種稱(chēng)為增強(qiáng)Gabor 步態(tài)（enhanced Gabor gait，EGG）的步態(tài)特征，通過(guò)非線(xiàn)性映射對(duì)統(tǒng)計(jì)和結(jié)構(gòu)特征進(jìn)行編碼，并使用正則化局部張量判別分析（regularized locally tensor discriminant analysis，RLTDA）提取對(duì)視角變化魯棒的非線(xiàn)性流形。

圖4 Kusakuniran等人（2014）提出的模型框架Fig.4 The framework of the model proposed by Kusakuniran et al.（2014）

一些工作還引入度量學(xué)習(xí)方法來(lái)提取更多有判別力的信息。例如，Martín-Félez和Xiang（2012）將步態(tài)識(shí)別作為一個(gè)二分排序問(wèn)題。對(duì)于一對(duì)查詢(xún)樣本q和注冊(cè)樣本g，二分排序旨在學(xué)習(xí)排序分?jǐn)?shù)函數(shù)，即

式中，x是表示(q，g)對(duì)的特征向量，ω是權(quán)重向量，表示每個(gè)特征對(duì)排序分?jǐn)?shù)δ的重要性，更高的分?jǐn)?shù)意味著注冊(cè)g與查詢(xún)q更相關(guān)。通過(guò)RankSVM（ranking support vector machines）算法在高維空間中學(xué)習(xí)排序函數(shù)，使得真實(shí)匹配和錯(cuò)誤匹配比在原始空間中更易分離。Lu 等人（2014）提出了基于稀疏重建的度量學(xué)習(xí)方法，通過(guò)學(xué)習(xí)距離度量來(lái)最小化類(lèi)內(nèi)稀疏重建誤差，同時(shí)最大化類(lèi)間稀疏重建誤差，從而利用有判別力的信息進(jìn)行識(shí)別。Ben 等人（2019b）提出了基于耦合度量學(xué)習(xí)的通用張量表示框架，從GEI 中提取不同尺度和方向的Gabor 特征，然后通過(guò)提出的張量耦合映射準(zhǔn)則，將基于Gabor的表示投影到公共子空間進(jìn)行識(shí)別。

在視角差異較大的情況下，這些方法有時(shí)很難為特征找到一個(gè)魯棒的視角不變子空間或度量。

2.4 基于深度學(xué)習(xí)的識(shí)別方法

近幾年，一些深度學(xué)習(xí)方法用于提取視角不變步態(tài)特征，取得了很好的效果。深度學(xué)習(xí)通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)步態(tài)特征的深層表示，本節(jié)介紹幾種常見(jiàn)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在提取步態(tài)時(shí)空特征中的應(yīng)用。

2.4.1 卷積神經(jīng)網(wǎng)絡(luò)

卷 積 神 經(jīng) 網(wǎng) 絡(luò)（convolution neural network，CNN）通常是由卷積層、池化層和全連接層組成的前饋神經(jīng)網(wǎng)絡(luò)。通過(guò)多層卷積和池化操作，CNN 能夠?qū)W習(xí)圖像的整體特征而不受局部空間變化的影響。因此常用于從不同視角的步態(tài)圖像中提取不受視角變化影響的空間步態(tài)特征。Wu 等人（2015）從步態(tài)序列中隨機(jī)挑選一些輪廓，并輸入CNN 中學(xué)習(xí)視角不變的特征，這種方法的問(wèn)題是隨機(jī)選擇的輪廓圖像集沒(méi)有考慮步態(tài)特征的有用動(dòng)態(tài)信息。為此，Wu等人（2017）將步態(tài)能量圖（gait energy image，GEI）作為輸入，并對(duì)3 種不同深度和結(jié)構(gòu)的深度CNN 進(jìn)行了廣泛評(píng)估。GEI的構(gòu)建方式為

式中，N是圖像序列一個(gè)完整周期中的幀數(shù)，I(x，y，n)表示第n幀輪廓坐標(biāo)(x，y)處的像素值。通過(guò)對(duì)步態(tài)周期中的輪廓圖求平均值，GEI 不僅節(jié)省了存儲(chǔ)空間和計(jì)算時(shí)間，而且能在一定程度上反映步態(tài)序列的時(shí)間信息。Song等人（2019）將輪廓分割、特征提取、特征學(xué)習(xí)和相似性度量這幾個(gè)步驟集成到一個(gè)框架中，首次提出了用于跨視角步態(tài)識(shí)別的端到端網(wǎng)絡(luò)GaitNet。該網(wǎng)絡(luò)由用于步態(tài)分割和分類(lèi)的兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)組成，這兩個(gè)網(wǎng)絡(luò)在聯(lián)合學(xué)習(xí)過(guò)程中建模，這種策略大幅簡(jiǎn)化了傳統(tǒng)的分步方式，并且每個(gè)組件可以在聯(lián)合學(xué)習(xí)中顯著提高性能。Takemura 等人（2019）詳細(xì)討論了用于跨視角步態(tài)識(shí)別的CNN 的網(wǎng)絡(luò)結(jié)構(gòu)，指出不同視角輸入對(duì)間的差異是在經(jīng)過(guò)多層卷積和池化后提取的深層特征上計(jì)算的，因此即使在視角變化較大的情況下，CNN 也能夠透過(guò)類(lèi)內(nèi)外觀差異學(xué)習(xí)到更為本質(zhì)的步態(tài)特征；而在視角變化很小時(shí)，通過(guò)在較淺層上獲取細(xì)微的空間差異，可以提高網(wǎng)絡(luò)的類(lèi)間區(qū)分性。受該方法的啟發(fā)，Xu 等人（2021）提出了一種用于跨視角步態(tài)識(shí)別的成對(duì)空間變換網(wǎng)絡(luò)（pairwise spatial transformer network，PSTN），首先通過(guò)CNN 學(xué)習(xí)像素級(jí)的空間變換參數(shù)，將不同視角的輸入GEI 轉(zhuǎn)換到它們共同的中間視角，再輸入后續(xù)基于CNN 的識(shí)別網(wǎng)絡(luò)中，從而減少識(shí)別步驟之前由于視角差異而導(dǎo)致的特征對(duì)齊錯(cuò)誤，進(jìn)一步提高了基于CNN 的跨視角步態(tài)識(shí)別精度。

步態(tài)能量圖簡(jiǎn)單易實(shí)現(xiàn)，但容易丟失細(xì)粒度的時(shí)空信息，而圖像序列的順序約束可能會(huì)使步態(tài)識(shí)別缺乏靈活性。為了解決這個(gè)問(wèn)題，Chao 等人（2022）提出了GaitSet模型，如圖5所示，將步態(tài)視為無(wú)序的幀集合，使用CNN 從每個(gè)輪廓中獨(dú)立提取幀級(jí)特征。該方法不受幀順序和幀長(zhǎng)的影響，并且可以將不同場(chǎng)景下拍攝的不同視頻幀進(jìn)行拼接。同時(shí)，該方法還將水平金字塔匹配（horizontal pyramid mapping，HPM）引入步態(tài)識(shí)別，通過(guò)將特征圖分割成不同尺度的水平條帶，綜合利用局部和全局空間特征。Hou 等人（2020）同樣將步態(tài)輪廓視為無(wú)序集，提出了步態(tài)橫向網(wǎng)絡(luò)（gait lateral network，GLN），利用深層CNN 中固有的特征金字塔聚合由淺至深的不同卷積層提取的特征來(lái)增強(qiáng)步態(tài)的區(qū)分性表示。GLN 還具有一個(gè)緊湊塊，使其與GaitSet 相比可以在不影響精度的前提下顯著降低步態(tài)表示的維數(shù)。Han 等人（2022）從度量學(xué)習(xí)的角度進(jìn)一步改進(jìn) 了GaitSet，使 用 角softmax（angular softmax，A-Softmax）損失施加一個(gè)角裕度來(lái)提取可分離特征，其表達(dá)式為

圖5 GaitSet框架（Chao等，2022）Fig.5 The framework of GaitSet（Chao et al.，2022）

式中，N表示訓(xùn)練集中的樣本數(shù)，xi是提取的第i個(gè)樣本的特征向量，yi表示其對(duì)應(yīng)的標(biāo)簽，ψ(θyi，i)=(-1)kcos (mθyi，i) - 2k，θyi，i是特征向量xi和網(wǎng)絡(luò)權(quán)重Wyi間的夾角，，k∈{0，…，m-1}，m是控制角裕度大小的整數(shù)超參數(shù)。該方法還聯(lián)合三元組損失（triplet loss）提取更有判別力的特征。三元組損失是步態(tài)識(shí)別中廣泛應(yīng)用的損失函數(shù)，其表達(dá)式為

式中，da，p和da，n分別表示相同標(biāo)簽和不同標(biāo)簽樣本間的距離，m是用于控制da，n比da，p大多少的超參數(shù)，通過(guò)適當(dāng)調(diào)整m，可以在保證模型收斂的前提下提高模型的區(qū)分度。

為了充分利用步態(tài)信息，許多方法將CNN 與1 維卷積等結(jié)構(gòu)相結(jié)合，在整體到局部的多尺度時(shí)空維度上提取視角不變的步態(tài)特征。例如，汪堃等人（2020）利用水平金字塔映射提取多尺度空間特征，并通過(guò)對(duì)輪廓圖特定區(qū)域進(jìn)行隨機(jī)遮擋，使模型更關(guān)注著裝和攜物等協(xié)變量影響范圍外的局部步態(tài)特征。Fan 等人（2020）提出的GaitPart 將人體分成幾個(gè)部分，通過(guò)基于1 維卷積的微動(dòng)捕捉模塊提取局部短距離時(shí)空特征，并使用聚焦卷積層（focal convolution layer，F(xiàn)Conv）來(lái)增強(qiáng)空間特征的細(xì)粒度學(xué)習(xí)，如圖6 所示，圖中C、H和W分別為特征圖的通道數(shù)、高和寬。Wu等人（2021）注意到局部身體部位對(duì)識(shí)別性能的貢獻(xiàn)隨著不同的視角和著裝條件而變化，提出了一種條件感知比較方案來(lái)衡量步態(tài)對(duì)的相似性，并設(shè)計(jì)了膨脹時(shí)間金字塔卷積（dilated temporal pyramid convolution，DTPC）來(lái)提取多時(shí)間跨度特征。為了進(jìn)一步學(xué)習(xí)靈活、魯棒的多尺度時(shí)間特征，Huang 等人（2021a）提出了一種上下文敏感的時(shí)間特征學(xué)習(xí)網(wǎng)絡(luò)，將時(shí)間特征聚集在幀級(jí)、短期和長(zhǎng)期3 個(gè)尺度上，根據(jù)時(shí)間上下文信息獲得運(yùn)動(dòng)表示，并通過(guò)顯著空間特征學(xué)習(xí)模塊選擇有判別力的空間局部特征。Li等人（2022）注意到很多方法以相同的概率從每一幀中提取特征，導(dǎo)致無(wú)法充分利用步態(tài)序列中包含相鄰人體部位最重要信息的關(guān)鍵幀。為此，通過(guò)引入殘差幀注意力機(jī)制關(guān)注步態(tài)序列的時(shí)間重要性以提取關(guān)鍵幀，并通過(guò)切片提取器分割和關(guān)聯(lián)相鄰的身體部位來(lái)增強(qiáng)空間細(xì)粒度學(xué)習(xí)。Hou等人（2022）則試圖同時(shí)找出序列中的每幀輪廓和輪廓中的每個(gè)部分在步態(tài)識(shí)別中的相對(duì)重要性，提出了步態(tài)質(zhì)量感知網(wǎng)絡(luò)（gait quality aware network，GQAN），通過(guò)幀質(zhì)量塊（frame quality block，F(xiàn)QBlock）和部分質(zhì)量塊（part quality block，PQBlock）兩個(gè)模塊評(píng)估每幀輪廓和每個(gè)部分的質(zhì)量。

圖6 聚焦卷積層Fig.6 The focal convolution layer

除了以上GEI、輪廓圖等基于外觀的表示方法，近年來(lái)基于模型的表示也用做卷積神經(jīng)網(wǎng)絡(luò)的輸入?；谀Ｐ偷谋硎痉椒▽?duì)視角、遮擋等協(xié)變量具有魯棒性，但傳統(tǒng)模型往往難以準(zhǔn)確擬合?；谏疃葘W(xué)習(xí)的姿勢(shì)估計(jì)方法很好地解決了這個(gè)問(wèn)題。Liao 等人（2020）使用基于CNN 的OpenPose 估計(jì)步態(tài)的骨架信息，同時(shí)融合3 種手工特征，將它們共同作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。Li 等人（2020c）使用蒙皮多人線(xiàn)性（skinned multi-person linear，SMPL）模型進(jìn)行人體建模，并使用預(yù)訓(xùn)練的人體網(wǎng)格恢復(fù)（human mesh recovery，HMR）網(wǎng)絡(luò)估計(jì)其參數(shù)，最后使用CNN 或長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）進(jìn)行識(shí)別，其模型框架如圖7 所示。與Liao（2020）等人先估計(jì)骨架信息再通過(guò)CNN提取判別性特征的兩步識(shí)別不同，Li等人（2020c）提出的整個(gè)網(wǎng)絡(luò)以端到端的方式進(jìn)行訓(xùn)練。但是，以上兩種方法均提取步態(tài)模型的整體結(jié)構(gòu)或整體運(yùn)動(dòng)，而忽略了其局部模式。為此，Xu 等人（2022）提出了一種局部圖骨架描述符（local graphical skeleton descriptor，LGSD）來(lái)描述人體步態(tài)骨架的局部模式，并采用基于雙流CNN 的成對(duì)相似網(wǎng)絡(luò)來(lái)最大化真實(shí)匹配對(duì)的相似度、最小化虛假匹配對(duì)的相似度。徐碩等人（2022）將基于外觀和模型的表示方法相結(jié)合，分別使用GaitSet 網(wǎng)絡(luò)和5 層卷積網(wǎng)絡(luò)提取輪廓圖像和骨架特征，并通過(guò)通道注意力機(jī)制對(duì)二者進(jìn)行融合，以結(jié)合兩種表示方法的優(yōu)點(diǎn)。

圖7 Li等人（2020c）提出的模型框架Fig.7 The framework of the model proposed by Li et al.（2020c）

2.4.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）通過(guò)帶自反饋的神經(jīng)元來(lái)處理時(shí)序數(shù)據(jù)，在跨視角步態(tài)識(shí)別中常用于從步態(tài)序列中提取時(shí)間特征。長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和門(mén)控循環(huán)單元（gated recurrent units，GRU）是兩種常用的RNN 變體。LSTM 的循環(huán)單元結(jié)構(gòu)如圖8（a）所示，上一時(shí)刻外部狀態(tài)ht-1和當(dāng)前輸入Xt經(jīng)過(guò)logistic 激活函數(shù)σ(·)和tanh激活函數(shù)計(jì)算出遺忘門(mén)ft、輸入門(mén)it、輸出門(mén)ot和候選狀態(tài)C～t，然后結(jié)合ft和it更新記憶單元Ct，最后結(jié)合ot更新外部狀態(tài)ht。GRU 的循環(huán)單元結(jié)構(gòu)如圖8（b）所示，它直接用更新門(mén)zt代替LSTM 的遺忘門(mén)和輸入門(mén)，同時(shí)通過(guò)重置門(mén)rt控制當(dāng)前候選狀態(tài)h～t對(duì)上一時(shí)刻外部狀態(tài)ht-1的依賴(lài)性。

圖8 LSTM和GRU的循環(huán)單元Fig.8 Recurrent units of LSTM and GRU

RNN 常與CNN 等其他網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合來(lái)學(xué)習(xí)步態(tài)序列中的時(shí)空信息。例如，Li 等人（2019）通過(guò)ResNet-50 模型和空間注意力組件從輪廓圖序列中提取與身份相關(guān)的空間特征，并將其輸入LSTM 單元以學(xué)習(xí)步態(tài)運(yùn)動(dòng)特征。同時(shí)，針對(duì)LSTM 的每個(gè)時(shí)間步的輸出對(duì)步態(tài)識(shí)別有不同的貢獻(xiàn)，提出了一種專(zhuān)注時(shí)間摘要（attentive temporal summary，ATS）組件來(lái)自適應(yīng)地為L(zhǎng)STM 的輸出分配不同的權(quán)重，以增強(qiáng)有判別力的時(shí)間步并抑制冗余時(shí)間步。Zhang 等人（2020）首先通過(guò)簡(jiǎn)化的空間變換網(wǎng)絡(luò)定位人體輪廓的水平部位，然后利用CNN 提取每個(gè)水平部位的步態(tài)特征，最后引入LSTM 單元作為時(shí)間注意力模型來(lái)學(xué)習(xí)輸出特征序列的幀級(jí)注意力權(quán)重，從而更多地關(guān)注具有判別性的幀。此外，提出了稱(chēng)為角中心損失（angle center loss，ACL）的步態(tài)相關(guān)損失函數(shù)，通過(guò)為相同身份的每個(gè)視角學(xué)習(xí)多個(gè)子中心，更好地實(shí)現(xiàn)類(lèi)內(nèi)跨視角特征的緊湊性。

除了提取時(shí)間特征，RNN 還能用來(lái)學(xué)習(xí)步態(tài)圖像中局部分塊特征間的關(guān)系，從而使步態(tài)識(shí)別系統(tǒng)對(duì)視角變化更魯棒。Sepas-Moghaddam 和Etemad（2021）注意到基于多尺度時(shí)空特征表示的方法能有效地學(xué)習(xí)視角不變的步態(tài)特征，但這些學(xué)習(xí)到的局部特征往往直接連接成特征向量用于識(shí)別，忽略了它們之間的關(guān)系和位置屬性。為了解決這個(gè)問(wèn)題，他們首次使用RNN 學(xué)習(xí)局部特征間的關(guān)系，其模型框架如圖9所示。首先通過(guò)CNN 和時(shí)間池化提取步態(tài)幀的卷積能量圖（gait convolutional energy maps，GCEM），然后采用雙向門(mén)控循環(huán)單元（bi-directional gated recurrent units，BGRU）學(xué)習(xí)GCEM 分割塊的前向和后向關(guān)系，最后使用注意力機(jī)制選擇性地關(guān)注重要的局部特征。

圖9 Sepas-Moghaddam和Etemad（2021）提出的模型框架Fig.9 The framework of the model proposed by Sepas-Moghaddam and Etemad（2021）

2.4.3 自編碼器

自編碼器（auto encoder，AE）通過(guò)學(xué)習(xí)編碼器—解碼器結(jié)構(gòu)的最小化重建損失來(lái)提取輸入數(shù)據(jù)的潛在特征，圖10 展示了一個(gè)簡(jiǎn)單的自編碼器結(jié)構(gòu)，其中重建損失可以表示為

圖10 自編碼器圖示Fig.10 The illustration of the auto encoder

式中，N是一個(gè)批量中步態(tài)樣本的數(shù)目，xj和x′j分別表示輸入和輸出特征。在跨視角步態(tài)識(shí)別任務(wù)中，通過(guò)設(shè)計(jì)合理的損失函數(shù)，自編碼器能夠?qū)⑿凶哒叩牟綉B(tài)特征與視覺(jué)外觀分離開(kāi)來(lái)，從而利用編碼器提取的對(duì)外觀變化不敏感的步態(tài)表示進(jìn)行識(shí)別。

Zhang 等人（2019b）提出了一種自編碼器框架，通過(guò)交叉重建損失和步態(tài)相似性損失從RGB 圖像序列中學(xué)習(xí)姿勢(shì)特征和姿勢(shì)無(wú)關(guān)特征，并將姿勢(shì)特征輸入LSTM 生成基于序列的步態(tài)特征。最近，又將姿勢(shì)無(wú)關(guān)特征分離為規(guī)范特征和外觀特征，并通過(guò)設(shè)計(jì)規(guī)范一致性損失進(jìn)一步提高識(shí)別的準(zhǔn)確性（Zhang 等，2022）。受Zhang 等人（2022）的啟發(fā)，Li等人（2020b）將解糾纏思想擴(kuò)展到直接從GEI 中解糾纏身份和協(xié)變量特征，因?yàn)榛谳喞谋硎究梢院雎訰GB 中的顏色和紋理等無(wú)關(guān)信息。他們還通過(guò)將協(xié)變量特征從一個(gè)對(duì)象轉(zhuǎn)移到另一個(gè)對(duì)象來(lái)合成新的步態(tài)模板。Zhai等人（2022）則利用自編碼器從GEI 中分離身份和視角特征。如圖11 所示，其模型由視角編碼器、身份編碼器和步態(tài)解碼器組成。視角和身份編碼器分別對(duì)原始步態(tài)輸入的視角和身份特征進(jìn)行編碼，步態(tài)解碼器使用它們的合并特征來(lái)重建輸入。為了更好地分離特征，他們使用了多種損失函數(shù)，如通過(guò)視角回歸和身份模糊損失來(lái)確保視角特征只包含視角信息、通過(guò)不相似性損失來(lái)增加身份特征與視角特征間的分布差異。

圖11 Zhai等人（2022）提出的模型框架Fig.11 The framework of the model proposed by Zhai et al.（2022）

除了將自編碼器用于分離協(xié)變量特征，Zhang等人（2021）還提出了一種基于卷積變分自編碼器和深度庫(kù)普曼（Koopman）嵌入的步態(tài)動(dòng)力學(xué)框架，將Koopman 算子作為線(xiàn)性化嵌入空間的動(dòng)力學(xué)特征用于跨視角步態(tài)識(shí)別，為步態(tài)識(shí)別系統(tǒng)提供了堅(jiān)實(shí)的物理解釋能力。

2.4.4 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）利用生成器和判別器的對(duì)抗性訓(xùn)練，生成符合真實(shí)數(shù)據(jù)分布的樣本。在跨視角步態(tài)識(shí)別任務(wù)中，GAN 基于輸入樣本生成特定視角下的步態(tài)圖像，可以起到視角轉(zhuǎn)換的效果。例如，Yu 等人（2019）提出GaitGANv2模型，如圖12所示，使用類(lèi)似自編碼器的編碼器—解碼器結(jié)構(gòu)生成側(cè)視視角下的標(biāo)準(zhǔn)GEI，為了在生成的側(cè)視圖中保留身份信息，在傳統(tǒng)GAN的基礎(chǔ)上設(shè)計(jì)了兩個(gè)判別器，真假判別器確保生成步態(tài)圖像的真實(shí)性，識(shí)別判別器確保生成的步態(tài)圖像包含身份信息。張紅穎和包雯靜（2022）在生成器和判別器中引入自注意力機(jī)制，以學(xué)習(xí)更多全局特征的相關(guān)性，從而提高生成GEI 的質(zhì)量。He 等人（2019）提出的多任務(wù)生成對(duì)抗網(wǎng)絡(luò)（multi-task generative adversarial networks，MGANs）以基于GEI改進(jìn)的周期能量圖像（period energy image，PEI）作為輸入，首先將PEI 編碼為潛在空間中特定視角的特征，然后基于視角流形的假設(shè)在保持身份信息的同時(shí)對(duì)視角特征進(jìn)行轉(zhuǎn)換，再將轉(zhuǎn)換后的特征輸入生成器以生成目標(biāo)PEI，并通過(guò)多個(gè)子判別器確保生成的PEI 屬于特定域（如視角域、身份域或通道域）。不同于GaitGANv2 中兩個(gè)判別器相互獨(dú)立，MGANs 中不同的判別器共享網(wǎng)絡(luò)權(quán)重。以上基于GAN 的方法均使用步態(tài)序列聚合成的單幅步態(tài)圖像（GEI 或PEI）作為GAN 的輸入和輸出，且生成的步態(tài)樣本直接用于識(shí)別階段而不增加訓(xùn)練數(shù)據(jù)量。Chen 等人（2021）提出多視角步態(tài)生成對(duì)抗網(wǎng)絡(luò)（multiview gait generative adversarial network，MvGGAN），以步態(tài)輪廓序列和視角標(biāo)簽作為輸入，通過(guò)控制視角標(biāo)簽，用一個(gè)生成器生成多種視角的虛假步態(tài)樣本，從而擴(kuò)展現(xiàn)有步態(tài)數(shù)據(jù)庫(kù)，解決了基于深度學(xué)習(xí)的跨視角步態(tài)識(shí)別方法由于缺少不同視角的樣本而性能受限的問(wèn)題。

圖12 GaitGANv2框架（Yu等，2019）Fig.12 The framework of GaitGANv2（Yu et al.，2019）

2.4.5 3維卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的CNN 在用于跨視角步態(tài)識(shí)別時(shí)都是對(duì)步態(tài)圖像的空間維進(jìn)行操作，而時(shí)間維度的幀間運(yùn)動(dòng)信息通常需要配合1維卷積或RNN等模塊進(jìn)行提取。3 維卷積神經(jīng)網(wǎng)絡(luò)（3D convolution neural network，3D CNN）通過(guò)將卷積運(yùn)算擴(kuò)展到時(shí)域，更好地獲取視頻圖像序列中時(shí)空信息間的關(guān)聯(lián)，從而直接學(xué)習(xí)整個(gè)步態(tài)序列的時(shí)空動(dòng)力學(xué)特征。為了克服3D CNN需要固定長(zhǎng)度的幀作為輸入，且只關(guān)注單個(gè)時(shí)間尺度的局限性，Lin等人（2020）提出了多時(shí)間尺度3 維卷積神經(jīng)網(wǎng)絡(luò)（multiple-temporal-scale 3D CNN，MT3D），如圖13 所示，使用多時(shí)間尺度框架整合小尺度和大尺度時(shí)間信息，同時(shí)通過(guò)引入幀池化操作，打破了3D CNN 輸入要求的限制。為了使3D CNN 更好地提取時(shí)空特征，他們提出了圖13下方所示的兩種基礎(chǔ)3 維卷積塊（BasicBlock3D，B3D），將傳統(tǒng)的卷積核大小為（3，3，3）的3 維卷積（3 × 3 × 3 conv）作為主干從步態(tài)序列中提取時(shí)空特征，而低秩卷積（1 × 3 × 3 conv，3 × 1 × 1 conv，1 × 1 × 1 conv）作為分支以增強(qiáng)主干的特征表示，圖中LReLU（leaky-ReLU）指帶泄露的ReLU 激活函數(shù)。Huang等人（2022）將時(shí)空雙注意力單元集成到類(lèi)似B3D的3 種核尺寸并行的3D CNN 中，在保留時(shí)空信息相關(guān)性的同時(shí)解耦時(shí)間和空間特征提取。

圖13 MT3D框架（Lin等，2020）Fig.13 The framework of MT3D（Lin et al.，2020）

考慮到全局特征往往忽略了步態(tài)的細(xì)節(jié)，而局部特征表示可能會(huì)丟失全局上下文信息，Lin 等人（2021）在3D CNN 框架中構(gòu)建了稱(chēng)為全局和局部特征提取器（global and local feature extractor，GLFE）的特征提取模塊，通過(guò)將全局和局部步態(tài)特征相結(jié)合來(lái)獲得更具判別性的特征表示。另外，在CNN 中通常使用空間池化層來(lái)降低采樣特征分辨率，這會(huì)使空間信息逐漸丟失。為此，他們開(kāi)發(fā)了局部時(shí)間聚合（local temporal aggregation，LTA）操作來(lái)取代傳統(tǒng)的空間池化層，并在局部片段中聚合時(shí)間信息的同時(shí)保留空間信息。他們?cè)谔崛【植刻卣鲿r(shí)，將全局特征圖水平劃分為幾個(gè)部分，這也是許多基于局部特征的模型的通用做法。顯然，這些基于水平條帶的分割方法無(wú)法靈活準(zhǔn)確地定位身體部位。為了解決這個(gè)問(wèn)題，Huang 等人（2021b）提出了一種稱(chēng)為3 維局部卷積神經(jīng)網(wǎng)絡(luò)的3D CNN 構(gòu)建塊，以自適應(yīng)的時(shí)空尺度、位置和長(zhǎng)度從序列中提取局部3 維體積，從而更好地學(xué)習(xí)身體部位的時(shí)空模式。

2.4.6 圖卷積網(wǎng)絡(luò)

首先，注重入門(mén)引導(dǎo)。學(xué)生對(duì)專(zhuān)業(yè)的興趣是建立在專(zhuān)業(yè)入門(mén)時(shí)的引導(dǎo)上，學(xué)生剛剛接觸專(zhuān)業(yè)是培育學(xué)生興趣的最佳時(shí)機(jī)，因此教師應(yīng)該在專(zhuān)業(yè)入門(mén)的引導(dǎo)上下功夫，讓每一名學(xué)生都能找到自己感興趣的點(diǎn)，這樣才能培養(yǎng)學(xué)生的專(zhuān)業(yè)興趣，讓學(xué)生真的能夠“鉆進(jìn)去，學(xué)出來(lái)”。在學(xué)生剛剛接觸專(zhuān)業(yè)時(shí)，應(yīng)注重學(xué)習(xí)方法的傳授，而不是知識(shí)的傳授，告訴學(xué)生怎么學(xué)，學(xué)什么，比給學(xué)生講一個(gè)知識(shí)點(diǎn)重要得多。同時(shí)教師要在課程中融入專(zhuān)業(yè)的文化，培養(yǎng)學(xué)生對(duì)專(zhuān)業(yè)的責(zé)任感和使命感，這也能提高學(xué)生對(duì)所學(xué)專(zhuān)業(yè)的興趣。

在跨視角步態(tài)識(shí)別領(lǐng)域，基于骨架圖的步態(tài)表示方法忽略了與外觀相關(guān)的冗余信息，能夠反映更純粹的步態(tài)特征，但骨架圖結(jié)構(gòu)中的數(shù)據(jù)是非歐幾里德的，不能在常規(guī)的CNN 中操作。2.4.1 節(jié)提到的一些方法（Liao 等，2020）利用先驗(yàn)知識(shí)設(shè)計(jì)時(shí)空特征形成中間向量，并在CNN 模型中進(jìn)一步細(xì)化。然而，在動(dòng)態(tài)模式中具有實(shí)際效果的特征可能會(huì)在人工假設(shè)中丟失。近幾年興起的圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）將CNN 擴(kuò)展到圖上，直接處理圖結(jié)構(gòu)的數(shù)據(jù)而不需要對(duì)其進(jìn)行轉(zhuǎn)化，這為基于骨架的步態(tài)識(shí)別提供了新思路。

Li 等人（2020a）提出一種基于模型的步態(tài)識(shí)別方法JointsGait，使用步態(tài)圖卷積網(wǎng)絡(luò)從2 維骨架中提取時(shí)空特征，并通過(guò)關(guān)節(jié)關(guān)系金字塔映射（joints relationship pyramid mapping，JRPM）根據(jù)人體結(jié)構(gòu)和行走習(xí)慣將時(shí)空步態(tài)特征劃分為不同的身體子區(qū)域，以獲得更具判別力的特征表示。Liu等人（2022）觀察到步態(tài)特征具有獨(dú)特的對(duì)稱(chēng)性，提出了對(duì)稱(chēng)驅(qū)動(dòng)的超特征圖卷積網(wǎng)絡(luò)（symmetry-driven hyper feature graph convolutional network，SDHF-GCN），通過(guò)在鄰接矩陣中引入基于先驗(yàn)知識(shí)的對(duì)稱(chēng)連接來(lái)增強(qiáng)相關(guān)關(guān)節(jié)之間的聯(lián)系，并減少聯(lián)合估計(jì)引起的噪聲。并且，采用超特征網(wǎng)絡(luò)來(lái)聚合深層的動(dòng)態(tài)特征、中層的結(jié)構(gòu)化特征和淺層的靜態(tài)特征，通過(guò)層次語(yǔ)義特征互補(bǔ)來(lái)提高模型的表達(dá)和識(shí)別能力。Li 和Zhao（2022）受步態(tài)周期性的啟發(fā)，將基于步態(tài)周期性的時(shí)間特征金字塔聚合器（periodicity-inspired temporal feature pyramid aggregator，PTP）與 空 間GCN 結(jié)合，提出了基于骨架的步態(tài)識(shí)別方法CycleGait，如圖14 所示，首先通過(guò)設(shè)計(jì)的不規(guī)則步速轉(zhuǎn)換器（irregular pace converter，IPC）將正常步速的骨架序列轉(zhuǎn)換為不規(guī)則步速，生成不同周期的步態(tài)樣本進(jìn)行數(shù)據(jù)增強(qiáng)，然后通過(guò)GCN-PTP 網(wǎng)絡(luò)和他們之前提出的JRPM（joints relationship pyramid mapping）（Li等，2020a）分別提取骨架圖的時(shí)空特征和身體局部特征，最后采用混合損失函數(shù)優(yōu)化步態(tài)表示學(xué)習(xí)。

圖14 CycleGait框架（Li和Zhao，2022）Fig.14 The framework of CycleGait（Li and Zhao，2022）

3 性能比較和分析

3.1 性能比較

為了進(jìn)一步了解不同跨視角步態(tài)識(shí)別方法的性能，本文比較了一些代表性方法的特征表示、采用的識(shí)別方法、損失函數(shù)和度量函數(shù)及在CASIA-B、OUISIR LP 和OU-MVLP 這3 個(gè)常用數(shù)據(jù)庫(kù)上的識(shí)別準(zhǔn)確率，如表2 和表3 所示。表3 中結(jié)果直接從相應(yīng)的原始論文中獲取。

在CASIA-B數(shù)據(jù)庫(kù)上，分別對(duì)比了正常、帶包和穿外套3 種情況的平均準(zhǔn)確率。其中，帶下劃線(xiàn)結(jié)果為在中等樣本訓(xùn)練設(shè)置下得到，其余結(jié)果為在大樣本訓(xùn)練設(shè)置下得到，兩種設(shè)置分別以62和74名受試者為訓(xùn)練集，剩下的為測(cè)試集。測(cè)試集中每個(gè)受試者每個(gè)視角的前4 次正常行走的步態(tài)序列為注冊(cè)集，其余序列（后2次正常行走序列、2次穿外套行走序列、2 次帶包行走序列）為查詢(xún)集。多數(shù)基于輪廓的方法輸入圖像為64 × 44像素的標(biāo)準(zhǔn)尺寸，部分采用128 × 88 像素或更大輸入輪廓尺寸得到的結(jié)果以“*”標(biāo)出。

在OU-ISIR LP 數(shù)據(jù)庫(kù)上，主要對(duì)比了該數(shù)據(jù)庫(kù)兩種常用的性能評(píng)估方案。第1 種方案將包含1 912 名受試者的子集分為人數(shù)相等的2 組，分別用于訓(xùn)練和測(cè)試，共進(jìn)行10次交叉驗(yàn)證實(shí)驗(yàn)；第2種方案將所有受試者隨機(jī)分為5組，進(jìn)行5次交叉驗(yàn)證實(shí)驗(yàn)，每次保留1 組用于測(cè)試，剩下的4 組用于訓(xùn)練。有些方法采用了其他評(píng)估方案，結(jié)果在表3中的OUISIR LP數(shù)據(jù)庫(kù)欄中單獨(dú)列出。

在OU-MVLP 數(shù)據(jù)庫(kù)上，分別對(duì)比了4 個(gè)視角（0°，30°，60°，90°）和全部視角下的平均準(zhǔn)確率。在所有的步態(tài)序列中，5 153名受試者的序列用于訓(xùn)練，5 154 名受試者的序列用于測(cè)試。在測(cè)試集中，第1 次和第2 次采集的步態(tài)序列分別作為注冊(cè)集和查詢(xún)集。

3.2 結(jié)果分析

從表2和表3可以看出，輪廓序列和GEI是最常用的兩種步態(tài)特征，CNN 是最常用的識(shí)別方法。多數(shù)方法都結(jié)合使用了兩種或更多的損失函數(shù)，其中三元組損失和交叉熵?fù)p失最為普遍。對(duì)于OU-ISIR LP 數(shù)據(jù)庫(kù)，由于其所含視角數(shù)較少，且角度變化范圍較小，表中方法均達(dá)到了90%以上的準(zhǔn)確率，其中Ben 等人（2019a）和Wu 等人（2021）提出的方法分別在兩種評(píng)估方案下實(shí)現(xiàn)了最高的性能。對(duì)于CASIA-B 數(shù)據(jù)庫(kù)，早期基于非深度學(xué)習(xí)的方法準(zhǔn)確率較低，且很多測(cè)試沒(méi)有遵循常規(guī)測(cè)試協(xié)議，隨著CNN 等深度學(xué)習(xí)方法的引入，準(zhǔn)確率得到了顯著提高。在大樣本訓(xùn)練設(shè)置下，Huang 等人（2021a）的方法實(shí)現(xiàn)了標(biāo)準(zhǔn)輸入輪廓尺寸下最高的正常、穿外套和平均準(zhǔn)確率。最近，Hou 等人（2022）以128 × 88像素的輪廓圖作為輸入，在各種條件下的CASIA-B數(shù)據(jù)庫(kù)上均達(dá)到最高準(zhǔn)確率。Huang 等人（2021b）提出的基于3D CNN 的方法在包含全部視角的OUMVLP 數(shù)據(jù)庫(kù)上識(shí)別效果最好，在CASIA-B 上也取得了較好的效果。Chao 等人（2022）的方法在OUMVLP 數(shù)據(jù)庫(kù)4 個(gè)視角情況下實(shí)現(xiàn)了最好的識(shí)別性能。其他幾種方法（Huang 等，2022；Lin 等，2021；Chen 等，2021；Li 等，2020c）也在相應(yīng)數(shù)據(jù)庫(kù)上實(shí)現(xiàn)了先進(jìn)的性能。

表2 跨視角步態(tài)識(shí)別方法比較Table 2 Comparison of cross-view gait recognition methods

表3 跨視角步態(tài)識(shí)別方法的Rank-1指標(biāo)對(duì)比Table 3 Comparison of Rank-1 metrics for cross-view gait recognition methods/%

結(jié)構(gòu)結(jié)合的方法（Wu 等，2021；Huang 等，2021a）在相應(yīng)數(shù)據(jù)庫(kù)上實(shí)現(xiàn)了很好的識(shí)別效果。值得注意的是，近幾年采用人體模型結(jié)合深度神經(jīng)網(wǎng)絡(luò)的方法（Li等，2020c）在僅視角變化的條件下表現(xiàn)出優(yōu)異的性能，而當(dāng)存在服裝變化等協(xié)變量時(shí)，準(zhǔn)確率下降比較明顯。這可能是因?yàn)樽藙?shì)估計(jì)模型大多關(guān)注整體特征，使得服裝等協(xié)變量對(duì)其影響相對(duì)較大。另外，目前最先進(jìn)的方法在多數(shù)數(shù)據(jù)庫(kù)上都達(dá)到了90%以上的準(zhǔn)確率，但在CASIA-B 穿外套條件下的識(shí)別準(zhǔn)確率還相對(duì)較低（未超過(guò)85%）。如何提高跨視角步態(tài)識(shí)別在復(fù)雜條件下的魯棒性是未來(lái)需要進(jìn)一步解決的問(wèn)題。

4 未來(lái)研究方向

4.1 建立包含復(fù)雜協(xié)變量的大規(guī)模步態(tài)數(shù)據(jù)庫(kù)

隨著深度學(xué)習(xí)在跨視角步態(tài)識(shí)別領(lǐng)域的廣泛應(yīng)用，缺少可供深層網(wǎng)絡(luò)訓(xùn)練的具有復(fù)雜協(xié)變量條件的大規(guī)模步態(tài)數(shù)據(jù)成為亟待解決的問(wèn)題?，F(xiàn)實(shí)場(chǎng)景中攝像頭通常位于俯視視角拍攝，視頻背景復(fù)雜，通常包含不止一位行人，且可能存在遮擋情況。飲酒、患病和勞累等特殊狀態(tài)以及長(zhǎng)時(shí)間跨度導(dǎo)致的步態(tài)特征改變也是需要考慮的因素。然而，現(xiàn)有跨視角步態(tài)數(shù)據(jù)庫(kù)樣本數(shù)量普遍較少，且大多是在室內(nèi)采集，步態(tài)序列中僅包含單個(gè)受試者，幾乎沒(méi)有遮擋，拍攝背景也較為單一。另外，受試者的步態(tài)通常在提前告知的情況下采集，與日常自然行走時(shí)的步態(tài)相比可能存在差異。因此，未來(lái)一個(gè)重要的研究方向是建立模擬現(xiàn)實(shí)監(jiān)控場(chǎng)景的大規(guī)模步態(tài)數(shù)據(jù)庫(kù)，同時(shí)還要研究魯棒的分割方法以更好地從復(fù)雜背景中分割步態(tài)輪廓。此外，還可以通過(guò)生成對(duì)抗網(wǎng)絡(luò)等手段生成新的步態(tài)圖像以解決步態(tài)數(shù)據(jù)采集中的隱私敏感問(wèn)題。

4.2 跨數(shù)據(jù)庫(kù)的步態(tài)識(shí)別

目前幾乎所有的跨視角步態(tài)識(shí)別任務(wù)都在相同的數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，而實(shí)際應(yīng)用時(shí)，待識(shí)別的步態(tài)數(shù)據(jù)和訓(xùn)練模型使用的數(shù)據(jù)必然會(huì)存在差異。因此，未來(lái)有必要通過(guò)遷移學(xué)習(xí)等方法對(duì)步態(tài)識(shí)別模型進(jìn)行跨數(shù)據(jù)庫(kù)訓(xùn)練和測(cè)試，從而提高模型在現(xiàn)實(shí)場(chǎng)景中的泛化能力。另外，跨數(shù)據(jù)庫(kù)識(shí)別也能在一定程度上緩解目前可供訓(xùn)練的步態(tài)數(shù)據(jù)不足的問(wèn)題。

4.3 步態(tài)特征的自監(jiān)督學(xué)習(xí)方法

實(shí)際上，人們很容易通過(guò)監(jiān)控?cái)z像頭或網(wǎng)絡(luò)視頻等途徑獲取大量的步態(tài)樣本，難點(diǎn)在于獲取這些樣本對(duì)應(yīng)的身份信息（即標(biāo)簽）。自監(jiān)督學(xué)習(xí)可以通過(guò)代理任務(wù)（pretext task）從大量無(wú)標(biāo)簽的樣本中學(xué)習(xí)對(duì)下游任務(wù)有用的特征，這為利用這些無(wú)標(biāo)簽步態(tài)樣本提供了新思路。然而，對(duì)于跨視角步態(tài)識(shí)別任務(wù)，其不同視角的類(lèi)內(nèi)差異通常大于相同視角的類(lèi)間差異，這使得目前流行的基于對(duì)比學(xué)習(xí)的自監(jiān)督方法很難學(xué)習(xí)到魯棒的特征。未來(lái)可以針對(duì)視角變化設(shè)計(jì)更有效的數(shù)據(jù)增強(qiáng)策略和新的代理任務(wù)用于視角不變步態(tài)特征的自監(jiān)督學(xué)習(xí)。

4.4 步態(tài)特征的解糾纏表示學(xué)習(xí)方法

現(xiàn)有的跨視角步態(tài)識(shí)別方法在實(shí)驗(yàn)室環(huán)境中已經(jīng)取得了良好的識(shí)別效果，但實(shí)際應(yīng)用中視角、遮擋和光照等復(fù)雜協(xié)變量互相作用，會(huì)顯著降低識(shí)別準(zhǔn)確率。解糾纏表示學(xué)習(xí)因其能將原始數(shù)據(jù)空間中互相糾纏的要素分離為互不相關(guān)的表示，最近在計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛關(guān)注。目前一些步態(tài)識(shí)別方法開(kāi)始通過(guò)解糾纏分離身份和協(xié)變量特征，但很少將視角變化考慮在內(nèi)。未來(lái)可以通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)，設(shè)計(jì)用于處理包括視角變化在內(nèi)多種協(xié)變量的更全面的解糾纏表示學(xué)習(xí)方法。

4.5 進(jìn)一步開(kāi)發(fā)基于模型的步態(tài)表示方法

基于外觀的步態(tài)表示方法因其便于CNN 等神經(jīng)網(wǎng)絡(luò)處理而受到了更多關(guān)注，然而基于模型的方法在應(yīng)對(duì)視角變化、遮擋等協(xié)變量時(shí)具有天然的魯棒性?xún)?yōu)勢(shì)。隨著各種基于深度學(xué)習(xí)的姿勢(shì)估計(jì)方法和圖神經(jīng)網(wǎng)絡(luò)的興起，步態(tài)模型的建立和處理能力都得到了很大提升?；谀Ｐ停貏e是骨架模型的步態(tài)表示方法展現(xiàn)出優(yōu)良的前景。目前行為識(shí)別領(lǐng)域已經(jīng)對(duì)基于骨架的動(dòng)作表示進(jìn)行了許多研究，而跨視角步態(tài)識(shí)別領(lǐng)域的相關(guān)工作還較少。未來(lái)可以借鑒相關(guān)領(lǐng)域的優(yōu)秀成果，從優(yōu)化姿勢(shì)估計(jì)算法、開(kāi)發(fā)新的圖卷積網(wǎng)絡(luò)結(jié)構(gòu)、模型與外觀表示方法相結(jié)合等方面進(jìn)一步開(kāi)發(fā)基于模型的步態(tài)特征表示方法。

4.6 探索新的時(shí)間特征提取方法

目前的跨視角步態(tài)識(shí)別方法在空間特征提取方面取得了更大的突破，而對(duì)時(shí)間特征的提取仍有待進(jìn)一步研究。GEI 雖然節(jié)省了存儲(chǔ)空間，但丟失了步態(tài)的時(shí)序信息；基于RNN 的方法對(duì)步態(tài)識(shí)別準(zhǔn)確率的提升有限；近幾年3D CNN 實(shí)現(xiàn)了較好的識(shí)別效果，但其模型較大，在時(shí)空相關(guān)性方面可能會(huì)引入不必要的冗余或干擾，且在數(shù)據(jù)量少時(shí)容易過(guò)擬合。未來(lái)可以考慮引入運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)相關(guān)方法對(duì)步態(tài)序列的時(shí)間特征顯式建模，以提高步態(tài)識(shí)別的可解釋性和魯棒性。此外，另一個(gè)值得研究的方向是從低幀率視頻中提取視角不變步態(tài)特征，這對(duì)實(shí)時(shí)步態(tài)識(shí)別和擁擠人流等低有效幀的識(shí)別場(chǎng)景具有重要的應(yīng)用價(jià)值。

4.7 多模態(tài)融合步態(tài)識(shí)別

步態(tài)與人臉、指紋和虹膜等其他生物特征相比，具有無(wú)需受試者明確配合、無(wú)需近距離接觸等獨(dú)特優(yōu)勢(shì)，但對(duì)視角等協(xié)變量魯棒性較差，而傳統(tǒng)生物特征識(shí)別目前的準(zhǔn)確率通常高于步態(tài)識(shí)別。很多方法正研究將步態(tài)和其他多種生物特征相融合以實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。另外，將壓力傳感器、深度傳感器等傳感設(shè)備采集的多模態(tài)步態(tài)數(shù)據(jù)相融合，也可彌補(bǔ)視覺(jué)傳感器易受視角變化影響的局限性，從而提高跨視角步態(tài)識(shí)別的魯棒性。

4.8 提高步態(tài)識(shí)別系統(tǒng)的安全性

一般來(lái)說(shuō)，步態(tài)特征不易偽裝或隱藏，但隨著步態(tài)識(shí)別技術(shù)的快速發(fā)展，一些攻擊手段可能會(huì)對(duì)步態(tài)識(shí)別系統(tǒng)的安全性造成潛在威脅。例如，通過(guò)特殊設(shè)計(jì)的可改變步態(tài)的服裝等物品進(jìn)行欺騙，或者通過(guò)合成數(shù)據(jù)進(jìn)行對(duì)抗性攻擊。另外，由于視頻步態(tài)特征容易獲得且與年齡、性別、情緒和健康狀況等信息有很強(qiáng)的關(guān)聯(lián)性，步態(tài)識(shí)別中的隱私泄露問(wèn)題也不容忽視。目前步態(tài)識(shí)別關(guān)于這方面的研究很少，未來(lái)可以借鑒人臉識(shí)別領(lǐng)域的先進(jìn)經(jīng)驗(yàn)，設(shè)計(jì)適當(dāng)?shù)陌踩珯C(jī)制來(lái)檢測(cè)和抵御欺騙攻擊，同時(shí)設(shè)計(jì)加密方法來(lái)保護(hù)步態(tài)特征中的隱私信息。

5 結(jié) 語(yǔ)

步態(tài)識(shí)別以其獨(dú)特優(yōu)勢(shì)在安防監(jiān)控等領(lǐng)域發(fā)揮著重要作用。然而，在實(shí)際應(yīng)用中，步態(tài)特征往往會(huì)受到視角變化等協(xié)變量的影響，導(dǎo)致識(shí)別性能下降。因此，提高步態(tài)識(shí)別在跨視角條件下的魯棒性對(duì)推動(dòng)其實(shí)用化意義重大。本文首先介紹了跨視角步態(tài)識(shí)別數(shù)據(jù)庫(kù)，然后從基于3 維步態(tài)信息的識(shí)別方法、基于視角轉(zhuǎn)換模型的識(shí)別方法、基于視角不變特征的識(shí)別方法和基于深度學(xué)習(xí)的識(shí)別方法4 個(gè)方面對(duì)現(xiàn)有的跨視角步態(tài)識(shí)別方法進(jìn)行了全面綜述。最后，對(duì)跨視角步態(tài)識(shí)別方法的性能進(jìn)行了對(duì)比分析，并提出了幾種有價(jià)值的未來(lái)研究方向。