蔣若輝 楊淇 黃煒智

（河北大學(xué)網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院 河北省保定市 071000）

行人重識(shí)別（Person re-identification）是一個(gè)非常實(shí)用的研究方向，可以廣泛應(yīng)用于監(jiān)控、安全、刑事偵查等領(lǐng)域[1]。行人重識(shí)別任務(wù)是指給定一個(gè)行人，然后在不同的地點(diǎn)、時(shí)間和攝像機(jī)中檢索出目標(biāo)行人。近年來(lái)，行人重識(shí)別技術(shù)有了很大的發(fā)展，但還沒(méi)有達(dá)到可以實(shí)際應(yīng)用的水平。主要原因是行人重識(shí)別需要解決圖像和視頻的分辨率、人體姿態(tài)、人體尺度、人體遮擋、光照等因素帶來(lái)的問(wèn)題，使得我們很難對(duì)于不同攝像頭下的多姿態(tài)行人進(jìn)行準(zhǔn)確的識(shí)別。

目前，主流解決的方案是基于圖像的人物識(shí)別，包括表征學(xué)習(xí)和距離度量學(xué)習(xí)。對(duì)于表征學(xué)習(xí)，我們已經(jīng)從傳統(tǒng)的手工設(shè)計(jì)的特征過(guò)渡到深層神經(jīng)網(wǎng)絡(luò)，它可以學(xué)習(xí)更多的區(qū)分性特征。目前，在行人重識(shí)別任務(wù)中，除了提取全局特征外，人們更關(guān)注于圖像的局部特征。例如，早期采用了一些硬部件方法，后來(lái)發(fā)展到自適應(yīng)部件方法，然后發(fā)展到部件檢測(cè)的方法。提取特征的魯棒性也逐漸增強(qiáng)。距離度量學(xué)習(xí)的目標(biāo)是學(xué)習(xí)一個(gè)合適的特征空間，其中屬于一個(gè)人的特征向量非常接近，而屬于不同人的特征向量相距很遠(yuǎn)。然而，基于圖像的識(shí)別方法只能提取空間特征，獲取的特征單一，無(wú)法解決遮擋問(wèn)題。此外，現(xiàn)有的人體識(shí)別模型大多是獨(dú)立地從不同的人體部位獲取特征，缺乏人體部位之間存在的聯(lián)系。

圖神經(jīng)網(wǎng)絡(luò)近些年發(fā)展迅猛，在圖上使用卷積運(yùn)算，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于非歐幾里得數(shù)據(jù)進(jìn)行特征學(xué)習(xí)。圖模型匹配與傳統(tǒng)序列形式的特征匹配相比具有較強(qiáng)的靈活性，對(duì)于物體多視角，圖像畸變，物體多態(tài)，物體遮擋等以往不好解決的因素，具有一定的特殊優(yōu)勢(shì)。

本文提出了一種新的特征提取方式，使被遮擋的部分特征接近中心特征，從而在一定程度上消除了遮擋等問(wèn)題帶來(lái)的復(fù)雜因素問(wèn)題。我們?cè)贠ccluded-DukeMTMC 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)表明，圖神經(jīng)網(wǎng)絡(luò)在遮擋行人重識(shí)別任務(wù)中可以發(fā)揮很大的作用。

1 方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的神經(jīng)網(wǎng)絡(luò)，近年來(lái)被廣泛認(rèn)為是計(jì)算機(jī)視覺(jué)領(lǐng)域的最佳技術(shù)之一[2]。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)使用多個(gè)非線(xiàn)性特征提取單元階段性的提取特征進(jìn)行特征提取，卷積神經(jīng)網(wǎng)絡(luò)能夠從數(shù)據(jù)中學(xué)習(xí)不同特征的信息，最后進(jìn)行整合，得到一張圖像的整體特征。卷積神經(jīng)網(wǎng)絡(luò)具有從原始輸入中自動(dòng)學(xué)習(xí)特征的能力，無(wú)需使用手工特征，并且卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量較少，使得深層卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算具有可能性。后來(lái)人們發(fā)現(xiàn)，多層卷積神經(jīng)網(wǎng)絡(luò)可以更好的對(duì)于特征進(jìn)行表述，因此誕生了許多深度卷積神經(jīng)網(wǎng)絡(luò)，如經(jīng)典的ResNet，VGG 網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)發(fā)展已經(jīng)十分成熟，并仍在繼續(xù)進(jìn)步。

1.2 基于圖像的行人重識(shí)別

近年來(lái)，人們?cè)诨趫D像的行人重識(shí)別研究中提出了大量的模型。隨著神經(jīng)卷積網(wǎng)絡(luò)的發(fā)展，特征提取方法已經(jīng)從最早的人工特征發(fā)展到通過(guò)深層神經(jīng)網(wǎng)絡(luò)進(jìn)行更穩(wěn)健的特征提取。目前主要分為表征學(xué)習(xí)和距離度量學(xué)習(xí)兩大類(lèi)。表征學(xué)習(xí)使用各種CNN 結(jié)構(gòu)來(lái)提取更健壯的特征，例如基于零件的方法。PCB 方法提出了一種合理的劃分策略，可以學(xué)習(xí)區(qū)分零件的特征。對(duì)于距離度量學(xué)習(xí)，將CNN 結(jié)構(gòu)嵌入到深度學(xué)習(xí)結(jié)構(gòu)中，并共享網(wǎng)絡(luò)參數(shù)的權(quán)值，從而縮小類(lèi)內(nèi)差距，增加類(lèi)間差距。使用三重?fù)p失來(lái)訓(xùn)練網(wǎng)絡(luò)將同一個(gè)人的特征拉近，并將不同人的特征分開(kāi)。然而，上述方法的缺點(diǎn)是無(wú)法解決遮擋問(wèn)題。在我們提出的方法中，我們基于部件特征對(duì)于淺層特征進(jìn)行圖卷積，使遮擋部位特征盡量趨近于中心特征，再進(jìn)行深層次的特征提取。

1.3 基于零件的識(shí)別方法

基于零件的模型學(xué)習(xí)行人不同部位的局部特征，增強(qiáng)了全局行人特征的交叉視圖匹配?；诹慵哪Ｐ涂梢院?jiǎn)單地將行人重模型中間層的輸出特征映射拆分為幾個(gè)水平條紋，并學(xué)習(xí)每個(gè)條紋的局部特征。另一種基于部位的模型將人體分割成有意義的身體部位，并學(xué)習(xí)每個(gè)身體部位的局部特征。但是這種識(shí)別方法對(duì)于遮擋行人的識(shí)別明顯是無(wú)意義的，將行人圖像的某一部分與遮擋物體進(jìn)行匹配，在距離空間中只會(huì)越來(lái)越遠(yuǎn)，在無(wú)遮擋的圖像中尚可，但在遮擋圖像中仍有不足之處。

1.4 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)旨在將神經(jīng)網(wǎng)絡(luò)應(yīng)用于非歐幾里得數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，圖模型的基本原理考慮了樣本之間的關(guān)系，可以很好地應(yīng)用于有監(jiān)督訓(xùn)練和半監(jiān)督學(xué)習(xí)，近年來(lái)逐漸應(yīng)用于一些計(jì)算機(jī)視覺(jué)任務(wù)中。Kpif 在 2017年提出了圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Neural Network，GCN)，它為圖結(jié)構(gòu)數(shù)據(jù)的處理提供了一種嶄新的思路，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到了圖結(jié)構(gòu)的數(shù)據(jù)中。

我們得出結(jié)論：在行人重識(shí)別與圖神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法中，圖像中的各個(gè)部分被視為圖節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)之間的關(guān)系通過(guò)構(gòu)造圖來(lái)表示。在我們的方法中，我們?cè)O(shè)計(jì)了一個(gè)新的圖神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)最終的行人特征表示。將圖片的每一部分視為一個(gè)圖節(jié)點(diǎn)，根據(jù)其關(guān)系構(gòu)造圖結(jié)構(gòu)。

2 圖卷積行人重識(shí)別網(wǎng)絡(luò)

本文的目的是提出一種基于圖卷積的行人重識(shí)別網(wǎng)絡(luò)，通過(guò)在網(wǎng)絡(luò)中增加圖卷積模塊，有效的對(duì)于遮擋部分進(jìn)行處理，使網(wǎng)絡(luò)對(duì)于遮擋的部分更加敏感。在一定程度上解決了當(dāng)匹配行人出現(xiàn)遮擋問(wèn)題時(shí)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)無(wú)法準(zhǔn)確學(xué)習(xí)特征的問(wèn)題。

2.1 圖卷積神經(jīng)網(wǎng)絡(luò)

在以往的研究工作中，圖神經(jīng)網(wǎng)絡(luò)利用相鄰節(jié)點(diǎn)的信息來(lái)更新自身節(jié)點(diǎn)的狀態(tài)。受這些方法的啟發(fā)，我們提出了圖卷積行人重識(shí)別網(wǎng)絡(luò)，利用人體不同位置的關(guān)系來(lái)解決行人中遮擋等不可控因素的問(wèn)題。

根據(jù)人體各部位的空間關(guān)系提取人體各部位的特征。利用各部分之間的關(guān)系建立特征圖。其次，將部位特征嵌入到特征圖的節(jié)點(diǎn)中，利用相鄰特征和自身特征的信息更新節(jié)點(diǎn)特征。

圖1：圖卷積行人重識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

使用親和矩陣來(lái)表示行人映射圖中節(jié)點(diǎn)和節(jié)點(diǎn)之間的相關(guān)性，并使用投影度量來(lái)計(jì)算兩個(gè)親和矩陣的距離。最后，利用交叉熵?fù)p失對(duì)模型進(jìn)行訓(xùn)練，以減少人內(nèi)距離，增加人與人之間的距離。該模塊可以有效地計(jì)算高維特征之間的距離，減少或消除遮擋等不可控因素的影響。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1 所示，首先，輸入的行人圖片經(jīng)過(guò)淺層次的卷積提取淺層特征，對(duì)于這些淺層特征，若圖像中包含遮擋，則這些被遮擋的部分特征為負(fù)特征，對(duì)于整體的特征有一定影響，所以將淺層特征經(jīng)過(guò)圖神經(jīng)網(wǎng)絡(luò)聚合后，將遮擋部分的特征進(jìn)行綜合，自適應(yīng)地獲得聚合特征節(jié)點(diǎn)之間的內(nèi)在親和結(jié)構(gòu)信息，以達(dá)到遮擋不變性。將綜合后的特征再進(jìn)行深層次的特征提取，最后進(jìn)行融合全局特征后輸出到全連接層進(jìn)行識(shí)別。

3 主要實(shí)驗(yàn)

3.1 數(shù)據(jù)集

Occluded-DukeMTMC 數(shù)據(jù)集[3]是一個(gè)從DukeMTMC-ReID數(shù)據(jù)集衍生出來(lái)的大規(guī)模遮擋的行人重識(shí)別數(shù)據(jù)集。DukeMTMCreID 包含來(lái)自702 個(gè)人的 16522 個(gè)訓(xùn)練圖像、2228 個(gè)查詢(xún)圖像和17661 個(gè)庫(kù)圖像。在原始的DukeMTMC-reID 數(shù)據(jù)集中，訓(xùn)練集、查詢(xún)集和庫(kù)集分別包含14%、15%、10%的遮擋圖像。原始數(shù)據(jù)集的被遮擋樣本數(shù)較少，不適用于評(píng)價(jià)被遮擋的行人識(shí)別方法。在Occluded-DukeMTMC 數(shù)據(jù)集中，包含一個(gè)以上的人或一個(gè)被樹(shù)或汽車(chē)等障礙物遮擋的人的圖像被標(biāo)注為遮擋圖像，查詢(xún)集包含100%的遮擋圖像。因此，在計(jì)算查詢(xún)圖像和庫(kù)圖像之間的成對(duì)距離時(shí)，總是存在至少一個(gè)遮擋圖像。Occluded-DukeMTMC 是迄今為止最大的遮擋行人重識(shí)別數(shù)據(jù)集，它的訓(xùn)練集包含15618 幅圖像，共包括702 個(gè)身份。測(cè)試集包含1110 個(gè)身份，包括17661 個(gè)庫(kù)圖像和2210 個(gè)查詢(xún)圖像。

我們?cè)贠ccluded-DukeMTMC數(shù)據(jù)集上評(píng)估了我們提出的框架。在對(duì)比實(shí)驗(yàn)中，我們提出的框架在Rank-1 評(píng)分方面達(dá)到了46.9%，顯示了有效性。

3.2 評(píng)價(jià)指標(biāo)

Rank-n：

Rank-n 簡(jiǎn)單來(lái)說(shuō)就是在置信度最高的n 個(gè)結(jié)果中有正確結(jié)果的概率，例如Rank-1，就是置信度最高的結(jié)果正確的概率，Rank-5就是置信度最高的五個(gè)預(yù)測(cè)結(jié)果中有正確結(jié)果的概率。

mAP：

mAP 為平均準(zhǔn)確率，是取所有類(lèi)別AP 的平均值，衡量的是在所有類(lèi)別上的平均好壞程度。

3.3 實(shí)驗(yàn)效果

表1：實(shí)驗(yàn)數(shù)據(jù)對(duì)比

本文采用Pytorch 框架進(jìn)行實(shí)驗(yàn)，分別在本文提出的方法，PCB，和傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行了實(shí)驗(yàn)。由表1 可知，在Occluded_Duke 數(shù)據(jù)集上Rank-1 達(dá)到了46.9%，mAP 達(dá)到了34.1%，并驗(yàn)證了增加圖神經(jīng)模塊的優(yōu)越性。相比于PCB 網(wǎng)絡(luò)，本文方法仍具有優(yōu)越性。

4 結(jié)束語(yǔ)

本文提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的行人重識(shí)別算法，利用圖像節(jié)點(diǎn)相鄰特征傳遞的信息來(lái)更新特征。該方法可以對(duì)行人各部分之間的關(guān)系構(gòu)造鄰接圖。通過(guò)鄰接圖傳遞的信息對(duì)每個(gè)部分進(jìn)行聚合，自適應(yīng)地獲得聚合特征節(jié)點(diǎn)之間的內(nèi)在親和結(jié)構(gòu)信息，為了減少遮擋等不變因素對(duì)性能的影響，提出了遮擋不變性的概念，使每個(gè)部分特征與整體特征更接近。實(shí)驗(yàn)結(jié)果證實(shí)本文方法對(duì)于遮擋行人重識(shí)別的有效性。