陳利文 葉鋒 黃添強(qiáng) 黃麗清 翁彬 徐超 胡杰

（福建師范大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)安全學(xué)院 福州 350117）

（福建省公共服務(wù)大數(shù)據(jù)挖掘與應(yīng)用工程技術(shù)研究中心（福建師范大學(xué)）福州 350117）

（數(shù)字福建大數(shù)據(jù)安全技術(shù)研究所（福建師范大學(xué)）福州 350117）

行人重識(shí)別研究的目標(biāo)是如何從多個(gè)攝像機(jī)視角下匹配同一個(gè)行人，該技術(shù)的研究對(duì)智能視頻監(jiān)控和圖像檢索、刑事偵查等公共安全方面有著重大意義.但是光照條件、行人姿勢(shì)、背景環(huán)境等因素都會(huì)導(dǎo)致同一個(gè)行人在不同視角下可能有較大的差異，同時(shí)還存在行人被遮擋或者圖片模糊的情況，所以目前行人重識(shí)別仍然是一個(gè)具有挑戰(zhàn)性且熱門的研究課題.近幾年有諸多研究者嘗試使用深度學(xué)習(xí)的方法[1-4]來(lái)解決此問(wèn)題，并取得了極大的進(jìn)展.但是這些方法的性能通常受限于2 個(gè)方面：一是依賴大量的數(shù)據(jù)標(biāo)注，比如研究者們常用的Market1501 數(shù)據(jù)集[5]包括了1 501 個(gè)行人的32 668 張圖片，對(duì)這些圖片進(jìn)行標(biāo)注是費(fèi)時(shí)費(fèi)力的；二是泛化能力有限，當(dāng)把訓(xùn)練好的模型應(yīng)用到另一個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試時(shí)性能急劇下降，比如文獻(xiàn)[6]提出的BoT（bag of tricks）模型在Market1501 數(shù)據(jù)集上訓(xùn)練之后測(cè)試的Rank-1 是94.5%，如果在DuekMTMC-ReID[7]數(shù)據(jù)集上進(jìn)行測(cè)試，Rank-1 下降到41.4%.這些方法需要有標(biāo)簽數(shù)據(jù)集作為監(jiān)督信息來(lái)優(yōu)化模型，所以也稱為有監(jiān)督行人重識(shí)別方法.而無(wú)監(jiān)督行人重識(shí)別無(wú)需數(shù)據(jù)集標(biāo)注行人的編號(hào)信息，能以較低的成本對(duì)新場(chǎng)景進(jìn)行數(shù)據(jù)采集和訓(xùn)練，能有效避免泛化能力有限的問(wèn)題，因此研究基于無(wú)監(jiān)督模式的重識(shí)別算法是有重大意義的.本文提出了一個(gè)新的框架為無(wú)標(biāo)注的行人重識(shí)別數(shù)據(jù)集構(gòu)造可靠的偽標(biāo)簽，再結(jié)合有監(jiān)督方法進(jìn)行訓(xùn)練，最終得到一個(gè)魯棒的行人重識(shí)別模型，并在Market-1501 和DukeMTMC-reID 數(shù)據(jù)集上測(cè)試，同時(shí)與相關(guān)方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的有效性和優(yōu)越性.

本文的主要貢獻(xiàn)包括3 個(gè)方面:

1）提出了一個(gè)魯棒的偽標(biāo)簽生成框架，首先依據(jù)圖片樣本的攝像頭編號(hào)把數(shù)據(jù)集分成若干個(gè)域，依次構(gòu)造攝像頭域內(nèi)的局部偽標(biāo)簽和域間的全局偽標(biāo)簽.

2）使用最大團(tuán)算法作為強(qiáng)約束對(duì)攝像頭域內(nèi)的樣本進(jìn)行聚類，相比于常用的聚類方法不僅聚類時(shí)間更短，而且有更優(yōu)的聚類結(jié)果.

3）將本文方法在2 個(gè)大規(guī)模公開(kāi)數(shù)據(jù)集Market-1501 和DukeMTMC-ReID 上進(jìn)行了實(shí)驗(yàn)，同時(shí)與現(xiàn)有的無(wú)監(jiān)督行人重識(shí)別方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明，本文提出的方法性能是最佳的.

1 相關(guān)工作

基于大量標(biāo)注數(shù)據(jù)和深度學(xué)習(xí)的有監(jiān)督行人重識(shí)別方法已經(jīng)取得了極大的進(jìn)展，比如MGN[1]，PCB[2]，AignedReID[3]等方法，它們通過(guò)結(jié)合行人圖片的全局特征和局部特征，或者使用特征對(duì)齊的方式重組特征描述向量，使用三元組損失和交叉熵?fù)p失優(yōu)化網(wǎng)絡(luò)參數(shù)，最終MGN 在Market1501 數(shù)據(jù)集上的Rank-1 達(dá)到了95.7%.文獻(xiàn)[6]研究了行人重識(shí)別模型構(gòu)建和訓(xùn)練過(guò)程中的一些技巧，比如隨機(jī)擦除、標(biāo)簽平滑、預(yù)熱學(xué)習(xí)率和損失函數(shù)等，并提出了一個(gè)僅使用全局特征且網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的模型BoT，該模型在Market1501數(shù)據(jù)集上的Rank-1 是94.5%，僅比結(jié)構(gòu)復(fù)雜的MGN低1.2%.因此本文使用BoT 作為基礎(chǔ)模型，用于提取無(wú)標(biāo)簽數(shù)據(jù)集的特征和訓(xùn)練偽標(biāo)簽數(shù)據(jù)集.

傳統(tǒng)的無(wú)監(jiān)督行人重識(shí)別方法嘗試設(shè)計(jì)手工特征[8]、發(fā)掘顯著性信息[9]等方式利用無(wú)標(biāo)簽數(shù)據(jù)集.這些算法可能在特定的數(shù)據(jù)集上表現(xiàn)良好，但并不適合處理復(fù)雜的真實(shí)場(chǎng)景，不具備通用性.還有一些基于深度學(xué)習(xí)的方法，比如BUC[10]設(shè)計(jì)了一個(gè)通過(guò)發(fā)掘行人之間相似性的聚類合并方法來(lái)產(chǎn)生偽標(biāo)簽，但是數(shù)據(jù)集中的樣本數(shù)目較大，聚類過(guò)程十分耗時(shí)，而且難以確定聚類中心個(gè)數(shù).文獻(xiàn)[11]提出把樣本之間的相似性作為軟限制構(gòu)造軟偽標(biāo)簽，起始階段把每個(gè)樣本當(dāng)成一個(gè)類別，最終訓(xùn)練軟偽標(biāo)簽數(shù)據(jù)集.顯而易見(jiàn)，構(gòu)造的偽標(biāo)簽越接近真實(shí)標(biāo)簽，訓(xùn)練出來(lái)的模型效果也就越好.與BUC 構(gòu)造硬標(biāo)簽類似，本文通過(guò)使用更強(qiáng)的約束范式來(lái)生成更可靠的偽標(biāo)簽，從而取得了更好的結(jié)果.

無(wú)監(jiān)督域自適應(yīng)算法是無(wú)監(jiān)督算法的一種，和BUC 等算法相比，無(wú)監(jiān)督域自適應(yīng)算法要求有一個(gè)已知標(biāo)簽的數(shù)據(jù)集作為輔助域，通過(guò)遷移學(xué)習(xí)或者縮小輔助域和目標(biāo)域之間的差異，從而在無(wú)標(biāo)簽的目標(biāo)域上獲得較好的結(jié)果.文獻(xiàn)[12]通過(guò)把輔助域和目標(biāo)域的特征映射到同一個(gè)特征空間中來(lái)解決輔助域和目標(biāo)域的特征差異；CORAL[13]嘗試對(duì)齊2 個(gè)域的特征分布的均值和方差；SSG[14]提出一個(gè)挖掘無(wú)標(biāo)簽樣本潛在相似性的自相似分組方法，進(jìn)而構(gòu)造偽標(biāo)簽.在輔助域的幫助下，文獻(xiàn)[12?14]方法的表現(xiàn)優(yōu)于沒(méi)有輔助域的無(wú)監(jiān)督方法，但是其性能會(huì)受到輔助域和目標(biāo)域的差異程度的影響.

攝像頭內(nèi)監(jiān)督（intra-camera supervision，ICS）假設(shè)已知每個(gè)攝像頭拍攝的行人圖片的標(biāo)簽是已知的，但這些標(biāo)簽是獨(dú)立的，即各個(gè)攝像頭之間的圖片標(biāo)簽沒(méi)有關(guān)聯(lián)，ICS 場(chǎng)景下的行人重識(shí)別是半監(jiān)督學(xué)習(xí)問(wèn)題.這樣的標(biāo)簽在真實(shí)場(chǎng)景中能以較低的代價(jià)獲取，比如使用目標(biāo)跟蹤方法來(lái)獲取一個(gè)攝像頭拍攝到的行人圖片，并認(rèn)為相鄰幀內(nèi)的行人是同一個(gè)行人.現(xiàn)有的ICS 模型通過(guò)攝像頭內(nèi)學(xué)習(xí)和攝像頭間學(xué)習(xí)來(lái)解決這個(gè)問(wèn)題，比如MATE[15]使用多分支網(wǎng)絡(luò)來(lái)分別學(xué)習(xí)對(duì)應(yīng)各個(gè)攝像頭域的模型參數(shù).ACAN[16]使用多攝像頭對(duì)抗學(xué)習(xí)把不同攝像頭拍攝到的圖片映射到一個(gè)公共空間.文獻(xiàn)[15?16]方法的效果優(yōu)于無(wú)監(jiān)督方法，但是和經(jīng)典的有監(jiān)督方法相比仍有較大的差距.本文提出的方法借鑒了ICS 模型，首先通過(guò)攝像頭編號(hào)把訓(xùn)練集分成各個(gè)攝像頭域，分別在每個(gè)攝像頭域內(nèi)構(gòu)造偽標(biāo)簽，因此把無(wú)監(jiān)督行人重識(shí)別問(wèn)題轉(zhuǎn)化為ICS 問(wèn)題；其次考慮到ICS 模型已知的攝像頭域內(nèi)標(biāo)簽是真實(shí)標(biāo)簽，而本文的偽標(biāo)簽和真值存在差異，若直接使用ICS 模型，效果不如ICS 方法，所以我們通過(guò)計(jì)算不同攝像頭域之間樣本的相似度來(lái)構(gòu)造全局標(biāo)簽，然后使用BoT 進(jìn)行訓(xùn)練.

部分半監(jiān)督行人重識(shí)別方法假設(shè)僅有少部分的樣本是有標(biāo)簽的，比如文獻(xiàn)[17]假設(shè)每個(gè)行人僅有一個(gè)樣本是有標(biāo)注的，通過(guò)預(yù)測(cè)其他樣本的標(biāo)簽，然后用這些偽標(biāo)簽數(shù)據(jù)來(lái)更新模型，迭代地預(yù)測(cè)標(biāo)簽和更新模型，最終得到一個(gè)魯棒的模型.文獻(xiàn)[18]假設(shè)數(shù)據(jù)集中的一部分標(biāo)簽是已知的，比如Market-1501 數(shù)據(jù)集中有1/5 的樣本是已經(jīng)標(biāo)注的，最終能取得75.2%的Rank-1 和53.2%的mAP；如果已標(biāo)注數(shù)據(jù)達(dá)到了1/3，那么Rank-1 和mAP 將分別提升到83.9%和65.6%.本文對(duì)此實(shí)驗(yàn)進(jìn)行了簡(jiǎn)化和擴(kuò)展：一是直接使用基礎(chǔ)模型對(duì)有標(biāo)簽的這部分?jǐn)?shù)據(jù)集進(jìn)行訓(xùn)練；二是測(cè)試了更多不同比例的有標(biāo)簽樣本基礎(chǔ)模型的表現(xiàn).結(jié)果如圖1 所示，從圖1 可以看出，隨著樣本比例的增加，Rank-1 性能和mAP 性能逐漸增加，并在后期趨于平穩(wěn)，尤其是在樣本比例比較少的情況下，增幅更明顯.受圖1 實(shí)驗(yàn)結(jié)果的啟發(fā)，本文通過(guò)逐步生成更多可靠的偽標(biāo)簽數(shù)據(jù)來(lái)獲得性能的穩(wěn)步提升.

Fig.1 Experimental results on Market1501 with labeled samples圖1 在Market1501 數(shù)據(jù)集上的標(biāo)簽樣本實(shí)驗(yàn)結(jié)果

2 基于攝像頭域內(nèi)域間融合的偽標(biāo)簽生成算法

本節(jié)主要介紹基于攝像頭域內(nèi)域間融合的偽標(biāo)簽生成算法，這是本文所提的無(wú)監(jiān)督行人重識(shí)別算法框架的核心部分.

2.1 問(wèn)題定義

首先給出本文要解決問(wèn)題的形式化描述.本文的無(wú)監(jiān)督行人重識(shí)別的設(shè)定是：已知數(shù)據(jù)集為X={X1,X2,···,}，這里的Nc表示攝像頭的個(gè)數(shù)，Xi表示攝像頭i捕捉到的行人圖片.目標(biāo)是重新建立X中的樣本圖片關(guān)系，即同一個(gè)行人的圖片應(yīng)該歸為一類，用公式描述為X′={P1,P2,···,}，這里的Nn表示整個(gè)數(shù)據(jù)集中的行人個(gè)數(shù)，Pi表示行人i的所有圖片.在實(shí)際情況中，因?yàn)樾腥藗€(gè)數(shù)是未知的，所以很難完成從X到X′的轉(zhuǎn)換.我們的目標(biāo)是使生成的偽標(biāo)簽盡可能接近真實(shí)標(biāo)簽，同時(shí)讓基礎(chǔ)模型在生成的偽標(biāo)簽數(shù)據(jù)集上能有較好的表現(xiàn).

本文使用BoT 作為基礎(chǔ)模型，表示為H(θ)，用于提取圖片特征F=H(X;θ)，算法的最終目標(biāo)是學(xué)習(xí)到合適的參數(shù) θ使得基礎(chǔ)模型在測(cè)試集上有較好的表現(xiàn).

2.2 本文的算法框架

本文提出的算法框架如圖2 所示，這是一個(gè)迭代的算法.首先無(wú)標(biāo)簽的數(shù)據(jù)集通過(guò)基礎(chǔ)模型提取特征，然后分別經(jīng)過(guò)攝像頭域內(nèi)合并、域間合并以及樣本召回3 個(gè)步驟得到偽標(biāo)簽，最后使用基礎(chǔ)模型對(duì)偽標(biāo)簽數(shù)據(jù)集進(jìn)行訓(xùn)練，這是一次迭代過(guò)程.下一次迭代過(guò)程使用上一次迭代時(shí)訓(xùn)練得到的模型參數(shù)提取特征，然后重復(fù)生成偽標(biāo)簽和訓(xùn)練的步驟.在每輪迭代開(kāi)始前，需要對(duì)數(shù)據(jù)集進(jìn)行處理.為了避免攝像頭間因背景不同、攝像頭參數(shù)不同、拍攝角度不同等因素帶來(lái)的影響，把數(shù)據(jù)集依據(jù)攝像頭編號(hào)分成若干個(gè)域，對(duì)每個(gè)域中的樣本圖片Xp提取特征fp,i∈Rd，其中fp,i表示攝像頭p拍攝到的圖片i經(jīng)過(guò)基礎(chǔ)模型的骨干網(wǎng)絡(luò)提取得到的特征，并且經(jīng)過(guò)了L2 正則化.

Fig.2 The proposed algorithm framework圖2 本文算法框架

2.3 攝像頭域內(nèi)合并算法

攝像頭域內(nèi)合并算法分別對(duì)每個(gè)攝像頭域進(jìn)行操作，可以分為預(yù)合并、基于最大團(tuán)的合并算法和樣本清洗這3 個(gè)步驟，最終得到各個(gè)攝像頭域內(nèi)偽標(biāo)簽.

1）預(yù)合并.如圖3 所示，一些圖片行人看起來(lái)很相似，它們很可能是同一個(gè)行人，比如攝像頭拍攝到的視頻中相鄰兩幀的行人圖片.這種視覺(jué)上看起來(lái)很相似的圖片，通過(guò)基礎(chǔ)模型提取的特征也是相似的，所以可以使用樣本特征計(jì)算樣本之間的相似度，進(jìn)而預(yù)先合并視覺(jué)上相似的圖片.具體做法是：使用特征fp計(jì)算各樣本之間的歐氏距離d1，設(shè)定閾值t1，若2 個(gè)樣本之間的距離小于t1，那就認(rèn)為它們足夠相似，可以預(yù)先合并.如圖4（a）表示某個(gè)攝像頭域內(nèi)預(yù)合并前的樣本，合并后的樣本被當(dāng)成整體組成一個(gè)新樣本，如圖4（b）所示，其特征由它包含的所有樣本特征的平均值表示.為簡(jiǎn)單起見(jiàn)，攝像頭域p下的圖片特征仍記作fp.

Fig.3 Some samples captured by the same camera in Market1501圖3 Market1501 數(shù)據(jù)集中由同一個(gè)攝像頭拍攝到的樣本圖片

Fig.4 Partial samples for intra-camera merger procedure圖4 某攝像頭域內(nèi)合并時(shí)的部分樣本

2）基于最大團(tuán)的合并算法.預(yù)合并操作之后，建立圖模型.把每個(gè)樣本當(dāng)成圖中的一個(gè)結(jié)點(diǎn)，然后計(jì)算各個(gè)樣本之間的歐氏距離d2，并設(shè)定閾值t2，若2 個(gè)結(jié)點(diǎn)之間的距離小于t2，則在它們之間連接一條無(wú)向邊.這樣，攝像頭域內(nèi)的樣本，可以看作是一個(gè)巨大的無(wú)向圖，這個(gè)無(wú)向圖由很多個(gè)小的無(wú)向圖組成，每個(gè)小的無(wú)向圖都是連通圖，如圖4（c）所示.對(duì)于每個(gè)小的無(wú)向圖而言，它表示的物理意義是：若2 個(gè)結(jié)點(diǎn)有邊相連，則這2 個(gè)結(jié)點(diǎn)對(duì)應(yīng)的樣本在一定程度上是相似的，但不能直接認(rèn)定為屬于同一個(gè)行人.考慮到最大團(tuán)是一個(gè)圖中的子圖，并且這個(gè)子圖中的所有結(jié)點(diǎn)兩兩相連，因此可以使用最大團(tuán)作為強(qiáng)約束在每個(gè)小的無(wú)向圖中找到可能表示同一個(gè)行人的樣本.

一個(gè)需要注意的細(xì)節(jié)是，尋找最大團(tuán)是一個(gè)NP難題，最大團(tuán)算法耗時(shí)隨著無(wú)向圖中結(jié)點(diǎn)個(gè)數(shù)的增加而急劇增加，所以當(dāng)小無(wú)向圖中的結(jié)點(diǎn)個(gè)數(shù)過(guò)多時(shí)，最大團(tuán)算法執(zhí)行緩慢.鑒于實(shí)際數(shù)據(jù)集中，每個(gè)攝像頭拍攝到的同一行人圖片數(shù)量較少，因此可以限制小無(wú)向圖的結(jié)點(diǎn)個(gè)數(shù).如果某個(gè)小無(wú)向圖的結(jié)點(diǎn)個(gè)數(shù)超出限制，那么我們使用更小的閾值來(lái)確定是否連接2 個(gè)結(jié)點(diǎn).如果結(jié)點(diǎn)個(gè)數(shù)仍然超出限制，那就繼續(xù)減小閾值，直到滿足要求.另一方面，如果小無(wú)向圖中的結(jié)點(diǎn)個(gè)數(shù)太少，比如只有2 或者3 個(gè)結(jié)點(diǎn)，此時(shí)沒(méi)必要使用最大團(tuán)算法進(jìn)行求解.我們使用一種簡(jiǎn)單可靠的方法：如果2 個(gè)或者3 個(gè)結(jié)點(diǎn)之間的平均距離小于更小的閾值，比如0.75t2，那就認(rèn)為它們等價(jià)于1 個(gè)最大團(tuán).最終的合并結(jié)果如圖4（d）所示.

3）樣本清洗.經(jīng)過(guò)前2 步合并操作之后，各攝像頭域內(nèi)表示同一個(gè)行人的樣本被合并在同一個(gè)集合內(nèi)，但可能存在不完整的合并，如圖4（d）所示，存在3 個(gè)圓形結(jié)點(diǎn)，即同一個(gè)行人分別被分在了3 個(gè)集合中，這會(huì)給后面的訓(xùn)練過(guò)程帶來(lái)標(biāo)簽噪聲，影響模型效果.因此，本文方法通過(guò)丟棄一部分集合來(lái)減少這種不完整的合并.具體做法是，使用式（1）計(jì)算每個(gè)集合的團(tuán)內(nèi)相似度:

式（1）中，Np,i表示攝像頭p內(nèi)的第i個(gè)樣本集合對(duì)應(yīng)的樣本個(gè)數(shù)，fp,k表 示該集合中的第k個(gè)樣本特征，T表示矩陣的轉(zhuǎn)置.丟棄團(tuán)內(nèi)相似度最小的一部分集合，是因?yàn)槿艚o這些集合里的樣本分配偽標(biāo)簽，可能會(huì)有較多的錯(cuò)誤，因此暫且丟棄這些樣本，清洗后的結(jié)果如圖5 所示.

2.4 攝像頭域間合并算法

攝像頭域內(nèi)合并之后，除了暫時(shí)無(wú)法分配標(biāo)簽的樣本，其他樣本都被賦予了攝像頭內(nèi)部的獨(dú)立標(biāo)簽，這和ICS 問(wèn)題的設(shè)定一致.但我們并不直接使用ICS 方法，因?yàn)镮CS 問(wèn)題中各個(gè)攝像頭域內(nèi)的標(biāo)簽是真實(shí)標(biāo)簽，若直接使用上述生成的偽標(biāo)簽，則性能會(huì)低于ICS 方法.這里本文進(jìn)一步構(gòu)造全局偽標(biāo)簽，給不同攝像頭域內(nèi)表示同一個(gè)行人的樣本圖片分配相同的標(biāo)簽，然后結(jié)合現(xiàn)有的有監(jiān)督模型進(jìn)行訓(xùn)練.

Fig.5 The result after sample cleaning圖5 樣本清洗后的結(jié)果

如圖6 所示，Market1501 數(shù)據(jù)集中的4 個(gè)樣本分別是攝像頭2 下的行人2（圖6（a））和行人22（圖6（b））以及攝像頭5 下的行人2（圖6（c））和行人22（圖6（d））.由神經(jīng)網(wǎng)絡(luò)提取得到的樣本1 和樣本3 的特征的相似程度高于樣本1 和樣本4 的，因?yàn)闃颖? 和樣本3的前景（行人）是相似的，而樣本1 和樣本4 的背景和前景都不同.基于這個(gè)前提假設(shè)，本算法合并來(lái)自不同攝像頭的集合.首先通過(guò)式（2）計(jì)算來(lái)自攝像頭域p和q的2 個(gè)集合i和j的域間團(tuán)的相似度：

其中Np,Nq分別表示攝像頭p和q經(jīng)過(guò)域內(nèi)合并后的集合個(gè)數(shù)，τ是一個(gè)超參數(shù).如果simi,j和simj,i同時(shí)大于設(shè)定的閾值 η1，那么就合并集合i和j，賦予它們相同的偽標(biāo)簽.

經(jīng)過(guò)域間合并操作，無(wú)標(biāo)簽樣本被分配了全局的偽標(biāo)簽，原數(shù)據(jù)集可表示為X?={X1,X2,···,XNn}.這里的Nn表示合并后的集合個(gè)數(shù)，也就是行人個(gè)數(shù).

Fig.6 Samples of person 2 and 22 under camera 2 and 5.圖6 行人2 和22 在攝像頭2 和5 下的樣本

2.5 樣本召回

在攝像頭域內(nèi)合并操作中，有一部分樣本暫時(shí)無(wú)法分配合適的標(biāo)簽，所以這些樣本被棄用.為了最大程度利用無(wú)標(biāo)簽樣本，本文使用樣本召回操作給之前棄用的樣本重新分配標(biāo)簽.本文使用無(wú)參分類器[19]計(jì)算樣本i應(yīng)該分配標(biāo)簽k的概率probi,k.令k=arg max(probi)，若probi,k大于給定閾值 η2，則給樣本i分配標(biāo)簽k；否則樣本i被棄用.

2.6 訓(xùn)練模型

本文采用BoT 對(duì)生成的偽標(biāo)簽數(shù)據(jù)集進(jìn)行訓(xùn)練，得到模型參數(shù)θ.在下一輪迭代開(kāi)始前，使用F=H(X;θ)提取特征，然后開(kāi)始新一輪的迭代.更多的細(xì)節(jié)在3.2 節(jié)詳述.

3 實(shí)驗(yàn)和分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文主要在Market1501 和DukeMTMC-ReID 這2 個(gè)大規(guī)模行人重識(shí)別數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，魯棒性實(shí)驗(yàn)和參數(shù)分析使用了MSMT17 數(shù)據(jù)集[20].Market1501數(shù)據(jù)集由6 個(gè)攝像頭采集的圖片組成，包括751 個(gè)行人的12 936 張圖片作為訓(xùn)練集，750 個(gè)行人的19 732張圖片作為測(cè)試集；DukeMTMC-ReID 數(shù)據(jù)集由8 個(gè)攝像頭進(jìn)行采集，訓(xùn)練集包括1 404 個(gè)行人的16 522張圖片.各個(gè)攝像頭捕捉到的行人個(gè)數(shù)和圖片張數(shù)如表1 所示.

Table 1 Person Numbers and Image Numbers Under Each Camera in Market1501 and DukeMTMC-ReID表1 Market1501 和DukeMTMC-ReID 數(shù)據(jù)集中各個(gè)攝像頭下的行人個(gè)數(shù)和圖片張數(shù)

MSMT17 數(shù)據(jù)集一共有15 個(gè)攝像頭采集到的126 441 張圖片，其中訓(xùn)練集有32 621 張圖片.本文使用此數(shù)據(jù)集分析部分參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響.

本文采用累計(jì)匹配特征曲線（CMC）以及平均查準(zhǔn)率（mAP）作為評(píng)價(jià)指標(biāo)，累計(jì)匹配特征曲線衡量的是查詢圖片出現(xiàn)在匹配結(jié)果列表中的概率，但是在實(shí)際中往往只考慮是否在前1 個(gè)或前5 個(gè)結(jié)果中匹配成功，本文關(guān)注前1 個(gè)匹配成功的概率即Rank-1.

3.2 實(shí)現(xiàn)細(xì)節(jié)和相關(guān)的專家級(jí)方法

本文使用BoT 這一有監(jiān)督算法作為基礎(chǔ)模型，除訓(xùn)練輪次，其他超參數(shù)設(shè)置以及訓(xùn)練方式和原算法保持一致.在第1 次迭代開(kāi)始前，使用在ImageNet[21]預(yù)訓(xùn)練的參數(shù) θ提取無(wú)標(biāo)簽數(shù)據(jù)集的圖片特征；之后的迭代使用基礎(chǔ)模型在生成的偽標(biāo)簽數(shù)據(jù)集上訓(xùn)練得到的模型參數(shù) θ提取無(wú)標(biāo)簽數(shù)據(jù)集的圖片特征.關(guān)于訓(xùn)練輪次的設(shè)置，在迭代初期，由于生成的偽標(biāo)簽樣本數(shù)據(jù)量較小，所以訓(xùn)練輪次應(yīng)該設(shè)置較小，以避免過(guò)擬合，本文設(shè)置第1 次迭代時(shí)訓(xùn)練輪次為20；此后訓(xùn)練輪次固定為60.

本文使用的主要硬件資源為Intel?CoreTMi7-7800X CPU 和NVIDIA Titan Xp（12 GB 顯 存）；軟件環(huán)境 為Python3.7，PyTorch1.6，Scikit-Learn0.24.2.

目前基于深度學(xué)習(xí)的無(wú)監(jiān)督行人重識(shí)別方法較少，無(wú)監(jiān)督域自適應(yīng)方法和半監(jiān)督方法有時(shí)也被當(dāng)作無(wú)監(jiān)督方法，但它們的難度是低于無(wú)監(jiān)督方法的.為了展示本文方法的優(yōu)越性，本文比較了3 個(gè)無(wú)監(jiān)督方法：BOW[5]，BUC[10]，SSL[11]；4 個(gè)無(wú)監(jiān)督域自適應(yīng)方法：MAR[22]，MMT[23]，ECN[24]，SSG[14]；2 個(gè)ICS 方法：MATE[15]，UGA[25].

3.3 實(shí)驗(yàn)結(jié)果

如圖7 所 示，Market1501 和DukeMTMC-ReID 隨著迭代輪次逐漸增加，樣本比例模型性能也隨著迭代輪次逐步提升.在迭代初期，Rank-1 和mAP 的性能迅速增長(zhǎng)，然后緩慢持續(xù)增長(zhǎng)直至穩(wěn)定.2 個(gè)數(shù)據(jù)集都是經(jīng)過(guò)15 輪次迭代后性能達(dá)到最大穩(wěn)定狀態(tài)，在Market1501 數(shù)據(jù)集的Rank-1 和mAP 分別是89%和74.9%，經(jīng)過(guò)重排序[26]操作，Rank-1 和mAP 分別達(dá)到90.5%和86.1%；在DukeMTMC-ReID 數(shù)據(jù)集上Rank-1和mAP 分別是76.9%和61.9%，重排序之后分別是79.1%和72.1%.

圖7 所示曲線中，隨著迭代輪次的增加，賦予偽標(biāo)簽的樣本占原總樣本的比例逐漸增加，Rank-1 和mAP 也同步增加，這一結(jié)果與圖1 中小樣本實(shí)驗(yàn)的結(jié)果相吻合，這表明本文所提框架生成的標(biāo)簽訓(xùn)練效果接近真實(shí)標(biāo)簽，也即所生成的偽標(biāo)簽是可靠的.為了直觀地展示偽標(biāo)簽和真實(shí)標(biāo)簽的相似程度，在Market1501 數(shù)據(jù)集中隨機(jī)選擇64 個(gè)行人，使用第14輪次迭代得到的基礎(chǔ)模型參數(shù)提取樣本特征，然后用t-SNE 對(duì)特征進(jìn)行降維，可視化結(jié)果如圖8 所示，不同的顏色表示不同的標(biāo)簽，可以看出絕大多數(shù)樣本類內(nèi)距離較小，類間界限明顯，聚類結(jié)果較好.

Fig.7 The performance of our proposed method on Market1501 and DukeMTMC-ReID圖7 本文方法在Market1501 和DukeMTMC-ReID 數(shù)據(jù)集上的性能

Fig.8 Visualization of 64 randomly selected samples in Market1501.圖8 Market1501 數(shù)據(jù)集中隨機(jī)選擇的64 個(gè)樣本的可視化圖

表2 和表3 是本文方法和9 種當(dāng)前方法比較的結(jié)果.BOW 在Market1501 和DukeMTMC-ReID 2 個(gè)數(shù)據(jù)集上的Rank-1 和mAP 值都比較低；BUC 是用自底向上逐步聚類的方法構(gòu)造偽標(biāo)簽，和本文方法思路相近，但本文在Market1501 和DukeMTMC-ReID 2 個(gè)數(shù)據(jù)集上的Rank-1 分別提升了22.8%和29.5%；SSL使用軟偽標(biāo)簽作為監(jiān)督信息訓(xùn)練模型，相比于BUC有了較大的提升，但依然沒(méi)有超過(guò)本文方法.通過(guò)和當(dāng)前無(wú)監(jiān)督方法的比較，表明了本文構(gòu)造的偽標(biāo)簽對(duì)于無(wú)監(jiān)督行人重識(shí)別是可靠的.

無(wú)監(jiān)督域自適應(yīng)算法以一個(gè)有標(biāo)簽的數(shù)據(jù)集作為輔助域，希望在無(wú)標(biāo)簽的目標(biāo)數(shù)據(jù)集上能有較好的表現(xiàn).因?yàn)槠潆y度低于無(wú)監(jiān)督的方式，所以無(wú)監(jiān)督自適應(yīng)算法效果普遍強(qiáng)于無(wú)監(jiān)督方法，比如MMT 在DukeMTMC-ReID 數(shù)據(jù)集上表現(xiàn)最佳，本文方法結(jié)果位居第二，兩者Rank-1 相差1.1%.

Table 2 Comparison of Our Proposed Method and the State-of-The-Art Methods on Market1501表2 本文方法和當(dāng)前方法在Market1501 數(shù)據(jù)集上的比較

Table 3 Comparison of Our Proposed Method and the State-of-The-Art Methods on DukeMTMC-ReID表3 本文方法和當(dāng)前方法在DukeMTMC-ReID 數(shù)據(jù)集上的比較

攝像頭內(nèi)監(jiān)督行人重識(shí)別（ICS）是目前流行的半監(jiān)督行人重識(shí)別問(wèn)題，但是MATE 和UGA 的效果不如本文方法.這表明和半監(jiān)督方法相比，本文所提出的方法仍有很強(qiáng)的競(jìng)爭(zhēng)力.

3.4 參數(shù)分析

在攝像頭域內(nèi)域間合并以及樣本召回的過(guò)程中需要設(shè)定一些閾值或者參數(shù)，比如每個(gè)小無(wú)向圖的最大結(jié)點(diǎn)個(gè)數(shù)、預(yù)合并的距離閾值等.各個(gè)參數(shù)對(duì)偽標(biāo)簽質(zhì)量影響的分析為：

1）預(yù)合并時(shí)的距離閾值t1.預(yù)合并通過(guò)提前把視覺(jué)上幾乎沒(méi)有差異的樣本歸為一類形成新樣本來(lái)減少后續(xù)相似樣本的個(gè)數(shù)，進(jìn)而減少無(wú)向圖中的結(jié)點(diǎn)個(gè)數(shù)，加速最大團(tuán)算法的求解.然而為每個(gè)攝像頭域確定一個(gè)合適的具體值作為閾值比較困難，通過(guò)分析，每個(gè)攝像頭域內(nèi)都存在這樣一部分樣本，它們來(lái)自相鄰幀的同一個(gè)行人，它們之間的距離應(yīng)該是小于和其他樣本對(duì)的，這表示在每個(gè)攝像頭域內(nèi)，距離最小的那部分樣本對(duì)應(yīng)該被合并.因此首先把各個(gè)攝像頭域內(nèi)樣本間的距離從小到大排序，選擇距離最小的前r1百分比的樣本對(duì)進(jìn)行合并，這樣能針對(duì)不同的攝像頭使用不同的距離閾值，進(jìn)而得到較好的合并結(jié)果.因此在實(shí)驗(yàn)中，不直接設(shè)置t1的值，而是通過(guò)設(shè)置r1計(jì)算得到.在實(shí)驗(yàn)中，對(duì)于2 個(gè)數(shù)據(jù)集r1值均設(shè)置為0.1.可以預(yù)見(jiàn)，在大規(guī)模數(shù)據(jù)集中這類可以預(yù)先合并的樣本更多，因此應(yīng)該設(shè)置更大的閾值.

2）基于最大團(tuán)的合并算法中建立圖模型的距離閾值t2.t2類似t1，但它用于衡量2 個(gè)樣本是否在一定程度上可以合并.為了把更多可能表示同一個(gè)行人的樣本包括在同一個(gè)無(wú)向圖中，t2值的設(shè)置應(yīng)該稍大一些.如 圖9 所示，分別設(shè) 置r2為0.05，0.1，0.15，0.2，0.3，0.5，1.0 等數(shù)值迭代15 輪.當(dāng)r2值在0.05～0.3 時(shí)，Rank-1 先增加后減小，隨著r2值的繼續(xù)增大，Rank-1略微增加，但可以視為實(shí)驗(yàn)誤差而被認(rèn)為基本不變，因此在本實(shí)驗(yàn)中r2值設(shè)置為0.2，和t1一樣，使用r2計(jì)算得到t2.

Fig.9 The effects of r2 on the performance of Market1501圖9 r2對(duì)Market1501 數(shù)據(jù)集性能的影響

3）無(wú)向圖的最大結(jié)點(diǎn)個(gè)數(shù).同一個(gè)無(wú)向圖中的結(jié)點(diǎn)表示對(duì)應(yīng)的樣本可能是同一個(gè)行人，為了避免遺漏潛在樣本，本不應(yīng)該限制結(jié)點(diǎn)個(gè)數(shù)，但由于求解最大團(tuán)是NP 難題，若結(jié)點(diǎn)過(guò)多，則算法求解費(fèi)時(shí)甚至無(wú)法求解.考慮到已經(jīng)預(yù)先合并了相似樣本，以及最大團(tuán)算法的運(yùn)行效率，本文設(shè)置結(jié)點(diǎn)個(gè)數(shù)最大為50，若數(shù)據(jù)集中同一個(gè)攝像頭拍攝到的行人圖片較多，結(jié)點(diǎn)個(gè)數(shù)應(yīng)和預(yù)合并閾值一樣應(yīng)設(shè)置更大一些.如圖10 所示，在MSMT17 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了這樣調(diào)整參數(shù)是有效的.

Fig.10 The performance of our proposed method on MSMT17圖10 本文方法在MSMT17 數(shù)據(jù)集上的性能

4）攝像頭域內(nèi)合并算法中清洗標(biāo)簽丟棄的集合個(gè)數(shù).鑒于存在同一個(gè)行人在同一個(gè)攝像頭下也可能差異較大的情況，以及算法的誤差帶來(lái)的影響，經(jīng)過(guò)攝像頭內(nèi)合并后得到的團(tuán)可能存在重復(fù)的情況，我們丟棄掉一部分不可靠的團(tuán)，并在后續(xù)的算法中重新召回這些樣本.本文嘗試不同的清洗比例，實(shí)驗(yàn)結(jié)果如圖11 所示，隨著清洗比例的增加，Rank-1 先增加后降低，在不清洗時(shí)Rank-1 僅有82.9%；清洗比例為5%，10%，20%時(shí)Rank-1 都在86%以上；而清洗比例太高時(shí)，如30%則Rank-1 降為84.6%.由此結(jié)果，本文設(shè)定清洗比例為15%，即只保留團(tuán)內(nèi)相似度最大的前85%的團(tuán).

Fig.11 The effects of clean ratios on the performance of Market1501圖11 清洗比例對(duì)Market1501 數(shù)據(jù)集性能的影響

5）攝像頭域間合并的閾值 η1.各個(gè)攝像頭域內(nèi)的樣本通過(guò)計(jì)算域間團(tuán)的相似度進(jìn)行合并，我們認(rèn)為，在迭代初期各個(gè)攝像頭域間樣本的特征差異較大，此閾值應(yīng)該設(shè)置較?。浑S著算法迭代，提取得到的特征逐漸可靠，使用更嚴(yán)格的約束限制合并，所以閾值應(yīng)該設(shè)置較大.在實(shí)驗(yàn)中前13 輪次的迭代η1=0.7，之后的迭代中η1=0.85.

6）樣本召回的閾值 η2.在攝像頭域內(nèi)合并算法中，有一部分樣本暫時(shí)無(wú)法分配合適的偽標(biāo)簽被臨時(shí)棄用，但在攝像頭域間合并結(jié)束后可以通過(guò)無(wú)參分類器對(duì)這些樣本進(jìn)行分類，若屬于某個(gè)類別的概率較大，那就分配對(duì)應(yīng)的偽標(biāo)簽參與到最終的訓(xùn)練中.在本實(shí)驗(yàn)中 η2設(shè)置為0.35.

3.5 聚類算法的消融實(shí)驗(yàn)

本文使用最大團(tuán)算法作為強(qiáng)約束進(jìn)行攝像頭域內(nèi)合并，為了驗(yàn)證是否優(yōu)于傳統(tǒng)的聚類算法，本文以KMeans 聚類算法為例進(jìn)行實(shí)驗(yàn)和分析.具體的實(shí)驗(yàn)設(shè)置為：當(dāng)實(shí)驗(yàn)數(shù)據(jù)集是Market1501 時(shí)，使用在DukeMTMC-ReID 數(shù)據(jù)集上預(yù)訓(xùn)練的模型參數(shù)提取特征；然后分別使用攝像頭域內(nèi)合并算法和KMeans聚類算法生成攝像頭域內(nèi)的偽標(biāo)簽，在使用KMeans算法進(jìn)行聚類時(shí)，聚類中心個(gè)數(shù)設(shè)置為各攝像頭內(nèi)真實(shí)的行人個(gè)數(shù)；緊接著使用攝像頭域間合并算法和樣本召回構(gòu)造全局偽標(biāo)簽；最后使用BoT 進(jìn)行訓(xùn)練，結(jié)果如表4 所示：

Table 4 Comparison of Our Proposed Method and the Clustering-Based Method表4 本文方法和基于聚類的方法的比較

在2 個(gè)數(shù)據(jù)集上，本文基于最大團(tuán)的攝像頭域內(nèi)合并算法的表現(xiàn)均優(yōu)于KMeans 聚類算法.此外，基于最大團(tuán)的域內(nèi)合并算法的用時(shí)遠(yuǎn)低于聚類算法，兩者相差上百倍，本文所提算法具有明顯的優(yōu)勢(shì).如表1所示，Market1501 數(shù)據(jù)集中有6 個(gè)攝像頭，但是每個(gè)攝像頭內(nèi)的行人個(gè)數(shù)都比較多，所以聚類算法在Market-1501 數(shù)據(jù)集上更費(fèi)時(shí)，而本文提出的算法受此影響較小，可用于更大規(guī)模的數(shù)據(jù)集.

3.6 本文方法的魯棒性實(shí)驗(yàn)

本文所提出的方法用于解決無(wú)監(jiān)督行人重識(shí)別中的標(biāo)簽缺失問(wèn)題，以插件的形式結(jié)合有監(jiān)督方法起作用.2 個(gè)實(shí)驗(yàn)表明本文方法具備通用性：1）在MSMT17 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果意味著本文方法可以在更大規(guī)模的數(shù)據(jù)集上正常工作；2）以TransReId[27]作為基準(zhǔn)模型也能取得不錯(cuò)的結(jié)果，表示本文方法能適配基于Transformer 模型的新型有監(jiān)督行人重識(shí)別方法.2 個(gè)實(shí)驗(yàn)的詳細(xì)描述為：

1）在MSMT17 數(shù)據(jù)集上的實(shí)驗(yàn)使用在3.4 節(jié)中設(shè)置的參數(shù)迭代20 次，本文方法在MSMT17 數(shù)據(jù)集上的Rank-1 是47.9%，mAP 是25.5%，每一次迭代的結(jié)果如圖11 中實(shí)線所示.當(dāng)按照各參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響分析調(diào)整參數(shù)后，其結(jié)果如圖11 中虛線所示，Rank-1 達(dá)到了52.3%，而mAP 達(dá)到了27.2%.和相關(guān)當(dāng)前方法的比較如表5 所示，本文方法在更困難的MSMT17 數(shù)據(jù)集上效果優(yōu)于大部分域自適應(yīng)方法或者其他半監(jiān)督方法.

Table 5 Comparison of Our Proposed Methods and the State-of-The-Art Methods on MSMT17表5 本文方法和當(dāng)前方法在MSMT17 數(shù)據(jù)集上的比較

2）本文所提出的偽標(biāo)簽生成框架可適用于基于Transformer 模型的有監(jiān)督行人重識(shí)別算法，本文以TransReID 作為基礎(chǔ)模型取代原本使用的BoT 進(jìn)行實(shí)驗(yàn)，其結(jié)果如圖12 所示，可以看出Rank-1 和mAP在前5 輪迭代中快速增加，在之后的輪次里緩慢增加 直至Rank-1 達(dá) 到87.4%，mAP 達(dá) 到72.9%，雖 然TransReID 模型低于BoT 模型的結(jié)果，但仍然超出大部分當(dāng)前方法.

Fig.12 The performance of TransReID on Market1501圖12 TransReID 模型在Market1501 數(shù)據(jù)集上的表現(xiàn)

3.6 節(jié)2 個(gè)實(shí)驗(yàn)結(jié)果表明，本文所提出的偽標(biāo)簽生成框架可以作為一個(gè)插件使現(xiàn)有的有監(jiān)督模型可以處理大規(guī)模的無(wú)監(jiān)督行人重識(shí)別數(shù)據(jù)集.

4 總結(jié)

當(dāng)前基于深度學(xué)習(xí)的行人重識(shí)別方法通常需要標(biāo)注數(shù)據(jù)集，但對(duì)大量數(shù)據(jù)進(jìn)行標(biāo)注十分消耗人力物力.本文提出了一個(gè)框架用于生成偽標(biāo)簽數(shù)據(jù)集，然后使用有監(jiān)督模型進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果證明了所提出方法的有效性.我們通過(guò)把無(wú)標(biāo)簽數(shù)據(jù)集依據(jù)攝像頭編號(hào)分成若干個(gè)域，對(duì)每個(gè)域內(nèi)的圖片使用最大團(tuán)算法作為強(qiáng)約束進(jìn)行聚類，使得每個(gè)域內(nèi)相似的圖片被賦予同樣的偽標(biāo)簽；然后通過(guò)計(jì)算域間團(tuán)的相似度合并不同域的樣本，進(jìn)而構(gòu)造全局偽標(biāo)簽.通過(guò)若干個(gè)實(shí)驗(yàn)，證明本文方法構(gòu)造的偽標(biāo)簽優(yōu)于基于聚類的方法，并且有更少的時(shí)間消耗，提升了無(wú)監(jiān)督行人重識(shí)別的性能.

作者貢獻(xiàn)聲明：陳利文和葉鋒提出研究思路和算法框架；黃添強(qiáng)和黃麗清負(fù)責(zé)設(shè)計(jì)實(shí)驗(yàn)以驗(yàn)證算法的有效性；陳利文、翁彬和胡杰共同編寫代碼進(jìn)行實(shí)驗(yàn)測(cè)試；陳利文和徐超完成論文撰寫工作.