姜冠正,唐 俊

(安徽大學(xué) 電子信息工程學(xué)院，安徽 合肥 230601)

行人重識(shí)別任務(wù)旨在跨相機(jī)下檢索出特定的行人圖像，這是一項(xiàng)極具挑戰(zhàn)性的任務(wù).由于行人的姿態(tài)、攝像機(jī)拍攝角度和光照的變化，使得同一個(gè)行人的圖像之間出現(xiàn)較大差異.受益于人工標(biāo)注數(shù)據(jù)集的出現(xiàn)，行人重識(shí)別任務(wù)得到快速發(fā)展，在檢索精度上得到了很大提升.然而，在實(shí)際應(yīng)用中，即使使用人工標(biāo)注的數(shù)據(jù)集訓(xùn)練好模型，如果直接部署在一個(gè)新的應(yīng)用場(chǎng)景上，由于領(lǐng)域間的顯著差異會(huì)導(dǎo)致模型精度的顯著下降.在每個(gè)監(jiān)控系統(tǒng)上都重新進(jìn)行數(shù)據(jù)采集和人工標(biāo)注是一項(xiàng)費(fèi)時(shí)費(fèi)力的工作，同時(shí)也不具備在現(xiàn)實(shí)中部署的意義.為此，無監(jiān)督領(lǐng)域自適應(yīng)任務(wù)被提出用以解決上述問題.無監(jiān)督領(lǐng)域自適應(yīng)任務(wù)指的是在有標(biāo)注的源域上訓(xùn)練好模型，使其適應(yīng)于無標(biāo)注的目標(biāo)域并在目標(biāo)域上得到檢索精度的提升.和一般的無監(jiān)督領(lǐng)域自適應(yīng)任務(wù)不同的是，在行人重識(shí)別任務(wù)中目標(biāo)域的類別數(shù)未知，且通常和源域之間沒有交叉，因此該任務(wù)較一般意義上的無監(jiān)督領(lǐng)域自適應(yīng)任務(wù)而言更為實(shí)際，也更具挑戰(zhàn)性.

無監(jiān)督領(lǐng)域自適應(yīng)在行人重識(shí)別上現(xiàn)有的方法主要分為基于生成對(duì)抗網(wǎng)絡(luò)的方法和基于聚類的方法.基于生成對(duì)抗網(wǎng)絡(luò)的方法利用對(duì)抗性學(xué)習(xí)、通過減少像素級(jí)別上的差異來學(xué)習(xí)域不變特征，利用圖像風(fēng)格轉(zhuǎn)移來縮小像素空間的域差異[1].基于聚類的方法也是解決無監(jiān)督領(lǐng)域自適應(yīng)問題的重要范式，Lin等[2]設(shè)計(jì)了一種自底向上的聚類框架，利用不同身份之間的多樣性和每個(gè)身份內(nèi)的相似性來學(xué)習(xí)判別特征.Fu等[3]關(guān)注到行人自身的相似性,提出將行人分成整體、上半身、下半身,分別對(duì)不同部分進(jìn)行分組聚類獲得偽標(biāo)簽，并將分組訓(xùn)練后的特征拼接后作為最終的行人特征.Zhai等[4]通過在源域上訓(xùn)練具有不同偏向和特定知識(shí)的模型，再在目標(biāo)域上通過不同預(yù)訓(xùn)練的模型進(jìn)行聚類和相互學(xué)習(xí)來提煉出更高質(zhì)量的偽標(biāo)簽.

雖然這些方法的實(shí)驗(yàn)效果已經(jīng)取得了顯著提升，但是其性能仍不能令人滿意.無監(jiān)督領(lǐng)域自適應(yīng)在行人重識(shí)別任務(wù)中面臨的問題主要來自：①源域上預(yù)訓(xùn)練的模型在目標(biāo)域上泛化能力有限；②聚類算法本身的局限性使得很難獲得目標(biāo)域上準(zhǔn)確的偽標(biāo)簽，從而難以在目標(biāo)域上得到可靠的聚類結(jié)果.這些因素限制著模型領(lǐng)域自適應(yīng)能力.

論文提出了一種基于多度量融合(multi-metric fusion,簡(jiǎn)稱MMF)的無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別算法，以解決無監(jiān)督領(lǐng)域自適應(yīng)任務(wù)中由于聚類算法的局限性而導(dǎo)致偽標(biāo)簽出現(xiàn)噪聲的問題.它具有以下優(yōu)點(diǎn)：①相較于傳統(tǒng)的特征相似度度量方式,多度量融合算法以一種柔性的方式計(jì)算特征相似度，通過線性加權(quán)的形式、利用不同特征相似度度量函數(shù)產(chǎn)生不同聚類結(jié)果來進(jìn)一步優(yōu)化聚類結(jié)果；②在不使用目標(biāo)域上任何信息的情況下，通過優(yōu)化聚類時(shí)特征相似度計(jì)算方式，有效減少了偽標(biāo)簽噪聲的產(chǎn)生，使得目標(biāo)域上的偽標(biāo)簽更加可靠.

1 基于多度量融合的無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別算法

1.1 問題描述

在無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別任務(wù)中，目標(biāo)域上偽標(biāo)簽的質(zhì)量對(duì)模型的領(lǐng)域自適應(yīng)性能有著很大影響.由于源域預(yù)訓(xùn)練模型在目標(biāo)域上泛化能力有限，以及聚類算法本身存在的局限性而出現(xiàn)偽標(biāo)簽噪聲的問題，現(xiàn)有的方法并沒有很好地解決上述問題.

如圖1所示，在目標(biāo)域上對(duì)行人的特征進(jìn)行聚類時(shí)：使用歐式距離度量行人特征之間的相似性，行人圖像A1和B之間的歐式距離小于行人圖像A1和A2的歐式距離;計(jì)算行人特征之間的相關(guān)距離時(shí)，行人圖像A1和B的相關(guān)距離大于行人圖像A1和A2的相關(guān)距離.實(shí)際上，行人圖像A1和B屬于不同的行人圖像，行人圖像A1和A2屬于同一個(gè)行人圖像.此時(shí)如果在DBSCAN(density-based spatial clustering of applications with noise)聚類階段使用歐式距離計(jì)算行人特征之間的相似性時(shí)，就會(huì)錯(cuò)誤地將行人圖像A1和B劃分到同一個(gè)簇內(nèi)，從而引入偽標(biāo)簽噪聲，得到不可靠的聚類結(jié)果.

圖1 偽標(biāo)簽噪聲的引入

在聚類算法中，特征相似度的計(jì)算對(duì)聚類結(jié)果有著直接的、決定性的影響，在目前的無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別任務(wù)中，傳統(tǒng)的方法在聚類階段生成偽標(biāo)簽時(shí)，僅使用歐式距離作為特征相似度度量函數(shù)評(píng)估目標(biāo)域上特征之間的相似度，之后根據(jù)該相似度矩陣生成目標(biāo)域上的偽標(biāo)簽.但是由于數(shù)據(jù)集之間不同的數(shù)據(jù)分布特點(diǎn)，傳統(tǒng)的特征相似度度量方式并不能合理全面地評(píng)估聚類時(shí)特征之間的相似性關(guān)系，從而導(dǎo)致在目標(biāo)域上聚類時(shí)，會(huì)引入噪聲樣本點(diǎn)，產(chǎn)生偽標(biāo)簽噪聲，從而影響到最終聚類結(jié)果的可靠性.

1.2 雙分支差異化網(wǎng)絡(luò)

1.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

信道混洗是通過將同一張圖像的RGB信道的圖像進(jìn)行打亂混洗，經(jīng)過排列組合后，生成同一張圖像的RGB混洗的5張?jiān)鰪V圖像.信道混洗可以有效提升行人重識(shí)別模型的檢索精度[5].如圖2所示，在源域預(yù)訓(xùn)練階段，首先，將源域數(shù)據(jù)集上帶有標(biāo)簽的行人圖像通過信道混洗進(jìn)行數(shù)據(jù)增廣[5]，使用Resnet50[6]作為主干網(wǎng)絡(luò)提取行人特征，經(jīng)過信道混洗增廣后的行人圖像，其身份標(biāo)簽采用兩種不同的分配策略.模型設(shè)計(jì)為雙分支差異化網(wǎng)絡(luò)，兩個(gè)分支分別為標(biāo)簽共享和標(biāo)簽異構(gòu)分支.整體網(wǎng)絡(luò)包含主干ResNet50網(wǎng)絡(luò)的5層卷積層，將其末端的平均最大池化層替換為自適應(yīng)最大池化層，并在其后面接上全連接層且調(diào)整其輸出為512維，將這512維的輸出作為兩個(gè)分支分類器的輸入，分支一為標(biāo)簽共享分支，分支二為標(biāo)簽異構(gòu)分支，將兩個(gè)分支的512維特征輸出進(jìn)行拼接得到最終的1 024維的特征，并將三元組損失與結(jié)合LSR(label smoothing strategy)的softmax交叉熵?fù)p失作為網(wǎng)絡(luò)的損失函數(shù)用于訓(xùn)練.

圖2 源域預(yù)訓(xùn)練階段

如圖3所示，目標(biāo)域微調(diào)階段，在目標(biāo)域數(shù)據(jù)集上無標(biāo)簽的行人圖像同樣經(jīng)過信道混洗.經(jīng)ResNet50網(wǎng)絡(luò)提取行人特征后，在特征空間上計(jì)算兩兩行人之間的特征相似度，由此得到目標(biāo)域上行人特征之間的特征相似度矩陣.根據(jù)該特征相似度矩陣，由DBSCAN聚類算法對(duì)目標(biāo)域的行人分配偽標(biāo)簽，最后利用所獲得的偽標(biāo)簽在目標(biāo)域上對(duì)模型進(jìn)行微調(diào).

圖3 目標(biāo)域微調(diào)階段

1.2.2 損失函數(shù)

在預(yù)訓(xùn)練階段和微調(diào)階段使用相同的損失函數(shù).標(biāo)簽共享分支和標(biāo)簽異構(gòu)分支分別使用不同的身份分類損失，并同時(shí)使用三元組損失作為輔助損失監(jiān)督模型訓(xùn)練.

對(duì)于標(biāo)簽共享分支，認(rèn)為信道混洗后的增廣圖像和原始圖像共用相同的身份標(biāo)簽，其損失函數(shù)的表達(dá)式為

(1)

對(duì)于標(biāo)簽異構(gòu)分支，認(rèn)為信道混洗后的增廣圖像和原始圖像使用不同的身份標(biāo)簽，其損失函數(shù)的表達(dá)式為

(2)

困難三元組損失的核心思想為難樣本挖掘，其損失函數(shù)的表達(dá)式為

(3)

其中：P為每個(gè)批次里不同行人的個(gè)數(shù)，K為每個(gè)行人擁有的樣本個(gè)數(shù)，α為正負(fù)樣本對(duì)間距離閾值的超參數(shù)，da,hp為錨點(diǎn)與最難正樣本之間的歐式距離，da,hn為錨點(diǎn)與最難負(fù)樣本之間的歐式距離.

最終的損失函數(shù)為

loss_total=αloss_idsharing+βloss_idheter+γloss_triplet，

(4)

其中：α,β,γ為超參數(shù)，在實(shí)驗(yàn)中設(shè)置為α=0.6,β=0.6,γ=0.2.

1.2.3 多度量融合算法

在無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別任務(wù)中，聚類階段的偽標(biāo)簽質(zhì)量直接影響到行人重識(shí)別模型的領(lǐng)域自適應(yīng)性能.為了解決由于傳統(tǒng)方法計(jì)算特征相似度的局限性而在聚類階段產(chǎn)生偽標(biāo)簽噪聲的問題，論文對(duì)傳統(tǒng)的特征相似度的計(jì)算方式進(jìn)行了改進(jìn).具體而言，考慮到不同的特征相似度度量函數(shù)對(duì)特征之間的相似度評(píng)估角度存在差異并由此會(huì)形成不同的聚類結(jié)果，多度量融合算法在進(jìn)行特征相似度計(jì)算時(shí)，通過利用不同的特征相似度度量函數(shù)之間的相關(guān)性，來進(jìn)一步優(yōu)化目標(biāo)域數(shù)據(jù)集上的聚類結(jié)果.如圖3所示，在使用DBSCAN聚類算法計(jì)算行人特征之間的相似度獲取偽標(biāo)簽時(shí)，通過不同的相似度度量函數(shù)分別進(jìn)行特征相似度的計(jì)算，最終的特征相似度為不同度量函數(shù)計(jì)算出來的特征相似度線性加權(quán)的結(jié)果.一般形式下的多度量融合算法的數(shù)學(xué)表示如下

(5)

論文預(yù)設(shè)了4種度量函數(shù)，分別是歐式距離(Euclidean distance)、余弦距離(cosine distance)、相關(guān)距離(correlation distance)和切比雪夫距離(Chebyshev distance).對(duì)于以上特征相似度度量函數(shù)的選取，主要是考慮到選取的度量函數(shù)對(duì)特征之間相似度計(jì)算的差異性.對(duì)以上4種預(yù)設(shè)的度量函數(shù)數(shù)學(xué)表示形式如下：給定目標(biāo)域上的行人樣本集合X,X是M維實(shí)數(shù)特征向量空間M中點(diǎn)的集合，其中，xi，xj∈X,xi=(x1i,x2i,…,xMi)T,xj=(x1j,x2j,…,xMj)T,行人樣本xi和xj的歐氏距離定義為

(6)

余弦距離定義為

(7)

相關(guān)距離定義為

(8)

切比雪夫距離定義為

(9)

在無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別任務(wù)中，由于無法獲得目標(biāo)域上的任何先驗(yàn)信息，因此認(rèn)為各個(gè)度量函數(shù)的重要程度是相同的，即各個(gè)度量函數(shù)的權(quán)重賦值是相同的.此時(shí)多度量融合算法中的線性加權(quán)轉(zhuǎn)化為平均加權(quán)，此時(shí)的數(shù)學(xué)式表示如下

(10)

值得注意的是，論文提出的多度量融合算法與傳統(tǒng)的計(jì)算特征相似度的方式相比具有以下優(yōu)勢(shì)：①在數(shù)學(xué)形式上具有一般性，使用單一度量函數(shù)計(jì)算特征相似度可視為是多度量融合算法中其余度量函數(shù)的權(quán)值置零的特例；②對(duì)于不同的行人重識(shí)別數(shù)據(jù)集而言，由于不同的行人重識(shí)別數(shù)據(jù)集上數(shù)據(jù)分布特點(diǎn)的不同，傳統(tǒng)的特征相似性度量方式在聚類時(shí)由于只關(guān)注到特征之間單一的相似性關(guān)系，多度量融合算法通過線性加權(quán)的形式綜合各個(gè)度量函數(shù)對(duì)聚類結(jié)果的影響，可以被用來更全面合理地評(píng)估特征之間的相似性關(guān)系.

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)參數(shù)設(shè)置和實(shí)驗(yàn)細(xì)節(jié)

論文使用的實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)為內(nèi)核基于Linux的Ubuntu20.04，深度學(xué)習(xí)框架為pytorch1.8.1，編程語言為python3.6，GPU型號(hào)為NVIDIA GeForce RTX3090.首先將所有輸入圖像統(tǒng)一調(diào)整為256×128大小，利用隨機(jī)旋轉(zhuǎn)和隨機(jī)擦除來進(jìn)行數(shù)據(jù)擴(kuò)充，設(shè)置dropout的概率為0.5.對(duì)于每一批次訓(xùn)練樣本，設(shè)置行人身份個(gè)數(shù)P=8，每個(gè)身份的樣本個(gè)數(shù)K=4，每個(gè)批次大小為32.使用SGD優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在預(yù)訓(xùn)練階段，使用在ImageNet上經(jīng)過預(yù)訓(xùn)練后的主干網(wǎng)絡(luò)ResNet50[6].設(shè)置：學(xué)習(xí)率為0.01；添加的全連接層的學(xué)習(xí)率為0.1；學(xué)習(xí)率衰減為每8個(gè)epoch衰減為原來的10%，總共訓(xùn)練23個(gè)epoch.對(duì)于微調(diào)階段，共執(zhí)行5次聚類和微調(diào)迭代，各層學(xué)習(xí)率均設(shè)置為預(yù)訓(xùn)練階段的5%，每次微調(diào)執(zhí)行10個(gè)epoch.將標(biāo)簽共享和標(biāo)簽異構(gòu)分支各自提取的512維特征進(jìn)行拼接，獲得1 024維的拼接特征以供聚類和測(cè)試階段使用.DBSCAN聚類的參數(shù)中，設(shè)置：領(lǐng)域半徑為0.8，Duke數(shù)據(jù)集上最小樣本個(gè)數(shù)為10，Market數(shù)據(jù)集上最小樣本個(gè)數(shù)為8,標(biāo)簽共享分支損失函數(shù)的權(quán)重系數(shù)α為0.6，標(biāo)簽異構(gòu)分支損失函數(shù)的權(quán)重系數(shù)β為0.6，三元組損失函數(shù)權(quán)重γ為0.2.

2.2 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

該節(jié)首先介紹行人重識(shí)別常用的兩個(gè)大型數(shù)據(jù)集Market-1501和DukeMTMC-reID，之后介紹評(píng)價(jià)行人重識(shí)別算法性能的兩種指標(biāo)Rank-k和mAP.表1顯示了Market-1501和DukeMTMC-reID數(shù)據(jù)集的概況.

表1 行人重識(shí)別數(shù)據(jù)集統(tǒng)計(jì)表 個(gè)

Rank-k[7]和平均準(zhǔn)確率mAP[8](mean average precision)是圖像檢索領(lǐng)域通用的評(píng)測(cè)標(biāo)準(zhǔn)，也是行人重識(shí)別任務(wù)最常用的評(píng)價(jià)指標(biāo).

在單次圖像檢索中，最后會(huì)輸出與查詢樣本相似性降序隊(duì)列，其中第一張圖像即為模型認(rèn)為最有可能和查詢行人是同一個(gè)人的樣本，rank-k即為從隊(duì)列中前k張圖像中任意一張匹配正確的概率，通常以rank-1,rank-5,rank-10作為評(píng)價(jià)指標(biāo)，最終的rank-k結(jié)果為查詢集中所有的檢索結(jié)果的平均值.

mAP則是衡量某個(gè)查詢樣本，其在搜索庫中所有的正確樣本在結(jié)果隊(duì)列中的靠前程度，即mAP先對(duì)單個(gè)樣本查詢計(jì)算該次AP，再將查詢集中的所有樣本的AP累加求平均值，即為最后的mAP指標(biāo).假設(shè)某次查詢中搜索庫中所有正確匹配樣本個(gè)數(shù)為N，則單次AP計(jì)算方法如下

(11)

其中:rN代表第N個(gè)正確匹配結(jié)果在結(jié)果隊(duì)列中的位數(shù)，如第1個(gè)正確匹配結(jié)果出現(xiàn)在結(jié)果隊(duì)列第1位，則r1=1，第1個(gè)正確匹配結(jié)果出現(xiàn)在結(jié)果隊(duì)列的第2位，則r1=2，以此類推.

2.3 消融實(shí)驗(yàn)

論文設(shè)計(jì)了多組消融實(shí)驗(yàn)驗(yàn)證多度量融合算法的有效性.表2，3分別顯示了在Market-1501→DukeMTMC-reID以及DukeMTMC-reID→Market-1501上的消融實(shí)驗(yàn)結(jié)果.

如表2所示，在Market-1501→DukeMTMC-reID上，首先基線方法中是僅使用歐式距離作為特征相似度度量函數(shù)，在多度量融合算法中，使用其他3個(gè)單一度量函數(shù)作為特征相似度度量函數(shù)后，rank1和map較基線方法均有小幅度提升.使用4種度量函數(shù)平均加權(quán)計(jì)算特征相似度使得模型的性能達(dá)到最優(yōu)，rank1和map分別較基線方法上升了0.448 8%，2.106 9%.

表2 Market1501→DukeMTMC-reID的消融實(shí)驗(yàn)結(jié)果 %

如表3所示，在DukeMTMC-reID→Market-1501上，基線方法中僅使用歐式距離作為特征相似度度量函數(shù).在多度量融合算法中，使用切比雪夫距離計(jì)算特征相似度時(shí)對(duì)模型的增益最大，可視為多度量融合算法中其余3個(gè)度量函數(shù)的權(quán)值置零的特例，此時(shí)rank1和map分別較基線上升了0.831 4%，2.163 0%.當(dāng)使用4種度量函數(shù)平均加權(quán)計(jì)算特征相似度時(shí)，rank1和map較基線也分別提升了0.207 8%，1.144 5%.

表3 DukeMTMC-reID→Market1501的消融實(shí)驗(yàn)結(jié)果 %

2.4 對(duì)比實(shí)驗(yàn)

該節(jié)將論文提出的方法同近些年的方法進(jìn)行了對(duì)比，表4，5分別顯示了在Market-1501→DukeMTMC-reID，DukeMTMC-reID→Market-1501上的對(duì)比實(shí)驗(yàn)結(jié)果.

從表4，5可以看到，論文提出的方法同早期的相關(guān)工作，如SPGAN[11]，ATNet等[12]相比，Rank-1和map均有大幅度提升；與近年來基于聚類的偽標(biāo)簽方法，如BUC[14]，ACT[17]，PAST[24]等相比，在兩個(gè)評(píng)價(jià)指標(biāo)上同樣也有非常大的提升.

表4 在Market-1501→DukeMTMC-reID上的對(duì)比實(shí)驗(yàn)結(jié)果 %

表5 在DukeMTMC-reID→Market-1501上的對(duì)比實(shí)驗(yàn)結(jié)果 %

3 結(jié)束語

論文提出一種基于多度量融合的無監(jiān)督領(lǐng)域自適應(yīng)的行人重識(shí)別算法，旨在解決在無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別任務(wù)中，由于聚類算法本身存在的局限而難以獲得可靠偽標(biāo)簽的問題.該算法在目標(biāo)域聚類時(shí)，在不使用目標(biāo)域上任何標(biāo)簽信息的情況下，通過多個(gè)特征相似度度量函數(shù)線性加權(quán)的方式計(jì)算特征相似度，可以被用來更合理全面地評(píng)估聚類時(shí)特征之間的相似度，提升了目標(biāo)域聚類時(shí)偽標(biāo)簽的魯棒性和準(zhǔn)確性.在Market1501→DukeMTMC-reID和DukeMTMC-reID→Market-1501上大量的實(shí)驗(yàn)結(jié)果表明，論文提出的多度量融合算法有效提升了模型在無監(jiān)督領(lǐng)域自適應(yīng)行人重識(shí)別任務(wù)上的檢索精度.