李玲莉，謝明鴻，李 凡，張亞飛 ，李華鋒，譚婷婷

(昆明理工大學(xué) a.信息工程與自動(dòng)化學(xué)院； b.云南省人工智能重點(diǎn)實(shí)驗(yàn)室 昆明 650500)

行人重識(shí)別是一種從不同相機(jī)視角下在采集的行人圖像中搜索出相同行人的技術(shù)，在智能監(jiān)控中發(fā)揮重要作用，因此受到研究者的廣泛關(guān)注。在現(xiàn)實(shí)監(jiān)控環(huán)境中，同一行人的不同圖像常常因相機(jī)視角差異、光照變化等影響呈現(xiàn)出不同的外貌特征，這給行人重識(shí)別帶來(lái)了極大挑戰(zhàn)。由于不需要進(jìn)行大量人工樣本標(biāo)記，近年來(lái)無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法已成為研究熱點(diǎn)之一。這些方法主要是通過(guò)無(wú)監(jiān)督域不變特征提取、對(duì)抗學(xué)習(xí)和圖像風(fēng)格遷移等手段來(lái)減小源域與目標(biāo)域之間的差異。然而，無(wú)監(jiān)督域不變特征提取的方法往往很難挖掘具有判別性的特征信息；基于對(duì)抗學(xué)習(xí)的無(wú)監(jiān)督方法提取到的特征往往是來(lái)自不同域樣本的共有信息，丟失了不同域樣本之間的特有信息，容易加劇樣本特征之間的歧義性；基于圖像風(fēng)格遷移的方法雖然有效，但容易導(dǎo)致遷移圖像標(biāo)簽信息改變。

不同數(shù)據(jù)集之間產(chǎn)生域偏移的主要原因之一是相機(jī)的成像風(fēng)格不同。從圖1可發(fā)現(xiàn)來(lái)自同一視角下的行人圖像，呈現(xiàn)出相似的風(fēng)格信息，如果將這些圖像的視覺(jué)特征由矩陣表示，這個(gè)矩陣在數(shù)學(xué)上就會(huì)呈現(xiàn)出低秩性。因此根據(jù)這種低秩先驗(yàn)性，設(shè)計(jì)一種域不變特征分離模型，將風(fēng)格信息從圖像特征中分離出去，這種策略不僅能緩解不同視角之間域偏移給行人重識(shí)別帶來(lái)的挑戰(zhàn)，還能保持行人身份特征信息不發(fā)生改變，避免傳統(tǒng)無(wú)監(jiān)督域自適應(yīng)方法的標(biāo)簽遷移。整體思路如圖2所示。

圖1 挑選自不同數(shù)據(jù)集同一攝像頭的行人圖像Fig. 1 Pedestrian images selected from the same camera view of different datasets

圖2 研究算法的整體框架Fig. 2 The overall framework of the algorithm in this paper

為解決單個(gè)數(shù)據(jù)集中多個(gè)視角下行人圖像風(fēng)格不一致問(wèn)題，提出低秩成分分解的字典學(xué)習(xí)模型，將不同相機(jī)視角下的行人圖像特征分解成具有低秩特性的風(fēng)格信息和具有判別性的行人身份信息，通過(guò)去除分解出來(lái)的風(fēng)格信息，利用剩下的行人身份信息來(lái)訓(xùn)練判別字典學(xué)習(xí)模型，并將行人身份信息在其對(duì)應(yīng)字典下的判別系數(shù)作為行人的潛在身份特征，作為最后行人身份相似性度量。為進(jìn)一步緩解域偏移所帶來(lái)的影響，利用同一身份行人屬性的域不變性，將屬性與特征關(guān)聯(lián)模塊嵌入到字典學(xué)習(xí)框架中，構(gòu)建從特征到屬性的映射，進(jìn)一步挖掘?qū)傩耘c特征之間的關(guān)系。為了保證潛在視覺(jué)特征遷移到語(yǔ)義屬性空間的過(guò)程中行人身份信息不發(fā)生改變，在字典學(xué)習(xí)模型中引入自重構(gòu)約束以及身份判別特征與標(biāo)簽一致性約束，提升字典的判別性。通過(guò)構(gòu)建標(biāo)記樣本身份判別特征和標(biāo)簽之間的關(guān)系，拉近同一行人潛在特征之間的距離，拉遠(yuǎn)不同行人潛在特征之間的距離。最后，通過(guò)選擇置信度高的偽標(biāo)簽來(lái)調(diào)整模型參數(shù)，使其更適應(yīng)目標(biāo)數(shù)據(jù)的識(shí)別。

1 相關(guān)研究

1.1 無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別

為解決有監(jiān)督行人重識(shí)別方法和傳統(tǒng)無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法推廣應(yīng)用方面的不足，近2年研究者提出了一些新的無(wú)監(jiān)督域自適應(yīng)的行人重識(shí)別方法。其中包括基于樣本存儲(chǔ)的域自適應(yīng)方法[1]，基于塊判別性特征學(xué)習(xí)的無(wú)監(jiān)督行人重識(shí)別方法[2]，基于自相似聚類(lèi)的域自適應(yīng)方法[3]，基于元學(xué)習(xí)的域生成方法[4]，基于對(duì)抗學(xué)習(xí)的域自適應(yīng)行人重識(shí)別方法[5-7]以及基于域不變特征提取方法[8]。

基于樣本存儲(chǔ)[1]的方法利用樣本存儲(chǔ)實(shí)現(xiàn)了3種基本不變性，即樣本不變性, 相機(jī)不變性和鄰域不變性，從而減小了源域與目標(biāo)域之間的差異。雖然基于塊的判別性特征學(xué)習(xí)[2]也是較為有效的算法，但這類(lèi)算法沒(méi)有考慮塊與塊之間的關(guān)系，導(dǎo)致識(shí)別性能稍弱?；谧韵嗨凭垲?lèi)方法[3]可獲得較高的識(shí)別性能，但這種方法克服域偏移問(wèn)題的本質(zhì)是自訓(xùn)練，與現(xiàn)實(shí)場(chǎng)景不符?；谠獙W(xué)習(xí)的域自適應(yīng)方法是最近提出的一種有效方法[4]，該方法使用元學(xué)習(xí)來(lái)更新模型中的分類(lèi)器參數(shù)，并使用多個(gè)數(shù)據(jù)集來(lái)訓(xùn)練模型，使模型具有域不變性?；趯?duì)抗學(xué)習(xí)[5-7]的域自適應(yīng)方法可以實(shí)現(xiàn)不同數(shù)據(jù)集行人圖像的遷移，但在遷移過(guò)程中容易造成不同樣本的特有信息丟失，不利于行人身份信息保留?；谟虿蛔兲卣魈崛〉姆椒╗8]通過(guò)提取不同數(shù)據(jù)集間的共有信息用作行人身份識(shí)別，該方法雖然有效，但未能充分考慮域信息的低秩先驗(yàn)性，從而導(dǎo)致提取的特征判別性較弱，限制了識(shí)別性能的進(jìn)一步提升。這些方法雖然能取得不錯(cuò)的實(shí)驗(yàn)結(jié)果，但不能有效挖掘無(wú)標(biāo)記樣本的判別信息，導(dǎo)致限制識(shí)別性能的提升空間，且對(duì)標(biāo)記的訓(xùn)練數(shù)據(jù)的數(shù)量和規(guī)模都要求較大。為實(shí)現(xiàn)域自適應(yīng)的行人重識(shí)別，利用同一視角下行人圖像風(fēng)格的低秩先驗(yàn)性，來(lái)實(shí)現(xiàn)風(fēng)格信息與行人身份信息的分離，該方法在不需要大規(guī)模有標(biāo)記訓(xùn)練樣本的情況下便能接近甚至達(dá)到基于深度學(xué)習(xí)的無(wú)監(jiān)督域自適應(yīng)方法識(shí)別性能。

1.2 基于字典學(xué)習(xí)的行人重識(shí)別

字典學(xué)習(xí)因其在模式識(shí)別和圖像處理方面的優(yōu)異表現(xiàn)，已成為解決行人重識(shí)別問(wèn)題的常用方法。這類(lèi)方法通常利用字典和表示系數(shù)的乘積來(lái)表示特征，并把表示系數(shù)作為最終的底層視覺(jué)特征，用于最終行人圖像間的相似性度量；這類(lèi)方法還可以利用模型的正則項(xiàng)約束來(lái)提升表示系數(shù)的判別能力。近年來(lái)，一些基于字典學(xué)習(xí)的行人重識(shí)別方法被提出。文獻(xiàn)[9]提出了一種多任務(wù)字典學(xué)習(xí)的跨數(shù)據(jù)集遷移學(xué)習(xí)方法，該方法通過(guò)將字典分解成任務(wù)共享字典和視角特定字典，分別獲取不同視角下行人的潛在屬性和行人外貌差異表示。文獻(xiàn)[10]提出一種基于卡方核的正則化線性判別分析行人重識(shí)別算法，使數(shù)據(jù)在低維空間能夠保持高維空間的可分性，提高行人重識(shí)別算法性能。文獻(xiàn)[11]提出一種面向無(wú)監(jiān)督域自適應(yīng)的聯(lián)合屬性身份嵌入字典學(xué)習(xí)方法，該方法通過(guò)視覺(jué)特征空間和語(yǔ)義屬性空間的對(duì)齊來(lái)學(xué)習(xí)語(yǔ)義屬性字典和視覺(jué)特征字典。文獻(xiàn)[12]將多特征字典學(xué)習(xí)和自適應(yīng)多特征圖整合到一個(gè)聯(lián)合學(xué)習(xí)模型中，使得學(xué)習(xí)到的字典具有判別性。雖然上述方法在行人重識(shí)別中能達(dá)到不錯(cuò)的識(shí)別性能，但無(wú)法有效克服相機(jī)風(fēng)格差異帶來(lái)的域偏移問(wèn)題?；诔上耧L(fēng)格的低秩先驗(yàn)性，提出了一種判別字典學(xué)習(xí)的圖像風(fēng)格分離模型，降低成像風(fēng)格差異所導(dǎo)致的不同視角行人圖像之間的域偏移。

1.3 基于屬性學(xué)習(xí)的行人重識(shí)別

2 方法論

2.1 問(wèn)題定義

2.2 判別性字典學(xué)習(xí)

在無(wú)監(jiān)督的行人重識(shí)別任務(wù)中，由于不同數(shù)據(jù)集間存在域偏移問(wèn)題，在源域上訓(xùn)練的模型常常不能直接應(yīng)用到目標(biāo)域上。為解決這個(gè)問(wèn)題，基于行人圖像風(fēng)格信息的低秩先驗(yàn)性設(shè)計(jì)了一個(gè)域不變信息分離模型

(1)

由于不同視角下同一行人的屬性具有域不變性，如果將訓(xùn)練樣本的屬性與潛在特征建立一種映射關(guān)系，挖掘潛在信息，有利于實(shí)現(xiàn)目標(biāo)域樣本屬性的預(yù)測(cè)。除此之外，利用屬性作為輔助信息也能提高編碼系數(shù)的判別性。因此，將屬性引入到行人重識(shí)別的模型中，公式如下

(2)

其中，W是轉(zhuǎn)換矩陣，其作用是建立行人潛在特征空間與屬性空間的聯(lián)系，β是平衡參數(shù)。在公式(2)中，利用自重構(gòu)思想來(lái)保證行人屬性和潛在特征的一致性。

為提高字典的判別性和減少行人特征之間的歧義性，將標(biāo)簽信息應(yīng)用到模型當(dāng)中，公式如下

(3)

(4)

2.3 模型優(yōu)化

對(duì)于所有變量來(lái)說(shuō)，公式(4)是非凸函數(shù)。然而，固定其它變量而更新其中某一個(gè)變量時(shí)，模型具有全局最優(yōu)解。因此采用交替迭代法來(lái)獲得每個(gè)變量的最優(yōu)解。

(5)

式(5)具有如下形式的解析解

(6)

(7)

(8)

(9)

其中，F(xiàn)v可由奇異值分解 (SVT) 算法[17]求解公式(10)得到

(10)

(11)

(12)

(13)

為便于求解，引入輔助變量Ph，公式(13)可寫(xiě)為

(14)

其中Ph可通過(guò)求解式(15)來(lái)得到

(15)

(16)

(17)

公式(17)可直接用 SVT 算法來(lái)求解，為此對(duì)其進(jìn)行松弛化處理

(18)

(19)

公式(19)可使用拉格朗日對(duì)偶法[18]進(jìn)行求解。

(20)

為便于求解，引入2個(gè)變量H和T，公式(20)可表示為

(21)

其中，更新H和T的目標(biāo)函數(shù)分別表示為

(22)

(23)

公式(22)和(23)均可采用奇異值分解(SVT)算法來(lái)求解。然后，更新D0，其目標(biāo)函數(shù)為

(24)

可將公式(24)簡(jiǎn)化為

(25)

(26)

為便于求解，公式(26)可松弛化為

(27)

從而得到更新L的解析表達(dá)式

(28)

βCsCsTW+WAsAsT=βCsAsT+LAsT。

(29)

公式(29)是Sylvester方程，利用Bartels-stewart算法[19]求解。為便于理解，將求解公式(4)的優(yōu)化算法總結(jié)在表1中。

表1 域自適應(yīng)行人重識(shí)別低秩分解字典學(xué)習(xí)算法

2.4 相似性度量

(30)

同時(shí)，得到映射矩陣W后，可預(yù)測(cè)目標(biāo)域的屬性特征At

At=(WTW)-1(WTCt),

(31)

在得到測(cè)試樣本行人身份信息編碼系數(shù)Ct，行人屬性表示At后，通過(guò)余弦距離[20]得到行人圖像對(duì)的相似性分?jǐn)?shù)

(32)

其中，zl(l=a,b)表示語(yǔ)義屬性空間或視覺(jué)特征空間中的一個(gè)向量，ε>0是一個(gè)常數(shù)。為綜合潛在視覺(jué)特征空間和語(yǔ)義屬性空間的互補(bǔ)性，最終的相似分?jǐn)?shù)可由下式來(lái)求得

simfinal=τsimC+(1-τ)simA,

(33)

其中τ為權(quán)值，simC和simA分別表示潛在特征相似性分?jǐn)?shù)和屬性相似性分?jǐn)?shù)。由于屬性的判別性較弱，因此取τ=0.8。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集和實(shí)驗(yàn)的設(shè)置

為了驗(yàn)證算法的有效性，選擇了4個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集：VIPeR[21]，PRID2011[22]， CUHK01[23]，GRID[24]。其中，VIPeR，PRID2011和GRID數(shù)據(jù)集有2個(gè)攝像頭且每個(gè)行人身份在一個(gè)攝像頭視角中只有一張圖像。PRID2011和GRID都包含干擾圖像，因此，更接近真實(shí)場(chǎng)景。CUHK01也有2個(gè)攝像頭，但每個(gè)身份在一個(gè)攝像頭下有2張圖像。具體的數(shù)據(jù)集描述如表2所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集的詳細(xì)設(shè)置

在上述的數(shù)據(jù)集中，只有VIPeR， PRID2011，GRID標(biāo)注了語(yǔ)義屬性。在算法中，這些被標(biāo)注了語(yǔ)義屬性的數(shù)據(jù)集可以用作訓(xùn)練集，而未標(biāo)注語(yǔ)義屬性的數(shù)據(jù)集可以用作測(cè)試集。具體來(lái)說(shuō)，將上述的單個(gè)數(shù)據(jù)集的全部樣本用來(lái)訓(xùn)練模型，而目標(biāo)數(shù)據(jù)集中的樣本按行人身份分成互不重疊的2個(gè)子集，一個(gè)參與模型的訓(xùn)練，另一個(gè)用于模型的測(cè)試，隨機(jī)取10組數(shù)據(jù)的平均值作為實(shí)驗(yàn)結(jié)果。測(cè)試時(shí)，所有的干擾圖像都會(huì)被用作測(cè)試集樣本。該模型一共有10個(gè)參數(shù)，其中包括字典D和D0的大小d和d0，和8個(gè)超參數(shù)α1，α2，λ1，λ2，δ，δ1，β，γ。設(shè)定d=650，d0=800，α1=0.1，α2=0.1，λ1=0.6，λ2=0.5，δ=5，δ1=6，β=0.15，γ=0.5。在特征的選擇上，使用Gaussian of Gaussian(GOG)描述符[25]來(lái)描述行人的外貌特征。在屬性表示上，使用的VIPeR，PRID2011，GRID數(shù)據(jù)集上的屬性定義是由R.Layne 等人[26]所標(biāo)注的。

3.2 對(duì)比實(shí)驗(yàn)結(jié)果

在VIPeR上的實(shí)驗(yàn)：將PRID2011作為源數(shù)據(jù)集，VIPeR作為目標(biāo)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果與UMDL[9]，SAAVF[11]，MFFAG[12]，ADV[27]，GL[28]，SDC[29]，CAMEL[30]，DECAMEL[31]，AIESL[32]，SNR[33]比較，對(duì)比結(jié)果如表3所示。由此可以看出，在VIPeR上，研究方法的性能超過(guò)了深度學(xué)習(xí)的方法DECAMEL[31]和傳統(tǒng)的無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法UMDL[9]，SAAVF[11]，MFFAG[12]，ADV[27]，GL[28]，SDC[29]，CAMEL[30]，AIESL[32]，SNR[33]。證明了方法的有效性和優(yōu)越性。

表3 在VIPeR數(shù)據(jù)集上的識(shí)別性能

在GRID上的實(shí)驗(yàn)：將VIPeR作為源數(shù)據(jù)集， GRID作為目標(biāo)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果與DIMN[4]，AIESL[32]，SNR[33]，TLSTP[34]進(jìn)行了比較，對(duì)比結(jié)果如表4所示。由于GRID數(shù)據(jù)集攜帶了大量干擾圖像，因此在該數(shù)據(jù)集上進(jìn)行行人身份的匹配充滿(mǎn)了挑戰(zhàn)。由表4中的數(shù)據(jù)可以看出，提出的方法在性能超過(guò)了傳統(tǒng)無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法AIESL[32]，SNR[33]，TLSTP[34]和深度學(xué)習(xí)方法DIMN[4]。

表4 在GRID數(shù)據(jù)集上的識(shí)別性能

在CUHK01上的實(shí)驗(yàn)：為進(jìn)一步驗(yàn)證算法的有效性，將VIPeR用作源數(shù)據(jù)集，CUHK01用作目標(biāo)數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果與UDML[9]，MFFAG[12]，CAMEL[30]，DECAMEL[31]，AIESL[32]，TSR[35]，DAS[36]，UJSDL[37]進(jìn)行比較，對(duì)比結(jié)果如表5所示。由此可以看出，提出的方法在性能上超過(guò)了傳統(tǒng)的無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法UDML[9]，MFFAG[12]，CAMEL[30]，AIESL[32]，TSR[35]，DAS[36]，UJSDL[37]和深度學(xué)習(xí)方法DECAMEL[31]。

表5 在CUHK01數(shù)據(jù)集上的識(shí)別性能

3.3 算法分析

3.3.1 收斂性分析

目標(biāo)函數(shù)(4)對(duì)變量{D,D0,W}來(lái)說(shuō)是一個(gè)非凸函數(shù)，然而固定其它變量而更新其中某個(gè)變量時(shí)，模型具有全局最優(yōu)解。在VIPeR數(shù)據(jù)集上對(duì)算法的收斂性進(jìn)行了驗(yàn)證，其結(jié)果如圖3所示。由此可發(fā)現(xiàn)，對(duì)于變量 {D,D0,W}而言，算法是收斂的，而且當(dāng)?shù)螖?shù)達(dá)到10次的時(shí)候，算法能達(dá)到穩(wěn)定解。因此，將迭代次數(shù)設(shè)置為10。

圖3 算法在VIPeR數(shù)據(jù)集上的收斂性分析Fig. 3 Convergence analysis of the algorithm on VIPeR dataset

3.3.2 算法的復(fù)雜度分析

3.3.3 消融性分析

圖4 算法的消融性分析Fig. 4 Ablation analysis of the algorithm

3.4 參數(shù)的選擇

在算法中共有8個(gè)超參數(shù)α1，α2，β，λ1，λ2，δ，δ1，γ和字典的尺寸大小d,d0需要選擇，根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，設(shè)置d=650，d0=800，α1=0.1，α2=0.1，δ1=6，γ=0.5。其余主要模塊參數(shù)β，λ1，λ2，δ的設(shè)置采用交叉驗(yàn)證方法來(lái)進(jìn)行選擇。在此過(guò)程中，改變其中某個(gè)參數(shù)，其余參數(shù)固定，研究該參數(shù)對(duì)識(shí)別性能的影響，找到最優(yōu)參數(shù)值。對(duì)于β，δ，λ1，λ2來(lái)說(shuō)，其變化范圍從10-6到103，每次以10的倍數(shù)遞增。圖5(a)—(d)給出了這4個(gè)參數(shù)取不同數(shù)值時(shí)的識(shí)別性能，由此可以看出，當(dāng)λ1=0.6，λ2=0.5，δ=5，β=0.15時(shí)，算法能取得較為滿(mǎn)意的結(jié)果。

圖5 算法在VIPeR數(shù)據(jù)集上的參數(shù)分析Fig. 5 Parameters sensitivity analysis of the algorithm on the VIPeR dataset

4 結(jié) 論

根據(jù)同一視角下行人圖像所表現(xiàn)的低秩先驗(yàn)性，提出對(duì)風(fēng)格魯棒的無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法。該方法將反映圖像相機(jī)風(fēng)格的信息從圖像特征中分離出去，極大緩解數(shù)據(jù)集之間由風(fēng)格差異引起的域偏移給跨數(shù)據(jù)集行人重識(shí)別帶來(lái)的影響。在算法中，為建立目標(biāo)數(shù)據(jù)集與源數(shù)據(jù)集之間的聯(lián)系，提出聯(lián)合學(xué)習(xí)算法，將行人身份特征信息、語(yǔ)義屬性和標(biāo)簽信息嵌入到一個(gè)字典學(xué)習(xí)模型中。為了有效利用目標(biāo)數(shù)據(jù)集中的信息，將目標(biāo)數(shù)據(jù)集中被分配偽標(biāo)簽且置信度較高的樣本選出來(lái)調(diào)整已訓(xùn)練模型參數(shù)。在域自適應(yīng)行人重識(shí)任務(wù)中，算法比傳統(tǒng)的無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法及部分基于深度學(xué)習(xí)的無(wú)監(jiān)督域自適應(yīng)行人重識(shí)別方法表現(xiàn)出較強(qiáng)的競(jìng)爭(zhēng)力。