国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的換衣行人再識(shí)別

2022-09-28 08:59:40張玉霞車(chē)進(jìn)賀愉婷
液晶與顯示 2022年10期
關(guān)鍵詞:鑒別器外觀行人

張玉霞,車(chē)進(jìn)*,賀愉婷

(1.寧夏大學(xué) 物理與電子電氣工程學(xué)院,寧夏 銀川750021;2.寧夏沙漠信息智能感知重點(diǎn)實(shí)驗(yàn)室,寧夏 銀川750021)

1 引 言

行人再識(shí)別[1](Person re-identification,ReID)是指給定一個(gè)目標(biāo)監(jiān)控行人圖像,檢索跨攝像頭、跨時(shí)段拍攝的該行人圖像。行人再識(shí)別通常被視為一個(gè)度量學(xué)習(xí)問(wèn)題[2]。由于在安全和監(jiān)控方面有重要的應(yīng)用,因此行人再識(shí)別受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。隨著深度學(xué)習(xí)方法的廣泛應(yīng)用,不同算法的ReID性能迅速提高,但由于拍攝的行人圖像會(huì)受到背景、光照、人體姿態(tài)變化、遮擋等引起的顯著類(lèi)內(nèi)差異的影響,并且行人再識(shí)別研究[3-6]都假設(shè)同一個(gè)人穿著相同的衣服,如文獻(xiàn)[7]中提到的一名女嫌犯為躲避追捕,故意將黑色外套換成白色外套,行人再識(shí)別算法很容易將穿著不同、ID相同的行人識(shí)別錯(cuò)誤。因此,行人再識(shí)別仍是一項(xiàng)艱巨的任務(wù)。

為進(jìn)一步減少類(lèi)內(nèi)變化的影響,文獻(xiàn)[8]尋找最優(yōu)的仿射變換用來(lái)更好地區(qū)分不同的身份ID,提出PAN網(wǎng)絡(luò),在不用額外的標(biāo)注情況下同時(shí)進(jìn)行行人對(duì)齊和學(xué)習(xí)判別性的特征描述。文獻(xiàn)[9]提出一個(gè)基于身體部位對(duì)齊的雙流網(wǎng)絡(luò)模型,可以將人體姿勢(shì)表示為部分特征圖,并將它們直接與外觀整體特征圖結(jié)合以計(jì)算對(duì)齊的行人部位表示。張良等人[10]提出將局部特征、全局特征和多粒度特征融合,提高行人再識(shí)別精度。文獻(xiàn)[11]首次將生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)引入到行人再識(shí)別中,利用生成的數(shù)據(jù)擴(kuò)充數(shù)據(jù)集來(lái)輔助訓(xùn)練,提升行人再識(shí)別精度。PTGAN[12]的提出主要是用來(lái)彌合不同數(shù)據(jù)集之間的領(lǐng)域差距。文獻(xiàn)[13]提出一種利用姿態(tài)以及外觀特征混合編碼的行人再識(shí)別算法,以解決攝像機(jī)視角造成的類(lèi)內(nèi)差異。PNGAN[14]將每個(gè)行人圖像生成8個(gè)標(biāo)準(zhǔn)姿態(tài)的假圖,最后將生成圖和原數(shù)據(jù)集圖像一起輸入識(shí)別網(wǎng)絡(luò),在一定程度上消除姿態(tài)變化的影響。文獻(xiàn)[15]采用一個(gè)具有雙分支結(jié)構(gòu)的孿生神經(jīng)網(wǎng)絡(luò),只學(xué)習(xí)與行人身份相關(guān)的特征。楊海倫等人[16]因行人存在遮擋問(wèn)題提出基于可變形卷積的CNN模型,并用CycleGAN解決相機(jī)風(fēng)格問(wèn)題。

以上方法主要是將行人進(jìn)行對(duì)齊或者用GAN生成不同相機(jī)風(fēng)格、不同姿態(tài)數(shù)據(jù)來(lái)擴(kuò)充訓(xùn)練集,再進(jìn)行分類(lèi)識(shí)別。不同于以上方法,本文在DGNet網(wǎng)絡(luò)[17]的基礎(chǔ)上提出改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的換衣行人再識(shí)別算法,不僅將GAN數(shù)據(jù)生成和行人再識(shí)別學(xué)習(xí)端對(duì)端結(jié)合起來(lái),而且不需要任何輔助信息就能夠生成高質(zhì)量圖像,對(duì)ReID進(jìn)行圖像增強(qiáng)。生成模塊中的編碼器將每個(gè)行人分解為外觀編碼(衣服+鞋子+手機(jī)+包包+身份信息等)與結(jié)構(gòu)編碼(姿態(tài)+頭發(fā)+臉型+背景等)。通過(guò)切換外觀編碼和結(jié)構(gòu)編碼,生成模塊能夠生成高質(zhì)量的合成圖像,然后在線(xiàn)反饋給鑒別器進(jìn)行辨別真假,并用于行人再識(shí)別模塊提高行人識(shí)別精度。其中,鑒別模塊與行人再識(shí)別學(xué)習(xí)是共享的。通過(guò)在鑒別模塊中加入通道間的注意力機(jī)制模塊(Normalization-based Attention Module,NAM)[18],突出網(wǎng)絡(luò)顯著特征,更好地辨別圖像真假,提高行人分類(lèi)識(shí)別的精度。用DenseBlock[19]替換DG-Net網(wǎng)絡(luò)中生成器與鑒別器的ResBlock,加強(qiáng)特征傳播,避免梯度消失問(wèn)題,再一次提高生成圖質(zhì)量與行人再識(shí)別精度。通過(guò)實(shí)驗(yàn)可知,本文算法在Market-1501、DukeMTMC-reID兩大公開(kāi)數(shù)據(jù)集上的rank-1/mAP分別達(dá)到95.7%/88.6%和87.1%/75.7%,證明本文算法并具有一定的優(yōu)勢(shì)。

2 網(wǎng)絡(luò)架構(gòu)

本文網(wǎng)絡(luò)架構(gòu)如圖1所示。圖像生成模塊與行人再識(shí)別模塊端對(duì)端結(jié)合起來(lái),外觀編碼器和鑒別器是共用的,這也是行人再識(shí)別學(xué)習(xí)的主干。生成器通過(guò)自生成網(wǎng)絡(luò)和互生成網(wǎng)絡(luò)兩種映射合成假圖像,將數(shù)據(jù)集圖像與生成圖像一起輸入到鑒別器中判別真假,并且對(duì)其進(jìn)行分類(lèi)識(shí)別,提高行人再識(shí)別的識(shí)別精度。鑒別模塊包含主要特征學(xué)習(xí)、細(xì)粒度特征挖掘以及注意力機(jī)制NAM。通過(guò)不同角度進(jìn)行學(xué)習(xí),網(wǎng)絡(luò)不僅能夠得到行人衣服等外觀的信息,而且學(xué)習(xí)到外貌等更細(xì)致的結(jié)構(gòu)特征,從而更好地鑒別圖像真假,提高識(shí)別精度。

圖1 網(wǎng)絡(luò)架構(gòu)Fig.1 Network structure

2.1 生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)框架圖如圖2所示。本文數(shù)據(jù)集中的真實(shí)圖像與身份標(biāo)簽用X=和Y=表示,其中N表示圖像的數(shù)量,yi∈[1,K],K表示數(shù)據(jù)集中類(lèi)別的數(shù)量。給定訓(xùn)練集中兩幅真實(shí)圖像,通過(guò)生成模塊交換兩幅圖像的外觀與結(jié)構(gòu)代碼生成幾幅新圖像。生成網(wǎng)絡(luò)包括自生成網(wǎng)絡(luò)和互生成網(wǎng)絡(luò),生成模塊由一個(gè)外觀編碼 器Ea:xi→ai、一 個(gè) 結(jié) 構(gòu) 編 碼 器:Es:xj→sj、一個(gè)生成解碼器G:(ai,sj)→xij以及一個(gè)區(qū)分生成圖像與原始圖像的鑒別器D組成。

圖2 生成網(wǎng)絡(luò)框架圖。(a)自生成網(wǎng)絡(luò);(b)互生成網(wǎng)絡(luò)。Fig.2 Generate network frame diagram.(a)Self generation network;(b)Mutual generation network.

2.1.1自生成網(wǎng)絡(luò)

自生成網(wǎng)絡(luò)框架如圖2(a)所示。給定一對(duì)行人圖像xi,xj∈X(身份相同),首先生成模塊學(xué)習(xí)如何重建圖像,自生成網(wǎng)絡(luò)首先提取圖像xi的外觀特征ai以及其結(jié)構(gòu)特征si生成與原始圖像外觀、結(jié)構(gòu)均一致的假圖像,使用像素級(jí)損失函數(shù):

自生成網(wǎng)絡(luò)同時(shí)會(huì)生成同一身份、不同結(jié)構(gòu)的圖像,因此采用圖像xi的結(jié)構(gòu)特征si與xt的外觀特征at生成圖像,同樣使用像素級(jí)損失函數(shù):

這種跨圖像(相同身份但不同結(jié)構(gòu))重建用外觀編碼器將相同身份的外觀聯(lián)系一起,減少類(lèi)內(nèi)變化。對(duì)于不同身份的圖像來(lái)說(shuō),使用身份損失來(lái)區(qū)分不同身份。

其中,p(yi|xi)是基于外觀編碼預(yù)測(cè)xi屬于實(shí)際類(lèi)別y(iID)的概率。

2.1.2互生成網(wǎng)絡(luò)

互生成網(wǎng)絡(luò)框架如圖2(b)所示?;ド删W(wǎng)絡(luò)的輸入圖像為xi,xj∈X(身份不同,即yi≠y)j,主要是生成不同身份的圖像。該網(wǎng)絡(luò)提取圖像xi的外觀特征ai、結(jié)構(gòu)特征si和xj的外觀特征aj和結(jié)構(gòu)特征sj,通過(guò)交叉組合成新圖像和。其中生成圖像與xi外觀一致、xj結(jié)構(gòu)一致;生成圖像與xj外觀一致、xi結(jié)構(gòu)一致。這里,使用外觀和結(jié)構(gòu)編碼控制圖像生成,損失函數(shù)如式(4)和式(5)所示:

與自生成網(wǎng)絡(luò)一致,同樣采用身份損失判斷圖像身份ID是否一致。

其中p(yi)是預(yù)測(cè)屬于真實(shí)類(lèi)別yi的概率,并且使用對(duì)抗損失使生成數(shù)據(jù)的分布更接近真實(shí)數(shù)據(jù)的分布。如式(7)所示:

生成器的結(jié)構(gòu)圖如圖3所示,本文將DGNet網(wǎng)絡(luò)中的生成器模塊內(nèi)ResBlock模塊替換為DenseBlock模 塊。結(jié) 構(gòu) 圖 中 輸 入 圖 像xi、xt、xj,首先經(jīng)過(guò)外觀編碼器得到128個(gè)64×32的特征圖,經(jīng)過(guò)4個(gè)DenseBlock模塊之后,輸出依舊為128×64×32,特征圖不變。其次,進(jìn)行上采樣操作得到128個(gè)128×64的特征圖,第一次卷積是5×5,卷積后得到64個(gè)128×64的特征圖;同樣進(jìn)行上采樣操作得到64個(gè)256×128的特征圖,進(jìn)行第二次卷積操作得到32個(gè)256×128的特征圖;Conv3、Conv4、Conv5的卷積核分別為3×3、3×3、1×1,最終得到3×256×128大小的生成圖。

圖3 生成器結(jié)構(gòu)圖Fig.3 Generator block diagram

DenseNet是Huang等人[19]提出的 一 種 稠 密卷積網(wǎng)絡(luò),它主要從特征的角度提高網(wǎng)絡(luò)性能,并且隨著網(wǎng)絡(luò)深度的增加,能夠避免梯度消失問(wèn)題。ResBlock主要含有一個(gè)跳躍連接,而Dense-Block中將所有的特征計(jì)算單元的結(jié)果以密連接的方式沿著某一維度進(jìn)行壓縮,不是進(jìn)行簡(jiǎn)單的求和。DenseBlock結(jié)構(gòu)如圖4所示。DenseBlock結(jié)構(gòu)圖中除了輸入端,還包含4個(gè)模塊,每個(gè)模塊均為4層。以X0作為輸入,通過(guò)Hi進(jìn)行非線(xiàn)性變化,依次進(jìn)行歸一化、激活函數(shù)以及卷積操作,然后傳遞到后續(xù)網(wǎng)絡(luò)。本文采用即插即用型模塊DenseBlock代替原來(lái)的ResBlock模塊,一方面能夠提取更多特征信息,另一方面改善網(wǎng)絡(luò)的特征提取能力,減少過(guò)擬合現(xiàn)象的出現(xiàn)。經(jīng)過(guò)Dense-Block之后,特征圖大小不變。DenseBlock結(jié)構(gòu)的任何兩層之間都是直接連接的,而每層的特征圖也會(huì)直接傳遞給其后的所有層,傳遞方式為:

圖4 DenseBlock結(jié)構(gòu)圖Fig.4 DenseBlock structure diagram

其中,[X0,X1,…Xl-1]表示從第0層到第l層生成的特征圖并且各個(gè)特征圖大小一致,可在通道維度上連接。

2.2 鑒別網(wǎng)絡(luò)

鑒別網(wǎng)絡(luò)框架圖如圖5所示,通過(guò)共享外觀編碼器Ea作為行人再識(shí)別學(xué)習(xí)的主干,將鑒別網(wǎng)絡(luò)(同是識(shí)別模塊)嵌入在生成模塊中。生成網(wǎng)絡(luò)通過(guò)外觀編碼和結(jié)構(gòu)編碼生成圖像,鑒別網(wǎng)絡(luò)中提出特征學(xué)習(xí)與細(xì)粒度特征挖掘以及新加入的通道間的注意力機(jī)制NAM三者進(jìn)行聯(lián)合學(xué)習(xí)判斷生成圖像真假,以更好地利用生成圖像。

圖5 鑒別網(wǎng)絡(luò)框架圖Fig.5 Discriminator network frame diagram

(1)主要特征學(xué)習(xí)。將真實(shí)圖像xi、xj與生成圖像xij、xji一起輸入Ea中作為訓(xùn)練樣本,由于生成圖像的多樣性,采用帶有身份損失的卷積神經(jīng)網(wǎng)絡(luò)(即教師模型)、外觀編碼器學(xué)習(xí)主要特征,通過(guò)損失函數(shù)將預(yù)測(cè)概率分布與真實(shí)概率分布差異降到最低。

其中,K表示身份類(lèi)別數(shù)量。

(2)細(xì)粒度特征挖掘。當(dāng)生成的圖像用主要特征學(xué)習(xí)無(wú)法判斷真假時(shí),本文采用細(xì)粒度挖掘。當(dāng)相同身份的人穿著不同的衣服或者不同身份人穿著同樣的衣服時(shí),鑒別模塊采用細(xì)粒度特征挖掘,使網(wǎng)絡(luò)被迫學(xué)習(xí)與衣服無(wú)關(guān)而與細(xì)粒度ID相關(guān)的特征(如頭發(fā)、體型等),進(jìn)一步提高鑒別能力與行人再識(shí)別分類(lèi)識(shí)別的精度。損失函數(shù)如式(9)所示:

該損失為鑒別模塊增加身份監(jiān)督,不僅學(xué)習(xí)到細(xì)節(jié)紋理特征,而且有利于解決行人外觀(如換衣)發(fā)生變化均導(dǎo)致識(shí)別下降的問(wèn)題。

(3)注意力機(jī)制NAM。鑒別網(wǎng)絡(luò)結(jié)構(gòu)圖如圖6所示。輸入原圖像xi、xj與生成器生成的圖像xi

圖6 鑒別網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 Discriminator network structure diagram

j、xi

j,首先用1×1的卷積得到32個(gè)256×128的特征圖,然后經(jīng)過(guò)通道注意力NAM,這里特征圖大小不變。然后在經(jīng)過(guò)4次卷積核為3×3的卷積運(yùn)算,得到64個(gè)64×32的特征圖,并經(jīng)過(guò)4個(gè)DenseBlock模塊。這里后3個(gè)DenseBlock模塊前加入通道注意力NAM,不改變通道以及特征圖大小,依舊是64個(gè)64×32的特征圖。最后,經(jīng)過(guò)1×1的卷積得到一個(gè)64×32的特征圖,給出一個(gè)0~1之間的數(shù)值判斷圖像真假,同時(shí)對(duì)圖像進(jìn)行分類(lèi)識(shí)別。

除了主要特征學(xué)習(xí)與細(xì)粒度特征外,本文在鑒別器的第一次卷積之后與前3個(gè)DensesBlock模塊之后加入了2021年提出的新型注意模塊NAM,主要是通過(guò)利用訓(xùn)練模型權(quán)重的方差度量來(lái)突出顯著特征。以前的注意力機(jī)制模塊大多數(shù)都是通過(guò)抑制不重要的權(quán)重來(lái)提高神經(jīng)網(wǎng)絡(luò)的性能,NAM作為一種高效、輕量級(jí)的注意力機(jī)制,在保持相似性能的同時(shí)計(jì)算效率更高。采用CBAM[20]的模塊集成,并重新設(shè)計(jì)了通道和空間注意力模塊,使用標(biāo)準(zhǔn)化BN中的比例因子,如式(11)所示,測(cè)量通道的方差并指示其重要性。

式中,μB和σB分別表示小批量B的平均值與標(biāo)準(zhǔn)偏差;γ和β是可訓(xùn)練的仿射變換參數(shù)。通道注意力模塊如圖7所示。其中,F(xiàn)1表示輸入特征,γ是每個(gè)通道的比例因子,權(quán)重由公式Wγ=獲 得,Mc表 示 輸 出 特 征,如 式(12)所示:

圖7 通道注意力機(jī)制NAMFig.7 Channel attention mechanism NAM

2.3 總體損失函數(shù)

由2.1節(jié)與2.2節(jié)介紹可得,總體損失函數(shù)為:

2.4 參數(shù)設(shè)置

本文是基于PyTorch1.1、Python3.6深度學(xué)習(xí)框架下實(shí)現(xiàn)的。網(wǎng)絡(luò)模型中采用SGD優(yōu)化器來(lái)優(yōu)化外觀編碼器Ea,使用Adam優(yōu)化器來(lái)優(yōu)化結(jié)構(gòu)編碼器Es、生成器G和鑒別器D。本文參數(shù)β1=0,β2=0.999,設(shè) 置 初 始 學(xué) 習(xí) 率為0.001,共20個(gè)epoch,每個(gè)epoch迭代訓(xùn)練10 k次,批尺寸(Batch size)為16。訓(xùn)練過(guò)程中保持所有圖像的長(zhǎng)寬比,將大小統(tǒng)一為256×128。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

本文在行人再識(shí)別算法的公開(kāi)數(shù)據(jù)集Market1501[21]、DukeMTMC-reID[22]上進(jìn)行實(shí)驗(yàn)。Market1501數(shù)據(jù)集共有1 501個(gè)行人的32 668個(gè)檢測(cè)行人矩形框,共6個(gè)攝像頭,包括訓(xùn)練集、測(cè)試集、查詢(xún)集。DukeMTMC-reID共有1 812個(gè)行人的36 411個(gè)檢測(cè)行人矩形框,由8個(gè)攝像機(jī)采集。因?yàn)橛?08人沒(méi)有出現(xiàn)在兩個(gè)攝像頭以上,所以只選擇1 404個(gè)行人作為訓(xùn)練集與測(cè)試集。該數(shù)據(jù)集包括訓(xùn)練集、測(cè)試集、查詢(xún)集。公開(kāi)數(shù)據(jù)集的詳細(xì)信息如表1所示。實(shí)驗(yàn)室擁有一臺(tái)具備4塊TITAN V GPU的圖形工作站,具備良好的開(kāi)發(fā)環(huán)境。本實(shí)驗(yàn)將在Ubuntu 16.04.5 LTS操作系統(tǒng),TITAN V 12G×4顯卡,Pytorch1.1深度學(xué)習(xí)框架,python3.6的服務(wù)器下實(shí)現(xiàn)。

表1 公開(kāi)數(shù)據(jù)集詳細(xì)信息Tab.1 Public datasets details

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

行人再識(shí)別模型用首位命中率(Rank-1)、平均精度均值(mean Average Precision,mAP)和累計(jì)匹配曲線(xiàn)(Cumulative Match Characteristic,CMC)3種評(píng)價(jià)指標(biāo)衡量模型。這里,Rank-k表示在查詢(xún)集中行人特征相似度大小的排序列表中前k位存在檢索目標(biāo)的準(zhǔn)確率。

3.3 生成圖像示例

改進(jìn)網(wǎng)絡(luò)通過(guò)切換姿態(tài)與外觀生成大量的高質(zhì)量圖像。給定輸入圖像xi和xj,網(wǎng)絡(luò)模型提取輸入圖像的外觀特征以及結(jié)構(gòu)特征,既可以生成具有xi的外觀、xj的結(jié)構(gòu)的假圖像xi j,又能生成具有xj的外觀、xi的結(jié)構(gòu)的假圖像xj i。兩個(gè)數(shù)據(jù)集生成的圖像如圖8所示。

圖8 交換外觀與結(jié)構(gòu)生成圖像示例Fig.8 Examples of images generated by swapping appearance and structure

假設(shè)每行每列輸入圖像都一致,通過(guò)切換外觀或結(jié)構(gòu)代碼在Market-1501、DukeMTMC-reID上生成圖像的示例如圖9所示,可以看出橫軸行人生成外觀不同、結(jié)構(gòu)相同的假圖像;同樣地,縱軸行人生成外觀相同、結(jié)構(gòu)不同的假圖像。在Market1501、DukeMTMC-reID數(shù) 據(jù) 集 上,模 型分別生成共計(jì)140 625張、123 201張假圖像。雖然改進(jìn)生成對(duì)抗網(wǎng)絡(luò)方法能夠生成大量的高質(zhì)量圖像,但是由于數(shù)據(jù)集本身存在模糊、分辨率不高的問(wèn)題,并且圖像的背景影響導(dǎo)致生成的圖像會(huì)出現(xiàn)少許效果差的結(jié)果圖像,如圖10所示。

圖9 切換外觀或結(jié)構(gòu)代碼生成圖像的示例Fig.9 Examples of images generated by switching the appearance or structure code

圖10 少許失敗案例Fig.10 A few failure cases

3.4 實(shí)驗(yàn)結(jié)果

為了進(jìn)一步證明該網(wǎng)絡(luò)的有效性,使用相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)計(jì)算得到了該算法的Rank-1和mAP,并與現(xiàn)有算法在Market1501、DukeMTMC-reID數(shù)據(jù)集上的結(jié)果進(jìn)行對(duì)比分析,如表2所示。

表2 本文算法與現(xiàn)有算法的比較Tab.2 Comparison of the algorithm in this paper with existing algorithms

將本文算法與8種基于GAN的ReID方法和5種有監(jiān)督的ReID方法進(jìn)行性能比較。針對(duì)基于GAN的ReID方法性能比較可知:對(duì)于Market1501數(shù)據(jù)集,從表2的實(shí)驗(yàn)結(jié)果可以分析到本文算法在Rank-1和mAP的指標(biāo)上均優(yōu)于其他算法(除TransReID之外),Rank-1相比于DG-Net、CSL+MGL、PAGAN、AP-GAN、TransReID分別提高了0.8%、0.3%、1.5%、2.2%、0.4%;mAP相比于DG-Net、CSL+MGL、PAGAN、AP-GAN、Trans-ReID分別提高了2.6%、2.5%、3.4%、6.4%、-0.9%。對(duì) 于DukeMTMC-reID數(shù) 據(jù)集,本文算法在Rank-1和mAP的指標(biāo)上僅次于CSL+MGL、TransReID算法。Rank-1相比于DGNet、CSL+MGL、PAGAN、AP-GAN、TransReID

分別提高了0.9%、-0.7%、1.5%、5.2%、-6.9%。針對(duì)5種有監(jiān)督的ReID方法性能比較可知:對(duì)于Market1501數(shù)據(jù)集,本文算法的Rank-1和mAP均優(yōu) 于 這5種 算 法,Rank-1和mAP分 別 比Euc、FGSAM、HOReID、MOPN、PAFM提高了1.9%、4.1%、1.4%、1.0%、0.5%和8.9%、3.2%、3.5%、3.5%、0.4%;對(duì)于DukeMTMC-reID數(shù)據(jù)集,本文算法的Rank-1和mAP高于FGSAM、HOReID算法,Rank-1和mAP分別比FGSAM、HOReID高1.2%、0.2%和1.6%、0.1%。說(shuō)明本文算法在Market1501上的效果更顯著。同時(shí)進(jìn)一步說(shuō)明本文算法具有一定的優(yōu)勢(shì)。綜上所述,所提算法不僅能夠較好地提高行人識(shí)別的精度,還使模型有較強(qiáng)的泛化能力。

3.5 不同改進(jìn)點(diǎn)的消融實(shí)驗(yàn)

本文主要有2點(diǎn)改進(jìn):(1)使用新型注意力機(jī)制NAM;(2)將原有的DGNet網(wǎng)絡(luò)中的Res-Blocks替換為DenseBlocks,采用像素?fù)p失、對(duì)抗損失、身份損失等多種損失聯(lián)合優(yōu)化提高生成圖的質(zhì)量。以Market1501為例,對(duì)不同改進(jìn)點(diǎn)進(jìn)行性能評(píng)估,如表3所示。

表3 不同改進(jìn)點(diǎn)的性能評(píng)估Tab.3 Performance evaluation of different improvement points

4 結(jié) 論

本文提出改進(jìn)生成對(duì)抗網(wǎng)絡(luò)的換衣行人再識(shí)別算法,是一種將生成對(duì)抗網(wǎng)絡(luò)(GAN)數(shù)據(jù)生成和行人再識(shí)別學(xué)習(xí)端對(duì)端結(jié)合起來(lái)的聯(lián)合框架,通過(guò)切換外觀與結(jié)構(gòu)編碼,生成模塊中的自生成網(wǎng)絡(luò)與互生成網(wǎng)絡(luò)生成大量圖像,鑒別模塊與生成模塊之間在線(xiàn)循環(huán),將生成的圖像在線(xiàn)反饋給鑒別器,鑒別器通過(guò)主要特征學(xué)習(xí)、細(xì)粒度特征挖掘與注意力機(jī)制NAM三者聯(lián)合學(xué)習(xí),進(jìn)一步提高鑒別器鑒別能力與行人再識(shí)別分類(lèi)識(shí)別的準(zhǔn)確率。生成器與鑒別器中的殘差塊ResBlock替換為DenseBlock,加強(qiáng)特征傳播并且大幅度減少參數(shù)數(shù)量。本文算法不僅解決了行人再識(shí)別數(shù)據(jù)集不足的問(wèn)題,而且提高了跨攝像頭下由于行人外觀(如衣服)改變的識(shí)別率,在圖像生成質(zhì)量和行人再識(shí)別分類(lèi)識(shí)別精度方面都有顯著的改進(jìn),在Market1501和DukeMTMC-reID數(shù) 據(jù)集上Rank-1和mAP分別達(dá)到了95.7%/88.6%和87.1%/75.7%。

猜你喜歡
鑒別器外觀行人
基于多鑒別器生成對(duì)抗網(wǎng)絡(luò)的時(shí)間序列生成模型
外觀動(dòng)作自適應(yīng)目標(biāo)跟蹤方法
A Shopping Story to Remember
不論外觀還是聲音,它都很美 Yamaha(雅馬哈)A-S3200合并功放
毒舌出沒(méi),行人避讓
意林(2021年5期)2021-04-18 12:21:17
衛(wèi)星導(dǎo)航信號(hào)無(wú)模糊抗多徑碼相關(guān)參考波形設(shè)計(jì)技術(shù)*
路不為尋找者而設(shè)
方外觀遺跡舊照
紫禁城(2017年6期)2017-08-07 09:22:52
我是行人
陣列天線(xiàn)DOA跟蹤環(huán)路鑒別器性能分析
宁河县| 沙洋县| 平江县| 海晏县| 南城县| 乌兰浩特市| 柳林县| 北海市| 米易县| 科技| 岢岚县| 吉安市| 威海市| 都江堰市| 甘德县| 富蕴县| 克拉玛依市| 唐河县| 民县| 南康市| 铜陵市| 沂源县| 涪陵区| 清流县| 台东县| 盐亭县| 盐城市| 雷山县| 皋兰县| 新沂市| 福贡县| 永年县| 青岛市| 沾益县| 任丘市| 荣成市| 咸阳市| 柞水县| 盐亭县| 惠安县| 南昌县|