李和彬，丁紀(jì)峰

（大連民族大學(xué) 信息與通信工程學(xué)院，遼寧 大連116605 ）

0 引言

人體姿態(tài)遷移任務(wù)近年來(lái)在計(jì)算機(jī)視覺(jué)領(lǐng)域引起了廣泛的研究與關(guān)注。姿態(tài)遷移最初由Ma 等人［1］首次提出，是指將輸入圖片中的人物姿勢(shì)轉(zhuǎn)變?yōu)槟繕?biāo)姿勢(shì)，同時(shí)保持人物的外貌不變?，F(xiàn)已應(yīng)用在眾多場(chǎng)景中，如攝影編輯［2］和行人重識(shí)別［3-4］等任務(wù)。迄今為止該項(xiàng)技術(shù)已取得長(zhǎng)足進(jìn)步，如Zhu等人［4］提出了一種注意力轉(zhuǎn)移模塊應(yīng)用于人體遷移任務(wù)，所研發(fā)網(wǎng)絡(luò)能夠較為準(zhǔn)確地生成指定姿勢(shì)的人物圖片。

目前，雖然基于GAN 網(wǎng)絡(luò)的姿態(tài)遷移模型陸續(xù)涌現(xiàn)，并都能夠較為準(zhǔn)確地遷移人體姿勢(shì)，但這些模型往往會(huì)出現(xiàn)人物外貌還原得不夠真實(shí)的情況，尤其是在人物衣物的還原上，很多模型只能還原出大面積色塊，而無(wú)法還原出衣物的細(xì)節(jié)紋理。究其原因，往往是由于在姿態(tài)遷移任務(wù)中，同一個(gè)人不同姿勢(shì)所展示的外貌信息有很大區(qū)別。因?yàn)榻嵌炔贿m合或衣物被遮擋的原因，僅靠一張輸入圖片很難完全包含人物衣物的所有細(xì)節(jié)。這種信息丟失會(huì)給神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程造成一定困難，使得即便如神經(jīng)網(wǎng)絡(luò)一般具有強(qiáng)大的學(xué)習(xí)能力也很難做到將衣物細(xì)節(jié)全部還原到位。

綜上研究現(xiàn)狀所述，本文提出了一種新型生成式對(duì)抗網(wǎng)絡(luò)。該網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)的不同之處在于，傳統(tǒng)網(wǎng)絡(luò)中使用2 張圖片、即人物圖片和姿態(tài)圖片作為輸入，研究中選用網(wǎng)絡(luò)是將人物衣物的平鋪圖片作為網(wǎng)絡(luò)的第三種輸入，以此來(lái)補(bǔ)充姿態(tài)遷移過(guò)程中可能丟失的衣物信息。網(wǎng)絡(luò)整體分為人物圖片生成器、人物外貌鑒別器和人物姿勢(shì)鑒別器。生成器具體結(jié)構(gòu)如圖1 所示。圖1 中，分支一主要使用注意力機(jī)制，利用分支二提供的姿勢(shì)信息對(duì)自身的外貌信息進(jìn)行更新，分支二則使用衣物特征融合模塊，利用衣物的平鋪圖片信息以及分支一的外貌信息對(duì)自身的姿勢(shì)信息進(jìn)行更新。上下兩條支路相互不停地指導(dǎo)對(duì)方更新信息，最后對(duì)分支一的外貌信息進(jìn)行反卷積就得到了目標(biāo)姿勢(shì)的人物圖片。

圖1 生成器結(jié)構(gòu)Fig. 1 The structure of the generator

由于實(shí)驗(yàn)所用數(shù)據(jù)集除了人物圖片外，還需要人物所穿衣物的平鋪圖片，現(xiàn)今網(wǎng)絡(luò)中并無(wú)滿足此要求的公開數(shù)據(jù)集，因此實(shí)驗(yàn)用數(shù)據(jù)集為本文在研究過(guò)程中自行采集完成。本文通過(guò)該數(shù)據(jù)集在之后的實(shí)驗(yàn)中證明了網(wǎng)絡(luò)的有效性。本文的貢獻(xiàn)可總結(jié)為如下2 個(gè)方面：

（1）提出了一種新的思路用以補(bǔ)充姿態(tài)遷移任務(wù)中輸入圖片可能出現(xiàn)的外貌信息丟失。

（2）提出了一種新型GAN 網(wǎng)絡(luò)，能夠在人體姿態(tài)遷移任務(wù)中更真實(shí)地還原人物所穿衣物，并在實(shí)驗(yàn)中證明了該網(wǎng)絡(luò)的有效性。

1 相關(guān)工作

1.1 生成式對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)GAN 在現(xiàn)階段的圖像生成任務(wù)中表現(xiàn)出優(yōu)異的性能［5-7］。GAN 網(wǎng)絡(luò)由生成器和鑒別器組成［8］，其中生成器主要是產(chǎn)生目標(biāo)圖片并通過(guò)鑒別器的檢測(cè)，鑒別器則著重于在鑒別的過(guò)程中判斷出輸入圖片為真實(shí)圖片、還是生成圖片。生成器和鑒別器不斷相互對(duì)抗，從而不斷提升生成器的性能，最終生成理想圖片。但是，原始GAN 的缺陷也很明顯，因其生成的圖片有著較強(qiáng)的隨機(jī)性，無(wú)法控制生成指定的圖片，基于此，由Mirza 等人［9］提出了條件GAN、即CGAN。CGAN 通過(guò)將屬性信息輸入到生成器與鑒別器中，能夠顯著增強(qiáng)生成網(wǎng)絡(luò)的目的性［10］。以上2 種GAN 均為監(jiān)督學(xué)習(xí)，而由Zhu 等人［11］提出的cycleGAN 是對(duì)數(shù)據(jù)集要求極低的一種無(wú)監(jiān)督學(xué)習(xí)，cycleGAN 能夠在無(wú)需成對(duì)圖片的情況下完成圖像域與圖像域之間相互轉(zhuǎn)化。能夠由圖像生成圖像的網(wǎng)絡(luò)還有由Isola 等人［12］提出的pix2pix 網(wǎng)絡(luò)，其生成器網(wǎng)絡(luò)為U-Net［13］結(jié)構(gòu)，能夠保存不同分辨率下的像素級(jí)信息，適合為圖片上色、提高清晰度等工作。

1.2 人物圖像的生成

生成人物圖像的GAN 網(wǎng)絡(luò)則不宜直接使用傳統(tǒng)GAN 結(jié)構(gòu)，否則容易出現(xiàn)不可控制的人物形變。針對(duì)這個(gè)缺陷，現(xiàn)在生成人物圖像的GAN 網(wǎng)絡(luò)往往會(huì)加入姿態(tài)信息作為限制。Ma 等人［1］首次提出了這個(gè)設(shè)想，研究構(gòu)建的PG2 網(wǎng)絡(luò)首先使用了人體姿態(tài)信息用以引導(dǎo)人物圖像生成。但由于姿態(tài)遷移代表著人物的大范圍形變，若要直接得到理想圖片，對(duì)網(wǎng)絡(luò)的學(xué)習(xí)能力將會(huì)有很高的要求，隨即又進(jìn)一步提出了將任務(wù)分為兩階段的想法。Balakrishnan 等人［14］構(gòu)建了一種GAN 網(wǎng)絡(luò)，能夠?qū)⑷宋飯D像生成任務(wù)分為前景生成和背景生成兩個(gè)階段，最終再將前景和背景融合成目標(biāo)圖片。Ma 等人［1］提出的網(wǎng)絡(luò)則將遷移任務(wù)分為粗圖像生成階段和精細(xì)圖像生成階段。其中，網(wǎng)絡(luò)的第一階段只生成姿勢(shì)正確、但較為模糊的粗圖像，網(wǎng)絡(luò)的第二階段則對(duì)粗圖像進(jìn)行精細(xì)化處理。

除了網(wǎng)絡(luò)方面的改進(jìn)，學(xué)者們?cè)谌梭w姿態(tài)信息的采集上也取得了重要突破。姿態(tài)遷移中的骨骼關(guān)鍵點(diǎn)檢測(cè)如今普遍使用的是OpenPose［15］，此外還有性能更優(yōu)的DensePose［16］和3D Pose［17］，由此檢測(cè)得到的姿勢(shì)信息中還包括了深度信息，而在訓(xùn)練后生成的圖像質(zhì)量也往往更佳。但是獲取DensePose 等信息的昂貴成本降低了實(shí)際上的泛用性，現(xiàn)今姿態(tài)遷移任務(wù)中的骨骼關(guān)鍵點(diǎn)檢測(cè)仍然是以O(shè)penPose 方法為主流。

2 融合衣物特征的人體姿態(tài)遷移方法的設(shè)計(jì)

本文設(shè)計(jì)的生成器網(wǎng)絡(luò)結(jié)構(gòu)見圖1。網(wǎng)絡(luò)至關(guān)重要的2 部分為注意力轉(zhuǎn)移模塊和衣物特征融合模塊。其中，注意力轉(zhuǎn)移模塊使用了Zhu 等人［4］提出的注意力機(jī)制，利用衣物特征融合模塊提供的人物姿態(tài)信息進(jìn)行人物外貌信息的更新。衣物特征融合模塊使用了風(fēng)格遷移的思想［18］，使用衣物圖片信息和人物外貌信息對(duì)人體姿態(tài)信息進(jìn)行更新。兩者交替進(jìn)行，每3 個(gè)注意力轉(zhuǎn)移模塊和1 個(gè)衣物特征融合模塊組成1 個(gè)聯(lián)合模塊，本文所用模型總共使用了3 個(gè)聯(lián)合模塊。

網(wǎng)絡(luò)輸入信息包含提供人物外貌信息的原始圖片IA，與圖片IA對(duì)應(yīng)的原始姿態(tài)信息PA。圖片IT為真實(shí)目標(biāo)圖片，PT為與IT對(duì)應(yīng)的目標(biāo)姿勢(shì)。IC為圖片IA中人物所穿衣物的平鋪圖片。IA輸入整體改觀信息，IC補(bǔ)充衣物外觀信息，網(wǎng)絡(luò)在保持外觀不變的同時(shí)完成姿勢(shì)由PA到PT的轉(zhuǎn)換，最終生成目標(biāo)圖片IG。

2.1 注意力轉(zhuǎn)移模塊

參考文獻(xiàn)［4］的思想，本文設(shè)計(jì)的注意力轉(zhuǎn)移模塊如圖2 所示。注意力轉(zhuǎn)移模塊的輸入為外貌信息It-1和姿勢(shì)信息Pt-1。最初始的姿勢(shì)信息Pt-1是由圖1 中的原始姿勢(shì)PA和目標(biāo)姿勢(shì)PT在深度軸上進(jìn)行堆疊后，再經(jīng)過(guò)卷積操作得到的。

圖2 注意力轉(zhuǎn)移模塊結(jié)構(gòu)Fig. 2 Attention transfer block structure

在本模塊中，外貌信息需要接受姿勢(shì)信息的引導(dǎo)才能得到更新后的數(shù)據(jù)。而在人體姿態(tài)遷移任務(wù)中，圖片中包含人物的區(qū)域顯然更為重要，所以通過(guò)利用由姿勢(shì)信息形成的注意力區(qū)域可以更好地完成外貌信息的卷積變換過(guò)程。

具體來(lái)說(shuō)，輸入的姿勢(shì)信息Pt-1首先經(jīng)過(guò)2 次卷積操作，接著進(jìn)行sigmoid操作得到注意力掩膜Mt-1。Mt-1中的每個(gè)數(shù)值為0～1 之間的數(shù)字，代表著這一位置上姿勢(shì)信息的重要程度。然后要使用Mt-1讓外貌信息在更新過(guò)程中能夠關(guān)注更重要的信息。其數(shù)學(xué)公式可以表示為：

得到注意力掩膜后，將經(jīng)過(guò)2 次卷積操作后的外貌信息It-1與注意力掩膜Mt-1進(jìn)行元素相乘，這樣一來(lái)外貌信息中包含人物信息的部分得到保留，與此同時(shí)則會(huì)抑制那些不含人物信息的區(qū)域。最后將元素相乘的積與輸入的It-1進(jìn)行殘差連接，就得到了更新后的外貌信息It。殘差連接是為了防止訓(xùn)練過(guò)程中的網(wǎng)絡(luò)退化現(xiàn)象。此處推導(dǎo)得到的數(shù)學(xué)公式為：

以模塊輸出信息的數(shù)量分類，注意力轉(zhuǎn)移模塊有2 種類型，詳見圖2。注意力轉(zhuǎn)移模塊Ⅰ型不包含姿勢(shì)更新模塊，模塊輸出只有更新后的外貌信息It。注意力轉(zhuǎn)移模塊Ⅱ型則包含姿勢(shì)更新模塊，模塊輸出為更新后的外貌信息It和更新后的姿勢(shì)信息Pt。姿勢(shì)更新模塊將外貌和姿勢(shì)信息進(jìn)行深度堆疊，在Ⅱ型中，Pt可由如下公式進(jìn)行描述：

2.2 衣物特征融合模塊

衣物特征融合模塊負(fù)責(zé)對(duì)人體姿勢(shì)信息進(jìn)行更新，需要外貌信息進(jìn)行指導(dǎo)，網(wǎng)絡(luò)具體結(jié)構(gòu)如圖3 所示。圖3 中，It-1為輸入外貌信息，Pt-1為輸入姿勢(shì)信息。參見前文圖1，衣物特征融合模塊在網(wǎng)絡(luò)中獲取的最初的外貌信息為平鋪衣物圖片經(jīng)過(guò)卷積操作后的數(shù)據(jù)。同時(shí)，最初獲取的姿勢(shì)信息為PA和PT進(jìn)行深度堆疊后再進(jìn)行卷積操作得到的數(shù)據(jù)。

圖3 衣物特征融合模塊結(jié)構(gòu)Fig. 3 Clothing feature integration block structure

首先，模塊中輸入的姿勢(shì)信息Pt-1進(jìn)行數(shù)據(jù)降維操作，這是因?yàn)镻t-1在網(wǎng)絡(luò)前方的注意力轉(zhuǎn)移模塊中進(jìn)行過(guò)深度堆疊，維度變?yōu)橥饷残畔⒌? 倍，所以要先進(jìn)行降維操作。隨后，將同維度的姿勢(shì)信息和外貌信息用同一個(gè)特征提取網(wǎng)絡(luò)進(jìn)行特征提取，將提取到的特征進(jìn)行特征融合操作。具體做法是：用姿態(tài)特征減去姿態(tài)特征的平均值，再除以姿態(tài)特征的標(biāo)準(zhǔn)差。對(duì)此可用標(biāo)準(zhǔn)化后的值乘外貌特征的標(biāo)準(zhǔn)差，再加上外貌特征的均值。計(jì)算方法如式（4）所示：

其中，F(xiàn)I是從外貌信息提取出的特征；FP是姿勢(shì)信息提取出的特征；μ為取均值操作；σ為取標(biāo)準(zhǔn)差操作。

2.3 鑒別器網(wǎng)絡(luò)

鑒別器分為姿勢(shì)鑒別器DP和外貌鑒別器DA。DP用于判斷生成圖片IG與目標(biāo)姿勢(shì)PT的姿勢(shì)一致性。DA用于判斷生成圖片IG與外貌圖片IA中的人物是否為同一個(gè)人。2 種鑒別器的結(jié)構(gòu)相同，這里給出的鑒別器設(shè)計(jì)結(jié)構(gòu)如圖4 所示。圖4 中，主要用到了殘差網(wǎng)絡(luò)。鑒別器網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是將真實(shí)數(shù)據(jù)判別為真，將生成數(shù)據(jù)判別為假，如此則有助于生成數(shù)據(jù)向真實(shí)數(shù)據(jù)的分布靠近。

圖4 鑒別器結(jié)構(gòu)Fig. 4 The structure of the discriminator

2.4 損失函數(shù)設(shè)置

網(wǎng)絡(luò)的損失函數(shù)包含3 部分，分別為：L1損失、感知損失和對(duì)抗損失。對(duì)此擬做探討分述如下。

（1）L1損失。是真實(shí)目標(biāo)圖片IT和生成圖片IG之間的逐個(gè)元素之差，數(shù)學(xué)定義公式具體如下：

其中，m表示圖片數(shù)據(jù)的總元素個(gè)數(shù)、即圖片的C、H和W之積，和表示生成圖片和真實(shí)圖片的i個(gè)元素。

（2）感知損失?？紤]到只有L1損失容易造成圖片的失真［19］，本文還一并使用了感知損失。在風(fēng)格遷移和圖像生成任務(wù)中經(jīng)常會(huì)用到感知損失，可以使生成圖片更加平滑自然。本文使用預(yù)訓(xùn)練好的VGG 網(wǎng)絡(luò)進(jìn)行真實(shí)目標(biāo)圖片IT和生成圖片IG的特征提取，再對(duì)提取出的特征計(jì)算感知損失，數(shù)學(xué)定義公式具體如下：

其中，?表示特征提取操作。

（3）對(duì)抗損失。來(lái)自于姿勢(shì)鑒別器DP和外貌鑒別器DA對(duì)真實(shí)圖片或生成圖片鑒別過(guò)程中產(chǎn)生的損失。數(shù)學(xué)定義公式具體如下：

其中，real表示真實(shí)數(shù)據(jù)，fake表示生成器生成數(shù)據(jù)。

綜上分析后可得，網(wǎng)絡(luò)總損失可用如下公式計(jì)算求得：

其中，λL1、λP、λGAN表示3 種損失的權(quán)重。

2.5 訓(xùn)練細(xì)節(jié)

研究中根據(jù)GAN 網(wǎng)絡(luò)的訓(xùn)練流程，交替訓(xùn)練生成器G和2 個(gè)鑒別器、即DP及DA。將（IG，PT）和（IT，PT）送入姿勢(shì)鑒別器DP中進(jìn)行判別，以保證姿勢(shì)一致性。將（IG，IA）和（IT，IA）送入外貌鑒別器DA中進(jìn)行判別，以保證外貌一致性。

訓(xùn)練過(guò)程使用了Adam 優(yōu)化器進(jìn)行了500 次訓(xùn)練，m優(yōu)化器的β1設(shè)置為0.5，β2設(shè)置為0.999。學(xué)習(xí)率為動(dòng)態(tài)學(xué)習(xí)率，前300 次訓(xùn)練學(xué)習(xí)率固定為0.000 5，后200 次訓(xùn)練中學(xué)習(xí)率逐漸下降為0。

3 實(shí)驗(yàn)過(guò)程

3.1 數(shù)據(jù)獲取

實(shí)驗(yàn)用數(shù)據(jù)集的每組數(shù)據(jù)中需要同一人物的不同姿勢(shì)和人物所穿衣物的平鋪圖片，網(wǎng)絡(luò)上并無(wú)合適的公開數(shù)據(jù)集，所以本文數(shù)據(jù)集來(lái)源于自行制作。本文的數(shù)據(jù)集由farferch 服裝網(wǎng)站進(jìn)行采集（https：／／www.farfetch.cn／uk／shopping／men／items.aspx），該網(wǎng)站售賣的每件衣服包含了同一模特不同姿勢(shì)的圖片及平鋪衣物圖片。經(jīng)過(guò)數(shù)據(jù)清洗后，本文使用40 000 組數(shù)據(jù)進(jìn)行訓(xùn)練，每組數(shù)據(jù)包含了同一模特的2 張不同姿勢(shì)的圖片，以及模特所穿衣物的1 張平鋪圖片。

3.2 模型的定性比較和定量比較

本實(shí)驗(yàn)選用SSIM［20-21］和IS［22］兩種指標(biāo)分析模型性能，將本文設(shè)計(jì)的模型和Pose-Transfer 模型［4］對(duì)測(cè)試集中的5 000 組數(shù)據(jù)進(jìn)行了對(duì)比。SSIM指標(biāo)用以評(píng)價(jià)生成圖片和真實(shí)圖片的結(jié)構(gòu)相似度，指標(biāo)越接近1、相似度越高。Inception Score、即IS 指標(biāo)用以評(píng)價(jià)生成式對(duì)抗網(wǎng)絡(luò)的圖片質(zhì)量和多樣性，指標(biāo)越高、說(shuō)明生成式對(duì)抗網(wǎng)絡(luò)的效果越好。

模型輸出圖片如圖5 所示。由圖5 可以看出，本文設(shè)計(jì)的模型更好地保證了人體結(jié)構(gòu)的合理性，且在衣物還原部分的能力要優(yōu)于Pose-Transfer 模型，從前2 組實(shí)驗(yàn)結(jié)果來(lái)看，本文所設(shè)計(jì)的模型還原的衣服質(zhì)感更加偏向于真實(shí)衣物。從后2 組實(shí)驗(yàn)結(jié)果看，本文所用模型還原的衣服上面的花紋與真實(shí)衣物更加接近。

圖5 模型效果對(duì)比Fig. 5 Model effect comparison

2 種模型的SSIM和IS評(píng)分見表1。表1 中，SSIM表示本文所用模型生成的IG與目標(biāo)圖片IT的相似度更高。Inception Score分?jǐn)?shù)表示本文生成圖片的質(zhì)量與豐富性更高。

表1 模型定量比較Tab.1 Quantitative comparison of models

對(duì)于這2 種方法，從指標(biāo)評(píng)分的定量比較和肉眼觀感的定性比較來(lái)看，本文設(shè)計(jì)的模型在測(cè)試集中的表現(xiàn)要優(yōu)于Pose-Transfer 方法，尤其在衣物的重建方面，本文設(shè)計(jì)的模型有著更真實(shí)的還原效果。本文取得的研究成果證明在網(wǎng)絡(luò)中融入衣物特征能使姿態(tài)遷移任務(wù)的效果得到提升。

3.3 消融實(shí)驗(yàn)

為了尋找每個(gè)聯(lián)合模塊中注意力轉(zhuǎn)移模塊和衣物特征融合模塊的最佳數(shù)量之比，本文在固定生成器網(wǎng)絡(luò)共使用3 個(gè)聯(lián)合模塊，每個(gè)聯(lián)合模塊包含3個(gè)注意力轉(zhuǎn)移模塊的條件下，調(diào)整衣物特征融合模塊的數(shù)量進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)記錄了衣物特征融合模塊和注意力轉(zhuǎn)移模塊數(shù)量之比為1 ∶1、1 ∶2 和1 ∶3情況下的數(shù)據(jù)指標(biāo)，結(jié)果如表2。

表2 不同模塊比例的性能比較Tab.2 Performance comparison of different proportions

由實(shí)驗(yàn)數(shù)據(jù)可看出，當(dāng)注意力轉(zhuǎn)移模塊和衣物特征融合模塊的數(shù)量達(dá)到1 ∶1 時(shí)，網(wǎng)絡(luò)性能出現(xiàn)大幅度下降，這是因?yàn)檫^(guò)多的衣物特征融合模塊使網(wǎng)絡(luò)的復(fù)雜度過(guò)高，訓(xùn)練過(guò)程中出現(xiàn)了loss為Nan的現(xiàn)象。而在此時(shí)就需要提前終止網(wǎng)絡(luò)訓(xùn)練，所以沒(méi)能達(dá)到其他情況的訓(xùn)練效果。而指標(biāo)顯示衣物特征融合模塊和注意力轉(zhuǎn)移模塊的數(shù)量之比為1 ∶3 時(shí)網(wǎng)絡(luò)效果最佳。

4 結(jié)束語(yǔ)

本文為姿態(tài)遷移任務(wù)設(shè)計(jì)了一種新型網(wǎng)絡(luò)結(jié)構(gòu)，利用注意力機(jī)制和風(fēng)格遷移方法將衣物平鋪圖片的信息融入到人物生成網(wǎng)絡(luò)中。網(wǎng)絡(luò)中的外貌信息與姿勢(shì)信息相互指導(dǎo)對(duì)方更新，使外貌信息在漸進(jìn)式的更新過(guò)程中最終轉(zhuǎn)化為理想圖片。與以往的研究相比，本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)能夠讓最終生成圖片中人物所穿的衣物更接近真實(shí)圖片。研究中已經(jīng)通過(guò)實(shí)驗(yàn)證明了本網(wǎng)絡(luò)生成的圖片在清晰度與還原度上的優(yōu)越性，同時(shí)本文取得的成果也說(shuō)明衣物特征的輸入能夠提升人體姿態(tài)遷移的任務(wù)性能。