吳莎莎，陳雪云

(廣西大學(xué) 電氣工程學(xué)院， 廣西 南寧 530004)

0 引言

人臉識別在實際應(yīng)用過程中，無監(jiān)督情況下采集到的人臉圖像受到姿態(tài)的影響，造成人臉識別精度下降，姿勢的變化是人臉識別研究上的一個巨大挑戰(zhàn)。人臉姿態(tài)重建主要是將非正面的人臉照片通過一定的技術(shù)手段生成正面姿態(tài)的人臉照片，是解決由姿態(tài)變化導(dǎo)致的識別率下降的重要手段之一。

由于自遮擋，缺少大部分人臉特征，由側(cè)面圖像生成正面圖像非常具有挑戰(zhàn)性?，F(xiàn)有的人臉姿態(tài)重建方法可分為基于3D的方法[1-2]，統(tǒng)計方法[3-4]和深度學(xué)習(xí)方法[5-7]。FENG等[1]把人臉側(cè)面圖像映射到3D彈性網(wǎng)格(spring-based face model)中，利用3D網(wǎng)格的旋轉(zhuǎn)規(guī)律進(jìn)行人臉姿態(tài)重建。楊瑋玥等[2]設(shè)計了一種基于3D建模的人臉多姿態(tài)合成方法，利用均值坐標(biāo)(mean-value coordinates，MVC)圖像編輯方法對不可見區(qū)域進(jìn)行填充。3D方法雖然能得到較好的效果，但是在實驗過程中需要獲取大量的數(shù)據(jù)，并且計算復(fù)雜耗時。在統(tǒng)計學(xué)方法中，ZHANG等[3]通過提取人臉圖像的特征表示，假設(shè)該特征表示對于姿勢不變，以此合成一個新的面部圖像。HAO等[4]提出一個統(tǒng)一的正則化框架，將 L2 范數(shù)和鄰域一致性兩個正則化項統(tǒng)一起來。前者利用對圖像對角線權(quán)重矩陣進(jìn)行約束，后者提高人臉合成的相似度。雖然統(tǒng)計學(xué)方法需要的數(shù)據(jù)量會少一些，重建也更加方便，但是往往會忽略輸入圖像與每個訓(xùn)練樣本之間的局部相似性的重要性，在生成圖像的細(xì)節(jié)及生成圖像的質(zhì)量方面有一定的局限性，并不能得到滿意的重建效果。在基于深度學(xué)習(xí)的方法中，BENGIO等利用深度自編碼網(wǎng)絡(luò)(deep auto-encoder， DAE)[5]直接提取輸入網(wǎng)絡(luò)的人臉側(cè)面圖像的隱含特征，然后將提取到的特征重建成正面人臉圖像。KAN等[6]改進(jìn)自編碼器的結(jié)構(gòu)，通過一種堆疊步進(jìn)自編碼器(stacked progressive auto-encoder，SPAE)方法對非正面圖像進(jìn)行復(fù)雜非線性變換建模，將非正面圖像輸入到自編碼器中，角度從大到小，逐步旋轉(zhuǎn)到正面。生成對抗網(wǎng)絡(luò)(generative adversarial networks， GAN)模型[7]的提出為人臉姿態(tài)重建打開了一扇新的大門。HUANG等[8]提出了雙路徑GAN(TP-GAN)，同時處理人臉的整體輪廓和細(xì)節(jié)，優(yōu)化損失函數(shù)，得到人臉正面圖像。LUAN等[9]提出了DR-GAN，使用一個或多個人臉圖像作為輸入，DR-GAN可以產(chǎn)生一個具有鑒別性和生成性的身份表示，并且可以在由姿勢信息生成指定的目標(biāo)姿勢中合成同一身份的人臉圖像，它可以學(xué)習(xí)一種非耦合的與姿態(tài)無關(guān)的特征表示。這兩種生成對抗網(wǎng)絡(luò)利用身份信息分類的方法來保證生成忠實的人臉正面圖像，需要大量的身份先驗信息，在計算時需要對身份信息進(jìn)行編碼，在擴(kuò)充數(shù)據(jù)庫時，需對數(shù)據(jù)重新編碼訓(xùn)練。

通過將三種方法進(jìn)行比較，基于深度學(xué)習(xí)的方法相對來說實施起來比較簡單，利用未使用生成對抗方法的模型生成的圖像，整體上與真實正臉圖像有較高的相似度，但是不論是自編碼器還是DCN生成的圖像都有趨于模糊的問題。生成對抗的方法能在整體和細(xì)節(jié)兩個方面上進(jìn)行人臉重建，生成的人臉圖像更加清晰。在傳統(tǒng)GAN的基礎(chǔ)上，眾多學(xué)者提出了很多GAN的變體結(jié)構(gòu)，應(yīng)用在了風(fēng)格轉(zhuǎn)換、圖像超分辨率等方面，在圖像生成領(lǐng)域展現(xiàn)出巨大的潛力。

GOODFELLOW等[7]在2014年提出了GAN模型，該網(wǎng)絡(luò)結(jié)構(gòu)得到了廣泛地應(yīng)用，發(fā)展勢頭異常迅猛。生成對抗網(wǎng)絡(luò)由生成器(generator, G)和判別器(discriminator, D)構(gòu)成，生成器學(xué)習(xí)真實數(shù)據(jù)的空間潛在分布，希望生成的樣本足夠逼真，判別器對輸入的樣本進(jìn)行識別，判斷樣本的真實性。簡而言之，GAN利用極小極大二人博弈，生成器和判別器不斷地迭代優(yōu)化自身，使生成的樣本與真實樣本在空間分布上越來越接近。最近對GAN的研究主要集中在對輸入變量的約束或在生成對抗網(wǎng)絡(luò)在結(jié)構(gòu)上的創(chuàng)新進(jìn)行更好的合成上。ISOLA等[10]提出pix2pix方法，將圖片作為標(biāo)簽信息，輸入到生成器和判別器中，生成基于標(biāo)簽的圖像。ZHANG等[11]在此基礎(chǔ)上進(jìn)行了改進(jìn)，采用樹狀生成器結(jié)構(gòu)，利用顏色正則化來約束圖像的色彩信息。ZHU等[12]提出一種新的對抗生成網(wǎng)絡(luò)結(jié)構(gòu)CycleGAN進(jìn)行圖像間的風(fēng)格轉(zhuǎn)換，無需成對的原始圖像和目標(biāo)圖像，它本質(zhì)上是由兩個鏡像的生成對抗網(wǎng)絡(luò)組成，形成一個環(huán)形結(jié)構(gòu)，兩個GAN共享兩個生成器，以保證生成圖像與原始圖像具有很高的相似性，不會丟失原始圖像的特征，并各帶一個判別器，即兩個判別器和兩個生成器。CHOI 等[13]在改進(jìn)CycleGAN結(jié)構(gòu)的基礎(chǔ)上提出了StarGAN，用于頭發(fā)顏色、年齡、表情等人臉局部的不同屬性的互換生成。

受到上述工作的啟發(fā)，利用生成對抗的方法，將人臉偏轉(zhuǎn)角度作為人臉的一種姿態(tài)屬性進(jìn)行基于生成對抗機(jī)制的互換訓(xùn)練，提出了一種基于條件循環(huán)的生成對抗網(wǎng)絡(luò)結(jié)構(gòu)的方法，將原始人臉圖像和目標(biāo)姿勢編碼一起輸入到生成器中，由生成器生成正面人臉圖像。

1 生成對抗網(wǎng)絡(luò)模型及其改進(jìn)

GAN的思想啟發(fā)于二人零和博弈。將隨機(jī)變量z輸入到生成器中生成假的數(shù)據(jù)。然后分別將真實數(shù)據(jù)和假數(shù)據(jù)輸入到識別器中，由其來判定是否為真實數(shù)據(jù)。同時識別器的輸出會反饋給生成器，用于指導(dǎo)生成器的訓(xùn)練。合成樣本與訓(xùn)練的真實樣本足夠逼真，識別器判斷不出，模型達(dá)到最優(yōu)。生成器和識別器不斷更新參數(shù)，優(yōu)化目標(biāo)函數(shù)，最終達(dá)到納什均衡狀態(tài)，生成器和識別器的目標(biāo)函數(shù)如式(1)：

(1)

原始的GAN生成的圖像雖然要求生成圖像空間分布逼近輸入的真實圖像的空間分布，但是在實際的應(yīng)用過程中，傳統(tǒng)的GAN想要生成尺寸大、像素高或比較復(fù)雜的圖像是比較困難的。在生成器的輸入上加入特定的條件限制，使生成的圖像能夠符合條件。目標(biāo)函數(shù)如式(2)，生成器和識別器的參數(shù)更新，都在條件c的控制之下。

(2)

GAN在訓(xùn)練過程中，為了更好地平衡識別器和生成器的關(guān)系，在GAN訓(xùn)練早期階段，控制識別器和生成器的更新比例來平衡關(guān)系。在一系列改進(jìn)GAN的文章中，利用權(quán)重裁剪、梯度懲罰等手段控制改善訓(xùn)練過程中不穩(wěn)定的現(xiàn)象，但是暴力裁剪只是將權(quán)重限制在一定范圍內(nèi)，使識別器變得更加平滑，梯度懲罰沒有考慮到梯度模小于1的區(qū)域，這些方法都并沒有真正將權(quán)重限制在1-Lipschitz內(nèi)，采用譜范數(shù)正則化的思想，可以將識別器的權(quán)重矩陣歸一化，實現(xiàn)對識別器的1-Lipschitz限制，提高GAN在訓(xùn)練過程中的穩(wěn)定性。

2 條件循環(huán)生成對抗網(wǎng)絡(luò)

利用基于條件循環(huán)生成對抗網(wǎng)絡(luò)(conditional cycle generative adversarial networks, CC-GAN)的方法進(jìn)行人臉姿態(tài)重建過程中，將人臉角度作為一種姿態(tài)屬性，相較于表情、發(fā)色等人臉屬性，人臉姿態(tài)屬性是一種全局屬性，使用該網(wǎng)絡(luò)結(jié)構(gòu)對人臉的姿態(tài)屬性進(jìn)行變換?；谠糋AN的網(wǎng)絡(luò)模型進(jìn)行擴(kuò)展，將生成對抗的目標(biāo)函數(shù)項和控制生成人臉姿態(tài)的姿態(tài)目標(biāo)函數(shù)項、控制生成人臉圖像質(zhì)量的細(xì)節(jié)目標(biāo)函數(shù)項及控制生成人臉相似度的重建目標(biāo)函數(shù)項、循環(huán)目標(biāo)函數(shù)項、特征一致目標(biāo)函數(shù)項相結(jié)合構(gòu)建CC-GAN的目標(biāo)函數(shù)，不斷優(yōu)化目標(biāo)函數(shù)，將網(wǎng)絡(luò)應(yīng)用到全局屬性的變換。

2.1 目標(biāo)函數(shù)

采用譜范數(shù)正則化的思想，實現(xiàn)對識別器的1-Lipschitz限制。CC-GAN網(wǎng)絡(luò)模型的目標(biāo)函數(shù)定義為

(3)

其中，λ1～λ7表示超參數(shù)，各項所占的比重;N表示識別器網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù);LGAN(G,D)，Lpose(G,D)，Lcon(G)，Lcyc(G)，Lpart(G)，Lfeat(G)分別表示對抗函數(shù)項、姿態(tài)函數(shù)項、重建函數(shù)項、循環(huán)函數(shù)項、細(xì)節(jié)函數(shù)項和特征一致函數(shù)項;σ(w)表示譜范數(shù)計算式;TV(G)表示生成圖像與原圖像間的總體變化率。

① 對抗函數(shù)項

對抗函數(shù)項是生成器以及判別器在對抗訓(xùn)練過程中所需優(yōu)化的目標(biāo)函數(shù)，通過向生成器中加入姿態(tài)編碼信息，使其可生成對應(yīng)姿態(tài)的人臉圖像，解耦姿態(tài)與人臉的其他特征屬性。對抗函數(shù)項如式(4)：

LGAN(G,D)=Ex～pdata(x)[logD(x)]+Ex,p～pdata(x,p)[log(1-D(G(x,pt)))]，

(4)

其中，x表示輸入圖像，pt表示目標(biāo)姿態(tài)編碼，p表示姿態(tài)屬性。

② 姿態(tài)函數(shù)項

姿態(tài)函數(shù)項是衡量由生成器生成的人臉是否具有目標(biāo)姿態(tài)的函數(shù)項。通過優(yōu)化姿態(tài)函數(shù)項，控制生成人臉姿態(tài)屬性。在生成過程中，判別器對生成人臉的姿態(tài)進(jìn)行檢測，利用softmax交叉熵?fù)p失來約束生成目標(biāo)姿態(tài)。

(5)

③ 重構(gòu)函數(shù)項

重構(gòu)函數(shù)項通過求解生成圖像與原始圖像之間最小絕對值偏差來優(yōu)化圖像像素級別的損失，用來保證生成的人臉圖像與原始人臉圖像在人臉基本特征上的一致，生成的人臉圖像與原始人臉圖像看起來為同一人，重構(gòu)函數(shù)項為

Lcon(G)=Ex,y,p～pdata(x,y,p)[‖y-G(x,pt)‖]+Ex,p～pdata(x,p)[‖x-Gdec(Fx,pt)‖]，

(6)

其中，Gdec表示解碼器，F(xiàn)x表示輸入圖像x經(jīng)過生成器中的編碼器提取的特征，y表示具有目標(biāo)姿態(tài)的同一人臉圖像。

④ 循環(huán)函數(shù)項

將生成的圖像和原始輸入人臉圖像的姿態(tài)編碼重新輸入到生成器中，重新生成原始的人臉這種方法，來保證生成人臉與真實人臉的身份一致性。循環(huán)重構(gòu)函數(shù)項指的是在此過程中，第二次生成的人臉與原始輸入人臉之間的損失。循環(huán)函數(shù)項如式(7)所示：

Lcyc(G)=Ex,p～pdata(x,p)[‖x-G(G(x,pt),p°)‖]，

(7)

其中，p°表示原始輸入圖像的人臉姿態(tài)編碼。

⑤ 細(xì)節(jié)函數(shù)項

為了追求更真實的細(xì)節(jié)效果，本文將感知損失、紋理損失結(jié)合起來。相較于單純的像素間的損失，感知損失希望的是兩幅圖像之間特征更加相似，紋理損失追求的是對紋理在高層全局信息和底層細(xì)節(jié)信息方面進(jìn)行有效的重建。真實圖像和生成的圖像通過細(xì)節(jié)損失網(wǎng)絡(luò)，提取特征，計算感知損失和紋理損失。在本文中，細(xì)節(jié)損失網(wǎng)絡(luò)使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的網(wǎng)絡(luò)VGG19，將圖像輸入到VGG19中，使用VGG19的第五個池化層前一個的未使用激活函數(shù)的卷積層來提取特征。感知損失，紋理損失如式(8)至式(9)所示，總體細(xì)節(jié)損失如式(10)所示：

Lper(G)=Ex,y,p～pdata(x,y,p)[‖φ(y)-φ(G(x,pt))‖]，

(8)

Ltext(G)=Ex,y,p～pdata(x,y,p)[‖g(φ(y))-g(φ(G(x,pt)))‖]，

(9)

Lpart(G)=Lper(G)+Ltext(G)，

(10)

其中，φ代表損失網(wǎng)絡(luò)，g(F)=FFT。

⑥ 特征一致函數(shù)項

在循環(huán)重建的過程中，原始輸入圖像通過編碼器提取的人臉個性化特征，由解碼器生成對應(yīng)姿勢的圖像，再將生成圖像重新經(jīng)過編碼器提取特征，循環(huán)重建原始圖像。特征一致函數(shù)項用來約束生成圖像與原始輸入圖像之間通過編碼器提取的特征之間距離，從生成圖像提取到的特征是具有個性化不變的，并與姿態(tài)屬性無關(guān)的，即同一個人不同姿態(tài)人臉的特征要盡可能地接近，所以從生成的人臉上與原始輸入人臉上，提取到的特征越接近越好。函數(shù)項如(11)所示：

Lfeat(G)=Ex,y～pdata(x,y)[‖F(xiàn)x-Fy‖]，

(11)

其中，F(xiàn)x表示將原始輸入圖像輸入到解碼器中所得到的特征表示，F(xiàn)y表示將生成圖像輸入到解碼器中重建過程中所得到的特征表示。

2.2 條件循環(huán)生成器對抗網(wǎng)絡(luò)結(jié)構(gòu)

條件循環(huán)生成對抗網(wǎng)絡(luò)(CC-GAN)思想來源于屬性互換訓(xùn)練機(jī)制，將人臉的偏轉(zhuǎn)角度作為人臉姿態(tài)屬性，在生成對抗網(wǎng)絡(luò)中，解耦姿態(tài)屬性與其他人臉特征，將目標(biāo)姿態(tài)屬性作為條件，與側(cè)臉圖像一起送入生成對抗網(wǎng)絡(luò)中，實現(xiàn)人臉姿態(tài)的循環(huán)重建，結(jié)構(gòu)如圖1所示。

圖1 條件循環(huán)生成對抗網(wǎng)絡(luò)結(jié)構(gòu)圖

生成網(wǎng)絡(luò)由編碼網(wǎng)絡(luò)、解碼網(wǎng)絡(luò)組成，具體結(jié)構(gòu)如表1所示。側(cè)臉圖像通過編碼網(wǎng)絡(luò)提取特征，經(jīng)過解碼網(wǎng)絡(luò)生成正面人臉圖像。

表1 條件循環(huán)生成對抗網(wǎng)絡(luò)結(jié)構(gòu)

上述網(wǎng)絡(luò)結(jié)構(gòu)中的卷積層和反卷積層的核均為3×3，均使用批歸一化。在編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)中，除了解碼網(wǎng)絡(luò)的最后一層使用Tanh激活函數(shù)，使反卷積輸出的結(jié)果在[1,-1]，其余卷積層和反卷積層后面均使用ReLu激活函數(shù)。

識別網(wǎng)路既能判別圖像的真假，又能判斷人臉姿態(tài)，該網(wǎng)絡(luò)的卷積層均使用批歸一化層和LeakyReLU激活函數(shù)，輸出一個256維的共享特征，將共享特征輸入兩個全連接層，分別使用sigmoid激活函數(shù)和softmax層，來判斷圖像真假，并對人臉的姿態(tài)進(jìn)行分類。

2.3 算法流程

將側(cè)臉圖像輸入到條件循環(huán)生成對抗網(wǎng)絡(luò)中，生成與原始正臉人臉圖像數(shù)據(jù)分布盡可能相似的正臉圖像，生成器的目標(biāo)是生成圖像能夠“騙過”識別器，而識別器的目的是找出“假圖像”。具體實現(xiàn)的算法流程如下所示。

Step 1：初始化算法基本參數(shù)，設(shè)置超參數(shù)λ1=λ2=α1=α5=1，α2=α3=10 ，α4=0.001，α6=0.000 1，最小批次m=10，初始學(xué)習(xí)率η=0.000 1，D的網(wǎng)絡(luò)層數(shù)N=8，初始優(yōu)化次數(shù)t=0，最大優(yōu)化次數(shù)tmax=986。給定所有樣本的姿態(tài)屬性p，輸入樣本x的姿態(tài)信息po，目標(biāo)信息pt，D的參數(shù)θd，G的參數(shù)θg。

Step 2：固定G，更新D的參數(shù)。

① 從數(shù)據(jù)集pdata(x,p)中隨機(jī)選出m個樣本點{(x1,po),(x2,po),…,(xm,po)}及與其相對應(yīng)的正臉圖像{y1,y2,…,ym}。

(12)

，

(13)

Step 4：當(dāng)t≤tmax，t=t+1時，轉(zhuǎn)到step 2。

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

本文提出一種利用生成對抗網(wǎng)絡(luò)將人臉圖像生成具有目標(biāo)姿勢的同一人臉的方法。實驗在一臺2080Ti顯卡，Linux系統(tǒng)的服務(wù)器上，在TensorFlow深度學(xué)習(xí)環(huán)境中使用Python3.6編程，實驗過程中，設(shè)置學(xué)習(xí)率為 0.000 1，并隨迭代次數(shù)衰減直到0。優(yōu)化器選擇使用Adam，優(yōu)化器的超參數(shù)β1=0.5，β2=0.999。實驗的數(shù)據(jù)集來自FERET, 它包含了1 000多人各個姿態(tài)的照片。根據(jù)圖1所示的方法流程來構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，首先對各個姿態(tài)的人臉圖像中的眼睛、鼻子、嘴巴進(jìn)行標(biāo)定，然后利用仿射變換進(jìn)行人臉對齊，將人臉圖像尺寸大小歸一化到128×128，并將人臉像素值歸一化到[-1,1]。目標(biāo)函數(shù)式(3)中的超參數(shù)為λ1=1，λ2=1，λ3=10，λ4=10，λ5=0.001，λ6=1，λ7=0.000 1 。

3.2 結(jié)果比較

實驗生成的結(jié)果除了應(yīng)該能生成正臉姿態(tài)外，還應(yīng)該與原始正面人臉相似。因此本文從生成圖像的主觀視覺和衡量圖像相似度的客觀指標(biāo)兩方面進(jìn)行實驗對比。

3.2.1 圖像對比

將CC-GAN算法生成的圖像與使用DR-GAN、TP-GAN算法生成的圖像作對比，實驗對比結(jié)果如圖2所示。圖2中第一行表示輸入的各個角度(±10°～±67°)的人臉，第二行、第三行、第四行分別表示使用TP-GAN、DR-GAN算法以及本文所提出的CC-GAN算法由各個角度側(cè)臉圖像所生成正臉(0°)圖像。從對比結(jié)果可以看出，使用TP-GAN算法生成的人臉圖像邊緣輪廓并不清晰，DR-GAN算法生成的人臉圖像與原始圖像相比，臉部會產(chǎn)生稍微的變形扭曲。CC-GAN算法所生成的圖像能保留人臉的基本特征，并生成清晰的輪廓。

圖2 對比結(jié)果

3.2.2 結(jié)構(gòu)相似度對比

結(jié)構(gòu)相似度(structural similiarty, SSIM)能夠有效客觀地評估兩張圖像相似度，它分別從亮度、對比度和結(jié)構(gòu)上進(jìn)行衡量，更加符合人類的視覺效果。SSIM值用字母S表示，S越大，就說明兩張圖像的相似度越高。圖像a、b的SSIM可按照式(14)求出：

(14)

其中，μa、μb分別是a、b的平均值，σa2、σb2是分別是a、b的方差，σab是a和b的協(xié)方差，c1=(k1L)2，c2=(k2L)2是常數(shù)，L是圖像像素的動態(tài)范圍，k1=0.01，k2=0.03。

表2顯示了各種算法實驗結(jié)果與原始圖像的SSIM值，由表2中數(shù)據(jù)可以看出，相較于其他算法，本文實驗結(jié)果的SSIM 值最大，說明生成的圖像細(xì)節(jié)越逼真，與原始圖像相似度最高。

表2 各種算法SSIM值比較

3.2.3 峰值信噪比對比

峰值信噪比(peak signal to ratio, PSNR)是評估圖像質(zhì)量的另一客觀指標(biāo)，它直接對比圖像之間的像素差異。PSNR值用字母P表示，P值越大，圖像質(zhì)量越好。假設(shè)a和b兩個圖像的大小為m×n，則它們之間的均方誤差(mean square error, MSE) 為ρMSE：

(15)

通過ρMSE計算PPSNR，公式如式(16)：

(16)

由各種網(wǎng)絡(luò)模型生成的圖像，與原始圖像比較，計算得到的PPSNR如表3所示。

表3 生成圖像PPSNR比較

從表3中，可以通過比較看到，本文提出的CC-GAN算法PPSNR值最大，圖像質(zhì)量最好。

3.2.4 歐式距離對比

歐式距離度量的歐式空間中點與點之間絕對距離，通過提取兩張人臉圖像a、b的特征向量，然后比較它們之間的距離來衡量兩張圖像的相似度。計算方式如下：

(17)

其中，n、m分別表示圖像的長、寬。

表4顯示了各種網(wǎng)絡(luò)結(jié)構(gòu)生成的圖像與原始圖像的歐式距離。從表4中可以看出，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)生成的人臉與原始圖像間的距離最小，說明生成的圖像繼承了原始人臉圖像的基本特征，與原始圖像最相似。

表4 歐式距離比較

4 結(jié)語

在原始GAN的基礎(chǔ)上，對GAN進(jìn)行創(chuàng)新擴(kuò)展，提出了一種用于人臉合成的CC-GAN算法，包括編碼器-解碼器結(jié)構(gòu)的生成器、包含姿態(tài)分類器的識別器、結(jié)合多種細(xì)節(jié)損失的損失函數(shù)以及循環(huán)重建網(wǎng)絡(luò)結(jié)構(gòu)。在生成對抗網(wǎng)絡(luò)中，通過提取人物個性化特征，解開姿態(tài)與之的相關(guān)性，將人臉偏轉(zhuǎn)角度作為人臉的一種姿態(tài)屬性進(jìn)行基于生成對抗機(jī)制的變換訓(xùn)練，建立生成圖像與原始輸入圖像之間的循環(huán)重建模型，生成相關(guān)姿態(tài)的人臉圖像。

CC-GAN算法雖然能生成較好的實驗效果，但依然有不足之處。對抗生成網(wǎng)絡(luò)在訓(xùn)練過程中還是出現(xiàn)難以收斂的情況，人臉圖像生成會受到其他因素的影響，例如光照差異。在未來的工作中，對生成對抗網(wǎng)絡(luò)的穩(wěn)定性繼續(xù)優(yōu)化，提高模型的泛化能力是本文重點的研究方向。