張楓璐，嚴春滿，邱 晨

(1.西北師范大學(xué)物理與電子工程學(xué)院，蘭州 730070； 2.空軍軍醫(yī)大學(xué)教研保障中心，西安，710032)

0 引言

人臉妝容遷移[1]技術(shù)作為圖像風(fēng)格遷移技術(shù)的一個分支，主要目的是在不改變目標人臉身份的基礎(chǔ)上，將想要的妝容轉(zhuǎn)換到目標人臉的一種計算機視覺領(lǐng)域的新興技術(shù)。文章在充分學(xué)習(xí)圖像風(fēng)格遷移和生成對抗網(wǎng)絡(luò)[2]相關(guān)技術(shù)的基礎(chǔ)上通過生成對抗網(wǎng)絡(luò)構(gòu)建人臉妝容遷移網(wǎng)絡(luò)。通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，進一步提升人臉妝容遷移效果并將其設(shè)計應(yīng)用于航天虛擬試妝。

隨著我國航天事業(yè)的不斷發(fā)展，國內(nèi)對于航天事業(yè)的關(guān)注度越來越高，載人空間活動也越來越頻繁，尤其是中國空間站建成和開放后，將會有越來越多的來自世界各國的航天員長期駐留其中生活、科研和實驗操縱，王亞平等女航天員的太空科普課教學(xué)和空間科研探索使得空間站相關(guān)科研工作更加多姿多彩。但是，空間環(huán)境資源非常有限，宇航員通常是沒有充足的水等資源進行妝容美化的，而空間微重力環(huán)境下卸妝的各種多余物均會隨意漂浮而干擾空間站部分設(shè)備的正常運行，另外，我國空間科研任務(wù)中一些裝備是不適合公開展示的，因此，通過人臉妝容遷移技術(shù)對航天電子虛擬上妝應(yīng)用進行研究，對宇航員面部通過計算機圖像處理技術(shù)進行美化和上妝、對一些涉密圖像智能化替換以及簡化傳輸數(shù)據(jù)進行了一些探索，以期使來自世界各國的宇航員能在科研、太空教學(xué)等活動中將更美好的形象展現(xiàn)給大眾。

妝容遷移技術(shù)不同于普通的風(fēng)格遷移，它不是簡單的域到域之間的轉(zhuǎn)換，因為同一風(fēng)格的妝容在不同人臉上給人的視覺效果都大有不同，如果將妝容僅是進行簡單的域到域之間的遷移，那么妝容在人臉上就會顯得非常不自然，看上去像是將妝效直接貼在人臉上，這并不符合預(yù)期，因此妝容遷移更注重實例級的遷移。人臉妝容遷移的目的是在保持源圖像人臉面部特征不變的同時，將參考人臉上的妝容遷移至源圖像上。

1 相關(guān)技術(shù)狀況

妝容遷移技術(shù)通過計算機算法實現(xiàn)人臉妝容的編輯與合成,是目前人臉圖像處理領(lǐng)域的熱門研究方向之一。但是暫未見有關(guān)將妝容遷移技術(shù)設(shè)計應(yīng)用于載人航天科研的工作。航天員的形象不僅僅代表著個人，也代表著我國的航天形象。研發(fā)太空適用的化妝品不僅成本高，還需要宇航員自己進行上妝，在目前看來較難實現(xiàn)。但是在公開的、需要保持宇航員形象的影像中通過妝容遷移技術(shù)對宇航員進行上妝，不僅成本低，且不需要宇航員自己手動作業(yè)，可以大大提升航天員的形象。妝容遷移不同于美顏軟件中的妝容貼片技術(shù)，只能生成模板中的十幾種妝效，妝容遷移技術(shù)可以實現(xiàn)任意妝效的生成，且更加靈活多樣，生成的人臉圖像也相對自然真實。妝容遷移技術(shù)不僅可以運用于虛擬上妝，還可以結(jié)合人臉識別技術(shù)實現(xiàn)上妝人臉的卸妝功能，解決銀行、高鐵等大型公共系統(tǒng)中化妝人臉識別困難的問題。

Gatys等[3]提出了一種圖像風(fēng)格遷移算法，此算法可以合成高質(zhì)量的新圖片，這為深度學(xué)習(xí)方法實現(xiàn)妝容遷移奠定了理論基礎(chǔ)。Liu[4]等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的人臉妝容遷移算法。Wang等[5]提出了一種基于局部約束字典學(xué)習(xí)的面部化妝與卸妝框架。Li等[6]提出了一種雙輸入輸出生成對抗網(wǎng)絡(luò)框架BeautyGAN來實現(xiàn)妝容遷移，實現(xiàn)了實例級妝容遷移。Chang等[7]提出了CycleGAN網(wǎng)絡(luò)[8]的思想，運用博弈的思想，通過訓(xùn)練兩個網(wǎng)絡(luò)進行博弈，最后實現(xiàn)了妝容的定向生成。PSGAN[9]解決了不同姿態(tài)和臉部朝向妝容遷移效果差的問題。Nguyen等[10]引入新的妝容遷移數(shù)據(jù)集，實現(xiàn)了極端妝容的遷移。Deng等[11]提出了一個與現(xiàn)有方法相比具有最佳靈活性的全自動妝容遷移模型，解決了當輸入的兩張圖片存在較大空間錯位情況下，妝容遷移效果差的問題。白玉等[12]貢獻了第1 個像素級對齊的美妝轉(zhuǎn)移數(shù)據(jù)集，并且提出使用混合監(jiān)督的方法在BeautyGAN的基礎(chǔ)上實現(xiàn)妝容遷移。

2 基于生成對抗網(wǎng)絡(luò)的航天員妝容遷移模型技術(shù)設(shè)計

文章針對宇航員面部美化需求，設(shè)計了基于改進CycleGAN的妝容遷移模型，通過生成對抗網(wǎng)絡(luò)的博弈使神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)宇航員面部和妝效圖的特征，最終生成對宇航員面部的自動虛擬上妝圖。其次提出了一個新的設(shè)想，即將圖像處理技術(shù)應(yīng)用于載人航天，對宇航員附近設(shè)備特征有隱匿需求的地方也可以通過神經(jīng)網(wǎng)絡(luò)進行定位和識別，將其進行替換或遮擋等處理。文章重點討論對于宇航員人臉部分的圖像處理。

2.1 模型結(jié)構(gòu)

設(shè)計的基于生成對抗網(wǎng)絡(luò)的航天員妝容遷移模型使用的是常用于風(fēng)格遷移的經(jīng)典生成對抗網(wǎng)絡(luò)循環(huán)一致生成網(wǎng)絡(luò)CycleGAN。CycleGAN網(wǎng)絡(luò)是通過對原域圖像先映射到目標域，再將圖像循環(huán)回至原域得到二次生成的圖像，使用生成器網(wǎng)絡(luò)將圖像映射到目標域，將二次生成圖像與原始圖像對比，通過生成器與判別器的不斷博弈，由損失函數(shù)指導(dǎo)網(wǎng)絡(luò)更新參數(shù)，不斷提高網(wǎng)絡(luò)學(xué)習(xí)人臉細節(jié)特征的能力，最終生成圖像與原始圖像分布一致。本文優(yōu)化了CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)，并設(shè)想將其應(yīng)用于宇航員電子上妝?；趦?yōu)化CycleGAN的妝容遷移網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，其中A代表化妝人臉圖像集合，B代表素顏人臉圖像集合。整體為雙輸入雙輸出網(wǎng)絡(luò)，本文將CycleGAN網(wǎng)絡(luò)結(jié)構(gòu)中的兩個生成器合并，將生成后的圖像循環(huán)放回生成器中再次生成以取代第二個生成器，減少網(wǎng)絡(luò)參數(shù)。

圖1 基于CycleGAN的妝容遷移網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Makeup transfer network structure based on CycleGAN

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network structure

判別器DA、DB都是簡單的卷積神經(jīng)網(wǎng)絡(luò)，用來判別輸入的圖像是“真”圖像還是網(wǎng)絡(luò)生成的“假”圖像。網(wǎng)絡(luò)采用了經(jīng)典的圖像翻譯結(jié)構(gòu)，先編碼再解碼，編碼部分是通過編碼器將輸入數(shù)據(jù)的低維空間特征轉(zhuǎn)換為高維空間特征，在解碼過程中解碼器將高維空間特征解碼并輸出生成圖像。在宇航員人臉的妝容遷移工作中，需要盡可能的保留宇航員的身份信息，在解碼部分完成宇航員人臉的妝容遷移。

2.2 損失函數(shù)

在生成對抗網(wǎng)絡(luò)中，生成圖像的方向一般是不定向的，需要添加一些約束條件使網(wǎng)絡(luò)生成用戶想要的圖像，一般GAN都會使用損失函數(shù)作為這一約束條件。損失函數(shù)的規(guī)定直接決定了輸出圖像的結(jié)果，因此損失函數(shù)對整個生成網(wǎng)絡(luò)起著至關(guān)重要的作用。

本文損失函數(shù)的設(shè)計在CycleGAN網(wǎng)絡(luò)損失函數(shù)的基礎(chǔ)上，參考BeautyGAN網(wǎng)絡(luò)中的妝容損失函數(shù)設(shè)計。對生成器而言，生成器的最終目的是將網(wǎng)絡(luò)中生成的數(shù)據(jù)盡可能的接近于原始數(shù)據(jù)，使“假”數(shù)據(jù)無限接近于真實數(shù)據(jù)分布。在訓(xùn)練過程中，本文網(wǎng)絡(luò)中生成器一共包含3項損失函數(shù)，生成器總的損失函數(shù)如式(1)所示。

(1)

其中，α、β是權(quán)重因子，adv代表對抗損失函數(shù)，cyc代表循環(huán)一致性損失函數(shù)，makeup代表妝容損失函數(shù)。

對抗損失函數(shù)(adversarial loss，AL)：目的是使生成器生成的圖片更加逼真，更接近于原始圖像，指導(dǎo)生成器和判別器收斂。Wasserstein GAN (WGAN)[13]采用了Earth-Move距離作為損失函數(shù)，解決了GAN訓(xùn)練不穩(wěn)定的問題，WGAN-GP[14]在WGAN的基礎(chǔ)上提出了梯度懲罰概念，用于滿足 Lipschitz 限制條件，判別器參數(shù)可以學(xué)到合理的參數(shù)取值，從而顯著提高訓(xùn)練速度，解決了原始WGAN收斂緩慢的問題，使網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定。因此本文對抗損失函數(shù)采用WGAN-GP的設(shè)計，如式(2)所示。

(2)

循環(huán)一致性損失函數(shù)(cycle consistency loss，CCL)：該損失函數(shù)用于維持輸入、輸出圖像背景信息一致。在CycleGAN網(wǎng)絡(luò)的雙輸入雙輸出模式中，希望生成的圖像盡可能和源圖像接近，這個過程可以用式(3)表示。

(Isrc,Iref)→G(Isrc,Iref)→G(G(Isrc,Iref))≈(Isrc,Iref)

(3)

循環(huán)一致性損失函數(shù)定義如式(4)所示。

(4)

妝容損失函數(shù)(makeup loss，ML)：該損失函數(shù)為了保證目標人臉的身份信息。BeautyGAN通過人臉分割模型PSPNet[15]，訓(xùn)練了一個語義分割模型，提取了人臉不同區(qū)域的掩膜，結(jié)合局部顏色遷移方法，利用人臉口紅、眼妝和粉底引導(dǎo)掩碼計算妝容直方圖損失，用來保證在遷移過程中只遷移人臉局部顏色，不改變身份信息。各區(qū)域直方圖損失如式(5)所示。

(5)

(6)

其中λl、λe、λf分別為唇部、眼部、面部區(qū)域?qū)?yīng)的權(quán)重。

3 實驗與技術(shù)驗證

3.1 實驗數(shù)據(jù)集

本文數(shù)據(jù)集使用的是Makeup Transfer(MT)數(shù)據(jù)集，該數(shù)據(jù)集中共有3834張女性人臉圖像，其中素顏人臉圖像1115張，帶妝人臉圖像2719張，是目前用于妝容遷移的最大的數(shù)據(jù)集。它集合了煙熏妝、復(fù)古妝、韓式妝、日系妝等多種妝容。

3.2 實驗設(shè)置及細節(jié)

本實驗中，按照9∶1的比例隨機將數(shù)據(jù)劃分為訓(xùn)練集和測試集，MT數(shù)據(jù)集中的單張圖像大小為361×361像素，通過隨機裁剪調(diào)整為256×256的方式增強數(shù)據(jù)。在網(wǎng)絡(luò)訓(xùn)練過程中將Batch-size設(shè)置為1，Epoch設(shè)置為300。在網(wǎng)絡(luò)設(shè)置上，生成器的雙輸入輸出分支在層內(nèi)不共享參數(shù)。由于GAN在訓(xùn)練過程中易出現(xiàn)判別器過早進入理想狀態(tài)，導(dǎo)致無法為生成器提供梯度信息，從而導(dǎo)致訓(xùn)練無法進行。為了訓(xùn)練過程穩(wěn)定，需要判別器的映射函數(shù)滿足Lipschitz約束，因此在判別器中引入譜歸一化[16]。在損失函數(shù)設(shè)置上，經(jīng)過多次實驗后發(fā)現(xiàn)損失函數(shù)權(quán)重配置如表1所列時效果最佳。網(wǎng)絡(luò)損失函數(shù)優(yōu)化器采用隨機優(yōu)化算法Adam[17]優(yōu)化參數(shù)，生成器和判別器的學(xué)習(xí)率均為2×10-5，一階動量項為0.5，二階動量項為0.999。

表1 損失函數(shù)權(quán)重配置

3.3 實驗結(jié)果驗證

經(jīng)過網(wǎng)絡(luò)訓(xùn)練后生成的遷移妝容圖如圖3所示，第一列為輸入原始圖像，第二列為輸入?yún)⒖紙D像，第三列CycleGAN生成圖，第四列為本文方法生成圖。第一行是歐美妝容遷移對比，第二行為亞洲妝容遷移對比。從圖3可以看出，本文方法可以完整遷移參考人臉上的妝容，生成圖像自然，原始人臉五官特征未受影響。對比CycleGAN網(wǎng)絡(luò)生成圖，無論遷移的是亞洲妝容還是歐美妝容，本文方法生成圖都更符合實際參考妝容，CycleGAN在遷移過程中丟失了許多人臉細節(jié)特征，面部膚色有所丟失，在唇部對比更加明顯，對比驗證了本文改進的有效性。

4 結(jié)論

隨著我國航天事業(yè)的不斷發(fā)展，以空間站為基礎(chǔ)的太空科研及教學(xué)任務(wù)必將逐漸增加，工作的視頻和圖像的美感及周邊設(shè)備外形特征隱匿、更改需求也越來越受到關(guān)注，通過文章設(shè)計與實驗驗證的妝容遷移技術(shù)，實現(xiàn)了航天員通過計算機技術(shù)實現(xiàn)電子化上妝，可實現(xiàn)在資源有限的太空站中，依然保持良好形象及周邊設(shè)備外形特征更改的需求。經(jīng)實驗驗證，本文使用的妝容遷移技術(shù)不僅不會改變航天員的身份信息，還可以根據(jù)需求實現(xiàn)多種妝容遷移，美化航天員在公眾面前的形象，同時還可用于更改設(shè)備圖像的特征，保護國家秘密。本文所述方法是目前電子妝容遷移技術(shù)中上妝效果較為理想的技術(shù)之一，能夠在提升航天員形象中起到輔助作用。

圖3 妝容遷移效果圖Fig.3 Makeup transfer effect pictures