郭 燕，吳志強，何彥輝

1(中國科學(xué)技術(shù)大學(xué) 蘇州研究院，江蘇 蘇州 215123) 2(中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，江蘇 蘇州 215123)

1 引 言

在漫畫的創(chuàng)作過程中，著色是非常重要的步驟，對漫畫著色不僅需要較好的繪畫技術(shù)，而且非常耗時.因此一種對漫畫進(jìn)行自動著色的系統(tǒng)將非常實用，可以滿足很多用戶的繪畫需求并大大提高工作效率.本文提出了基于對抗生成網(wǎng)絡(luò)[1]的分階段漫畫著色模型，對漫畫線稿進(jìn)行自動著色，并可以得到滿意的著色結(jié)果.

漫畫從線稿到著色的過程可以看作是圖像生成任務(wù)[2].早期的很多圖像生成任務(wù)基于非參數(shù)模型實現(xiàn)[3]，隨著深度學(xué)習(xí)的出現(xiàn)，提出了很多基于深度學(xué)習(xí)的圖像生成模型[4].這些基于深度學(xué)習(xí)的圖像生成模型當(dāng)前主要用于真實照片的生成任務(wù)，例如語義分割[5]、黑白照片著色[6]等.

已有的漫畫著色模型[7]在很大程度上借鑒了黑白照片著色模型的思想.黑白照片著色模型使用編碼器解碼器結(jié)構(gòu)實現(xiàn)，模型對輸入的黑白照片進(jìn)行一系列下采樣來獲得特征信息，然后對獲得的特征信息進(jìn)行反卷積[8]操作，上采樣得到著色結(jié)果.雖然這種方式可以完成黑白照片的著色，但直接的反卷積操作會對漫畫著色產(chǎn)生負(fù)面影響.相比于真實照片，漫畫的線稿沒有豐富的圖像紋理、陰影等信息.如在測試部分所看到的，特別是由于紋理信息的缺失，如果直接將這些方法遷移至漫畫著色任務(wù)，會存在很多問題.譬如生成的著色結(jié)果會出現(xiàn)大量棋盤狀，嚴(yán)重影響美觀.同時直接編碼解碼會丟失很多底層信息，在解碼器進(jìn)行漫畫著色的時候會由于底層信息丟失，著色位置出現(xiàn)偏差.本文第5部分進(jìn)行了對比實驗，驗證了反卷積在漫畫著色的場景中存在的缺陷.

為了解決這個問題，本文提出了一個分階段的漫畫著色模型.在第1階段，使用基于U-net[9]的條件生成網(wǎng)絡(luò)[10]，同時為了保留更多的底層漫畫信息，在生成器的設(shè)計中引入了inception[11]和resnet[12]結(jié)構(gòu).第1階段的主要作用是在對線稿進(jìn)行大體著色的基礎(chǔ)上，豐富漫畫的紋理，為第2階段的任務(wù)提供更多顏色和紋理信息.第1階段可以生成主要的顏色、

圖1 原稿-線稿-提示色-著色Fig.1 From sketch to colored comic

紋理信息，但存在較多的噪聲信息.第2階段使用第1階段的生成結(jié)果作為第2階段的模型輸入，并使用迭代反射網(wǎng)絡(luò)[13]來處理噪聲信息問題.通過迭代，糾正第1階段的著色錯誤信息，以達(dá)到理想的著色效果.圖1示出了漫畫著色的整個過程，從左上到右下依次是漫畫的原稿、線稿、提示顏色、模型著色最終效果.

2 相關(guān)工作和本文貢獻(xiàn)

2.1 對抗生成網(wǎng)絡(luò)

自2014年提出對抗生成網(wǎng)絡(luò)(GAN)后，GAN就被廣泛用于各個領(lǐng)域.對抗生成網(wǎng)絡(luò)包括生成器和判別器兩個部分，生成器從先驗分布的隨機信號中生成模擬樣本，判別器則接受生成器生成的樣本或接受真實的樣本，以此判別其來源，兩個部分進(jìn)行對抗訓(xùn)練來達(dá)到平衡.普通的生成網(wǎng)絡(luò)從隨機信號開始學(xué)習(xí)，而條件生成網(wǎng)絡(luò)則需要依靠先驗的條件信息進(jìn)行生成，這樣增大了條件生成網(wǎng)絡(luò)的靈活性，可以通過條件控制生成結(jié)果.條件生成網(wǎng)絡(luò)的先驗信息可以是文本、圖像、顏色等，因此本文利用條件生成網(wǎng)絡(luò)這一特性來對漫畫進(jìn)行著色.

2.2 pix2pix

Pix2pix模型[14]的提出是為了解決圖像翻譯問題，其模型的主體框架由一個生成網(wǎng)絡(luò)構(gòu)成.對于圖像翻譯問題，模型輸入和輸出的外在表現(xiàn)形式雖然是不同的，但是它們之間卻有相同的潛在底層信息.Pix2pix模型為了保留這些底層信息，其生成器被設(shè)計為U-net結(jié)構(gòu)，同時在生成器的編碼解碼階段應(yīng)用了跨連接的結(jié)構(gòu).Pix2pix的作者將其應(yīng)用在了很多不同的圖像翻譯任務(wù)中，都達(dá)到了比較好的效果.就漫畫著色的本質(zhì)而言，也是一種圖像翻譯的任務(wù).

2.3 U-net

U-net網(wǎng)絡(luò)是基于CNN的圖像分割網(wǎng)絡(luò)，主要用于醫(yī)學(xué)圖像分割.這一網(wǎng)絡(luò)分為下采樣和上采樣兩個階段，下采樣通過卷積計算得到圖像的隱層特征，上采樣將隱層特征復(fù)原得到目標(biāo)圖像.網(wǎng)絡(luò)結(jié)構(gòu)中只有卷積層和池化層，沒有全連接層.在網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建中，較淺的層用來獲得高分辨率的特征解決像素定位的問題，較深的層用來獲得低分辨率的特征解決像素分類的問題，從而實現(xiàn)圖像語義級別的分割.與全連接神經(jīng)網(wǎng)絡(luò)[5]不同的是，U-net的上采樣階段與下采樣階段中的卷積操作是一一對應(yīng)的，同時在這兩個階段中對應(yīng)層使用了跨連接結(jié)構(gòu)將其相連，使得下采樣層提取的特征可以直接傳遞到上采樣層，這使得U-net網(wǎng)絡(luò)的像素定位更加準(zhǔn)確，分割精度更高.

2.4 迭代反射網(wǎng)絡(luò)

迭代反射網(wǎng)絡(luò)(Deep Back-projection network)的提出主要是用于圖片超分辨率[15].在DBPN網(wǎng)絡(luò)出現(xiàn)之前，基于深度學(xué)習(xí)的圖片超分辨率主要分為兩個步驟，首先通過卷積運算從低分辨的圖片中學(xué)習(xí)到特征信息，然后將這些特征信息映射到高分辨率的圖片結(jié)果中.對比其它網(wǎng)絡(luò)，DBPN網(wǎng)絡(luò)中迭代的錯誤糾正機制能夠?qū)W習(xí)低分辨率圖片和高分辨率圖片之間的對應(yīng)關(guān)系，并達(dá)成滿意的超分辨率效果.在漫畫著色的第2階段中引入了DBPN網(wǎng)絡(luò)的思想，通過對第1階段的顏色錯誤信息進(jìn)行糾正來達(dá)到理想的著色結(jié)果.

2.5 本文貢獻(xiàn)

本文針對漫畫著色問題，提出了一個兩階段著色模型.該模型能根據(jù)漫畫線稿和相應(yīng)顏色提示信息，對漫畫線稿進(jìn)行自動著色.兩階段具體描述如下：

第1階段.第1階段模型主要根據(jù)漫畫線稿和相應(yīng)顏色提示，繪出漫畫主體顏色并勾勒出漫畫紋理.雖然這一階段可以達(dá)到基本著色要求，但因為缺少完善的漫畫具體細(xì)節(jié)，會出現(xiàn)較多的雜亂顏色.該階段的主要目的是為第2階段提供更多的顏色紋理信息.

第2階段.第2階段模型的目的是對第1階段著色結(jié)果的錯誤顏色信息進(jìn)行糾正.該階段模型的輸入是第1階段模型產(chǎn)生的漫畫著色結(jié)果，通過迭代地糾正顏色錯誤信息來改善漫畫著色結(jié)果，最終產(chǎn)生理想的著色效果.

3 模型結(jié)構(gòu)

3.1 預(yù)備工作

生成對抗網(wǎng)絡(luò)由兩個相關(guān)的網(wǎng)絡(luò)模塊組成，也即生成器模塊和判別器模塊，生成器主要是用來得到真實數(shù)據(jù)的分布，判別器則通過對樣本進(jìn)行評估，判斷樣本是來自于生成器還是真實樣本，并對生成器模型進(jìn)行優(yōu)化.訓(xùn)練過程中這兩個部分交替進(jìn)行訓(xùn)練.模型中的生成器和判別器都使用深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn).理想情況下模型的訓(xùn)練會達(dá)到納什均衡.為了模型訓(xùn)練的穩(wěn)定，文中用Wasserstein距離[16]進(jìn)行訓(xùn)練，算法的公式如式(1)所示：

(1)

其中，x是來自于真實的樣本數(shù)據(jù)分布pdata，z是來自于先驗分布pz的隨機噪音(例如，均勻分布和高斯分布).條件生成網(wǎng)絡(luò)是對生成對抗網(wǎng)絡(luò)的擴(kuò)展，在條件生成網(wǎng)路中生成器和判別器都接受額外的條件變量c，相應(yīng)對應(yīng)著G(xmc)和D(x,c).

3.2 第1階段

為解決使用反卷積操作導(dǎo)致的棋盤狀問題，文中采用亞像素卷積(sub-pixel convolution)[17]的方式對生成的特征空間進(jìn)行卷積操作.亞像素卷積可以生成出相應(yīng)倍數(shù)的特征圖，對特征圖進(jìn)行重新組合成最后的結(jié)果.通過這樣的卷積操作方式成功解決了用反卷積出現(xiàn)的問題，實驗也證明了在漫畫著色問題中亞像素卷積相對于反卷積的更適宜性.另一方面，第1階段著色模型中存在的另一主要問題是生成器所需的先驗信息相對較少，頻繁的下采樣會丟失大量的底層信息，為了保留這些底層信息，在編碼解碼過程中采用了跨連接的結(jié)構(gòu)，同時為了獲得不同尺度的底層信息，模型在編碼的過程中使用了res-inception的結(jié)構(gòu)來實現(xiàn).通過以上方式，生成器在解碼操作過程中生成的圖像可以更加貼近實際，不會出現(xiàn)顏色崩壞現(xiàn)象.在實驗部分驗證了該模型的有效性.

第1階段的網(wǎng)絡(luò)模型如圖2所示，網(wǎng)絡(luò)中生成器的輸入是漫畫的線稿和與之對應(yīng)的顏色的提示，條件生成網(wǎng)絡(luò)的判別器除了接受生成的著色結(jié)果外，還接受相應(yīng)的條件信息和漫畫的線稿信息.第1階段的模型會根據(jù)線稿和顏色提示信息來對漫畫進(jìn)行著色，生成初步的著色結(jié)果，第1階段的模型的輸出是yi.

圖2 第1階段的模型結(jié)構(gòu)Fig.2 Network architecture of Stage-I

第1階段模型通過最小化式(2)的目標(biāo)函數(shù)來訓(xùn)練.

(2)

式(2)中x是輸入的漫畫線稿，y是漫畫真實的著色的照片，u是提示顏色，G(x,u)是生成的漫畫著色的照片.判別器D的輸出結(jié)果是對漫畫的評分，評分結(jié)果用來判斷漫畫是來自于真實的樣本空間還是生成的樣本空間中的.

生成器的目標(biāo)是最小化如式(3)所示的生成損失.

LG=x,y～pdata(x,y),u～pdata(u)[log(1-D(x,G(x,u)))]

(3)

同時，加入了L1距離來控制生成漫畫和真實漫畫之間像素級別的相似性，并引入α進(jìn)行損失函數(shù)的權(quán)重控制，最終的損失函數(shù)如式(4)所示：

L1=x,y～pdata(x,y),u～pdata(u)[‖y-G(x,u)‖1]

(4)

最終的目標(biāo)函數(shù)定義為如式(5)所示：

L=LG+αL1

(5)

3.3 第2階段

第1階段只是對漫畫的整體進(jìn)行著色，而漫畫著色任務(wù)中所涉及的細(xì)節(jié)較多，會出現(xiàn)譬如顏色位置混亂、細(xì)節(jié)出現(xiàn)雜色等的問題，第2階段的主要任務(wù)是針對這些問題進(jìn)行修正，以完善第1部分的著色結(jié)果.

為了解決第1階段的著色問題，第2階段構(gòu)建了迭代反射網(wǎng)絡(luò)，其主要是使用迭代的上采樣和下采樣單元，通過學(xué)習(xí)錯誤的殘差來達(dá)到糾正的目的.第2階段的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示，第2階段模型的輸入是第1階段的漫畫著色結(jié)果，模型的最后輸出是最終的著色結(jié)果.網(wǎng)絡(luò)結(jié)構(gòu)包含兩種結(jié)構(gòu)單元，一種是從低分辨率到高分辨率的映射(up-projection)，另一種是從高分辨率到低分辨率的映射(down-projection).其中上采樣單元由式(6)定義.

圖3 第2階段的模型結(jié)構(gòu)Fig.3 Network architecture of the second stage

(6)

同時為了提升模型修正的效果，在第2階段的模型中加入了卷積注意力機制[18]，注意力機制用于特征提取的預(yù)處理，通過訓(xùn)練對不同的部分得出不同的參數(shù)，使得模型對于不同的部分有著不同程度的強調(diào).注意力機制在特征圖通道和空間兩個方面上進(jìn)行計算，公式如式(7)所示：

MC(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=

W0∈C/r×CW1∈C×C/r

(7)

其中，F(xiàn)是輸入的特征圖，AvgPool和MaxPool分別表示平均池化和最大池化，在通道機制中平均池化和最大池化是相對于特征圖的，所以得到大小為1×c(表示通道數(shù))的特征向量.MLP表示多層感知機模型，W0和W1表示全連接層中的權(quán)重，r表示中間特征的縮放率.這個層是兩個網(wǎng)絡(luò)共享的，將經(jīng)過MLP層的兩個結(jié)果進(jìn)行相加通過σ函數(shù)得到最后的通道注意力的特征圖，最后與輸入的特征進(jìn)行元素級的相乘得到的通道注意力的結(jié)果.

空間注意力機制的實現(xiàn)公式如式(8)所示：

Ms(F)=σ(f3×3([AvgPool(F);MaxPool(F)]))=

(8)

與通道注意力的計算不同，公式(8)中平均池化和最大池化是相對于通道的，所以得到的是與特征圖F相同維度的注意力特征圖.首先對平均池化和最大池化特征進(jìn)行連接操作，然后將特征圖用3×3卷積核進(jìn)行特征融合得到最后的空間注意力特征圖.該空間注意力特征圖與原特征進(jìn)行元素級別的乘法得到最后的特征圖.通過注意力機制可以得到更好的提取特征，從而可以得到更好的修正結(jié)果.

第2階段的網(wǎng)絡(luò)模型通過對第1階段的結(jié)果進(jìn)行迭代修正來得到著色結(jié)果.第2階段的目標(biāo)函數(shù)如式(9)所示：

L=

(9)

4 實 現(xiàn)

第1階段的生成器使用了5對編碼器解碼器的卷積神經(jīng)網(wǎng)絡(luò).在編碼的過程中為了獲得不同尺度的特征信息加入了res-inception的結(jié)構(gòu)，res-inception的結(jié)構(gòu)如圖4所示，其中inception的結(jié)構(gòu)是為了獲得不同尺度的語義信息，resnet的結(jié)構(gòu)是為了保留編碼過程中的底層信息.網(wǎng)絡(luò)中所用到的卷積大部分是用3×3或1×1者的卷積核.除了最后一層是Tanh激活函數(shù)，其他的層都是LeakyRelu激活函數(shù)來實現(xiàn)的.在兩個階段的網(wǎng)絡(luò)構(gòu)造中卷積層和激活層之間都加入了BatchNorm層.

其中，res-inception結(jié)構(gòu)中的當(dāng)前層獲得的是前一層網(wǎng)絡(luò)的特征信息，然后通過不同大小的卷積核和池化層來獲得不同尺度的特征信息，兩組相鄰的inception結(jié)構(gòu)構(gòu)成一個整體，殘差結(jié)構(gòu)用來獲得底層信息.這樣既可以保留底層信息也可以得到高層的語義特征，對于漫畫著色有著顯著的提升.網(wǎng)絡(luò)在在構(gòu)建中借鑒了語義分割網(wǎng)絡(luò)的思想，在成對的編碼解碼過程中保留了跨連接的層，這與U-net的結(jié)構(gòu)是相同的.實驗證明了文中所加入的res-inception結(jié)構(gòu)對于信息保留的有效性.在解碼的過程中采用的是亞像素卷積，采用亞像素卷積的方式可以克服反卷積的操作導(dǎo)致的著色結(jié)果中生成的很多棋盤狀的方格等問題，同時也可以有效的對第1階段的漫畫進(jìn)行糾正.

圖4 Res-inception結(jié)構(gòu)Fig.4 Network architecture of the Res-inception

默認(rèn)情況下，在第1階段中各個層的基數(shù)是Ng=64和Nd=64，所以生成器和判別器的層數(shù)都是64的倍數(shù).生成器的輸入是256×256×6的特征圖，包括256×256×3大小的漫畫線稿和與之對應(yīng)的相同大小顏色提示信息.網(wǎng)絡(luò)的輸出是256×256×3的漫畫著色的結(jié)果.在判別器中網(wǎng)絡(luò)的輸入大小是256×256×9的特征圖，也即，除了生成器的輸入外，還包括生成器著色后的輸出.判別器的輸出是32×32×1大小的特征圖，輸出的方式借鑒了patchGAN[19]的思想，在下采樣的過程中通過網(wǎng)絡(luò)的輸出大小來控制輸入空間的特征圖大小，間接的可以控制生成器生成的著色結(jié)果的局部效果.

在第2階段的模型構(gòu)建中，因為顯存的限制，不能同時將兩部分結(jié)合在一起進(jìn)行訓(xùn)練.模型訓(xùn)練中，先迭代的訓(xùn)練第1階段的判別器和生成器20輪，然后再訓(xùn)練第2個階段.在兩個階段的訓(xùn)練中都使用了Adam優(yōu)化器，在訓(xùn)練過程中都使用batch大小為4的數(shù)據(jù)集.初始化的學(xué)習(xí)率是0.02，學(xué)習(xí)率每5輪會進(jìn)行一次衰減.

5 實 驗

5.1 數(shù)據(jù)集

為了訓(xùn)練文中提出的漫畫著色神經(jīng)網(wǎng)絡(luò)，從公開的動漫網(wǎng)站(1)http://safebooru.org/上獲取大約28000多張卡通圖片.因為模型在訓(xùn)練過程中需要用到漫畫原稿和與之對應(yīng)的漫畫線稿，但是配對的數(shù)據(jù)集相對較少不能夠滿足訓(xùn)練需求.為了訓(xùn)練模型，使用Styel2Paints[20]中提取線稿的方法從原始的漫畫照片中提取出與之對應(yīng)的漫畫線稿，從而可以得到充足的配對數(shù)據(jù)集.然后.同時為了便于后面模型的訓(xùn)練，將得到的漫畫照片都切割成了512×512大小.

第1階段的模型生成整體的漫畫顏色，為了控制生成，第1階段中使用的是經(jīng)過縮放的大小的輸入輸出，第1階段的結(jié)果作為第2階段的輸入，第2階段生成最后的結(jié)果512×512大小的輸出.第1階段的顏色提示信息從原始的照片中隨機選取，隨機選取30個正方形色素塊作為輸入，正方形大小隨機從3，4，5，6，7，8中選擇.

測試集是另外獲取的2000張圖片，這2000張數(shù)據(jù)集在訓(xùn)練的數(shù)據(jù)集中沒有出現(xiàn)過，同時人物形象也并不相似，以更好驗證算法的有效性.

5.2 評價指標(biāo)

圖5 各個模型的對比Fig.5 Comparison of different models

對于圖像生成的任務(wù)很難用一個評價標(biāo)準(zhǔn)來進(jìn)行衡量，現(xiàn)有工作中的大部分著色模型，都是通過人為的主觀意識來進(jìn)行打分評判.如果用戶提示顏色與漫畫原稿中的顏色存在很大差異，會使漫畫的著色結(jié)果與原來的顏色存在著很大的不同，在測試階段便只能從視覺的滿意程度上來對其進(jìn)行評判.為了避免上述問題，在測試階段，同樣可以從測試的原稿中提出提示顏色來進(jìn)行著色測試，這樣生成的著色結(jié)果與原稿理論上不會存在著很大的不同.所以在本文進(jìn)行測試實驗的時候，提示色信息從原稿中進(jìn)行提取，這樣可通過比較生成結(jié)果與原稿的PSNR[21]值來對模型進(jìn)行評定.PSNR即峰值信噪比，是一種評價圖像的客觀標(biāo)準(zhǔn)，其中PSNR值的數(shù)學(xué)定義如式(10)所示：

(10)

(11)

5.3 結(jié)果分析

在這一部分將對漫畫著色模型的結(jié)果進(jìn)行分析，對提出的模型的各個部分在數(shù)據(jù)集上進(jìn)行了對比實驗，同時與基準(zhǔn)的模型pix2pix進(jìn)行了對比驗證.

表1示出了針對測試數(shù)據(jù)集的2000張照片，計算平均值得到對于各個模型的PSNR值的結(jié)果，表1對應(yīng)于圖5各個模型的結(jié)果圖.第1階段的模型由前面的3部分組成，表中對各個部分進(jìn)行了對比實驗，通過與baseline的模型pix2pix進(jìn)行對比，驗證了各個部分的有效性.表中的PSNR的值也可以得到每一部分相對于基準(zhǔn)模型的提升.所有的模型都使用相同的數(shù)據(jù)集訓(xùn)練，同時測試數(shù)據(jù)集也使用相同的測試照片.雖然PSNR值只是反映了著色結(jié)果在質(zhì)量上的接受程度，但從圖5可以看出，不同模型有著明顯的質(zhì)量優(yōu)劣的差異.本文的第2階段著色的漫畫人物的表情和形象都更細(xì)膩，著色的結(jié)果更符合漫畫著色的結(jié)果.第2階段成功的改善了第1階段著色結(jié)果從在的缺陷，極大的提升了漫畫著色的質(zhì)量.通過以上的對比試驗，驗證了我們所提出的分階段漫畫著色模型的有效性.

表1 不同模型的PSND值Table 1 PSNR on different models

6 總 結(jié)

本文提出了一種分階段的漫畫著色模型，通過將著色任務(wù)分解成兩個子任務(wù)來實現(xiàn)，明顯提升了漫畫著色結(jié)果的質(zhì)量.在第1階段中，算法用條件生成網(wǎng)絡(luò)來對漫畫主體顏色進(jìn)行填充，這一階段的著色結(jié)果存在很多的錯誤和雜色等問題，但是相對于漫畫的原始線稿，也豐富了漫畫信息，這些信息為第2階段的著色提供了很大的幫助.在第2階段中，通過注意力迭代糾正的機制對第1階段中出現(xiàn)的問題進(jìn)行了改善，最后生成理想的著色結(jié)果.實驗已經(jīng)驗證了此著色模型對于漫畫著色問題的有效性，從數(shù)據(jù)上、實驗結(jié)果的視覺感官體驗上皆可感受到較好的漫畫著色效果.算法從圖像生成任務(wù)出發(fā)，成功構(gòu)建出一個專門針對漫畫著色的模型.實驗中顏色提示信息都是從漫畫原稿中提取的，然而在實際的著色任務(wù)中顏色會更加復(fù)雜多變，因此，后續(xù)的工作將會構(gòu)建一個支持著色模型的前端框架，用戶可以自己挑選顏色提示信息，以提升漫畫著色的靈活性，方便用戶的使用.