萬(wàn)園園， 王雨青， 張曉寧， 李荅群， 陳小林*

(1. 中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033；2. 中國(guó)科學(xué)院大學(xué)，北京 100049)

1 引 言

圖像彩色化實(shí)質(zhì)就是為灰度圖像的每一個(gè)像素分配顏色[1]。該技術(shù)在機(jī)器視覺(jué)、圖像修復(fù)和影視制作等方面具有重要的應(yīng)用價(jià)值?，F(xiàn)有的彩色化方法有傳統(tǒng)彩色化方法和基于深度學(xué)習(xí)的彩色化方法。

傳統(tǒng)的彩色化方法可分成兩種：基于局部顏色擴(kuò)展的方法[1-4]和基于參考圖的顏色傳遞的方法[1-4]。其中，基于局部顏色擴(kuò)展的方法需要人為在灰度圖像上進(jìn)行顏色涂鴉，需要的用戶(hù)操作量較大，在顏色擴(kuò)散過(guò)程中易出現(xiàn)邊緣誤擴(kuò)散等問(wèn)題?；趨⒖紙D的顏色傳遞的方法需要選擇一張與待彩色化灰度圖相似的彩色圖進(jìn)行顏色遷移，雖然此類(lèi)方法減小了用戶(hù)操作量，但是對(duì)參考圖的依賴(lài)程度高。由于傳統(tǒng)算法受人工干預(yù)影響較大，且效率不高，在這個(gè)圖像海量化的信息時(shí)代已經(jīng)不再適用。

目前，基于深度學(xué)習(xí)的彩色化算法已經(jīng)能實(shí)現(xiàn)自動(dòng)彩色化。如Cheng[1]等人利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取灰度圖特征，使用聯(lián)合雙邊濾波進(jìn)行后續(xù)處理，實(shí)現(xiàn)了較好的彩色化效果。Iizuka[2]等人利用雙流結(jié)構(gòu)，融合灰度圖像的局部特征和全局特征，并添加標(biāo)簽分類(lèi)來(lái)實(shí)現(xiàn)顏色預(yù)測(cè)，但生成圖像的顏色飽和度較低且細(xì)節(jié)損失較多。Zhang[3]等人將圖像彩色化問(wèn)題轉(zhuǎn)化成對(duì)像素點(diǎn)顏色的分類(lèi)問(wèn)題，將飽和度高的顏色賦予高權(quán)重來(lái)獲得鮮艷的顏色，但是容易造成顏色溢出的問(wèn)題。Larsson[4]等人使用VGG網(wǎng)絡(luò)來(lái)解釋場(chǎng)景的語(yǔ)義組成和對(duì)象的定位，但仍存在細(xì)節(jié)損失等問(wèn)題。

近些年，生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)因其特殊的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練機(jī)制，在超分辨重建[5]、圖像合成[6]與風(fēng)格轉(zhuǎn)換[7]等領(lǐng)域都取得了巨大的成功。受此啟發(fā)，GAN網(wǎng)絡(luò)也被用來(lái)解決圖像彩色化的問(wèn)題。Isola等[8]人提出使用U-Net與GAN相結(jié)合的方法，在一定程度上提升了彩色化效果。后來(lái)Nazeri等[9]利用條件生成對(duì)抗網(wǎng)絡(luò)[8](conditional Generative Adversarial Network, cGAN)來(lái)還原彩色化的過(guò)程。Cao等[10]也通過(guò)在cGAN的多個(gè)卷積層中添加噪聲來(lái)增加彩色化效果的多樣性，但彩色化后顏色溢出的現(xiàn)象仍未改善。ChromaGAN[11]是Patricia等人提出來(lái)的一種最新的對(duì)抗性彩色化算法，他們把圖像場(chǎng)景分類(lèi)引入GAN網(wǎng)絡(luò)，通過(guò)對(duì)顏色信息和類(lèi)別分布的感知來(lái)實(shí)現(xiàn)灰度圖像彩色化，可改善場(chǎng)景彩色化錯(cuò)誤的現(xiàn)象。由于以上基于GAN的彩色化方法均利用相對(duì)較淺的低維特征，對(duì)圖像的全局語(yǔ)義信息(例如場(chǎng)景的布局)理解不足，從而易導(dǎo)致顏色溢出等現(xiàn)象，且在特征提取時(shí)存在一定程度的細(xì)節(jié)損失。

針對(duì)以上問(wèn)題，本文提出一種結(jié)合全局語(yǔ)義優(yōu)化的生成對(duì)抗彩色化算法。通過(guò)對(duì)輸入圖像進(jìn)行下采樣獲取多層特征和全局特征，并在跳躍連接中將得到的全局特征分別與多尺度層級(jí)特征融合來(lái)提升對(duì)圖像整體語(yǔ)義信息的理解能力，且在上采樣過(guò)程中引入通道注意力機(jī)制來(lái)抑制噪聲和降低冗余特征的權(quán)重，增強(qiáng)有用特征的學(xué)習(xí)能力[13]。同時(shí)搭建判別網(wǎng)絡(luò)，動(dòng)態(tài)化地評(píng)價(jià)生成圖像的質(zhì)量，進(jìn)一步提升顏色的豐富程度。本文的損失函數(shù)在傳統(tǒng)顏色損失的基礎(chǔ)上引入帶梯度懲罰的Wasserstein生成對(duì)抗網(wǎng)絡(luò)[13-14](Wasserstein Generative Adversarial Net-work with Gradient Penalty, WGAN-GP) 的優(yōu)化思想，用Wasserstein距離[15-16]度量真假樣本，以解決傳統(tǒng)GAN在訓(xùn)練過(guò)程中出現(xiàn)的梯度消失和模式崩潰等問(wèn)題。實(shí)驗(yàn)證明，相比于目前主流算法，本文算法的彩色化效果有一定提升。

2 全局語(yǔ)義優(yōu)化的對(duì)抗性彩色化算法

由于傳統(tǒng)的RGB模型并不能直觀地反映亮度信息，因此先把圖像轉(zhuǎn)換成Lab模型。生成網(wǎng)絡(luò)的輸入為亮度L通道。生成網(wǎng)絡(luò)主要包括3部分：下采樣、特征融合和上采樣。首先下采樣提取多尺度層級(jí)特征和全局特征，然后在跳躍連接中將得到的全局特征與每個(gè)尺度的層級(jí)特征融合，接著在上采樣過(guò)程中重構(gòu)圖像，最終預(yù)測(cè)輸出三通道Lab的彩色圖。之后將生成的彩色圖和真實(shí)的彩色圖輸入判別網(wǎng)絡(luò)中進(jìn)行識(shí)別。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)在動(dòng)態(tài)博弈中不斷增強(qiáng)性能，最終達(dá)到生成高質(zhì)量圖像的目的。

2.1 生成網(wǎng)絡(luò)

本文的生成網(wǎng)絡(luò)在U-Net[18]網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，加深了網(wǎng)絡(luò)深度并引入自適應(yīng)特征融合模塊和注意力機(jī)制。具體結(jié)構(gòu)如圖1所示。

其中，為了減少最大池化帶來(lái)的信息丟失，本文采用卷積核為4，步幅為2，填充為1的卷積層逐步下采樣，依次獲得不同尺度的層級(jí)特征和全局特征。本文在跳躍連接添加特征融合模塊分別將全局特征和多尺度層級(jí)特征進(jìn)行自適應(yīng)融合。由于層級(jí)特征提取的是感受野相對(duì)較小的局部信息，而全局特征具有從整個(gè)圖像的感受野中提取的高維信息(如場(chǎng)景布局和類(lèi)型等),因此全局特征可作為一種先驗(yàn)信息來(lái)增強(qiáng)各個(gè)尺度的層級(jí)特征[2,17]，而且這兩種特征的融合形成了對(duì)圖像信息的高效表達(dá)，有利于生成顏色自然且細(xì)節(jié)豐富的圖像。

與此同時(shí)，在上采樣中將得到的全局特征逐漸恢復(fù)高分辨率來(lái)構(gòu)建圖像。由于轉(zhuǎn)置卷積易產(chǎn)生棋盤(pán)格噪聲，本文采用雙線性插值和4×4的卷積層組合的方式代替轉(zhuǎn)置卷積來(lái)擴(kuò)大圖像尺寸。隨后，按照U-Net的思想，在每個(gè)尺度下將已增強(qiáng)的低維層級(jí)特征通過(guò)跳躍連接與上采樣的高維特征拼接融合，共享低維特征的空間信息和細(xì)節(jié)信息[15,17]。為了提升算法特征學(xué)習(xí)的性能，添加了通道注意力機(jī)制[18]對(duì)融合之后的特征進(jìn)行通道加權(quán)，抑制噪聲同時(shí)更關(guān)注與任務(wù)相關(guān)的特征通道。

2.1.1 自適應(yīng)特征融合模塊

由于提取的層級(jí)特征感受野較小，主要包含局部特征信息。一般來(lái)說(shuō)，全局特征反應(yīng)圖像的整體結(jié)構(gòu)，例如場(chǎng)景布局和類(lèi)型等[17]。局部特征更加注重圖像的細(xì)節(jié)信息，反應(yīng)圖像區(qū)域內(nèi)更詳細(xì)的變化。兩者融合可以有效獲取豐富的特征信息，并且能增強(qiáng)算法全局語(yǔ)義信息的理解能力。因此，本文在不同尺度上通過(guò)特征融合模塊動(dòng)態(tài)的將全局特征和包含局部信息的層級(jí)特征進(jìn)行融合，如圖2所示。

圖2 特征融合模塊結(jié)構(gòu)Fig.2 Structure of feature fusion block

假設(shè)層級(jí)特征圖fl的尺寸為H×W×Cl,全局特征圖fg的尺寸為1×1×Cg。首先將全局特征fg經(jīng)過(guò)1×1的卷積層進(jìn)行調(diào)整，該卷積層可自適應(yīng)地從全局特征中提取最有用的信息來(lái)增強(qiáng)通道數(shù)為Cl的層級(jí)特征。然后把卷積之后的全局特征復(fù)制H×W次，使得到的全局特征尺度與待融合的層級(jí)特征尺度一致。最后將全局特征與層級(jí)特征進(jìn)行拼接融合，輸出的特征尺寸為H×W×Cl。融合公式如下：

(1)

其中W是一個(gè)Cl×2Cl的權(quán)重矩陣，而b是一個(gè)維度為Cl的向量，W和b都是網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)。

2.1.2 注意力模塊

U-Net結(jié)構(gòu)的優(yōu)勢(shì)就是將下采樣的多尺度特征通過(guò)跳躍連接在上采樣過(guò)程中進(jìn)行整合，使得語(yǔ)義信息豐富的高維特征和包含細(xì)節(jié)信息的低維特征互補(bǔ)，增強(qiáng)算法的性能。但是融合之后的特征層也包含了噪聲響應(yīng)和冗余特征信息，會(huì)對(duì)圖像彩色化造成干擾。因此，為了能高效地從特征模塊中獲取有用特征信息，引入了通道注意力機(jī)制使網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)各個(gè)特征通道的相互依賴(lài)關(guān)系，抑制噪聲并增強(qiáng)有用特征通道的權(quán)重。注意力機(jī)制模塊結(jié)構(gòu)如圖3所示。

圖3 注意力模塊結(jié)構(gòu)Fig.3 Structure of attention block

輸入和輸出的特征圖尺寸均為H×W×C，首先對(duì)輸入的特征圖進(jìn)行全局平均池化，得到一個(gè)1×1×C的特征圖。從某種程度來(lái)說(shuō)，該特征圖具有全局感受野，可看作是對(duì)各個(gè)通道的描述。全局平均池化公式如下：

(2)

其中，uc(i,j)表示輸入特征圖的第c個(gè)通道內(nèi)位置為(i,j)的像素值，Z為全局平均池化后的特征圖。隨后將特征圖Z經(jīng)過(guò)兩個(gè)級(jí)聯(lián)的卷積層和激活層來(lái)學(xué)習(xí)各個(gè)特征通道的相關(guān)性。第一個(gè)卷積層對(duì)特征通道生成尺度為1×1×C/16的特征圖，第二個(gè)卷積層再把特征圖擴(kuò)展回1×1×C，經(jīng)過(guò)sigmoid函數(shù)激活輸出得到每個(gè)特征通道的重要性。最后得到的特征權(quán)重通過(guò)乘法加權(quán)在輸入的特征上，從而達(dá)到抑制噪聲和增強(qiáng)與任務(wù)相關(guān)的特征通道權(quán)重的目的[18]，在一定程度上提升了算法的性能。

2.2 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)的目標(biāo)是盡可能地區(qū)分生成圖像和真實(shí)圖像，本文判別網(wǎng)絡(luò)由5層全卷積層構(gòu)成，詳細(xì)結(jié)構(gòu)如表1所示。

表1 判別網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Structure of discriminator

判別網(wǎng)絡(luò)前4層采用的是步長(zhǎng)為2的4×4卷積層，同時(shí)每次下采樣之后特征圖的通道數(shù)加倍，每個(gè)卷積層后采用Leaky Relu激活函數(shù)。判別網(wǎng)絡(luò)的最后一層將特征圖映射成單通道輸出。判別網(wǎng)絡(luò)的輸入是生成網(wǎng)絡(luò)生成的彩色圖和與之對(duì)應(yīng)的真實(shí)彩色圖，經(jīng)過(guò)判別網(wǎng)絡(luò)處理之后返回輸入圖像是真或假的概率值。判別網(wǎng)絡(luò)對(duì)生成圖像進(jìn)行評(píng)估判別，通過(guò)優(yōu)化損失函數(shù)，反向傳播誤差調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，以進(jìn)一步改善生成網(wǎng)絡(luò)的彩色化效果。

2.3 目標(biāo)損失函數(shù)的設(shè)計(jì)

傳統(tǒng)GAN大多基于JS散度進(jìn)行優(yōu)化，而JS散度易發(fā)散從而導(dǎo)致產(chǎn)生梯度消失的現(xiàn)象，不利于生成網(wǎng)絡(luò)進(jìn)一步的學(xué)習(xí)。WGAN-GP網(wǎng)絡(luò)采用了Wasserstein距離[14]作為判別真假圖像的依據(jù)，且在損失函數(shù)中添加了梯度懲罰使得判別網(wǎng)絡(luò)滿(mǎn)足1-Lipschitz限制，以解決傳統(tǒng)GAN在訓(xùn)練過(guò)程中產(chǎn)生的梯度消失和模式崩潰等問(wèn)題。

本文將WGAN-GP的優(yōu)化思想與顏色損失相結(jié)合來(lái)設(shè)計(jì)算法的損失函數(shù)。生成網(wǎng)絡(luò)的損失包括顏色損失和對(duì)抗損失兩部分，具體表達(dá)式如下：

Lg(G,D)=LC(G)+λ1Ladv(G,D)，

(3)

其中：LC表示顏色損失，Ladv表示對(duì)抗損失。由于Ladv∶LC=1 000∶1，通常情況下，當(dāng)對(duì)抗損失為主導(dǎo)時(shí)，會(huì)使得網(wǎng)絡(luò)權(quán)重被帶偏，因此需要設(shè)置λ1用于平衡兩類(lèi)損失?？紤]到算法的主要任務(wù)是學(xué)習(xí)顏色信息，實(shí)驗(yàn)設(shè)置λ1為1e-4，使得顏色損失占據(jù)主導(dǎo)地位。

對(duì)抗損失的具體定義如式4：

(4)

Pg表示生成彩色圖的數(shù)據(jù)分布，顏色損失LC表達(dá)式如式(5)所示，它是計(jì)算真實(shí)彩色圖與生成彩色圖的L1距離得到的。相比于L2損失，L1損失能較少生成圖像細(xì)節(jié)模糊的現(xiàn)象。其中Pr表示真實(shí)彩色圖的數(shù)據(jù)分布。

(5)

其次，判別網(wǎng)絡(luò)的損失函數(shù)引入了Wasserstein距離[14]，公式表達(dá)如式(6)所示。

(6)

公式前兩項(xiàng)表示真實(shí)數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的Wasserstein距離。權(quán)重λ取10。Lgp表示梯度懲罰項(xiàng)，公式定義為：

(7)

(8)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境與設(shè)置

本實(shí)驗(yàn)在Pytorch深度學(xué)習(xí)框架下實(shí)現(xiàn)，利用TITAN RTX加速訓(xùn)練。選用Place365場(chǎng)景數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練，該數(shù)據(jù)集包含365個(gè)不同場(chǎng)景的180多萬(wàn)張圖片。訓(xùn)練之前先將數(shù)據(jù)集里少量灰度圖和場(chǎng)景灰暗的圖片濾除以保證算法能更好地學(xué)習(xí)顏色信息，處理之后最終選取1 687 424張圖片作為訓(xùn)練集，10 000張圖像為測(cè)試集。

首先將輸入圖片顏色空間從RGB轉(zhuǎn)化成Lab，將L通道作為生成網(wǎng)絡(luò)的輸入。由于網(wǎng)絡(luò)存在尺度為1×1×C的全局特征，需要固定輸入尺寸的大小，實(shí)驗(yàn)選用256×256的輸入圖像。算法采用Adam算法優(yōu)化損失函數(shù)，初始學(xué)習(xí)率lr=0.000 1，β1=0.5,β2= 0.999，權(quán)重衰減為0.005。每批次大小為32，共訓(xùn)練10個(gè)周期，訓(xùn)練期間每迭代1 000個(gè)批次進(jìn)行一次驗(yàn)證輸出，觀察算法的彩色化效果。

3.2 評(píng)價(jià)指標(biāo)

為了評(píng)估算法的彩色化效果，本文分別從定性和定量?jī)蓚€(gè)方面進(jìn)行分析。定性分析主要從視覺(jué)效果上進(jìn)行評(píng)價(jià)，定量分析采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、結(jié)構(gòu)相似性(Structural Similarity,SSIM)和信息熵(Information Entropy，IE)作為評(píng)價(jià)指標(biāo)。峰值信噪比是一種使用廣泛的客觀評(píng)價(jià)指標(biāo)，其數(shù)值越大表示失真越小。結(jié)構(gòu)相似性是衡量?jī)煞鶊D像相似度的指標(biāo)，而信息熵表示的是圖像包含信息的豐富程度，信息熵越大，圖像信息越豐富，圖像質(zhì)量越好。

3.3 不同算法的結(jié)果對(duì)比

為了證明本文算法的有效性，將本文算法與現(xiàn)有彩色化算法[2-4,11]進(jìn)行比較。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 不同彩色化算法結(jié)果對(duì)比Fig.4 Result comparison of different colorization algorithms

首先針對(duì)顏色溢出的問(wèn)題，例如第1行中，由于缺乏對(duì)圖像全局語(yǔ)義的理解，文獻(xiàn)[2,4]算法傾向于把跑道賦予天空的藍(lán)色，文獻(xiàn)[3,11]算法稍好一些，但也將原本紅色的跑道混合了少量藍(lán)色，而本文算法較好地將跑道的顏色恢復(fù)出來(lái)。在第2行，文獻(xiàn)[3]算法生成了更接近真實(shí)圖像飽和度高的紅色，而鮮艷紅色也違和地出現(xiàn)在輪胎上，文獻(xiàn)[2,4,11]算法得到的顏色飽和度較低且顏色不連續(xù)，本文算法在保持顏色飽和度較高的同時(shí)，也沒(méi)有出現(xiàn)顏色溢出的現(xiàn)象。在第3行，文獻(xiàn)[3]生成了紫色和黃色混合的花朵，呈現(xiàn)不自然的彩色化效果，文獻(xiàn)[2]花瓣的顏色飽和度較低且分布不均勻，文獻(xiàn)[4]的顏色鮮艷但是沒(méi)有還原花蕊的顏色信息，文獻(xiàn)[11]突出花蕊的細(xì)節(jié)信息，而有部分花瓣混合少量綠色。相較之下，本文算法生成的花朵顏色鮮艷且突出花蕊細(xì)節(jié)信息，在一定程度上能夠減少顏色溢出。

針對(duì)細(xì)節(jié)損失的問(wèn)題，在第4行，本文算法還原了泳池顏色這個(gè)細(xì)節(jié)信息，而且周?chē)牟莸貥?shù)木也呈現(xiàn)較好的彩色化效果。其他算法均沒(méi)有給泳池賦予恰當(dāng)?shù)念伾境刂車(chē)牟莸氐纫舱w呈現(xiàn)灰褐色。在第5行中，其他算法都忽略水果筐的顏色細(xì)節(jié)，且對(duì)水果的顏色恢復(fù)較差，而本文算法不僅還原了水果筐的顏色細(xì)節(jié)，而且圖像整體顏色也更接近真實(shí)圖像。

通過(guò)以上對(duì)比可知，本文算法在保持較飽和顏色信息的同時(shí)，一定程度上也能夠緩解顏色溢出和細(xì)節(jié)損失等問(wèn)題。

同時(shí)，為了從客觀的角度證明本文算法的優(yōu)越性。采用3.2介紹的3種評(píng)價(jià)指標(biāo)，對(duì)多種彩色化算法結(jié)果進(jìn)行定量評(píng)估，對(duì)比結(jié)果如表2所示。表中計(jì)算的結(jié)果是對(duì)于所有測(cè)試集圖像的指標(biāo)平均值?？梢杂^察到，對(duì)于相同的測(cè)試圖片，本文算法具有更好的評(píng)價(jià)指標(biāo)，證明本文算法生成的彩色圖相比于其他幾種算法彩色化效果更佳。

表2 不同算法結(jié)果對(duì)比Tab.2 Result comparison of different algorithms

以上各種算法處理256×256尺寸大小的圖像平均所需時(shí)間如表3所示。

表3 不同算法處理時(shí)間Tab.3 Different algorithms processing time

3.4 消融實(shí)驗(yàn)

本實(shí)驗(yàn)采用不同的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，來(lái)驗(yàn)證GAN結(jié)構(gòu)和各模塊對(duì)算法性能的影響。(1)原始U-Net+GAN；(2)U-Net+GF+GAN：GAN的生成網(wǎng)絡(luò)在U-Net基礎(chǔ)上添加全局特征優(yōu)化模塊；(3)本文算法：U-Net+GF+Attention+GAN，生成網(wǎng)絡(luò)繼續(xù)添加通道注意力模塊；(4)本文算法去除GAN：U-Net+GF+Attention，單獨(dú)訓(xùn)練本文算法的生成網(wǎng)絡(luò)G。前3種生成網(wǎng)絡(luò)復(fù)雜度依次升高，可分別驗(yàn)證全局特征優(yōu)化和通道注意力的作用，最后只訓(xùn)練本文算法的生成網(wǎng)絡(luò)G，來(lái)驗(yàn)證GAN結(jié)構(gòu)對(duì)彩色化效果的影響。

由表4可知，添加全局特征優(yōu)化模塊后，相比于原始的U-Net結(jié)構(gòu)，各項(xiàng)指標(biāo)均有所提升，說(shuō)明全局特征與多尺度層級(jí)特征的融合有利于生成質(zhì)量更高的圖像。通道注意力模塊的添加進(jìn)一步增強(qiáng)算法的性能。而只訓(xùn)練本文算法的生成網(wǎng)絡(luò)，評(píng)價(jià)指標(biāo)均有所下降，證明GAN結(jié)構(gòu)對(duì)圖像彩色化有一定提升效果。具體效果如圖5所示。

表4 各模塊作用驗(yàn)證Tab.4 Effect validation of each module

原始U-Net結(jié)構(gòu)的生成網(wǎng)絡(luò)容易出現(xiàn)顏色溢出的現(xiàn)象，如圖5(a)把房子的屋頂和部分墻面都賦予了天空的藍(lán)色，且忽略了房子旁邊的指示牌的顏色信息。添加全局特征優(yōu)化模塊也相當(dāng)于引入了全局語(yǔ)義優(yōu)化，如圖5(b)屋頂和墻面的藍(lán)色去除，圖像的邊界更加清晰，指示牌也還原了較淺的紅色。說(shuō)明全局特征優(yōu)化模塊一定程度上增強(qiáng)了算法對(duì)圖像的整體信息的理解，有利于減少顏色溢出的現(xiàn)象。接著再添加完通道注意力模塊后(圖5(c)),指示牌和門(mén)等細(xì)節(jié)的顏色信息都有少許的加深。由此可知，全局特征優(yōu)化模塊與通道注意力模塊對(duì)算法性能都有不同程度的提升效果。而在本文算法的基礎(chǔ)上去除GAN結(jié)構(gòu)訓(xùn)練得到的效果圖(圖5(d))，雖然緩解了顏色溢出的問(wèn)題，但是顏色的飽和度和圖像質(zhì)量都不如本文算法的效果圖(圖5(e))。這說(shuō)明GAN網(wǎng)絡(luò)有利于生成彩色化效果更好的圖像。

圖5 不同網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果對(duì)比Fig.5 Result comparison of different network structures

4 結(jié) 論

本文提出的彩色化算法是基于一種對(duì)抗策略，將全局特征與多尺度層級(jí)特征融合來(lái)捕捉圖像的全局語(yǔ)義信息，并且引入通道注意力模塊，通過(guò)抑制噪聲和增強(qiáng)與任務(wù)相關(guān)的特征通道的權(quán)重，以提高算法的性能。同時(shí)本算法的損失函數(shù)還在WGAN-GP的優(yōu)化基礎(chǔ)上添加顏色損失，便于網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，該算法在主觀視覺(jué)上和評(píng)價(jià)指標(biāo)上都取得了較好的效果。其中在Place365測(cè)試集上PSNR和SSIM指標(biāo)分別達(dá)到24.455 dB和0.943。而且通過(guò)消融實(shí)驗(yàn)證明了全局特征與多尺度層級(jí)特征融合模塊、注意力模塊和GAN網(wǎng)絡(luò)結(jié)構(gòu)對(duì)算法性能的提升都起到了實(shí)質(zhì)性的作用。相比于以往算法，本文算法在全局語(yǔ)義信息理解、圖像細(xì)節(jié)保持和顏色飽和度方面有較好的優(yōu)勢(shì)。