楊愛萍, 王朝臣, 王 建, 張騰飛

(天津大學(xué) 電氣自動化與信息工程學(xué)院, 天津 300072)

在降雨天氣采集到的圖像質(zhì)量下降嚴(yán)重,存在紋理遮擋、對比度下降及細(xì)節(jié)丟失等問題,嚴(yán)重影響視覺效果,不利于圖像特征提取及辨識,導(dǎo)致戶外計(jì)算機(jī)視覺系統(tǒng)難以發(fā)揮效用.因此,圖像去雨具有重要的研究意義及應(yīng)用價(jià)值[1].

單幅圖像去雨可分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法.早期工作大多基于核回歸[2-3]、低秩估計(jì)[4-5]、表示學(xué)習(xí)[6]以及字典學(xué)習(xí)[7-8]等方法實(shí)現(xiàn)單幅圖像去雨.該類方法通常將去雨看作圖像分解問題,去雨后的圖像往往存在背景模糊和雨紋殘留現(xiàn)象.為解決這些問題,后續(xù)提出了基于判別稀疏編碼(discriminative sparse coding, DSC)[9]、混合高斯模型(Gaussian mixture model, GMM)[10]和全局稀疏模型[11]等去雨方法,可在一定程度上改善去雨圖像視覺質(zhì)量.但是,傳統(tǒng)方法提取雨紋特征信息不足,無法有效去除雨紋且去雨后圖像視覺效果較差.

近年來,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)憑借其出色的特征提取能力和強(qiáng)大的辨識能力被廣泛用于圖像去雨,基于深度學(xué)習(xí)的圖像去雨方法取得了較大進(jìn)展.Eigen 等[12]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單幅圖像去雨, 其構(gòu)造了一個(gè)三層卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有雨和無雨圖像間的非線性映射.Fu 等[13]提出一種深度細(xì)節(jié)網(wǎng)絡(luò)(deep detail network, DDN),使用引導(dǎo)濾波從雨圖分離出高頻特征,但去雨后的圖像易丟失細(xì)節(jié)信息.Zhang 等[14]提出了一種基于條件生成對抗網(wǎng)絡(luò)的去雨方法(ID-CGAN),但去雨后的圖像不夠自然.Li 等[15]提出了一種分解-合成網(wǎng)絡(luò)結(jié)構(gòu),利用合成結(jié)果指導(dǎo)分解過程,但難以處理暴雨圖像.Pan 等[16]提出了一種雙重卷積神經(jīng)網(wǎng)絡(luò),分別學(xué)習(xí)背景圖像的結(jié)構(gòu)和細(xì)節(jié),再進(jìn)行合成得到去雨圖像.還有一些結(jié)合物理信息構(gòu)建的去雨網(wǎng)絡(luò),包括結(jié)合雨紋密度信息的DID-MDN[17]、結(jié)合運(yùn)動模糊信息的KGCNN[18]、結(jié)合深度信息的DAF-Net[19].以上這些方法都把去雨任務(wù)看作是一個(gè)簡單的分層問題,在單階段或單尺度下完成.

然而,有雨圖像包含復(fù)雜的雨紋特征,如雨紋形狀、方向和密度信息等,單階段或單尺度網(wǎng)絡(luò)無法徹底去除復(fù)雜雨紋.為了解決雨紋殘留等問題,很多學(xué)者從多尺度或多階段角度設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)用于圖像去雨.Yang 等[20]構(gòu)建一種新的雨圖成像模型,并結(jié)合擴(kuò)張卷積提出一種聯(lián)合雨水檢測和去除的網(wǎng)絡(luò)(joint rain detection and removal, JRDR),該網(wǎng)絡(luò)對暴雨情況下雨水堆積有較好的去除效果,但部分圖像易出現(xiàn)細(xì)節(jié)模糊.Fu 等[21]提出一種拉普拉斯金字塔網(wǎng)絡(luò)捕捉多個(gè)尺度下雨紋特征并逐步完成去雨.Li 等[22]構(gòu)建一種基于尺度感知的多階段遞歸網(wǎng)絡(luò),將去雨過程分為多個(gè)階段逐步完成去雨.Li 等[23]結(jié)合SE模塊提出一種循環(huán)結(jié)構(gòu)(recurrent squeeze-and-excitation context aggregation network, RESCAN)來獲取雨紋的多尺度信息,并逐步去除雨紋.Ren 等[24]基于殘差網(wǎng)絡(luò)設(shè)計(jì)了一種由簡單網(wǎng)絡(luò)模型組成的多階段去雨網(wǎng)絡(luò)PReNet.Deng 等[25]從細(xì)節(jié)修復(fù)角度設(shè)計(jì)了一種雙路并行網(wǎng)絡(luò)(DRD-Net),分別用于去除雨紋和細(xì)節(jié)修復(fù).Jiang 等[26]對不同尺度的雨紋進(jìn)行漸進(jìn)式融合處理,提出一種多尺度漸進(jìn)式融合網(wǎng)絡(luò)(multi-scale progressive fusion network, MSPFN).但是,以上這些方法忽略了相鄰階段信息的密切相關(guān)性,直接進(jìn)行跨階段或跨模塊的信息流通,導(dǎo)致背景細(xì)節(jié)信息丟失.Zhao等[27]基于小波變換構(gòu)建金字塔網(wǎng)絡(luò)(PDR-Net),但其各尺度子網(wǎng)絡(luò)只使用普通殘差塊進(jìn)行級聯(lián),無法提取深層雨紋特征,同時(shí)去雨過程中沒有進(jìn)行信息補(bǔ)償,因此存在雨紋去除不徹底、背景信息損失等問題.

綜上,本文提出一種基于自適應(yīng)感知金字塔網(wǎng)絡(luò)的單幅圖像去雨方法.首先,基于小波變換構(gòu)建多尺度特征金字塔網(wǎng)絡(luò),相鄰尺度之間進(jìn)行遞進(jìn)式雨紋去除,每個(gè)尺度上設(shè)計(jì)了一種自適應(yīng)感知子網(wǎng)絡(luò)進(jìn)行雨紋特征提取和細(xì)節(jié)修復(fù).各尺度子網(wǎng)絡(luò)內(nèi)部通過對稱跳躍連接將提取到的淺層特征傳遞至深層,實(shí)現(xiàn)淺層特征的有效復(fù)用,同時(shí)對丟失的細(xì)節(jié)進(jìn)行補(bǔ)償.設(shè)計(jì)的自適應(yīng)雨紋感知模塊利用圖像的非局部信息,在擴(kuò)大感受野的同時(shí)感知雨紋所在區(qū)域,并通過共享擴(kuò)張卷積和注意力機(jī)制提取雨紋特征并進(jìn)行自適應(yīng)融合.

1 本文方法

1.1 小波金字塔網(wǎng)絡(luò)

雨紋通常分布在高頻區(qū)域,使用離散小波變換完成下采樣可以同時(shí)去除部分雨紋信息.本文設(shè)計(jì)了一種小波金字塔網(wǎng)絡(luò),通過小波變換及其逆變換完成上下采樣,并通過各尺度逐級迭代完成去雨.現(xiàn)有研究結(jié)果表明,三層金字塔網(wǎng)絡(luò)設(shè)計(jì)可以在保持輕量化的同時(shí),有效實(shí)現(xiàn)深層雨紋特征提取,提出的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.其中,DWT和IDWT表示離散小波變換及其逆變換,ARP-SubNet(adaptive rain streak perceptual sub-network)表示各尺度下(這里0,1,2分別表示從大到小3個(gè)尺度)的自適應(yīng)雨紋感知子網(wǎng)絡(luò).不同于已有的小波金字塔網(wǎng)絡(luò)[27],本文各尺度子網(wǎng)絡(luò)直接對原始有雨圖像進(jìn)行殘差學(xué)習(xí),整體網(wǎng)絡(luò)從低分辨率至高分辨率進(jìn)行遞進(jìn)式連接.同時(shí),所設(shè)計(jì)的子網(wǎng)絡(luò)能自適應(yīng)學(xué)習(xí)原始圖像雨紋特征,并對不同尺度下的去雨結(jié)果進(jìn)行信息補(bǔ)償,實(shí)現(xiàn)不同尺度雨紋特征的有效復(fù)用.

圖1 小波金字塔網(wǎng)絡(luò)結(jié)構(gòu)

設(shè){X0,Y0}為輸入的有雨-無雨圖像對,首先對有雨圖像X0進(jìn)行兩次小波變換,得到2個(gè)不同尺度下的子圖像:

(1)

(2)

(3)

(4)

(5)

其中:fIDWT(·)表示離散小波逆變換;fARP-SubNet1(·)表示子網(wǎng)絡(luò)ARP-SubNet1處理運(yùn)算;fCat(·,·)則表示特征圖的堆疊運(yùn)算.

(6)

(7)

其中,fARP-SubNet0(·)表示子網(wǎng)絡(luò)ARP-SubNet0處理運(yùn)算.網(wǎng)絡(luò)從低分辨率至高分辨率進(jìn)行遞進(jìn)式去雨,將小尺度的去雨結(jié)果融合到相鄰尺度,并指導(dǎo)上一尺度的雨紋去除,網(wǎng)絡(luò)整體和局部殘差學(xué)習(xí)可使網(wǎng)絡(luò)充分利用上下文信息并快速收斂.

1.2 自適應(yīng)雨紋感知子網(wǎng)絡(luò)(ARP-SubNet)

1.2.1 子網(wǎng)絡(luò)結(jié)構(gòu)

為了更有效地進(jìn)行深層雨紋特征的提取,并解決去雨過程中背景信息損失等問題,本文設(shè)計(jì)了一種自適應(yīng)雨紋感知子網(wǎng)絡(luò),提取深層雨紋特征并逐尺度進(jìn)行細(xì)節(jié)補(bǔ)償,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.各子網(wǎng)絡(luò)以自適應(yīng)雨紋感知模塊(adaptive rain streak perceptual block, ARPB)為核心,結(jié)合跳躍連接和SE(squeeze-and-excitation)模塊完成網(wǎng)絡(luò)搭建.不同于現(xiàn)有的編解碼結(jié)構(gòu),這里使用了若干由前到后的對稱跳躍連接對淺層和深層進(jìn)行關(guān)聯(lián),對場景結(jié)構(gòu)信息和細(xì)節(jié)信息進(jìn)行補(bǔ)償.這種連接方式可以充分利用淺層特征及上下文信息,并對提取到的雨紋特征偏差進(jìn)行及時(shí)修正.同時(shí),結(jié)合通道注意力機(jī)制,從通道維度自適應(yīng)地選擇特征圖中更重要的通道,降低多通道下噪聲對雨紋特征的干擾,減少傳遞過程中的信息丟失.

為了減少信息干擾,子網(wǎng)絡(luò)首先采用卷積核尺寸為3×3的卷積層和兩個(gè)殘差模塊用于提取輸入圖像X的淺層特征:

X1=f3×3(X) ;

(8)

X2=fResBlock(fResBlock(X1)) .

(9)

其中:f3×3(·)表示卷積核為3×3的卷積層;fResBlock(·)表示殘差模塊(residual block).由于批歸一化(batch normalization, BN)層不利于復(fù)雜雨紋特征的提取,本文殘差模塊中去除了BN層,故只包含兩個(gè)卷積層并進(jìn)行了殘差連接,具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示.

為了保留足夠的空間信息進(jìn)行重構(gòu),子網(wǎng)絡(luò)在編碼階段只進(jìn)行兩次下采樣,下采樣操作通過步長為2的殘差模塊完成.為了增強(qiáng)通道間特征相關(guān)性,在上下采樣部分的殘差模塊中增加了SE模塊.

X3=fSE(fDownSample(X2)) ,

(10)

X4=fSE(fDownSample(X3)) .

(11)

其中:fDownSample(·)表示下采樣;fSE(·)表示SE模塊運(yùn)算.下采樣后,級聯(lián)4個(gè)自適應(yīng)雨紋感知模塊,進(jìn)一步提取深層雨紋特征并將網(wǎng)絡(luò)捕捉到的不同尺度大小的雨紋進(jìn)行融合:

X5=fARPBs(X4) .

(12)

其中，fARPBs(·)表示自適應(yīng)雨紋感知模塊運(yùn)算.對稱地,兩個(gè)反卷積層堆疊在解碼器相應(yīng)部分,對跳躍連接融合得到的特征進(jìn)行激活并進(jìn)行上采樣:

X6=fSE(fUpSample(fPReLU(X4+X5))) ,

(13)

X7=fSE(fUpSample(fPReLU(X3+X6))) .

(14)

其中:fUpSample(·)表示上采樣;fPReLU(·)表示PReLU激活函數(shù).然后,使用連續(xù)的1×1卷積和3×3卷積進(jìn)行特征融合,得到雨紋特征圖;最后,使用核大小為3×3的卷積層進(jìn)行融合,得到的雨紋輸出為

X8=f3×3(f1×1(fPReLU(X2+X7))) ,

(15)

O=f3×3(fPReLU(X1+X8)) .

(16)

式中:f1×1(·)表示卷積核為1×1大小的普通卷積層;O為最終的輸出圖像.子網(wǎng)絡(luò)中默認(rèn)使用核大小為3×3的卷積層,可以在有效提取圖像特征的同時(shí)保持較小的參數(shù)量.子網(wǎng)絡(luò)中通道數(shù)設(shè)置為64,卷積層之后的激活函數(shù)均使用PReLU函數(shù).

圖2 自適應(yīng)雨紋感知子網(wǎng)絡(luò)結(jié)構(gòu)

圖3 殘差模塊網(wǎng)絡(luò)結(jié)構(gòu)

1.2.2 自適應(yīng)雨紋感知模塊(ARPB)

為了感知雨紋區(qū)域并提取深層雨紋特征,本文基于非局部思想和共享擴(kuò)張卷積設(shè)計(jì)了一種自適應(yīng)雨紋感知模塊,并結(jié)合注意力機(jī)制對不同尺度的雨紋特征進(jìn)行融合.ARPB包括非局部感知單元(non-local perceptual unit)和特征融合單元(feature-fusion unit),同時(shí)采用全局殘差連接,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.非局部感知單元通過計(jì)算每個(gè)位置在特征圖中的響應(yīng),給所有位置分配不同的權(quán)重,能夠?qū)⒏惺芤皵U(kuò)大到整個(gè)圖像,有效感知雨紋所在區(qū)域.同時(shí),特征融合單元通過不同擴(kuò)張因子的共享擴(kuò)張卷積對不同尺度的雨紋進(jìn)行捕捉,并將3條不同擴(kuò)張因子的支路提取到的雨紋特征通過注意力模塊進(jìn)行融合,實(shí)現(xiàn)不同尺度的雨紋特征自適應(yīng)融合.

在非局部感知單元運(yùn)算時(shí),對于給定的輸入x,其維度為H×W×C,位置i處的響應(yīng)可通過特征圖中其他位置的特征加權(quán)計(jì)算得到:

(17)

f(xi,xj)=eθ(xi)Tφ(xj).

(18)

其中：θ(xi)=Wθxi,φ(xj)=Wφxj.g(xj)用于計(jì)算位置j處的輸入信號表征,可以表示為g(xj)=Wgxj,Wθ,Wφ及Wg為權(quán)值矩陣.

為了實(shí)現(xiàn)跨通道交互和信息融合,將非局部增強(qiáng)特征激活輸入到兩層1×1卷積層:

zi=f1×1(f1×1(y)) .

(19)

反復(fù)實(shí)驗(yàn)可知,使用3條不同擴(kuò)張因子的并行支路能在保持較小的參數(shù)量和計(jì)算量的情況下有效擴(kuò)大感受野.3條支路分別使用擴(kuò)張因子為1,2,3的共享擴(kuò)張卷積完成不同尺度感受野下的特征感知,以捕捉不同尺度大小的雨紋:

(20)

其中,fdc,DF=n(·)表示擴(kuò)張因子為n的共享擴(kuò)張卷積.基于此,提取到多種感受野下特征圖的全局信息zcon:

(21)

其中:fGAP(·)表示全局平均池化;fFC(·)表示全連接層.

圖4 自適應(yīng)雨紋感知模塊結(jié)構(gòu)

然后,通過線性操作和softmax函數(shù)選擇多種感受野下的最優(yōu)特征權(quán)重,基于注意力模塊實(shí)現(xiàn)特征圖的自適應(yīng)加權(quán);最后,將加權(quán)后的結(jié)果輸入到一層1×1的卷積層進(jìn)行通道壓縮.該過程可以表示為

{wi,1,wi,3,wi,5}=fsoftmax(fLinear(zcon)) ,

(22)

(23)

其中:fsoftmax(·)表示softmax激活函數(shù);fLinear(·)表示線性操作;{wi,1,wi,3,wi,5}表示每條支路所對應(yīng)的權(quán)重.

1.3 損失函數(shù)

對于本文提出的單幅圖像去雨網(wǎng)絡(luò),采用了平滑L1損失、SSIM損失和感知損失[28]來約束網(wǎng)絡(luò)訓(xùn)練.為了使網(wǎng)絡(luò)由粗及細(xì)分層指導(dǎo)圖像去雨過程,本文設(shè)計(jì)了一種多尺度損失函數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,可有效提升去雨圖像視覺質(zhì)量并防止偽影現(xiàn)象.平滑L1損失Ls1可表示為

(24)

(25)

此外,多尺度SSIM損失可表示為

(26)

同時(shí),為了消除圖像復(fù)原過程中可能引入的偽影現(xiàn)象,還使用感知損失約束網(wǎng)絡(luò)訓(xùn)練.感知損失可衡量去雨圖像和對應(yīng)的清晰圖像之間語義特征差異,采用預(yù)訓(xùn)練在ImageNet上的VGG-16網(wǎng)絡(luò)輸出的特征圖φj(·)來計(jì)算,可表示為

(27)

因此,總的損失函數(shù)可以表示為

L=Ls1+LSSIM+λpLP.

(28)

其中,λp為感知損失的權(quán)重因子,本文中設(shè)置為0.005.

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)集

本文方法基于Pytorch框架實(shí)現(xiàn),在Ubuntu環(huán)境下使用NVIDIA 1080Ti GPU訓(xùn)練網(wǎng)絡(luò).Batchsize設(shè)置為48,patchsize設(shè)置為112,采用動量衰減指數(shù)β1=0.9,β2=0.999的Adam優(yōu)化器進(jìn)行優(yōu)化,迭代次數(shù)為700次,初始學(xué)習(xí)率設(shè)置為0.001,分別在第250,400,500,600個(gè)epoch時(shí)進(jìn)行學(xué)習(xí)率衰減，每次衰減一半.

針對有雨-無雨圖像對難以獲取問題,本文采用Rain200L[20]、Rain200H[20]、Rain800[14]及Rain1400[13]四個(gè)合成數(shù)據(jù)集進(jìn)行訓(xùn)練.Rain200H和Rain200L分別由1 800張訓(xùn)練圖像和200張測試圖像組成;Rain1400合成數(shù)據(jù)集包含14種雨紋,由12 600張訓(xùn)練圖像和1 400張測試圖像組成; Rain800合成數(shù)據(jù)集由700張訓(xùn)練圖像和100張測試圖像組成.文獻(xiàn)[17]和[20]還提供了一些真實(shí)的雨天圖像用于驗(yàn)證方法的魯棒性.本文用這些圖像作為真實(shí)數(shù)據(jù)集,對提出的網(wǎng)絡(luò)進(jìn)行客觀評價(jià).

在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),并與目前的優(yōu)勢主流去雨方法進(jìn)行對比.包括2個(gè)傳統(tǒng)方法 DSC[9]、GMM[10]以及8個(gè)基于深度學(xué)習(xí)的方法:DDN[13]、DID-MDN[17]、JORDER[20]、RESCAN[23]、DAF-Net[19]、PReNet[24]、DRD-Net[25]、MSPFN[26].

2.2 在合成數(shù)據(jù)集上實(shí)驗(yàn)

首先在合成數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),采用了Rain200L、Rain200H、Rain800以及Rain1400四個(gè)合成數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).利用峰值信噪比(peak signal-to-noise ratio, PSNR)和結(jié)構(gòu)相似性(structural similarity, SSIM)兩個(gè)客觀評價(jià)指標(biāo)對恢復(fù)的圖像質(zhì)量進(jìn)行評價(jià),各方法實(shí)驗(yàn)結(jié)果如表1所示.可以看出相較于現(xiàn)階段優(yōu)勢的去雨算法,本文方法在Rain200L和Rain1400數(shù)據(jù)集上取得了最優(yōu)結(jié)果,在Rain200H和Rain800數(shù)據(jù)集上也取得了最高的PSNR值和次高的SSIM值.而獲得最高SSIM值的DRD-Net[25],在網(wǎng)絡(luò)中級聯(lián)更多的子模塊、通過更深的網(wǎng)絡(luò)層來提取雨紋特征,存在參數(shù)量大、計(jì)算速度慢等問題.在計(jì)算復(fù)雜度方面,統(tǒng)計(jì)了各算法在數(shù)據(jù)集Rain200H上的測試平均用時(shí),結(jié)果如表2所示.可以看出,本文方法在用時(shí)較少的情況下可取得最優(yōu)去雨結(jié)果.

表1 在合成數(shù)據(jù)集上PSNR和SSIM結(jié)果

表2 在Rain200H上平均運(yùn)行時(shí)間對比

Rain200H數(shù)據(jù)集是Yang等[20]提出的一個(gè)合成數(shù)據(jù)集,圖像中的雨紋較為密集,具有更大的挑戰(zhàn)性.實(shí)驗(yàn)中,從Rain200H數(shù)據(jù)集中選取了3張人物圖和3張自然景觀圖進(jìn)行去雨主觀效果評價(jià).為了使主觀效果的對比更有說服力,選取雨紋和背景細(xì)節(jié)重合較多的圖片進(jìn)行實(shí)驗(yàn).所對比的方法有DDN[13]、RESCAN[23]、PReNet[24]、DRD-Net[25]、MSPFN[26].由圖5可以看出,DDN[13]方法雖然可以去除大部分雨紋,但仍存在去雨不徹底的問題(如圖5 b中最后小男孩的面部),并且整體場景會因?yàn)檫^度平滑而模糊(如圖5 b 中建筑物、風(fēng)車、毛絨帽子等).RESCAN[23]能去除絕大部分雨紋,但是部分區(qū)域存在偽影(如建筑物及天空部分),同時(shí)仍有雨紋殘留現(xiàn)象.PReNet[24]結(jié)果中沒有雨紋殘留現(xiàn)象,但仍然有一些偽影存在,并且有背景細(xì)節(jié)丟失現(xiàn)象(如建筑外墻的反射以及毛絨帽子部分).DRD-Net[25]雖然視覺效果良好,但整體網(wǎng)絡(luò)參數(shù)量偏大,同時(shí)對部分細(xì)節(jié)恢復(fù)不理想(如飛機(jī)機(jī)身文字以及土坯外墻部分).MSPFN[26]將多個(gè)數(shù)據(jù)集合為一體進(jìn)行訓(xùn)練,導(dǎo)致對特定程度的雨紋去除效果不理想,并存在過度去雨現(xiàn)象,且對面部細(xì)節(jié)恢復(fù)較差.由圖5可以明顯看出,本文方法去雨較為徹底,基本沒有出現(xiàn)偽影現(xiàn)象,整體圖像色彩保持度較好,且對細(xì)節(jié)恢復(fù)效果顯著.

為了增強(qiáng)方法的魯棒性,本文還選取了Rain200L數(shù)據(jù)集中的5張圖像進(jìn)行了主觀對比.由圖 6 可以看出,RESCAN[23]和MSPFN[26]方法存在部分雨紋殘留,DDN[13]方法存在過度平滑問題,本文方法對于雨紋的去除及背景細(xì)節(jié)保持效果良好.

圖5 在合成數(shù)據(jù)集Rain200H上的實(shí)驗(yàn)結(jié)果

2.3 在真實(shí)數(shù)據(jù)集上實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證所提方法的有效性,本節(jié)選取了5張經(jīng)典的真實(shí)雨天圖像進(jìn)行實(shí)驗(yàn),并與目前的優(yōu)勢算法進(jìn)行比較,去雨后的圖像如圖7所示.由圖7 可以看出,這幾種方法都能去除大部分的雨水遮擋,但對于密集雨紋形成的霧紗層去除效果一般,同時(shí)也存在較大雨滴去除不徹底的問題.由圖7b可以看出,DDN[13]方法對于真實(shí)雨紋的去除能力較弱,如第2張圖和第5張圖中都存在明顯的雨紋殘留.由圖7c可以看出,JORDER[20]方法存在過度去雨現(xiàn)象,第1張圖、第2張圖和第5張圖中的葉子都存在模糊現(xiàn)象.由圖7d 和7f 第5張圖可以看出,RESCAN[23]方法和MSPFN[26]方法雖然可以去除部分雨紋,但對于密集雨紋去除不徹底.由圖7e可以看出,PReNet[24]雖然可以去除大部分雨紋,但存在一定的顏色失真現(xiàn)象.由圖7g 可以看出,本文方法可以在去除大部分雨紋的同時(shí)保持較好的色彩和細(xì)節(jié).

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證提出的去雨網(wǎng)絡(luò)每個(gè)模塊的有效性,本文還進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)方案如下:方案1在子網(wǎng)絡(luò)中不使用跳躍連接(skip connection, SC);方案2在子網(wǎng)絡(luò)中不使用自適應(yīng)雨紋感知模塊(ARPB),而是用普通的殘差模塊代替自適應(yīng)雨紋感知模塊;方案3不使用離散小波變換(DWT),而是使用普通步長為2的卷積和反卷積代替小波變換和小波逆變換構(gòu)建特征金字塔結(jié)構(gòu);方案4在子網(wǎng)絡(luò)中不使用SE模塊;方案5的損失函數(shù)不使用有預(yù)訓(xùn)練網(wǎng)絡(luò)參與的感知損失函數(shù)(perceptual loss),只使用Ls1和SSIM損失函數(shù);方案6不使用多尺度金字塔(multi-scale pyramid, MSP)的網(wǎng)絡(luò)結(jié)構(gòu),而是在單一尺度上進(jìn)行處理;方案7使用小波變換構(gòu)建金字塔網(wǎng)絡(luò),同時(shí)子網(wǎng)絡(luò)使用跳躍連接、SE模塊及自適應(yīng)雨紋感知模塊,即本文方法.

圖6 在合成數(shù)據(jù)集Rain200L上的實(shí)驗(yàn)結(jié)果

本文在Rain200H數(shù)據(jù)集上對上述實(shí)驗(yàn)方案進(jìn)行質(zhì)量評價(jià),各種方案下得到的PSNR和SSIM如表3所示,去雨結(jié)果如圖8所示.從表3可以看出,本文方法具有更高的PSNR和SSIM值.同時(shí)由圖8可以看出,方案1由于缺少跳躍連接模塊,沒有進(jìn)行信息補(bǔ)償,去雨后圖像有模糊現(xiàn)象,并且背景恢復(fù)效果較差;方案2沒有使用自適應(yīng)雨紋感知模塊,部分區(qū)域去雨不徹底且信息損失嚴(yán)重;方案3在不使用小波變換的去雨結(jié)果圖中,中間小孩臉上有亮斑,同時(shí)衣領(lǐng)區(qū)域存在過度平滑現(xiàn)象;方案4在不使用SE模塊的實(shí)驗(yàn)結(jié)果中,衣服區(qū)域和中間小孩臉上有雨紋殘留;方案5沒有使用感知損失約束訓(xùn)練,去雨結(jié)果圖中小孩臉上存在明顯亮斑;方案6沒有采用多尺度金字塔網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果圖中存在一些殘留的雨紋.可以看出,本文方法(方案7)去雨徹底,且可較好地保留圖像細(xì)節(jié).

表3 在Rain200H數(shù)據(jù)集上PSNR和SSIM結(jié)果對比

圖7 在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

圖8 消融實(shí)驗(yàn)結(jié)果比較

3 結(jié) 語

本文提出了一種基于自適應(yīng)感知金字塔網(wǎng)絡(luò)的單幅圖像去雨方法,網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)充分考慮了對不同尺度雨紋特征的提取及融合,可有效提高網(wǎng)絡(luò)模型的精度,能在有效去除雨紋的同時(shí)較好地保持圖像的細(xì)節(jié)信息.本文方法使用自適應(yīng)雨紋感知模塊對深層雨紋特征進(jìn)行提取,同時(shí)子網(wǎng)絡(luò)在去雨過程中注重對細(xì)節(jié)信息的補(bǔ)償,有效解決了現(xiàn)有去雨方法密集雨紋去除不徹底或因過度去雨導(dǎo)致的細(xì)節(jié)丟失等問題.