裴 傲，陳桂芬，李昊玥，王 兵

·農(nóng)業(yè)信息與電氣技術(shù)·

改進CGAN網(wǎng)絡(luò)的光學(xué)遙感圖像云去除方法

裴 傲，陳桂芬※，李昊玥，王 兵

（吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長春 130118）

農(nóng)業(yè)生產(chǎn)中使用的光學(xué)遙感圖像在采集過程中時常受到云層的影響，導(dǎo)致獲取到的圖像清晰度低，影響地物信息的判讀和后續(xù)的使用。針對這一問題，提出一種基于改進條件生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Net-work，CGAN）的光學(xué)遙感圖像去云方法。首先，在原始CGAN的生成器中引入空間池化層，通過增加網(wǎng)絡(luò)的多尺度特征學(xué)習(xí)能力以提高生成圖像的細(xì)節(jié)信息；其次，在改進CGAN網(wǎng)絡(luò)中加入回歸損失使生成圖像與真實圖像更加接近，進一步提高生成效果。在光學(xué)遙感圖像數(shù)據(jù)集上的試驗結(jié)果表明：相比原始CGAN，改進CGAN生成的無云光學(xué)遙感圖像更接近真實無云光學(xué)遙感圖像，與原始CGAN相比，改進CGAN在薄云和厚云光學(xué)遙感圖像上的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）分別提升了1.64和1.05 dB，結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）分別提升了0.03和0.04。同時，相較于傳統(tǒng)的去云方法和深度學(xué)習(xí)的Pix2Pix方法，該方法在光學(xué)遙感圖像去云和保真上均取得了更好的效果。研究結(jié)果證明了改進的CGAN方法實現(xiàn)光學(xué)遙感圖像去云的可行性，可為農(nóng)用光學(xué)遙感圖像的處理提供方法借鑒。

遙感；光學(xué)圖像；去云；條件生成對抗網(wǎng)絡(luò)；空間金字塔池化；多尺度特征提取

0 引 言

隨著遙感技術(shù)的迅速發(fā)展，光學(xué)遙感圖像在作物分類[1-2]、作物產(chǎn)量預(yù)測[3-4]、作物長勢監(jiān)測[5]等農(nóng)業(yè)生產(chǎn)領(lǐng)域得到了廣泛的應(yīng)用，但是農(nóng)用的光學(xué)遙感圖像在采集過程中極易受到天氣的影響，尤其是云層的影響比較明顯。大氣中的云層可以分為厚云和薄云，薄云是指可以顯現(xiàn)出一部分地表信息的較薄的云層，厚云是指太陽輻射無法穿透的完全遮住地物的云層。薄云的存在會使光學(xué)遙感圖像中的地物信息變得模糊不清，而厚云的存在會使地物信息完全缺失，這給光學(xué)遙感圖像的解譯和后續(xù)使用帶來了極大的困難。因此，光學(xué)遙感圖像去云處理的研究具有十分重要的意義。

目前，專家學(xué)者針對光學(xué)遙感圖像去云問題進行了廣泛的研究，已提出了很多解決方法。李洪利等[6]提出了一種高保真同態(tài)濾波的遙感圖像薄云去除方法；李超煒等[7]基于小波變換實現(xiàn)了全色遙感圖像中薄云的去除；趙孟銀等[8]通過相似像元替換去除了遙感圖像中的厚云；王睿等[9]提出了采用全變分模型的遙感圖像厚云去除方法；此外還有Markchom等[10]提出的HSI顏色空間去云方法，古今等[11]提出的低秩矩陣分解方法以及石曉旭等[12]提出的改進RPCA方法等。以上這些傳統(tǒng)的光學(xué)遙感圖像去云方法雖然均在試驗中取得了較好的結(jié)果，但仍存在薄云與厚云的處理方法不能通用、依賴先驗知識、特征信息需手動提取以及恢復(fù)后的圖像細(xì)節(jié)受損等問題，進而導(dǎo)致這些傳統(tǒng)的光學(xué)遙感圖像去云方法無法得到廣泛的推廣應(yīng)用。

近年來，隨著深度學(xué)習(xí)的發(fā)展，計算機視覺研究有了重大的突破。2014年Goodfellow等[13]提出了生成對抗網(wǎng)絡(luò)（Generative Adversarial Nets，GAN），GAN通過對抗學(xué)習(xí)能自主學(xué)習(xí)數(shù)據(jù)分布，具有良好的通用性和強大的調(diào)優(yōu)能力。但GAN無監(jiān)督的學(xué)習(xí)方式無法實現(xiàn)像素間的映射，生成的數(shù)據(jù)易失去限制和可控性。為此，Mirza等[14]于同年提出了條件生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Net-work，CGAN），加入條件信息對數(shù)據(jù)的生成加以控制。借助于監(jiān)督學(xué)習(xí)和對抗學(xué)習(xí)2種方式的聯(lián)合使用，CGAN方法使得模型能獲得更優(yōu)的處理效果。憑借這一特性，CGAN方法在圖像雨跡去除、圖像去霧等問題上得到了廣泛的應(yīng)用，楊繼明等[15]針對極端天氣對碼頭集裝箱圖像的影響，提出了基于CGAN的去除雨雪痕跡方法；王云飛等[16]基于Msmall-Patch訓(xùn)練的條件生成對抗網(wǎng)絡(luò)方法對夜晚圖像中的霧進行了去除；肖進勝等[17]通過CGAN方法完成了霧霾場景的轉(zhuǎn)換；趙肖肖[18]利用Pix2Pix方法（一種基于CGAN的圖像轉(zhuǎn)換方法[19]）實現(xiàn)了高分辨率遙感圖像去霧，保證去霧后的圖像不會出現(xiàn)大幅度的失真等。本研究要處理的光學(xué)遙感圖像去云問題與圖像雨跡去除、圖像去霧等問題非常類似，受上述研究的啟發(fā)，本研究采用CGAN方法對光學(xué)遙感圖像進行去云處理。但原始CGAN模型提取到的特征單一，忽略了不同尺度下特征的空間關(guān)系對圖像內(nèi)容的影響，導(dǎo)致去云后的光學(xué)遙感圖像較為模糊且有云影殘留。因此，本研究結(jié)合多尺度特征融合的思想對原始CGAN模型的生成器結(jié)構(gòu)進行改進，在生成器的特征提取網(wǎng)絡(luò)中引入了空間金字塔池化操作，使編碼路徑可以提取多尺度的圖像特征，并將多個解碼路徑的結(jié)果加以融合作為網(wǎng)絡(luò)的輸出，進而豐富了去云后的光學(xué)遙感圖像中的地物細(xì)節(jié)。此外，為了使去云后的光學(xué)遙感圖像更接近真實無云的光學(xué)遙感圖像，本研究還在原始CGAN模型的對抗損失中加入了回歸損失，設(shè)計了對抗損失和回歸損失相結(jié)合的復(fù)合損失函數(shù)。本研究將通過改進CGAN方法為光學(xué)遙感圖像去云效果的提高提供方法借鑒。

1 基于改進CGAN的光學(xué)遙感圖像去云方法

1.1 CGAN原理

CGAN是GAN的一種擴展模型，它在GAN網(wǎng)絡(luò)的生成器和判別器中均引入了額外的條件信息來指導(dǎo)數(shù)據(jù)的生成，彌補了GAN生成的數(shù)據(jù)不可控的不足。如果用代表網(wǎng)絡(luò)生成器的映射關(guān)系，代表網(wǎng)絡(luò)判別器的映射關(guān)系，代表網(wǎng)絡(luò)輸入的隨機噪聲（服從分布P），代表條件信息，代表真實數(shù)據(jù)（服從分布P），CGAN網(wǎng)絡(luò)[14]的優(yōu)化目標(biāo)函數(shù)如式（1）所示

1.2 多尺度特征融合和空間金字塔池化

圖像提取的特征信息可以分為低層特征和高層特征兩大類。其中，低層特征具有較高的分辨率，含有的位置信息和細(xì)節(jié)信息更多，但是由于經(jīng)過的卷積層少，語義性低。而高層特征具有更強的語義信息，但分辨率較低，感知細(xì)節(jié)的能力差。多尺度特征融合可以通過融合高層特征信息和低層的特征信息的方式對不同階段的特征信息進行充分利用，從而使圖像中的地物細(xì)節(jié)得到較好的恢復(fù)以提高生成結(jié)果的精度。

為引入多尺度融合策略，本研究在CGAN網(wǎng)絡(luò)中采用He等[20]提出的空間金字塔池化方法對光學(xué)遙感圖像不同尺度的特征信息進行收集并加以融合利用。具體操作如下：

1）通過池化將基礎(chǔ)網(wǎng)絡(luò)中卷積操作得到的特征圖（8×8大?。┻M行1×1，2×2和4×4共3種不同尺度的劃分，并去除合并的過程，對3種不同分辨率的特征信息加以保留；

2）分別對池化后得到的3種不同尺度的特征圖使用反卷積操作上采樣到原分辨率大小的圖像，然后融合到一起作為網(wǎng)絡(luò)的輸出。

1.3 CGAN模型改進

本研究通過結(jié)合CGAN網(wǎng)絡(luò)和金字塔池化結(jié)構(gòu)的特點構(gòu)建基于改進CGAN的光學(xué)遙感圖像去云模型。改進后的模型由生成器和判別器兩部分組成，生成器通過輸入有云的光學(xué)遙感圖像產(chǎn)生無云的光學(xué)遙感圖像。原始的CGAN網(wǎng)絡(luò)中生成器的輸入包括隨機向量和條件信息兩部分，而在CGAN網(wǎng)絡(luò)的輸入足夠復(fù)雜的情況下，輸入可以替代隨機向量的作用，因此本研究不引入隨機向量，僅將條件信息即有云的光學(xué)遙感圖像作為生成器的輸入。判別器通過學(xué)習(xí)輸入圖像對之間的分布差異對圖像對中無云遙感圖像的來源進行判別。生成器和判別器兩者互相對抗，保持動態(tài)平衡訓(xùn)練直到判別器無法判別輸入的無云光學(xué)遙感圖像來源于真實數(shù)據(jù)還是來源于生成器。整體結(jié)構(gòu)如圖1所示。

1.3.1 生成器

原始CGAN網(wǎng)絡(luò)模型中生成器采用的是Unet結(jié)構(gòu)[21]，雖然該結(jié)構(gòu)通過特征疊加的方式能對不同層次的特征進行整合，但特征聚合程度低且提取到的特征單一，對于圖像信息的利用不充分。因此，本研究在其基礎(chǔ)上引入了空間金字塔池化層以獲得不同分辨率的特征圖，增加生成器網(wǎng)絡(luò)提取多尺度特征信息的能力。改進后的生成器是一個全卷積神經(jīng)網(wǎng)絡(luò)[22]，包括特征提取網(wǎng)絡(luò)和尺度恢復(fù)網(wǎng)絡(luò)兩部分。

1）特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)由5個連續(xù)的卷積層和1個空間金字塔池化層構(gòu)成。圖像輸入網(wǎng)絡(luò)后先經(jīng)過連續(xù)的卷積層進行初步的特征提取，每個卷積層卷積核的大小為3×3，激活函數(shù)使用LReLU（Leaky-ReLU）函數(shù)且每個卷積層后加入批量歸一化操作加速網(wǎng)絡(luò)的收斂，提高層與層之間的獨立性。此外，卷積的步長設(shè)置為2以代替池化操作進行下采樣，從而避免特征映射過程中信息的丟失。隨后將提取好的特征輸入到空間金字塔池化層中以獲取不同分辨率和精度的特征圖像，特征圖在增多的同時會帶來參數(shù)量增大的問題，因此，本研究在多次嘗試后最終選取了1×1、2×2和4×4這3種不同的池化尺寸，并采用平均池化保留更多的背景信息。

2）尺度恢復(fù)網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)最終提取到1×1大小、2×2大小以及4×4大小共3種尺度的特征圖像。因此，尺度恢復(fù)網(wǎng)絡(luò)相應(yīng)地包含3條恢復(fù)路徑。1×1的特征圖所在的恢復(fù)路徑由8個上采樣單元組成；2×2的特征圖所在的恢復(fù)路徑由7個上采樣單元組成；4×4的特征圖所在的恢復(fù)路徑由6個上采樣單元組成。這3條恢復(fù)路徑雖然長短不同，但均采用反卷積的方式進行上采樣，并使用ReLU函數(shù)作為非線性函數(shù)。為了消減棋盤效應(yīng)，本研究中反卷積層的卷積核大小設(shè)置為4×4而非常用的3×3。實現(xiàn)上采樣后對3條路徑所得到的圖像執(zhí)行add操作，也就是對應(yīng)元素相加的方式進行融合生成最終的圖像。相較于常用的通道連接（concatenate）方式，本研究采用的add操作在增加圖像的特征信息量的同時引入了更少的參數(shù)，從而節(jié)省了計算量。不同大小的特征圖在尺寸恢復(fù)的過程中還通過跳躍連接的方式融入了特征提取網(wǎng)絡(luò)路徑中對應(yīng)尺寸的特征圖，進一步對特征信息加以利用。此外，深度神經(jīng)網(wǎng)絡(luò)很容易產(chǎn)生過擬合現(xiàn)象，因此本研究方法在尺度恢復(fù)網(wǎng)絡(luò)中引入了Dropout機制[23]來解決這一問題。具體做法是在反卷積層和激活函數(shù)之間加入Dropout層，參數(shù)dropout_ratio的值設(shè)置為0.5，經(jīng)過Dropout層后50%的輸出值會被從網(wǎng)絡(luò)拋棄，即激活值置零，從而減小網(wǎng)絡(luò)的大小，有效防止過擬合，提升網(wǎng)絡(luò)的泛化能力。

圖1 改進CGAN模型結(jié)構(gòu)

1.3.2 判別器

判別器的輸入為圖像對，圖像對是指將無云圖像與有云圖像通過contact操作進行拼接后得到的結(jié)果。其中，無云圖像可以是真實圖像也可以是生成圖像。判別器的輸出為輸入的無云圖像是真實圖像的概率值。當(dāng)判別器認(rèn)定無云圖像為真實圖像時輸出為1，反之，當(dāng)判別器認(rèn)定無云圖像為生成圖像時輸出為0。

網(wǎng)絡(luò)總共5層，其中前4層是下采樣層，最后1層為判別層。圖像對輸入網(wǎng)絡(luò)后先通過連續(xù)的下采樣層進行特征提取，下采樣層中的卷積核大小均為4×4，步幅均為2，為防止使用梯度下降法更新參數(shù)時出現(xiàn)梯度消失的情況[24]，對下采樣層的卷積操作進行批量歸一化處理，并使用LReLU激活函數(shù)進行非線性映射。每經(jīng)過一個下采樣層，圖像的長寬就減少為原來的一半。最后在判別層使用Sigmoid函數(shù)輸出每個像素為真的概率，并使用交叉熵計算得到最終損失。

1.3.3 損失函數(shù)設(shè)計

無云光學(xué)遙感圖像的生成在本質(zhì)上是一個回歸問題。為有效提升網(wǎng)絡(luò)的性能，改進CGAN模型的損失函數(shù)在原對抗損失的基礎(chǔ)上加入了回歸損失項，具體計算如式（2）所示

式中代表改進CGAN模型的損失；CGAN(,)為對抗損失；L1為回歸損失。對抗損失項用于提升判決器和生成器的準(zhǔn)確率，回歸損失項用于提升生成的去云光學(xué)遙感圖像與真實的無云光學(xué)遙感圖像的相似性。為固定常數(shù)，表示對抗損失和回歸損失的比重，調(diào)整的大小可以得到不同的訓(xùn)練結(jié)果，通過比較分析，本研究試驗中的參數(shù)選100。

對抗損失采用的是交叉熵?fù)p失，計算方法如式（3）所示。

式中表示輸入的有云光學(xué)遙感圖像，表示真實的無云光學(xué)遙感圖像，(,)表示判別器判別輸入為有云光學(xué)遙感圖像與真實的無云光學(xué)遙感圖像對的概率，(,())表示判別器判別輸入為有云光學(xué)遙感圖像與生成的無云光學(xué)遙感圖像對的概率。

回歸損失主要有1損失和2損失2種。其中，1損失被稱為最小絕對值偏差（Least Absolute Deviations, LAD）或最小絕對值誤差（Least Absolute Error, LAE），用于計算目標(biāo)值與預(yù)測值之間絕對差值的總和。2損失被稱為最小平方誤差（Least Square Error, LSE），用于計算目標(biāo)值與預(yù)測值之間差值的平方和。相較于1損失，2損失對異常點更為敏感，會賦予異常點更大的損失值和梯度，容易造成訓(xùn)練的不穩(wěn)定和發(fā)散。因此本研究中的網(wǎng)絡(luò)選擇魯棒性更好的1損失作為回歸損失，其數(shù)學(xué)表達(dá)如式（4）所示。

式中表示輸入的有云光學(xué)遙感圖像，表示真實的無云光學(xué)遙感圖像，表示生成的無云光學(xué)遙感圖像，||t – G(i)||表示真實的無云光學(xué)遙感圖像與生成的無云光學(xué)遙感圖像的絕對差值，網(wǎng)絡(luò)的訓(xùn)練優(yōu)化過程可以表示為不斷減小L的過程。

1.4 模型訓(xùn)練

改進CGAN模型的訓(xùn)練在Tensorflow框架下進行，訓(xùn)練采用生成器和判別器交替訓(xùn)練的方式，具體操作如下：

1）初始化生成器和判別器2個網(wǎng)絡(luò)的參數(shù)；

2）將RICE數(shù)據(jù)集加載到模型中，利用生成器生成無云的光學(xué)遙感圖像，然后將生成器的參數(shù)固定，訓(xùn)練判別器的參數(shù)；

3）每當(dāng)判別器的參數(shù)更新5次時，生成器的參數(shù)更新1次；

4）經(jīng)過多次迭代更新，當(dāng)判別器無法區(qū)分輸入的無云光學(xué)遙感圖像來源于真實數(shù)據(jù)還是生成器時完成訓(xùn)練，此時判別器對所有輸入圖像的判別概率為0.5。

模型的整個訓(xùn)練使用Adam優(yōu)化算法對網(wǎng)絡(luò)的參數(shù)進行學(xué)習(xí)，學(xué)習(xí)率設(shè)置為0.000 2，動量（momentum）設(shè)置為0.5，訓(xùn)練的批處理大?。╞atch size）設(shè)置為1，最大訓(xùn)練次數(shù)為200個epoch（全部訓(xùn)練數(shù)據(jù)完成1次運算），測試間隔為1個epoch。

1.5 評價指標(biāo)

為了客觀、定量分析光學(xué)遙感圖像的去云效果，本研究采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）2種圖像質(zhì)量評價指標(biāo)進行評估。其中，PSNR通過比較兩幅圖像對應(yīng)像素點之間像素值的誤差對圖像進行評估，單位是 dB，PSNR值越高，說明失真越小，效果越好。計算如式（5）所示。

式中和分別表示原始圖像和處理后圖像的像素值，和分別表示圖像的長和寬。

SSIM從亮度、對比度和結(jié)構(gòu)3個方面度量圖像之間的相似性。與PSNR相比，SSIM更貼近于人眼的感受。SSIM值越接近1，處理后的圖像與原始圖像的亮度、對比度和結(jié)構(gòu)越相似。計算公式如公式（6）所示。

式中μ、μ分別表示和的平均值，σσ分別表示和的標(biāo)準(zhǔn)差，σ表示和的協(xié)方差，1和2為常數(shù)。

2 試驗數(shù)據(jù)集

試驗數(shù)據(jù)來自網(wǎng)絡(luò)公開數(shù)據(jù)集：RICE數(shù)據(jù)集，該數(shù)據(jù)集是Lin等[25]專門為訓(xùn)練深度學(xué)習(xí)方法處理去云問題制備的光學(xué)遙感圖像集，由RICE1和RICE2子數(shù)據(jù)集構(gòu)成。其中，RICE1是薄云圖像集，包含從Google Earth上收集的500組（共計1000張）圖像，每組圖像包含2個大小為512×512的圖像，分別是有云光學(xué)遙感圖像和無云光學(xué)遙感圖像；RICE2是厚云圖像集，包含736組（共計2 208張）圖像，每組圖像包含3個大小為512×512的圖像，分別是有云光學(xué)遙感圖像、無云光學(xué)遙感圖像和云層遮罩圖像。本研究對RICE2數(shù)據(jù)集進行試驗時僅使用其中的有云光學(xué)遙感圖像和無云光學(xué)遙感圖像，RICE2數(shù)據(jù)集中包含的有云光學(xué)遙感圖像取自landsat8數(shù)據(jù)集，選取經(jīng)過輻射校正的全分辨率LandsatLook level-1產(chǎn)品，是由landsat8 OLI傳感器的波段4（red）、3（green）、2（blue）合成的自然真彩色圖像，無云光學(xué)遙感數(shù)據(jù)是手動獲取的相同位置的無云圖像，與有云光學(xué)遙感圖像的獲取時間間隔小于15 d。試驗時RICE1數(shù)據(jù)集中的500組圖像按照4∶1的比例劃分訓(xùn)練集與測試集，RICE2數(shù)據(jù)集中包含736組圖像，無法按照4：1的比例進行劃分，因此根據(jù)實際情況對劃分比例做出調(diào)整，按照5∶3的比例劃分訓(xùn)練集與測試集。

3 結(jié)果與分析

為驗證本研究提出的改進CGAN模型的有效性，在選用的RICE數(shù)據(jù)集上進行了對比試驗。首先分析改進CGAN模型中優(yōu)化的生成器網(wǎng)絡(luò)結(jié)構(gòu)和復(fù)合損失函數(shù)對模型性能的影響；然后對比改進CGAN模型、原始CGAN模型、傳統(tǒng)的光學(xué)遙感圖像去云方法以及深度學(xué)習(xí)方法的去云效果。試驗過程中傳統(tǒng)的光學(xué)遙感圖像去云方法均在Matlab軟件中實現(xiàn)，本文研究方法、原始CGAN模型以及深度學(xué)習(xí)方法均采用python語言在Tensorflow框架下進行網(wǎng)絡(luò)訓(xùn)練。

3.1 生成器網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化對模型性能影響

本研究的生成器采用帶有空間金字塔池化結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)，相較于原始CGAN網(wǎng)絡(luò)模型所使用的Unet結(jié)構(gòu)，在增加網(wǎng)絡(luò)深度和寬度的同時增強了網(wǎng)絡(luò)的多尺度特征提取能力。圖2和圖3分別為改進網(wǎng)絡(luò)結(jié)構(gòu)與原始網(wǎng)絡(luò)結(jié)構(gòu)去除薄云和厚云的質(zhì)量評估對比圖。

從圖2的結(jié)果中可知，在迭代次數(shù)較?。?50）的情況下使用本研究的生成器結(jié)構(gòu)與Unet結(jié)構(gòu)進行薄云去除的效果差別不大，但隨著迭代次數(shù)的增加，使用本研究生成器結(jié)構(gòu)得到的PSNR值和SSIM值均高于使用Unet結(jié)構(gòu)。迭代次數(shù)為200（全部訓(xùn)練完成）時， Unet結(jié)構(gòu)得到的PSNR值為37.40 dB，SSIM值為0.95。而本研究生成器結(jié)構(gòu)得到的PSNR值為37.91 dB，SSIM值為0.97，比前者PSNR值提高0.51 dB，SSIM值提高0.02。

從圖3的結(jié)果中可知，針對厚云去除效果，迭代次數(shù)為200時，使用Unet結(jié)構(gòu)得到的PSNR值為29.91 dB，SSIM值為0.93，本研究生成器結(jié)構(gòu)得到的PSNR值為34.33 dB，SSIM值為0.96，比前者PSNR值提高4.42 dB，SSIM值提高了0.03。

注：PSNR為峰值信噪比；SSIM為結(jié)構(gòu)相似性。下同。

圖3 改進網(wǎng)絡(luò)對去除厚云的效果影響

綜合分析薄云和厚云去除效果可知，相較于使用Unet結(jié)構(gòu)，使用本研究結(jié)構(gòu)可以得到更高的PSNR值與SSIM值，生成的無云光學(xué)遙感圖像質(zhì)量也相對更好。

3.2 損失函數(shù)優(yōu)化對模型性能影響

為了生成更高質(zhì)量的無云光學(xué)遙感圖像，本研究使用了對抗損失和回歸損失相結(jié)合的復(fù)合損失函數(shù)。在RICE數(shù)據(jù)集上對其有效性進行驗證，從表1的去云質(zhì)量評估結(jié)果中可以看出，本研究使用的復(fù)合損失函數(shù)在PSNR和SSIM上均有提升，在薄云和厚云上PSNR值分別提升0.66和1.32 dB，SSIM值分別提升0.01和0.04。

表1 不同損失函數(shù)的去云質(zhì)量評估結(jié)果

注：CGAN為對抗損失函數(shù)；CGAN + L1為加入1回歸損失的復(fù)合損失函數(shù)。下同。

Note:CGANis the anti-loss function;CGAN + L1is the compound loss function added with1 regression loss. Same below.

不同地形的光學(xué)遙感圖像在不同損失下的去云效果如圖4所示，相較于單獨使用對抗損失函數(shù)，加入了1回歸損失的復(fù)合損失函數(shù)生成的無云光學(xué)遙感圖像在圖像的亮度、對比度和顏色方面恢復(fù)的更好，去云區(qū)域中地物的細(xì)節(jié)信息也更為清晰，這是因為復(fù)合損失函數(shù)可以使模型更為準(zhǔn)確的學(xué)習(xí)到有云和無云光學(xué)遙感圖像像素間的映射關(guān)系。在平原，使用對抗損失函數(shù)的PSNR值和SSIM值分別為23.32 dB和0.83，而復(fù)合損失函數(shù)分別為24.75 dB和0.84。在裸地，使用對抗損失函數(shù)的PSNR值和SSIM值分別為24.63 dB和0.91，而復(fù)合損失函數(shù)分別為30.00 dB和0.91。二者的SSIM值雖然相似，但是使用復(fù)合損失函數(shù)生成的無云光學(xué)遙感圖像具有更大的PSNR值，PSNR值越大，說明處理后的圖像與真實圖像之間每個像素點的像素值越接近，圖像的失真越小。圖像質(zhì)量更高。

注：RCless為真實無云遙感圖像。下同。

綜合表1和圖4的結(jié)果可以發(fā)現(xiàn)，將1損失和對抗損失相結(jié)合得到的復(fù)合損失函數(shù)能有效提升改進CGAN模型的訓(xùn)練效果，但由于1損失函數(shù)存在穩(wěn)定性較差，易陷入局部最優(yōu)解的問題，因此，本研究選取5次重復(fù)試驗結(jié)果加以對比，驗證1損失函數(shù)對模型穩(wěn)定性的影響。5次重復(fù)試驗的學(xué)習(xí)率、最大訓(xùn)練次數(shù)等參數(shù)設(shè)置保持相同，結(jié)果如表2所示。

表2 模型的穩(wěn)定性評估

由表2可知，RICE1（薄云）數(shù)據(jù)PSNR指標(biāo)的平均值為24.99 dB，方差值為0.007 0 dB；SSIM指標(biāo)的平均值為0.90，方差值為0.000 9。RICE2（厚云）數(shù)據(jù)PSNR指標(biāo)的平均值為22.79 dB，方差值為0.001 6 dB；SSIM指標(biāo)的平均值為0.82，方差值為0.0021。由此可見，加入的1損失函數(shù)對模型的穩(wěn)定性沒有太大的影響。

3.3 與其他方法對比

為驗證本研究方法的改進效果，將其與原始CGAN模型、傳統(tǒng)的光學(xué)遙感圖像去云方法以及深度學(xué)習(xí)方法進行了對比。由于傳統(tǒng)的光學(xué)遙感圖像去云方法對薄云和厚云所采用的處理方法不同，因此試驗分成兩部分。首先是在RICE1數(shù)據(jù)集上將改進CGAN模型與原始CGAN、傳統(tǒng)光學(xué)遙感圖像薄云去云方法中經(jīng)典的同態(tài)濾波方法和小波變化方法以及文獻(xiàn)[18]中在遙感圖像去霧上取得較好效果的Pix2Pix方法進行薄云去除的對比試驗。其次在RICE2數(shù)據(jù)集上將改進CGAN模型與原始CGAN、以及傳統(tǒng)光學(xué)遙感圖像厚云去云方法中具有代表性的全變分模型方法以及文獻(xiàn)[18]中的Pix2Pix方法進行厚云去除的對比試驗。

3.3.1 去除薄云效果對比

在RICE1數(shù)據(jù)集上對比了本研究方法與原始CGAN方法、同態(tài)濾波方法、小波變換方法以及Pix2Pix方法，5種方法的去云質(zhì)量評估結(jié)果如表3所示，去云效果如圖 5所示。

由表3可知，在PSNR和SSIM指標(biāo)上，本研究方法均優(yōu)于原始CGAN模型和傳統(tǒng)薄云遙感圖像去云方法（同態(tài)濾波方法、小波變換方法），且與深度學(xué)習(xí)方法（Pix2Pix方法）相比，本研究也取得了較好的結(jié)果，說明本研究方法生成的無云遙感圖像質(zhì)量最佳，最接近于真實圖像。

注：CI為有云遙感圖像。

從圖5的對比效果中可以看出在對比的5中方法中本研究方法的去云效果最好，能有效去除薄云并較好的還原植被和山地的信息，植被的色彩更為真實，山脈的走勢和輪廓細(xì)節(jié)也能很好的體現(xiàn)。其中，同態(tài)濾波方法的去云效果最差，處理后的光學(xué)遙感圖像顏色出現(xiàn)嚴(yán)重失真，小波變換方法和原始CGAN模型方法相較于同態(tài)濾波方法在顏色失真問題上有了一定的改善，但有較多的云層殘留。Pix2Pix方法是除本研究方法外效果最好的，但其去云后的光學(xué)遙感圖像在顏色上仍存在失真現(xiàn)象且有少量云影殘留。

3.3.2 去除厚云效果對比

在RICE2數(shù)據(jù)集上對比了本研究方法與原始CGAN方法、全變分模型方法和Pix2Pix方法，4種方法的去云質(zhì)量評估結(jié)果如表4所示，去云效果如圖6所示。

由表4可知，本研究方法在PSNR指標(biāo)和SSIM指標(biāo)上依舊獲得了最高的指標(biāo)值，分別為22.79 dB和0.82，證明了本研究方法去除光學(xué)遙感圖像中厚云的有效性。

從圖6的對比效果中可以看出原始CGAN方法、全變分模型和Pix2Pix方法在一定程度上能將厚云層覆蓋下的地物顯現(xiàn)出來，但圖像細(xì)節(jié)信息缺失且在原云層的覆蓋區(qū)域留有較多的偽影，而使用本研究方法去云后的光學(xué)遙感圖像沒有云層和偽影殘留，圖像中的地物特征也更為清晰，相較于其他3種方法，去除厚云的效果最好。

綜合在RICE1和RICE2數(shù)據(jù)集上的試驗結(jié)果可知，本研究方法在薄云光學(xué)遙感圖像和厚云光學(xué)遙感圖像上均有良好的去云效果，且相較于原始CGAN方法去云效果有了大幅提高，在薄云和厚云光學(xué)遙感圖像上PSNR值分別提升了1.64和1.05 dB，SSIM值分別提升了0.03和0.04。此外，與傳統(tǒng)去云方法和Pix2Pix方法相比可以更為準(zhǔn)確的對光學(xué)遙感圖像中的地物信息進行恢復(fù)，具有更好的去云效果。

圖6 不同地形下不同方法的去厚云效果

4 結(jié) 論

本研究結(jié)合多尺度融合的思想，構(gòu)建了一種基于改進CGAN的光學(xué)遙感圖像去云模型，并對模型的有效性進行驗證，得到以下結(jié)論：

1）相較于原始CGAN模型中使用Unet結(jié)構(gòu)的生成器，改進CGAN模型中使用的帶有空間金字塔池化結(jié)構(gòu)的生成器可以更好的提取圖像的特征信息，生成的無云光學(xué)遙感圖像的PSNR值和SSIM值更高，圖像質(zhì)量更好。

2）在原始CGAN模型的損失函數(shù)的基礎(chǔ)上加入1回歸損失函數(shù)可以提升模型的性能與訓(xùn)練效果，使得生成的無云光學(xué)遙感圖像與真實無云遙感圖像具有更高的結(jié)構(gòu)相似性；

3）本研究提出的改進CGAN模型在RICE1（薄云）數(shù)據(jù)集上的PSNR值為24.99 dB，SSIM值為0.90，在RICE2（厚云）數(shù)據(jù)集上的PSNR值為22.79 dB，SSIM值為0.82。與原始CGAN方法和傳統(tǒng)光學(xué)遙感去云方法相比有明顯提升，與深度學(xué)習(xí)去云方法相比也有了一定的改善，而且圖像中云層信息的去除更為徹底，恢復(fù)的無云光學(xué)遙感圖像地物細(xì)節(jié)更為真實、清晰。

本研究方法目前只從生成器的角度做了改進，所以在網(wǎng)絡(luò)性能方面仍存在較大的提升空間。在接下來的工作中將從多尺度判別器和感知損失的使用等方面對所提出方法加以優(yōu)化，從而達(dá)到更好的去云效果。

[1] 張鵬，胡守庚. 地塊尺度的復(fù)雜種植區(qū)作物遙感精細(xì)分類[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(20)：125-134. Zhang Peng, Hu Shougeng. Fine crop classification by remote sensing in complex planting areas based on field parcel[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 125-134. (in Chinese with English abstract)

[2] 解毅，張永清，荀蘭，等. 基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類研究[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(15)：129-137. Xie Yi, Zhang Yongqing, Xun Lan, et al. Crop classification based on multi-source remote sensing data fusion and LSTM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 129-137. (in Chinese with English abstract)

[3] 黃健熙，武思杰，劉興權(quán)，等. 基于遙感信息與作物模型集合卡爾曼濾波同化的區(qū)域冬小麥產(chǎn)量預(yù)測[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(4)：142-148. Huang Jianxi, Wu Sijie, Liu Xingquan, et al. Regional winter wheat yield forecasting based on assimilation of remote sensing data and crop growth model with Ensemble Kalman method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(4): 142-148. (in Chinese with English abstract)

[4] 劉煥軍，康苒，Susan Ustin，等. 基于時間序列高光譜遙感影像的田塊尺度作物產(chǎn)量預(yù)測[J]. 光譜學(xué)與光譜分析，2016，36(8)：2585-2589. Liu Huanjun, Kang Ran, Susan Ustin, et al. Study on the prediction of cotton yield within filed scale with time series hyperspectral imagery[J]. Spectroscopy and Spectral Analysis, 2016, 36(8): 2585-2589. (in Chinese with English abstract)

[5] 吳剛，彭要奇，周廣奇，等. 基于多光譜成像和卷積神經(jīng)網(wǎng)絡(luò)的玉米作物營養(yǎng)狀況識別方法研究[J]. 智慧農(nóng)業(yè)，2020，2(1)：111-120. Wu Gang, Peng Yaoqi, Zhou Guangqi, et al. Recognition method for corn nutrient based on multispectral image and convolutional neural network[J]. Smart Agriculture, 2020, 2(1): 111-120. (in Chinese with English abstract)

[6] 李洪利，沈煥鋒，杜博，等. 一種高保真同態(tài)濾波遙感影像薄云去除方法[J]. 遙感信息，2011(1)：41-44，58. Li Hongli, Shen Huanfeng, Du Bo, et al. A High-fidelity method of removing thin cloud from remote sensing digital images based on homomorphic filtering[J]. Remote Sensing Information, 2011(1): 41-44, 58. (in Chinese with English abstract)

[7] 李超煒，鄧新蒲，趙昊宸. 基于小波分析的遙感影像薄云去除算法研究[J]. 數(shù)字技術(shù)與應(yīng)用，2017(6)：137-139．Li Chaowei, Deng Xinpu, Zhao Haochen. Thin cloud removal algorithm based on wavelet analysis for remote sensing images[J]. Digital Technology & Application, 2017(6): 137-139. (in Chinese with English abstract)

[8] 趙孟銀，鄭小慎，劉文靜. 基于相似像元替換的遙感影像厚云去除方法研究[J]. 計算機應(yīng)用研究，2016，33(11)：3509-3512. Zhao Mengyin, Zheng Xiaoshen, Liu Wenjing. Study of thick clouds removal from remotely sensed images based on similar pixel substitution approach[J]. Application Research of Computers, 2016, 33(11): 3509-3512. (in Chinese with English abstract)

[9] 王睿，黃微，胡南強. 基于全變分模型的多時相遙感影像厚云去除算法[J/OL]. 計算機應(yīng)用, [2020-06-14]. http: //kns. cnki. net/kcms/detail/51. 1307. TP. 20191226. 1141. 004. html. Wang Rui, Huang Wei, Hu Nanqiang. Thick cloud removal algorithm for multi-temporal remote sensing images based on total variation model[J/OL]. Journal of Computer Applications, [2020-06-14]. http: //kns. cnki. net/kcms/detail/51. 1307. TP. 20191226. 1141. 004. html.

[10] Markchom T, Lipikorn R. Thin coud removal using local minimization and logarithm image transformation in HSI color space[C]// 2018 4th International Conference on Frontiers of Signal Processing (ICFSP). Poitiers, France: IEEE, 2018.

[11] 古今，何苗，王保云. 基于低秩矩陣分解的遙感圖像薄云去除方法[J]. 上海理工大學(xué)學(xué)報，2018，40(4)：323-329. Gu Jin, He Miao, Wang Baoyun. Application of low-rank matrix decomposition in the thin cloud removal from remote sensing images[J]. University of Shanghai for Science and Technology, 2018, 40(4): 323-329. (in Chinese with English abstract)

[12] 石曉旭，夏克文，王寶珠，等. 采用改進RPCA的遙感影像去云算法[J]. 計算機工程與設(shè)計，2018，39(6)：1653-1658. Shi Xiaoxu, Xia Kewen, Wang Baozhu, et al. Cloud removal algorithm of remote sensing image via improved RPCA[J]. Computer Engineering and Design, 2018, 39(6): 1653-1658. (in Chinese with English abstract)

[13] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014: 2672-2680.

[14] Mirza M, Osindero S. Conditional generative adversarial nets[EB/OL].[2019-03-22]. https://arxiv. org/pdf/1411. 1784.

[15] 楊繼明，丁世宏. CGAN網(wǎng)絡(luò)在去除圖像雨雪痕跡中的應(yīng)用[J]. 揚州大學(xué)學(xué)報(自然科學(xué)版)，2019，22(4)：26-29. Yang Jiming, Ding Shihong. Application of CGAN network for rain and snow removing in images[J]. Journal of Yangzhou University: Natural Science Edition, 2019, 22(4): 26-29. (in Chinese with English abstract)

[16] 王云飛, 王園宇. 基于Msmall-Patch訓(xùn)練的夜晚單幅圖像去霧算法--MP-CGAN[J].計算機應(yīng)用, 2020,40(3):865-871.Wang Yunfei, Wang Yuanyu. Research on night single image dehaze based on Msmall-Patch training--MP-CGAN[J]. Journal of Computer Application, 2020, 40(3):865-871.

[17] 肖進勝，申夢瑤，雷俊鋒，等. 基于生成對抗網(wǎng)絡(luò)的霧霾場景圖像轉(zhuǎn)換算法[J]. 計算機學(xué)報，2020，43(1)：165-176. Xiao Jinsheng, Shen Mengyao, Lei Junfeng. Image conversion algorithm for haze scene based on generative adversarial networks[J]. Chinese Journal of Computers, 2020, 43(1): 165-176. (in Chinese with English abstract)

[18] 趙肖肖. 基于深度學(xué)習(xí)的高分辨率遙感圖像去霧方法研究[D]. 呼和浩特：內(nèi)蒙古工業(yè)大學(xué)，2019.Zhao Xiaoxiao. Research on High Resolution Remote Sensing Image Dehazing Method Based on Deep Learning[D]. Hohhot: Inner Mongolia University of Technology, 2019. (in Chinese with English abstract)

[19] Isola P, Zhu J, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Hawaii, USA: IEEE, 2017: 5967-5976.

[20] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]// European Conference on Computer Vision, Zurich, Switzerland: Springer, 2014: 346-361.

[21] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image seg mentation[C]// Proceedings of the 18th International Conference Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer, 2015: 234-241.

[22] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640-651.

[23] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[24] 王格格，郭濤，李貴洋. 多層感知器深度卷積生成對抗網(wǎng)絡(luò)[J]. 計算機科學(xué)，2019，46(9)：243-249. Wang Gege, Guo Tao, Li Guiyang. Multi-layer perceptron deep convolutional generative adversarial network[J]. Computer Science, 2019, 46(9): 243-1958. (in Chinese with English abstract)

[25] Lin D Y, Xu G L, Wang X K, et al. A remote sensing image dataset for cloud removal[J/OL]. Computer Vision and Pattern Recognition, [2019-01-03]. https://arxiv.org/pdf/ 1901.00600

Method for cloud removal of optical remote sensing images using improved CGAN network

Pei Ao, Chen Guifen※, Li Haoyue, Wang Bing

(C,130118,)

The optical remote sensing images used in agricultural production are often affected by clouds during the acquisition process. The sharpness of acquired images can also be reduced, and thereby the decreased clarity of image makes difficult to interpret feature information. This process has posed a great challenge on subsequent applications in agricultural production, such as crop growth detection, crop classification and yield prediction. In this study, a method for cloud removal was proposed using the improved Conditional Generative Adversarial Net-work (CGAN), in order to enhance the detecting resolution of remote sensing images. A mapping relationship between pixels of the cloud and cloudless data was established by training the CGAN. The transformation of remote sensing image can be completed from cloud to cloudless on this basis. Eventually, the cloud component can be effectively removed from the optical remote sensing images. This method can also realize the data restoration of some details in optical remote sensing images during imaging processing. Therefore, a general system of network structure can be used to remove thin and thick clouds in optical remote sensing images by using the improved model. The modified generator of network can be utilized to enhance the image quality of generated data, particularly resulted from the single feature extraction of the original CGAN. The specific procedure of image processing can be: firstly, a series of convolutions were used to extract the feature information of the input images. Then, the multi-scale feature maps were obtained from the feature information using the spatial pyramid pooling operation. Finally, these feature maps with different size were restored to the original size, and thereby mixed together to generate the final cloudless optical remote sensing images. The scale of feature extraction by the generator can significantly increase in this method. Accordingly, the resulting effect on the resolution of images can also increase significantly. In order to verify the cloud removal method, some experiments were performed using the same optical remote sensing image data sets. Three types of methods were selected to compare, including the original CGAN, traditional cloud removal algorithm, and the Pix2Pix method in deep learning. Two indicators, including the Peak Signal-to-Noise Ratio (PSNR) and the Structural SIMilarity (SSIM), were introduced to make a quantitative assessment of experimental results for better evaluation. The experimental results show that: 1) the proposed method can be applied to the removal of thin and thick cloud in optical remote sensing images, indicating high resolution in both types of cloud removal. 2) Compared with the original CGAN, the quality of generated cloudless image was similar to that of the real cloudless remote sensing image. In the removal of thin cloud using the improved CGAN model, the PSNR increased by 1.64 dB, and the SSIM value increased by 0.03, whereas in the thick cloud, the PSNR increased by 1.05 dB, and the SSIM value increased by 0.04. 3) Compared with the traditional cloud removal method, the improved CGAN model removed cloud layer more thoroughly in optical remote sensing image, indicating much more realistic color of the features in the optical remote sensing image. Compared with the Pix2Pix method, some details were better recovered, particularly the landscape in the generated cloudless optical remote sensing images. The PSNR and SSIM index values of remote sensing images have been improved accordingly. These results can prove that the improved CGAN is suitable to remove clouds from the optical remote sensing images. The findings can provide an insightful idea and promising method for the remote sensing image processing in modern agriculture.

remote sensing; optical image; cloud removal; conditional generative adversarial net-work; spatial pyramid pooling; multi-scale feature extraction

裴傲，陳桂芬，李昊玥，等. 改進CGAN網(wǎng)絡(luò)的光學(xué)遙感圖像云去除方法[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(14)：194-202.doi：10.11975/j.issn.1002-6819.2020.14.024 http://www.tcsae.org

Pei Ao, Chen Guifen, Li Haoyue, et al. Method for cloud removal of optical remote sensing images using improved CGAN network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 194-202. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.14.024 http://www.tcsae.org

2020-03-25

2020-07-03

吉林省科技廳重點項目（20180201073SF）；吉林省教育廳重點項目（JJKH20200328KJ）

裴傲，研究方向為人工智能與計算機農(nóng)業(yè)應(yīng)用。Email：835115029@qq.com

陳桂芬，博士，教授，博士生導(dǎo)師，研究方向為人工智能與計算機農(nóng)業(yè)應(yīng)用。Email：guifchen@163.com

10.11975/j.issn.1002-6819.2020.14.024

TP391.41；TP183；S127

A

1002-6819(2020)-14-0194-09