張文康

（北方工業(yè)大學(xué) 信息學(xué)院，北京 100144）

0 引言

近些年來，在眾多對地觀測手段中，衛(wèi)星遙感圖像作為一種更加高效的技術(shù)受到了包括國防與民生建設(shè)、自然災(zāi)害預(yù)測等多行業(yè)的青睞。鑒于其擁有其巨大的市場和應(yīng)用，形成了遙感圖像處理這樣的學(xué)術(shù)研究領(lǐng)域，取得了長足的發(fā)展。云作為一種典型的氣象和氣候要素，廣泛的存在于光學(xué)衛(wèi)星遙感圖像當(dāng)中（例如：我國四川盆地常年云覆蓋率超過60%）。此外，云的形狀，亮度和紋理在一定程度上是隨機(jī)的，并時常隨著時間，高度、厚度、太陽仰角等因素而變化。這將導(dǎo)致云的局部形狀可能與某些地物有較高的相似度，同時，卷云本身亮度較低，存在大量的紋理。相比于厚云，卷云特征在某種程度上更加接近于地物，云的這些特性大大影響了圖像的完整性和價值，增加了提取地面信息的難度。此外，這種低價值的圖片還極大的占用了衛(wèi)星下行鏈路的帶寬以及儲存空間，形成了資源的浪費。因此，準(zhǔn)確識別衛(wèi)星圖像中的云區(qū)域是一個關(guān)鍵的課題。

在早期，機(jī)器學(xué)習(xí)是衛(wèi)星應(yīng)用的主要方法，其包括了單波段和多光譜數(shù)據(jù)，后者由于包含了更多的地物反射信息，具有更高的精準(zhǔn)度。但在某些特定情況下，如夜晚、下墊面為沙漠、海岸線、河、冰川和內(nèi)陸湖時，由于云與下墊面反射率類似，系統(tǒng)很難正確區(qū)分。因此，這些干擾的存在會導(dǎo)致錯誤的檢測與識別，進(jìn)而影響后續(xù)的分析與處理結(jié)果。與此同時，多變的云圖特性會使閾值法的效果受到很多方面因素的干擾。例如：云的種類、高度、厚度和太陽高度角等。傳統(tǒng)的遙感圖像分割技術(shù)在分割過程中，容易忽略遙感圖像中同一個地物的類內(nèi)差異或紋理相似度較高的不同地物之間的差異。這是因為其主要技術(shù)為針對灰度或紋理差異較大的不同地物。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中一個新的研究方向，其在視覺處理、數(shù)據(jù)挖掘、自然語言處理等領(lǐng)域都取得了很好的成果。目標(biāo)識別作為其中的一種，已經(jīng)在人臉識別、車輛檢測、衛(wèi)星圖像分析當(dāng)中取得了廣泛的應(yīng)用。在遙感領(lǐng)域，基于深度學(xué)習(xí)來進(jìn)行云分割的方法也受到了研究人員的青睞。在之前的研究中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在目標(biāo)識別網(wǎng)絡(luò)中取得了里程碑式的進(jìn)展，在多種圖像處理任務(wù)中取得了優(yōu)秀的成績，但是，由于卷積操作的局限性所限，其無法學(xué)習(xí)全局，完成遠(yuǎn)端的信息交互。Swin-Unet是一種基于圖像分割經(jīng)典模型U-Net改進(jìn)的純Transformer模型，相比于其他圖像分割算法，其在U型架構(gòu)中，將圖像塊通過跳躍連接送到基于Transformer的U形編碼器-譯碼器架構(gòu)中，更好的進(jìn)行了局部以及全局的語義特征學(xué)習(xí)，取得了更優(yōu)的性能。后續(xù)，Swin-Unet也被應(yīng)用于包括車輛檢測在內(nèi)的其他圖像分割領(lǐng)域，提升分割的準(zhǔn)確率。因此在本文中，也將借鑒深度學(xué)習(xí)領(lǐng)域的Swin-Unet分割模型完成遙感圖像中的云區(qū)域識別。

1 網(wǎng)絡(luò)結(jié)構(gòu)

目前的圖像分割主要基于全卷積神經(jīng)網(wǎng)絡(luò)（FCNN)，其中以U型網(wǎng)絡(luò)結(jié)構(gòu)最為常用。傳統(tǒng)的U型網(wǎng)絡(luò)，如U-Net，是一個對稱的編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)，并且包含跨層連接（skip connection)。編碼器通過一系列卷積和下采樣操作提取不同感受視野下的語義特征；解碼器通過上采樣操作將提取到的特征圖恢復(fù)到原始分辨率，進(jìn)行像素級別的密集預(yù)測；跨層連接則負(fù)責(zé)將同層的編碼器提取的信息與解碼器進(jìn)行融合，從而減少因為下采樣操作導(dǎo)致的空間信息丟失問題。通過精巧的結(jié)構(gòu)設(shè)計，U-Net已經(jīng)在諸多圖像分割任務(wù)中取得優(yōu)異的效果，但其仍然局限于CNN模型，無法捕捉全局和長程的語義信息。

受Transformer在NLP領(lǐng)域中的啟發(fā)，目前研究人員正將Transformer遷移到計算機(jī)視覺領(lǐng)域。本文中使用的Swin-Unet即是一種純Transformer架構(gòu)。與CNN相比，其計算兩個位置之間的關(guān)聯(lián)所需的操作次數(shù)不隨距離增長，這意味著其可以更好地捕捉到全局的語義信息。此外，Transformer的自注意力(Selfattention)機(jī)制可以產(chǎn)生更具可解釋性的模型，各個注意頭（Attention head）可以學(xué)會執(zhí)行不同的任務(wù)。

1.1 面向云分割的Swin-Unet網(wǎng)絡(luò)

整個Swin-Unet網(wǎng)絡(luò)框架可以分為以下3個部分：編碼器（左側(cè)部分），解碼器（右側(cè)部分）以及skip connection（中間跨線部分），如圖1所示。其中，Swin-Unet網(wǎng)絡(luò)的基礎(chǔ)模塊Swin Transformer在2.2節(jié)進(jìn)行詳細(xì)介紹，而本節(jié)著重從框架層面介紹各個部分的結(jié)構(gòu)和功能。

圖1 Swin-Unet網(wǎng)絡(luò)架構(gòu)Fig.1 Swin-Unet Network architecture

1）編碼器

該模塊首先將輸入的圖片切分成大小互不重疊的分塊，隨后對輸入分塊進(jìn)行線性映射。隨后映射過的token被送入Swin Transformer模塊和patch merge層用來生成不同尺度的特征表述；Swin Transformer模塊負(fù)責(zé)學(xué)習(xí)特征，patch merge層負(fù)責(zé)下采樣操作。

2）解碼器

解碼器由多個Swin Transformer模塊和patch expanding層組成，跨線依舊負(fù)責(zé)特征融合，彌補(bǔ)原始信息的丟失，patch expanding層則進(jìn)行的是上采樣操作，將該層feature map擴(kuò)充至2x分辨率；最后一個patch expanding層會擴(kuò)充至4x分辨率；然后通過線性層進(jìn)行像素級別的預(yù)測。

3）跨線連接

和傳統(tǒng)的U-Net一樣，跨線會以級聯(lián)的方式將特征圖輸送到解碼器當(dāng)中，以此來融合多尺度特征。

1.2 Swin Transformer基礎(chǔ)模塊

Swin Transformer是整個網(wǎng)絡(luò)最基礎(chǔ)的模塊，和傳統(tǒng)的MSA結(jié)構(gòu)并不一樣，Swin Transformer主要是基于滑動窗口（shifted window）構(gòu)建的，圖2展示了兩個串聯(lián)的Swin Transformer模塊。

圖2 Swin Transformer模塊Fig.2 Swin Transformer module

每個Swin Transformer由層歸一化（Layer Norm，LN）層、多頭自注意力模塊、殘差連接和2個包含有激活函數(shù)GELU的多層感知機(jī)組成。

在2個連續(xù)的Transformer模塊中分別采用了基于窗口的多頭自注意力模塊（Window-based Multihead Self-attention）和基于移動窗口的多頭自注意力模塊（Shifted Window-based Multi-head Self attention），前者用w(g)表示，后者用s(g)表示。因此，基于這種窗口劃分機(jī)制的連續(xù)Swin Transformer Block可表示為：

其中，LN(g)對應(yīng)層歸一化網(wǎng)絡(luò)層；MLP(g)表示包含有激活函數(shù)GELU的多層感知機(jī)；和Z l分別表示(SWMSA)模塊和第l塊的MLP模塊的輸出。

2 實驗與評價

2.1 數(shù)據(jù)集

數(shù)據(jù)集是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的關(guān)鍵要素，數(shù)據(jù)集的選擇決定了神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果的好壞。因此，選擇一個好的數(shù)據(jù)集格外重要。本文采用了38-Cloud數(shù)據(jù)集進(jìn)行訓(xùn)練。該數(shù)據(jù)集包含38幅Landsat 8場景圖像及其手動提取的像素級地物真實標(biāo)簽，用于云檢測。這些場景的整個圖像被裁剪成384×384個斑塊，以適合于基于深度學(xué)習(xí)的語義分割算法。數(shù)據(jù)集被劃分為8400個斑塊進(jìn)行訓(xùn)練，9201個補(bǔ)丁進(jìn)行測試。每幅圖像有4個相應(yīng)的波段，分別是紅色（波段4）、綠色（波段3）、藍(lán)色（波段2）和近紅外（波段5）。

圖3 數(shù)據(jù)集圖片示例Fig.3 Example of a dataset image

在本文中，數(shù)據(jù)集被劃分為訓(xùn)練集、驗證集和測試集。將數(shù)據(jù)集8400張圖片，5000張劃分為訓(xùn)練集，1000張劃分為驗證集，剩余的2400張則為測試集。

2.2 評估標(biāo)準(zhǔn)

1）Dice系數(shù)

Dice系數(shù)（Dice Coefficient）本質(zhì)上是為了衡量兩個樣本的重疊部分。此度量范圍為0～1，其中Dice系數(shù)為1時表示兩樣本完全重合。

Dice系數(shù)的計算公式如下：

2）準(zhǔn)確率

在本文研究的云區(qū)域分割任務(wù)中，預(yù)測過程將圖片信息分為兩類：云像素為正類，地物像素為負(fù)類。則準(zhǔn)確率的計算公式如下：

其中，TP代表正確識別云像素的個數(shù)；TN代表正確識別地物像素的個數(shù)；分子為兩者之和，代表所有正確識別的像素個數(shù)；FP代表錯誤識別云像素的個數(shù)；FN代表錯誤識別的物像素的個數(shù)；分母為所有像素個數(shù)。

2.3 與其他模型進(jìn)行對比

本文測試了在不同學(xué)習(xí)率下的模型表現(xiàn)。此外，也將傳統(tǒng)的U-Net網(wǎng)絡(luò)作為對照組，進(jìn)行對比。

1）Swin-Unet最優(yōu)模型選擇

本文分別對Swin-Unet選取了不同的學(xué)習(xí)率進(jìn)行了訓(xùn)練，并通過驗證集的最大準(zhǔn)確率選擇最佳模型，在不同學(xué)習(xí)率下Swin-Unet模型的表現(xiàn)結(jié)果見表1。根據(jù)實驗結(jié)果，選取了學(xué)習(xí)率為0.0001時的模型為最優(yōu)模型，其驗證集和測試集在此時都達(dá)到了最優(yōu)值（測試集準(zhǔn)確率為0.9830，測試集Dice系數(shù)為0.9745）。

表1 不同學(xué)習(xí)率下，Swin-Unet最優(yōu)模型訓(xùn)練集的Loss、驗證集準(zhǔn)確率和Dice系數(shù)、測試集準(zhǔn)確率和Dice系數(shù)對比Table 1 Comparison of Loss, validation set accuracy and Dice coefficient, test set accuracy and Dice coefficient of Swin-Unet optimal model training set under different learning rates

根據(jù)實驗結(jié)果，選取了學(xué)習(xí)率為0.0001時的模型為最優(yōu)模型，其驗證集和測試集在此時都達(dá)到了最優(yōu)值（測試集準(zhǔn)確率為0.9830，測試集Dice系數(shù)為0.9745）。

2）U-Net網(wǎng)絡(luò)最優(yōu)模型選擇

將傳統(tǒng)的U-Net網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，在U-Net網(wǎng)絡(luò)中，使用交叉熵函數(shù)（Cross Entropy Loss）作為網(wǎng)絡(luò)的損失函數(shù)。交叉熵作為損失函數(shù)的好處是使用sigmoid函數(shù)在梯度下降時能避免均方誤差損失函數(shù)學(xué)習(xí)速率降低的問題，因為學(xué)習(xí)速率可以被輸出的誤差所控制。其公式表示如下：

其中，P(x)表示語義分割的標(biāo)注；q(x)為預(yù)測值。

通過對參數(shù)的調(diào)整，得出傳統(tǒng)U-Net模型在訓(xùn)練達(dá)到最優(yōu)時測試集準(zhǔn)確率達(dá)到0.9769，測試集Dice系數(shù)為0.9184。

3）與主流模型對比

在訓(xùn)練過程中發(fā)現(xiàn)，傳統(tǒng)U-Net模型在訓(xùn)練達(dá)到第47代時模型達(dá)到最優(yōu)，而Swin-Unet在訓(xùn)練到第45代時性能最優(yōu)，這說明了Swin-Unet在云分割領(lǐng)域比傳統(tǒng)的以CNN為架構(gòu)的U-Net模型收斂更快。

此外，對比不同模型下的最佳表現(xiàn)，傳統(tǒng)U-Net模型在訓(xùn)練達(dá)到最優(yōu)時測試集準(zhǔn)確率達(dá)到0.9769，測試集Dice系數(shù)為0.9184。而Swin-Unet模型的測試集準(zhǔn)確率為0.9830，測試集Dice系數(shù)為0.9745。這表明了Swin-Unet在云分割領(lǐng)域擁有更好的識別效果。

2.4 云分割效果

本小節(jié)示意圖中均包含3幅小圖像，其中第1幅為輸入樣本，第2幅為真實標(biāo)記云分布，第3幅圖為經(jīng)過系統(tǒng)分割后預(yù)測的云分布。第2、第3幅圖可以進(jìn)行直觀對比觀察本文分割模型效果。

1）厚云

如圖4所示，若需分割的云為厚云時，模型可對云進(jìn)行準(zhǔn)確率較高的分割，但在云的邊緣范圍，無法實現(xiàn)較為精準(zhǔn)的分割效果，存在一定的誤差。

圖4 厚云輸入下的真實標(biāo)記和預(yù)測結(jié)果Fig.4 Ground-truth labeling and prediction results under thick cloud input

2）薄云

如圖5所示，若需分割的云為薄云時，模型可對云進(jìn)行準(zhǔn)確率較高的分割，大致范圍與精標(biāo)準(zhǔn)結(jié)果吻合，仍在云和地面交接處存在一定的誤差。

圖5 薄云輸入下的真實標(biāo)記和預(yù)測結(jié)果Fig.5 Ground-truth labeling and prediction results under thin cloud input

3）朵云

如圖6所示，若需分割的云為朵云時，模型可對云進(jìn)行準(zhǔn)確率較高的分割，如上述二者相比效果更好。

圖6 朵云輸入下的真實標(biāo)記和預(yù)測結(jié)果Fig.6 Ground-truth labeling and prediction results under Duoyun input

4）雪山墊面

如圖7所示，當(dāng)下墊面為雪山時，地表信息中的雪基本不會對云的分割效果產(chǎn)生極大干擾，云的邊緣無法精準(zhǔn)分割，存在小范圍誤差。

圖7 雪山下墊面輸入下的真實標(biāo)記和預(yù)測結(jié)果Fig.7 The real label and prediction results under the input of the underlying surface of the snow mountain

5）海洋墊面

如圖8所示，當(dāng)下墊面為海洋時，雖然其中的云亮度較低，但可以看出分割效果較好，只存在小范圍的細(xì)節(jié)無法精準(zhǔn)分割，總體分割效果優(yōu)秀。

圖8 海洋墊面輸入下的真實標(biāo)記和預(yù)測結(jié)果Fig. 8 Ground-truth labeling and prediction results under the input of ocean surface

6）平原墊面

當(dāng)下墊面為平原時，由圖9可以看出無法做出很精細(xì)的分割效果，與金標(biāo)準(zhǔn)結(jié)果相比，大致輪廓吻合，云的邊緣與細(xì)節(jié)存在一定程度的誤差。

圖9 平原墊面輸入下的真實標(biāo)記和預(yù)測結(jié)果Fig.9 Ground-truth labeling and prediction results under plain mat input