張晗濤,胡榮明,姜友誼,胡亞軒

(1.西安科技大學(xué) 測(cè)繪科學(xué)與技術(shù)學(xué)院,西安 710000;2.中國(guó)地震局第二監(jiān)測(cè)中心,西安 710054)

0 引言

隨著遙感技術(shù)在自然資源監(jiān)測(cè)的廣泛應(yīng)用,如何準(zhǔn)確地獲取河流水體信息已經(jīng)成為遙感應(yīng)用領(lǐng)域的一個(gè)關(guān)鍵研究方向。當(dāng)前,利用DeeplabV3+[1]網(wǎng)絡(luò)模型進(jìn)行遙感信息提取已取得了較多的成就,如陳前等[2]利用DeeplabV3網(wǎng)絡(luò)對(duì)高分遙感影像水體提取進(jìn)行研究,證明了深度學(xué)習(xí)方法的有效性。Li等[3]通過(guò)密集局部特征壓縮網(wǎng)絡(luò)融合遙感圖像的空間和光譜信息,從不同的遙感圖像中提取水體,并與傳統(tǒng)的水體提取方法以及U-Net、DeeplabV3+等模型進(jìn)行了對(duì)比。茍杰松等[4]通過(guò)利用DeeplabV3+方法證明了在養(yǎng)殖水體信息提取方面,DeeplabV3+方法均高于歸一化差分水體指數(shù)法和最大似然監(jiān)督分類法。Chen等[5]通過(guò)改進(jìn)LinkNet模型進(jìn)行了寒旱區(qū)河流水體提取,并與U-Net、DeeplabV3+等神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了對(duì)比。

綜上所述,DeeplabV3+網(wǎng)絡(luò)雖然在遙感信息提取領(lǐng)域有些許成就,但是針對(duì)于高分辨率遙感影像進(jìn)行河流水體信息提取仍存在研究不足。本文通過(guò)建立不同骨架網(wǎng)絡(luò)模型的DeeplabV3+網(wǎng)絡(luò),探究不同骨架網(wǎng)絡(luò)模型在河流水體提取的應(yīng)用能力,同時(shí)針對(duì)研究中所存在的小目標(biāo)河流提取精度不足的問(wèn)題,對(duì)DeeplabV3+網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化,提出了一種基于改進(jìn)DeeplabV3+網(wǎng)絡(luò)的河流提取方法。

1 研究區(qū)概況與數(shù)據(jù)源

1.1 研究區(qū)概況

為了探究深度學(xué)習(xí)模型在不同遙感影像中河流提取的應(yīng)用能力,選擇山區(qū)、城市、云霧等4種不同遙感影像下的河流水體作為研究對(duì)象。

1.2 數(shù)據(jù)源

本文遙感影像數(shù)據(jù)集采用的是高分二號(hào)和高分七號(hào)影像。實(shí)驗(yàn)數(shù)據(jù)集主要是由遙感影像數(shù)據(jù)以及人工經(jīng)過(guò)目視解譯,利用Labelme圖形圖像注釋工具進(jìn)行標(biāo)注的二值圖標(biāo)簽數(shù)據(jù)組成。影像標(biāo)簽數(shù)據(jù)采用的是Pascalvoc數(shù)據(jù)集格式,影像分辨率為1 024像素×1 024像素,共由7 551張訓(xùn)練數(shù)據(jù)構(gòu)成。該數(shù)據(jù)集主要由長(zhǎng)江流域水系構(gòu)成,影像采集時(shí)間主要為第二季度,去除了結(jié)冰水面干擾。河流水體語(yǔ)義分割訓(xùn)練數(shù)據(jù)集如圖1所示。

圖1 河流水體語(yǔ)義分割訓(xùn)練集

2 研究方法

2.1 DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)主要分為編碼層和解碼層兩部分。編碼層的主體由兩部分組成,首先是深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks,DCNN)[6],其通常采用的是Xception或ResNet[7-8]等常用的分類骨架網(wǎng)絡(luò),其次是帶有空洞卷積的空間金字塔池化模塊(atrous spatial pyramid pooling,ASPP)[9]。空洞卷積是在不改變特征圖大小的同時(shí)控制感受野,多尺度地獲取影像關(guān)鍵信息?？臻g金字塔池化模塊則是通過(guò)采用不同空洞率的空洞卷積來(lái)進(jìn)一步提取多尺度信息。解碼層主要是通過(guò)采用1×1的卷積對(duì)提取到低層次(low-level)特征信息進(jìn)行壓縮,然后通過(guò)與高層次(high-level)特征信息進(jìn)一步融合,其次將融合后的結(jié)果通過(guò)3×3的卷積來(lái)細(xì)化特征,最后經(jīng)過(guò)一個(gè)4倍上采樣來(lái)輸出最終結(jié)果,進(jìn)而提升分割邊界準(zhǔn)確度。

2.2 改進(jìn)的DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

本文針對(duì)河流提取研究,對(duì)DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn),改進(jìn)后的模型結(jié)構(gòu)如圖2所示,網(wǎng)絡(luò)主體同樣分為編碼層和解碼層兩大部分,其中深度卷積神經(jīng)網(wǎng)絡(luò)所采用的是在本河流提取研究中表現(xiàn)較為優(yōu)秀的ResNet-50骨架網(wǎng)絡(luò),具體的改進(jìn)由編碼區(qū)改進(jìn)ASPP模塊和解碼區(qū)增加不同層次的輸入圖像特征構(gòu)成。

圖2 改進(jìn)的DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

1)編碼區(qū)改進(jìn)空間金字塔池化模塊。空間金字塔池化模塊主要作用是對(duì)輸入的特征圖進(jìn)行多尺度語(yǔ)義信息提取,其由多個(gè)卷積操作和全局平均池化操作并行構(gòu)成,其中除了1×1的卷積外,其余的卷積核都帶有不同的空洞率來(lái)進(jìn)行卷積操作[10]。之所以要帶有不同的空洞率進(jìn)行卷積,是因?yàn)殡S著網(wǎng)絡(luò)模型逐步提取圖像特征,原始特征圖的分辨率會(huì)逐漸變小。此時(shí),攜帶著空洞率值較大的卷積核,更加適合分割大尺寸目標(biāo)物。同樣地,攜帶著空洞率較小的卷積核更加適合分割小尺寸目標(biāo)物。因此,本研究為了增加模型分割不同大小目標(biāo)的能力,在ASPP模塊中使得網(wǎng)絡(luò)結(jié)構(gòu)具有多尺度的卷積核。如圖2所示,在該模塊,本研究為了能夠提取出小目標(biāo)的狹長(zhǎng)河流水體,將原始DeeplabV3+網(wǎng)絡(luò)空間金字塔池化模塊中空洞率值為6、12、18的空洞卷積優(yōu)化為空洞率值分別為2、4、8、16的空洞卷積操作。

同時(shí),本研究將空間金字塔池化模塊中原有的標(biāo)準(zhǔn)卷積替換成深度可分離卷積。深度可分離卷積中每個(gè)卷積核只考慮自己所負(fù)責(zé)的通道,而不像標(biāo)準(zhǔn)卷積那樣,每個(gè)卷積核要考慮所有通道的語(yǔ)義信息。首先通過(guò)在逐個(gè)通道中進(jìn)行深度卷積學(xué)習(xí)空間相關(guān)性,然后進(jìn)行點(diǎn)卷積操作學(xué)習(xí)特征。深度可分離卷積以其較低的參數(shù)數(shù)量和運(yùn)算成本取得了較大的優(yōu)勢(shì),在訓(xùn)練過(guò)程中大大減少了所需參數(shù)量,同時(shí)深度可分離卷積還在對(duì)預(yù)測(cè)精度影響不大的前提下提高了網(wǎng)絡(luò)模型的訓(xùn)練效率。

2)解碼區(qū)增加不同層次的圖像特征。在解碼區(qū)部分,本文將兩個(gè)經(jīng)過(guò)編碼區(qū)骨架網(wǎng)絡(luò)不同層次的輸入圖像特征圖提取出來(lái),相比于原始DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了同時(shí)提取兩個(gè)特征圖映射作為解碼器的特征輸入信息,并將提取出的兩個(gè)低維特征以融合的方式使其更具有豐富的低維特征信息。然后,對(duì)融合后的低維特征和編碼器中獲取的高維特征進(jìn)行處理融合,再次豐富完善特征信息。最后,在經(jīng)過(guò)3×3卷積和4倍的上采樣處理后,將特征信息進(jìn)行細(xì)化,恢復(fù)特征所應(yīng)具有的空間信息,最終將得到的分割結(jié)果圖進(jìn)行輸出[11]。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)程序所采用深度學(xué)習(xí)框架為PyTorch。超參數(shù)[12]設(shè)置為:初始學(xué)習(xí)率0.003,權(quán)重衰減0.000 2,總共進(jìn)行100次訓(xùn)練迭代,批尺寸大小(batch size)為12。本次研究中采用平均交并比(MIoU)為主要的評(píng)價(jià)指標(biāo)。MIoU是語(yǔ)義分割領(lǐng)域常用的評(píng)價(jià)指標(biāo),代表模型語(yǔ)義分割預(yù)測(cè)的結(jié)果與其人工創(chuàng)建的標(biāo)簽真值之間的像素重合度。本文中MIoU的取值范圍為[0,1],如果MIoU值越大,則說(shuō)明預(yù)測(cè)的分割結(jié)果圖越準(zhǔn)確[13]。

3.1 不同骨架網(wǎng)絡(luò)模型對(duì)比

通過(guò)目視解譯表1中的不同骨架網(wǎng)絡(luò)結(jié)構(gòu)分類結(jié)果可以發(fā)現(xiàn),4種骨架網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于大面積區(qū)域范圍的河流水體均進(jìn)行了有效的提取,但是對(duì)于小面積區(qū)域范圍的河流水體,不同骨架網(wǎng)絡(luò)結(jié)構(gòu)之間的提取能力相差較大,這一點(diǎn)在區(qū)域(a)和區(qū)域(b)中表現(xiàn)明顯。其中Xception骨架網(wǎng)絡(luò)的河流水體提取結(jié)果與ResNet骨架網(wǎng)絡(luò)的河流水體提取結(jié)果相比差距較大,提取結(jié)果不夠完整,存在著明顯的間斷與缺失漏提,在小面積河流水體研究區(qū)表現(xiàn)最為嚴(yán)重。縱觀4塊區(qū)域的影像分類結(jié)果,ResNet-50的河流水體提取效果相較于其他網(wǎng)絡(luò)結(jié)構(gòu)存在著小幅提高,這一點(diǎn)在區(qū)域(b)和區(qū)域(d)中有明顯的體現(xiàn),同時(shí)在云霧的山區(qū)河流水體研究區(qū)表現(xiàn)出較好提取效果,但在城市區(qū)域的細(xì)長(zhǎng)河流水體區(qū)域存在明顯的漏提。

表1 不同骨架網(wǎng)絡(luò)結(jié)構(gòu)分類結(jié)果

3.2 不同方法河流水體提取對(duì)比

本文選取了最鄰近分類法、隨機(jī)森林分類法、支持向量機(jī)分類法(support vector machines,SVM)[14]、原始DeeplabV3+模型法、改進(jìn)DeeplabV3+模型法5種分類方法進(jìn)行對(duì)比,各算法提取結(jié)果如表2所示。其中區(qū)域(a)、區(qū)域(b)、區(qū)域(c)以山區(qū)河流水體為主,區(qū)域(d)以城市河流水體為主,各區(qū)域中均包含了難以提取的小目標(biāo)河流水體。區(qū)域(b)包含了云霧陰影干擾,區(qū)域(c)和區(qū)域(d)更是在河流水體顏色上與區(qū)域(a)和區(qū)域(b)進(jìn)行了區(qū)分,以此驗(yàn)證本研究模型在不同河流水體的提取適用性。

表2 不同方法河流水體分類結(jié)果

通過(guò)目視解譯表2中的河流水體提取結(jié)果可以發(fā)現(xiàn),采用最鄰近分類方法進(jìn)行河流水體的提取,可以較為精確地提取到大面積區(qū)域的河流水體,但是在陰影和小面積河流水體區(qū)域的容易造成漏提,同時(shí)在光譜和紋理與河流水體相似的區(qū)域容易造成誤提。采用隨機(jī)森林分類方法和SVM方法進(jìn)行河流水體的提取,雖然能很好地區(qū)分出了水體,但是在非水體區(qū)域,尤其是山林區(qū)域、小面積河流水體和狹長(zhǎng)狀地物區(qū)域,由于光譜和紋理相似性問(wèn)題容易出現(xiàn)誤提和漏提,同時(shí)影像噪聲還會(huì)干擾分類結(jié)果,導(dǎo)致小面積河流水體提取困難。原始DeeplabV3+方法模型較好地提取出了大面積的河流水體,同時(shí)還沒(méi)有受到非水體區(qū)域的影響,很好地將河流水體和非水體區(qū)域區(qū)分了出來(lái),河岸邊緣處的分類結(jié)果也比較理想,較隨機(jī)森林分類方法和SVM方法的分類結(jié)果更加光滑和精確,但是原始的DeeplabV3+模型方法對(duì)于小面積區(qū)域的河流水體和細(xì)長(zhǎng)河流水體的提取能力不足,存在較為嚴(yán)重的漏提現(xiàn)象。本文針對(duì)此現(xiàn)象,提出了改進(jìn)DeeplabV3+模型方法來(lái)提取河流水體,整體效果得到了一定的提升。改進(jìn)后的DeeplabV3+方法不僅延續(xù)了原始方法能夠很好地區(qū)分水體和非水體區(qū)域,較為精確地提取到河流水體區(qū)域的同時(shí),通過(guò)增強(qiáng)對(duì)小面積的河流水體的提取,有效地對(duì)小目標(biāo)、小面積河流和細(xì)長(zhǎng)河流提取能力不足的問(wèn)題進(jìn)行了改善。

3.3 不同方法提取結(jié)果精度評(píng)價(jià)

本文通過(guò)人工標(biāo)注的河流水體數(shù)據(jù)作為參考圖像,分別對(duì)實(shí)驗(yàn)中的5種提取方法和4塊研究區(qū)域進(jìn)行了精度評(píng)價(jià),結(jié)果如表3和表4所示。根據(jù)表中數(shù)據(jù)可以得出,在誤提率方面,隨機(jī)森林分類方法的誤提率最高,達(dá)55.74%;SVM方法和最鄰近分類方法的漏提率次之,達(dá)51.37%和45.85%,主要是因?yàn)樾∧繕?biāo)河流水體區(qū)域的周圍存在較多的干擾以及區(qū)域(b)中河流水體和植被紋理相似,導(dǎo)致傳統(tǒng)方法提取結(jié)果不夠精確。但是在區(qū)域(b)中,原始DeeplabV3+和改進(jìn)DeeplabV3+模型方法的誤提率明顯低于傳統(tǒng)提取方法。同時(shí)在其他研究區(qū)域,深度學(xué)習(xí)的誤提率也明顯低于傳統(tǒng)方法?？梢杂纱说贸?深度學(xué)習(xí)方法在分類精確度上是明顯優(yōu)于傳統(tǒng)分類方法的。在漏提率方面,改進(jìn)DeeplabV3+模型方法的漏提率最低,達(dá)2.61%;SVM方法的漏提率最高,達(dá)42.36%。通過(guò)對(duì)比原始DeeplabV3+模型方法和改進(jìn)DeeplabV3+模型方法的漏提率,可以看出本研究DeeplabV3+模型方法的改進(jìn)取得了明顯成效,漏提率相比于原始DeeplabV3+模型方法平均降低了46.97%,明顯低于傳統(tǒng)提取方法。在總體精度和Kappa系數(shù)方面,最鄰近分類方法略優(yōu)于隨機(jī)森林分類方法和SVM方法,但都低于深度學(xué)習(xí)方法。改進(jìn)后的DeeplabV3+方法較其他4種方法在總體精度和Kappa系數(shù)指標(biāo)上均有提升,總體精度相比于傳統(tǒng)方法提升了1.22%,相比于原始DeeplabV3+模型方法提升了0.19%;Kappa系數(shù)相比于傳統(tǒng)方法提升了0.23,相比于原始DeeplabV3+模型方法提升了0.04?？梢园l(fā)現(xiàn),改進(jìn)后的DeeplabV3+模型方法的精度評(píng)價(jià)均優(yōu)于其他方法。本研究所改進(jìn)的DeeplabV3+模型方法可以有效區(qū)分河流水體和非河流水體區(qū)域,提高了原始DeeplabV3+模型方法的提取精度,對(duì)于原始DeeplabV3+模型方法進(jìn)行了一定程度上的改善。

表3 區(qū)域(a)和區(qū)域(b)河流水體提取精度評(píng)價(jià)

表4 區(qū)域(c)和區(qū)域(d)河流水體提取精度評(píng)價(jià)

4 結(jié)束語(yǔ)

本文基于高分辨率遙感影像,探究了DeeplabV3+模型在不同骨架網(wǎng)絡(luò)模型時(shí)的河流水體提取能力,通過(guò)構(gòu)建ResNet-50、ResNet-101、ResNet-152、Xception 4種不同骨架網(wǎng)絡(luò)的DeeplabV3+模型進(jìn)行河流水體提取研究的分析對(duì)比,得出了ResNet-50骨架網(wǎng)絡(luò)相比于其他骨架網(wǎng)絡(luò)模型具有更高的河流水體提取精度和較低的時(shí)間消耗,在河流水體提取更具有適用性。

同時(shí)本文針對(duì)小目標(biāo)的河流水體,對(duì)DeeplabV3+模型方法進(jìn)行了一定的改進(jìn),能有效地對(duì)小目標(biāo)河流水體信息進(jìn)行提取,而且具有抗云霧陰影和建筑物等干擾影響的提取適用性,且相對(duì)于原始DeeplabV3+模型方法有了小幅的精度提升,同時(shí)精度更優(yōu)于最鄰近分類法、隨機(jī)森林分類法和支持向量機(jī)分類法等分類方法。

但是本文針對(duì)于小目標(biāo)河流水體的提取研究?jī)H獲得了一定的精度改善,未能完整地提取出小目標(biāo)河流水體信息。因此,如何完整地提取出小目標(biāo)河流水體信息,將是進(jìn)一步研究的重點(diǎn)。