何直蒙，丁海勇，安炳琪

南京信息工程大學(xué)遙感與測(cè)繪工程學(xué)院，江蘇 南京 210044

隨著遙感技術(shù)的快速發(fā)展和高分辨率衛(wèi)星數(shù)量增加，利用高分辨率遙感影像對(duì)特定目標(biāo)進(jìn)行快速準(zhǔn)確識(shí)別[1]成為熱門研究。其中，通過(guò)高分辨率遙感影像獲取精準(zhǔn)的建筑物分布可以為城市規(guī)劃、災(zāi)害監(jiān)測(cè)、交通管理和生態(tài)環(huán)境的科學(xué)規(guī)劃提供重要參考。

建筑物提取在計(jì)算機(jī)視覺(jué)學(xué)科中被稱為語(yǔ)義分割，其難點(diǎn)在于建筑物影像存在異物同譜、同物異譜現(xiàn)象和計(jì)算機(jī)硬件條件限制。近年來(lái)，隨著計(jì)算機(jī)硬件圖形處理單元(graphic process unit,GPU)被普及，語(yǔ)義分割中對(duì)計(jì)算量要求較高的深度學(xué)習(xí)(deep learning,DL)[2]成為研究熱點(diǎn)。深度學(xué)習(xí)通過(guò)建立高維線性模型以提取所需特征，克服了淺層學(xué)習(xí)(shallow learning,SL)難以擬合復(fù)雜函數(shù)這一難點(diǎn)。

深度學(xué)習(xí)網(wǎng)絡(luò)中提取特征效果較好的卷積神經(jīng)網(wǎng)絡(luò)[3](convolutional neural networks,CNN)被廣泛用于語(yǔ)義分割[5]、物體檢測(cè)[6]、目標(biāo)提取[7]、文字識(shí)別[8]等任務(wù)。最早的卷積神經(jīng)網(wǎng)絡(luò)是文獻(xiàn)[8]提出的LeNet，其基本框架為卷積層、池化層(pooling)和全連接層。2012年AlexNet在ImageNet挑戰(zhàn)賽中拔得頭籌[9]，將沉寂多年的卷積神經(jīng)網(wǎng)絡(luò)帶回研究者的視野。2014年GoogLeNet僅用AlexNet 1/12參數(shù)量組成22層的網(wǎng)絡(luò)得到了更好的結(jié)果，并在賽后對(duì)該模型進(jìn)行改進(jìn)：?jiǎn)卧獙又袑⑼ǖ肋M(jìn)行連接操作(concatenate)；使用兩個(gè)連續(xù)的3×3卷積代替5×5卷積，使網(wǎng)絡(luò)增大感受野(receptive field)的同時(shí)降低參數(shù)量。文獻(xiàn)[10]中提出的全卷積網(wǎng)絡(luò)(fully convolutional networks for semantic segmentation,FCN)將全連接層刪除，特征提取與結(jié)果輸出都由卷積實(shí)現(xiàn)。同年提出的U形神經(jīng)網(wǎng)絡(luò)(Unet)[11]和殘差網(wǎng)絡(luò)(Res-net)[12]均使用了跳躍連接，其中殘差網(wǎng)絡(luò)的短路連接(shortcut connections)解決了由于梯度消失限制網(wǎng)絡(luò)深度的問(wèn)題，而Unet使用了長(zhǎng)跳躍連接，直接連接了深層和淺層網(wǎng)絡(luò)，緩解了深層網(wǎng)絡(luò)退化問(wèn)題(degradation problem)。文獻(xiàn)[13]提出的殘差單元模型，在編碼和解碼單元中使用遞歸卷積層(recurrent convolutional layers,RCL)，有效提高了結(jié)果精度。

在建筑物識(shí)別研究中，上述網(wǎng)絡(luò)被研究者們改進(jìn)優(yōu)化。文獻(xiàn)[7]使用深度學(xué)習(xí)結(jié)合特征提取的方式進(jìn)行建筑物分類，通過(guò)多特征融合衡量建筑物在不同尺度影像中的顯著性。此外，Unet由于分類效果較好，很多研究將Unet作為基礎(chǔ)架構(gòu)進(jìn)行改進(jìn)，如文獻(xiàn)[14—15]使用改進(jìn)的Unet網(wǎng)絡(luò)能準(zhǔn)確提取建筑物位置；文獻(xiàn)[16]以Unet網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，提出了SU-Net，在多個(gè)數(shù)據(jù)集中均取得較好的結(jié)果。還有一些注重多尺度感受野的研究也取得了較好的結(jié)果，如文獻(xiàn)[17]用含注意力機(jī)制的Mask-RCNN進(jìn)行建筑物提取，提取結(jié)果優(yōu)于支持向量機(jī)(support vector machine,SVM)、全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional networks,FCN)和Unet。文獻(xiàn)[18—19]使用帶有特征金字塔的網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割。文獻(xiàn)[20]使用DeepLabv3架構(gòu)結(jié)合空洞卷積(atrous convolution)進(jìn)行建筑物提取。文獻(xiàn)[21]結(jié)合條件隨機(jī)場(chǎng)和深度學(xué)習(xí)進(jìn)行建筑物提取，證明使用其他手段輔助深度學(xué)習(xí)進(jìn)行建筑物提取可以提高結(jié)果精度。文獻(xiàn)[22—23]還將其他卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于建筑物提取，但上述網(wǎng)絡(luò)在建筑物提取上均存在相同的問(wèn)題：建筑物提取結(jié)果的邊界、轉(zhuǎn)角等細(xì)節(jié)信息不完整。

綜上所述，本文選擇Unet作為基礎(chǔ)架構(gòu)與其他方法結(jié)合，為提升建筑物提取精度和改善提取邊緣轉(zhuǎn)角模糊、細(xì)節(jié)丟失等問(wèn)題，提出了基于空洞卷積的增強(qiáng)型Unet(enhanced unet,E-Unet)深度學(xué)習(xí)網(wǎng)絡(luò)。在架構(gòu)設(shè)計(jì)中增加空洞卷積、Dropout模塊、跳躍連接和特殊預(yù)處理；在模塊設(shè)計(jì)中注重細(xì)節(jié)的保留、結(jié)合多尺度的信息、在不影響精度的前提下減少參數(shù)。

1 本文方法

1.1 預(yù)處理

預(yù)處理模塊是將原始影像進(jìn)行直方圖均衡化，邊緣檢測(cè)(高斯雙邊濾波)，波段間比值后與原始圖像一起轉(zhuǎn)換為多波段的張量輸入神經(jīng)網(wǎng)絡(luò)。預(yù)處理的主要目的有3個(gè)：一是強(qiáng)調(diào)邊緣，二是增強(qiáng)波段間聯(lián)系，三是進(jìn)行圖像增強(qiáng)。

強(qiáng)調(diào)邊緣是為了更好地保留建筑物的邊緣，提高結(jié)果的轉(zhuǎn)角鋒利度和邊緣清晰度。高斯雙邊濾波(bilateral filter)是一種保留邊緣的濾波，其通過(guò)考慮像素值分布情況，保留像素值空間分布差異較大的部分，完整保留圖像的邊緣信息。

增強(qiáng)波段間聯(lián)系是為了使模型更好地理解顏色關(guān)系。一般情況圖像RGB 3個(gè)波段被分別輸入神經(jīng)網(wǎng)絡(luò)，卷積只能感受R、G、B波段中同波段像素點(diǎn)周圍的信息，沒(méi)有強(qiáng)調(diào)波段間比值關(guān)系。例如人類能分辨紫色是由于色感細(xì)胞感受到三原色中紅色和藍(lán)色較多而綠色較少，因此強(qiáng)調(diào)波段間比值關(guān)系是有必要的。

圖像增強(qiáng)是為了解決直方圖灰度集中在某一色階范圍之內(nèi)，通過(guò)直方圖均衡化將這些集中的灰度拉伸以提高對(duì)比度。文獻(xiàn)[24]提出基于直方圖均衡化的網(wǎng)絡(luò)，試驗(yàn)結(jié)果表明圖像經(jīng)過(guò)直方圖均衡后可以增強(qiáng)圖片特征并提高識(shí)別精度。文獻(xiàn)[25]提出較好的紋理提取方法，后被文獻(xiàn)[1]的研究者結(jié)合深度學(xué)習(xí)進(jìn)行建筑物分類。以下為預(yù)處理涉及公式。

高斯雙邊濾波器由兩個(gè)函數(shù)生成的空間域核和值域核組成?？臻g域核wd是由像素位置的歐氏距離決定，計(jì)算公式為

wd∈[0,1]

(1)

式中，(i,j)為模板窗口其他系數(shù)的坐標(biāo)；(k,l)為模板窗口的中心坐標(biāo)；σd為高斯函數(shù)的標(biāo)準(zhǔn)差。

值域核ωr是由像素差值決定的權(quán)值模板，計(jì)算公式為

ωr∈[0,1]

(2)

式中，f(i,j)表示圖像在(i,j)坐標(biāo)處的像素值；f(k,l)為模板窗口中心坐標(biāo)(k,l)處對(duì)應(yīng)的像素值；σr為高斯函數(shù)的標(biāo)準(zhǔn)差。

將值域核與空間域核相乘得到ω

ω(i,j,k,l)=wd(i,j,k,l)×ωr(i,j,k,l)

(3)

整理得到雙邊濾波器的計(jì)算公式為

(4)

式中，g(i,j)為濾波結(jié)果圖在點(diǎn)(i,j)處的像素值。

為了增強(qiáng)計(jì)算機(jī)對(duì)波段間關(guān)系的理解，本文提出波段間指數(shù)，通過(guò)模仿歸一化植被指數(shù)(normalized difference vegetation index，NDVI)增強(qiáng)輸入數(shù)據(jù)對(duì)波段間關(guān)系的敏感度。由于紅色波段和藍(lán)色波段的比值結(jié)果信息量較多，因此本文采用這兩個(gè)波段的比值結(jié)果，計(jì)算公式為

(5)

式中，(i,j)是圖像上像素點(diǎn)的坐標(biāo)；grg(i,j)是grg圖像上點(diǎn)(i,j)處的像素值。

1.2 E-Unet網(wǎng)絡(luò)

1.2.1 總體網(wǎng)絡(luò)結(jié)構(gòu)

Unet作為優(yōu)秀的網(wǎng)絡(luò)架構(gòu)被諸多研究人員關(guān)注，其設(shè)計(jì)結(jié)合長(zhǎng)跳躍連接、對(duì)稱結(jié)構(gòu)、多尺度結(jié)合分析。長(zhǎng)跳躍連接用于防止網(wǎng)絡(luò)過(guò)深造成的梯度下降和梯度消失，編碼層和解碼層完全對(duì)稱的結(jié)構(gòu)不僅提升了跳躍連接的效果，而且使輸入輸出大小相同，以便端對(duì)端分類[26]。多尺度結(jié)合分析是指網(wǎng)絡(luò)高層獲取圖像細(xì)節(jié)信息而底層網(wǎng)絡(luò)獲取深層次信息，這能使網(wǎng)絡(luò)更好地理解圖像。但Unet提取結(jié)果普遍存在邊緣不準(zhǔn)確和轉(zhuǎn)換為8位深影像時(shí)部分信息損失的問(wèn)題。針對(duì)上述問(wèn)題，本文提出E-Unet網(wǎng)絡(luò)，其架構(gòu)如圖1所示。

圖1 E-Unet網(wǎng)絡(luò)Fig.1 Schematic diagram of E-Unet

E-Unet通過(guò)在最底層增加dropout模塊[27]避免模型過(guò)度依賴少量神經(jīng)元造成的過(guò)擬合現(xiàn)象。前向傳播時(shí)，dropout模塊使每個(gè)隱藏神經(jīng)元以一定的概率p停止工作，以此限制模型對(duì)局部特征的依賴，dropout不僅能提高模型的穩(wěn)健性，而且減少所需訓(xùn)練時(shí)長(zhǎng)為原來(lái)時(shí)間的1-p。隱藏神經(jīng)元雖然在訓(xùn)練時(shí)會(huì)隨機(jī)停止工作，但是進(jìn)行預(yù)測(cè)時(shí)不會(huì)被隨機(jī)停止，可以保證模型使用時(shí)性能穩(wěn)定。

E-Unet選擇使用與Unet相同的4層架構(gòu)，這是因?yàn)閁net已經(jīng)能確認(rèn)建筑物位置，加深網(wǎng)絡(luò)會(huì)因分辨率降低流失更多邊角細(xì)節(jié)信息。解碼層頂部額外增加圖像尺寸后進(jìn)行卷積池化，使特征在亞像元級(jí)上進(jìn)行分割，實(shí)現(xiàn)更精細(xì)的分類。

激活函數(shù)除輸出層外都選擇了適合Unet的線性整流函數(shù)(rectified linear unit,ReLU)，其特性是抑制負(fù)值、防止方差過(guò)大造成的梯度爆炸和消失問(wèn)題，其數(shù)學(xué)表達(dá)式為

f(x)=max(0,x)

(6)

輸出層的激活函數(shù)選擇Sigmoid函數(shù)，輸出值范圍在(0,1)之間，函數(shù)值越大表示模型認(rèn)為該像元是正類的概率越大，其數(shù)學(xué)表達(dá)式為

(7)

1.2.2 編碼層網(wǎng)絡(luò)結(jié)構(gòu)

編碼單元層示意如圖2所示，其中加入短路連接來(lái)緩解梯度爆炸和消失問(wèn)題。感受野是指輸出特征圖上每個(gè)像素在輸入特征圖上的映射范圍，擁有不同大小的感受野有助于分析不同大小的目標(biāo)。但是，通過(guò)增大卷積核來(lái)增加感受野會(huì)使神經(jīng)網(wǎng)絡(luò)的參數(shù)量暴漲，文獻(xiàn)[28]提出，兩個(gè)3×3卷積核所用的參數(shù)總量為2×(3×3)×channels；對(duì)于5×5卷積核所用的參數(shù)總量為(5×5)×channels。兩個(gè)疊加的3×3卷積不僅擁有與5×5卷積相同的感受野，而且參數(shù)量只有5×5卷積的70%，因此在單元層中用疊加3×3卷積代替5×5卷積。

圖2 編碼卷積單元層Fig.2 Schematic diagram of Encode convolution unit Layer

空洞卷積是向標(biāo)準(zhǔn)卷積內(nèi)注入空洞達(dá)到防止梯度消失的同時(shí)增加模塊感受野大小的效果。卷積核的膨脹大小由膨脹率(dilation rate)來(lái)決定，膨脹率為2的空洞卷積如圖3所示。本文先對(duì)輸入層分別使用2、3、5膨脹率的空洞卷積，然后將得到的結(jié)果與輸入層一起通過(guò)跳躍連接連接到每個(gè)編碼模塊。編碼模塊內(nèi)帶有2×2最大值池化卷積，圖像每通過(guò)一個(gè)池化層，圖像尺寸就降低為原來(lái)的一半。

圖3 Rate=2的空洞卷積Fig.3 The atrous convolution of rate=2

1.2.3 解碼層網(wǎng)絡(luò)結(jié)構(gòu)

解碼層設(shè)計(jì)如圖4所示，利用雙線性插值法代替Unet和FCN[29]網(wǎng)絡(luò)中的上采樣(upsampling)。雙線性插值法不僅可以節(jié)約顯存、提升網(wǎng)絡(luò)運(yùn)行速度，而且所得結(jié)果通常不是線性的，能提升模型復(fù)雜度。為防止卷積過(guò)程中發(fā)生梯度消失，同層編碼特征將通過(guò)連接操作把信息傳遞到同層解碼特征處。

圖4 解碼卷積單元層Fig.4 Schematic diagram of Decode convolution unit Layer

2 試驗(yàn)數(shù)據(jù)

本文試驗(yàn)數(shù)據(jù)為Massachusetts建筑物數(shù)據(jù)集[30]和WHU建筑物數(shù)據(jù)集[16]。

Massachusetts建筑物數(shù)據(jù)集由波士頓地區(qū)的151幅航拍影像組成，每幅影像尺寸為1500×1500像素，面積約2.25 km2，整個(gè)數(shù)據(jù)集覆蓋面積大約340 km2。圖5(a)為Massachusetts建筑數(shù)據(jù)集原始影像，圖5(b)為原始影像標(biāo)簽。本文將該數(shù)據(jù)集裁剪為512×512像素，如圖5(c)、(d)所示。

WHU建筑數(shù)據(jù)集由新西蘭基督城的航空影像組成，空間分辨率0.075 m，覆蓋面積450 km2，其中包含約22 000棟獨(dú)立建筑物。圖5(e)為WHU建筑數(shù)據(jù)集原始影像，圖5(f)為WHU建筑數(shù)據(jù)集影像標(biāo)簽。兩個(gè)數(shù)據(jù)集均按8∶2比例劃分為訓(xùn)練集和測(cè)試集。

圖5 數(shù)據(jù)集Fig.5 Data set

3 試驗(yàn)與結(jié)果

3.1 精度評(píng)價(jià)指標(biāo)

為定量評(píng)價(jià)網(wǎng)絡(luò)的性能，選擇準(zhǔn)確率(Accuracy)、Kappa系數(shù)、F1分?jǐn)?shù)(F1score,F1)、召回率(Recall)、重疊度(intersection over union,IoU)和精確率(Precision)6個(gè)指標(biāo)來(lái)評(píng)價(jià)分類結(jié)果。準(zhǔn)確率是檢測(cè)到的正確預(yù)測(cè)像元數(shù)占總像元數(shù)的比值。Kappa系數(shù)是一種平衡樣本規(guī)模的精度指標(biāo)。精確率著重衡量結(jié)果是否有誤判，召回率著重于衡量結(jié)果是否有遺漏。F1分?jǐn)?shù)是計(jì)算機(jī)領(lǐng)域衡量二分類精度的重要評(píng)價(jià)標(biāo)準(zhǔn)，它同時(shí)兼顧了分類結(jié)果的精確率和召回率。IoU是預(yù)測(cè)圖與標(biāo)簽圖的交疊率，即它們的交集與并集的比值，完全重疊時(shí)的比值為1。TP代表true positive，是將正類預(yù)測(cè)為正類的像元數(shù)；FP代表false positive，是將負(fù)類預(yù)測(cè)為正類的像元數(shù)；FN代表false negative，是將正類預(yù)測(cè)為負(fù)類的像元數(shù)；TN代表true negative，是負(fù)類被預(yù)測(cè)為負(fù)類的像元數(shù)。用于計(jì)算Kappa系數(shù)的Pe=(((TP+FN)×(TP+FP))+((FN+TN)×(FP+TN)))/((TP+TN+FN+FP)×(TP+TN+FN+FP))，計(jì)算公式見表1。

表1 精度評(píng)價(jià)公式Tab.1 Accuracy evaluation formula

3.2 試驗(yàn)平臺(tái)與開發(fā)

試驗(yàn)與網(wǎng)絡(luò)開發(fā)均使用后端為Tensorflow框架的Keras庫(kù)。每次有4張圖像輸入模型，使用Adam算法進(jìn)行優(yōu)化，初始化學(xué)習(xí)率設(shè)置為0.000 1，訓(xùn)練到收斂后逐漸降低學(xué)習(xí)率進(jìn)行續(xù)訓(xùn)，最低學(xué)習(xí)率為0.000 001。試驗(yàn)平臺(tái)使用的硬件設(shè)施為：Intel(R)Core(TM)i7-9700KF CPU @ 3.60 GHz、GPU NVIDIA GeForce RTX 2060 SUPER、16 GB內(nèi)存。

3.3 Massachusetts建筑物數(shù)據(jù)集試驗(yàn)結(jié)果

為對(duì)比網(wǎng)絡(luò)性能，在Massachusetts建筑物數(shù)據(jù)集上分別使用E-Unet與Unet、Res-net[12]進(jìn)行提取試驗(yàn)。其中，Res-net雖然最初被用于圖像分類，但是能較好地提取影像特征，因此將Res-net作為編碼層來(lái)搭建提取模型。本文試驗(yàn)部分的Res-net均采用文獻(xiàn)[11]中提出的18層殘差網(wǎng)絡(luò)作為編碼層，將全連接層替換為解碼層。解碼層使用大小為1×1的卷積，采用Sigmoid作為激活函數(shù)進(jìn)行輸出。分類結(jié)果如圖6所示。

圖6 Massachusetts建筑物數(shù)據(jù)集試驗(yàn)結(jié)果Fig.6 Experimental results of the Massachusetts building data set

對(duì)于Massachusetts建筑物數(shù)據(jù)集的試驗(yàn)結(jié)果，從目視效果上分析可知，E-Unet結(jié)果的邊緣比Unet和Res-net清晰，更加接近真實(shí)地物。對(duì)于圖6紅框處形狀特別的建筑物而言，Unet網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)都只能提取到建筑物大概位置，而E-Unet網(wǎng)絡(luò)準(zhǔn)確提取了建筑物細(xì)節(jié)。此外，Unet和Res-net的結(jié)果“椒鹽效應(yīng)”較為明顯，存在大量誤提和漏提，道路、水泥地等與建筑物材質(zhì)相近的區(qū)域容易形成不確定區(qū)域。

定量分析精度評(píng)價(jià)結(jié)果見表2。由表2可知，E-Unet網(wǎng)絡(luò)結(jié)果明顯優(yōu)于其他兩種方法，E-Unet的召回率比Unet高14.03%，說(shuō)明使用E-Unet提取不容易遺漏目標(biāo)。

表2 Massachusetts建筑物數(shù)據(jù)集精度評(píng)價(jià)結(jié)果Tab.2 Accuracy evaluation results of Massachusetts building data set

3.4 WHU數(shù)據(jù)集試驗(yàn)結(jié)果

為進(jìn)行性能對(duì)比，在WHU數(shù)據(jù)集進(jìn)行上分別使用E-Unet、Unet與Res-net進(jìn)行提取試驗(yàn)，結(jié)果如圖7所示。在WHU數(shù)據(jù)集上，E-Unet表現(xiàn)更穩(wěn)定、細(xì)節(jié)保留度更高。Unet和Res-net有兩個(gè)明顯缺陷：提取大小差異明顯的建筑物困難；提取邊緣角點(diǎn)時(shí)容易模糊。以上缺陷均在E-Unet網(wǎng)絡(luò)中得到一定程度的解決，如圖7紅框處E-Unet精準(zhǔn)提取了建筑物細(xì)節(jié)。

圖7 WHU數(shù)據(jù)集試驗(yàn)結(jié)果Fig.7 Experimental results of the WHU building data set

在精度評(píng)價(jià)和對(duì)比分析中，增加了文獻(xiàn)[16]提出的SU-Net的精度評(píng)價(jià)結(jié)果，見表3。

表3 WHU建筑物數(shù)據(jù)集精度評(píng)價(jià)結(jié)果Tab.3 Accuracy evaluation results of WHU building data set

3.5 消融試驗(yàn)

為進(jìn)一步分析性能提升的原因。本文設(shè)計(jì)以下兩組消融試驗(yàn)：①E-Unet與去掉預(yù)處理的E-Unet(Net-1)對(duì)比；②有預(yù)處理的Unet(Net-2)與未經(jīng)預(yù)處理的Unet對(duì)比。提取結(jié)果如圖8所示，精度評(píng)價(jià)結(jié)果見表4。

由圖8和表4可知，使用本文特設(shè)的預(yù)處理能使不同網(wǎng)絡(luò)的提取效果變好，特別在高分辨率和高質(zhì)量標(biāo)簽的支持下E-Unet幾乎可以完美地提取建筑物細(xì)節(jié)。通過(guò)分析WHU數(shù)據(jù)集的結(jié)果，使用預(yù)處理后兩種模型在各項(xiàng)指標(biāo)上均有提升，說(shuō)明預(yù)處理能夠提升不同網(wǎng)絡(luò)的分類效果。提升最明顯的是E-Unet的Kappa系數(shù)比Net-1的增加了5.84%，說(shuō)明E-Unet能從預(yù)處理中獲取更多信息；在Massachusetts數(shù)據(jù)集中，Net-2相對(duì)于Unet網(wǎng)絡(luò)在F1、Kappa、Recall、IoU和Precision指標(biāo)上都有近10%的提升。

圖8 消融試驗(yàn)對(duì)比結(jié)果Fig.8 Comparison of ablation experiment results

表4 消融試驗(yàn)精度評(píng)價(jià)結(jié)果Tab.4 Evaluation results of ablation experiment accuracy

對(duì)比未經(jīng)預(yù)處理的E-Unet(Net-1)和未經(jīng)預(yù)處理的Unet結(jié)果可知，Net-1在兩個(gè)數(shù)據(jù)集上的表現(xiàn)均優(yōu)于Unet，在Massachusetts數(shù)據(jù)集上精度提升尤為明顯。在分辨率和標(biāo)簽質(zhì)量限制的條件下E-Unet精度有較大的性能提升，說(shuō)明其擁有較強(qiáng)的抗噪能力。

3.6 參數(shù)量對(duì)比

3種模型參數(shù)量見表5，通過(guò)參數(shù)量對(duì)比可知，E-Unet與另外兩個(gè)網(wǎng)絡(luò)屬于同數(shù)量級(jí)的網(wǎng)絡(luò)。

表5 參數(shù)量對(duì)比Tab.5 Parameter comparison

4 討 論

4.1 E-Unet、Unet與Res-net的對(duì)比試驗(yàn)討論

WHU數(shù)據(jù)集是目前高分辨率遙感影像中標(biāo)簽質(zhì)量最好的數(shù)據(jù)集，而Massachusetts建筑物數(shù)據(jù)集存在分辨率限制，因此對(duì)比兩個(gè)數(shù)據(jù)集的效果可以分析出網(wǎng)絡(luò)對(duì)數(shù)據(jù)集質(zhì)量的依賴程度。在Massachusetts數(shù)據(jù)集的精度評(píng)價(jià)結(jié)果中，E-Unet超過(guò)了Unet和Res-net的F1分?jǐn)?shù)、召回率和Kappa系數(shù)近20%，達(dá)到了0.866 1、0.876 7和0.813 5。由于WHU數(shù)據(jù)集中邊緣角點(diǎn)的像元數(shù)較少，只要提取建筑物概略位置就能獲得較為不錯(cuò)的得分，因此3種網(wǎng)絡(luò)在該數(shù)據(jù)集上的精度并沒(méi)有拉開很大差距。經(jīng)常被各大比賽作為評(píng)分標(biāo)準(zhǔn)的F1分?jǐn)?shù)剔除了背景，關(guān)注被預(yù)測(cè)正類的錯(cuò)分和漏分，能夠更為公正的評(píng)價(jià)結(jié)果。E-Unet在兩個(gè)數(shù)據(jù)集中F1分?jǐn)?shù)優(yōu)勢(shì)都較為明顯，在WHU和Massachusetts中分別達(dá)到0.947 7和0.866 1。

為對(duì)比3種網(wǎng)絡(luò)在建筑物邊緣和轉(zhuǎn)角的提取效果，將結(jié)果圖局部放大，如圖9所示。由圖9可知，無(wú)論是在WHU數(shù)據(jù)集還是在Massachusetts數(shù)據(jù)集，E-Unet較于Unet和Res-net結(jié)果能獲取更加清晰保真的邊緣、轉(zhuǎn)角等細(xì)節(jié)信息。相較于WHU數(shù)據(jù)集上的結(jié)果，E-Unet在Massachusetts數(shù)據(jù)集上的提取結(jié)果轉(zhuǎn)角不夠尖銳，原因是受影像分辨率和標(biāo)簽精度條件限制。將原始影像中的一棟建筑物放大后對(duì)比，如圖10所示，Massachuseets數(shù)據(jù)集中的建筑物放大后邊緣非常模糊，而WHU數(shù)據(jù)集放大后依然有清晰的邊緣。

圖9 邊緣轉(zhuǎn)角對(duì)比Fig.9 Comparison of edge angles

圖10 局部放大對(duì)比Fig.10 comparison of partial enlargement

對(duì)比3種網(wǎng)絡(luò)的分類結(jié)果可知，Unet與Res-net的提取結(jié)果存在較多的灰色區(qū)域，說(shuō)明加入dropout模塊能有效避免過(guò)擬合，使模型被訓(xùn)練得更加徹底。

對(duì)比圖8中Massachusetts建筑物數(shù)據(jù)集提取結(jié)果可知，Unet和Res-net網(wǎng)絡(luò)均漏提了建筑物，證明了在分辨率限制條件下E-Unet捕捉特征的性能仍優(yōu)于Unet和Res-net。對(duì)比圖8中WHU數(shù)據(jù)集提取結(jié)果可知，Unet和E-Unet結(jié)果都成功保留了凹陷細(xì)節(jié)，而Res-net的結(jié)果變成了圓潤(rùn)的缺口，證明了U形架構(gòu)的優(yōu)越性。

4.2 消融試驗(yàn)討論

分析消融試驗(yàn)可知以下3點(diǎn)：Net-1比Unet提取結(jié)果更好；預(yù)處理可以提升兩種網(wǎng)絡(luò)的提取效果；E-Unet擁有極強(qiáng)的細(xì)節(jié)保留能力。首先，通過(guò)分析Net-1和Unet對(duì)比試驗(yàn)可知Net-1保留了更多細(xì)節(jié)，這是由于編碼層中通過(guò)層與層的跳躍連接和層內(nèi)部的短路連接傳遞了細(xì)節(jié)信息；Net-1相對(duì)Unet有更少的灰色不確定區(qū)域。結(jié)合表4分析，側(cè)重錯(cuò)分的Precision和側(cè)重漏分的Recall指標(biāo)在Massachusetts數(shù)據(jù)集上都有近10%的提升，在WHU數(shù)據(jù)集上有近5%的提升。其次，通過(guò)預(yù)處理增刪試驗(yàn)可知，特殊的預(yù)處理模塊對(duì)不同模型的提取結(jié)果均有提升，其中對(duì)Recall的提升尤為明顯。最后，E-Unet通過(guò)強(qiáng)調(diào)波段間聯(lián)系使模型能更好地理解顏色間的區(qū)別；通過(guò)邊緣增強(qiáng)保留了建筑物尖銳的角和平直的邊線。預(yù)處理提供了大量的細(xì)節(jié)信息，模型能捕獲到這些細(xì)節(jié)信息，這也是E-Unet提取效果好的核心原因。

綜合分析以上試驗(yàn)，E-Unet提取精度受制于影像的分辨率和標(biāo)簽的質(zhì)量，但相較Unet和Res-net具有較強(qiáng)的抗噪抗干擾能力和細(xì)節(jié)保留能力。E-Unet雖然在參數(shù)量上與Unet處于同一數(shù)量級(jí)，但網(wǎng)絡(luò)結(jié)構(gòu)還有待簡(jiǎn)化。E-Unet分類結(jié)果仍然有少量淡灰色區(qū)域，推測(cè)原因可能是跳躍連接使部分特征沒(méi)有經(jīng)過(guò)充分提取直接傳遞到解碼層上層，導(dǎo)致信息沒(méi)完全“消化”就達(dá)到輸出層。因此，下一步研究將對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整和簡(jiǎn)化。

5 結(jié) 論

本文使用深度學(xué)習(xí)方法提取高分辨率遙感影像建筑物，為提升結(jié)果精度、改善細(xì)節(jié)提取效果提出E-Unet。該網(wǎng)絡(luò)通過(guò)預(yù)處理模塊強(qiáng)調(diào)波段間關(guān)系，加強(qiáng)邊緣信息；在網(wǎng)絡(luò)框架中引入長(zhǎng)跳躍連接避免邊緣特征缺失，引入dropout模塊防止過(guò)擬合；在模塊中引入短路連接保留細(xì)節(jié)，引入空洞卷積獲取多尺度信息，引入重疊卷積控制參數(shù)量。為驗(yàn)證E-Unet的優(yōu)越性，本文在Massachusetts和WHU建筑物數(shù)據(jù)集上進(jìn)行兩組試驗(yàn)。第1組試驗(yàn)對(duì)比E-Unet、Unet和Res-net 3種網(wǎng)絡(luò)，結(jié)果表明E-Unet提高了建筑物提取精度，有更強(qiáng)的細(xì)節(jié)保留和抗噪能力，顯著改善了建筑物邊緣不規(guī)則現(xiàn)象，對(duì)細(xì)節(jié)的提取在WHU數(shù)據(jù)集上有出色的表現(xiàn)。第2組試驗(yàn)對(duì)E-Unet和Unet進(jìn)行預(yù)處理模塊消融試驗(yàn)，試驗(yàn)表明本文提出的預(yù)處理模塊能夠提高不同模型的提取精度，E-Unet具有較高的提取精度、優(yōu)秀的細(xì)節(jié)保留能力和抗噪能力。預(yù)處理和E-Unet相輔相成，預(yù)處理模塊提供更多細(xì)節(jié)，E-Unet對(duì)細(xì)節(jié)進(jìn)行捕捉。筆者在今后的研究中將對(duì)E-Unet架構(gòu)進(jìn)行精簡(jiǎn)，希望在工業(yè)上早日實(shí)現(xiàn)建筑物自動(dòng)化提取。