楊堅華，張浩，花海洋

（1.中國科學(xué)院光電信息處理重點實驗室，遼寧 沈陽 110016；2.中國科學(xué)院 沈陽自動化研究所，遼寧 沈陽 110016；3.中國科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，遼寧 沈陽 110169；4.中國科學(xué)院大學(xué)，北京 100049）

1 引言

隨著遙感衛(wèi)星技術(shù)的不斷發(fā)展，遙感數(shù)據(jù)隨之受到了越來越多的關(guān)注，在許多領(lǐng)域都得到了廣泛應(yīng)用。例如在軍事領(lǐng)域上被應(yīng)用于地面目標(biāo)的識別、在國土資源領(lǐng)域上被應(yīng)用于環(huán)境變化等方面。其中城市區(qū)域是遙感數(shù)據(jù)中應(yīng)用較為廣泛的部分，建筑物作為城市區(qū)域的主要元素，對遙感影像中建筑的分割，有助于人口居住變化分析、目標(biāo)建筑檢測及城市規(guī)劃等。由于建筑物與非建筑物之間的差異較小，且建筑物之間存在尺度大小變化較大、建筑物陰影與建筑物邊緣難以區(qū)分、建筑物遮擋、建筑之間密集度較大等問題，因此如何提高建筑物的分割精度是一個重要難點。

當(dāng)前提取遙感影像中建筑的方法可以大致分為兩類：傳統(tǒng)的圖像處理方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的圖像處理方法提取遙感影像中建筑，往往是利用遙感圖像本身的光譜、幾何形狀、紋理等［1-3］特征來組合，設(shè)計合理的特征值，通過閾值或機(jī)器學(xué)習(xí)的方法對建筑及背景進(jìn)行分類，提取建筑。文獻(xiàn)［4］通過滑動窗口進(jìn)行計算地物的特征，提取后的特征圖通過擬合分類算法進(jìn)行預(yù)測每個窗口內(nèi)的地物類別信息，進(jìn)而從分類后的遙感圖像中進(jìn)行對建筑的提取。此方法提取建筑的效率較高，但精度方面仍有較大的改善空間。文獻(xiàn)［5］通過對光學(xué)圖像、地理信息系統(tǒng)及數(shù)字地表模型3 個數(shù)據(jù)源進(jìn)行結(jié)合，以此來區(qū)分非建筑物和建筑物，多源數(shù)據(jù)大大提高了建筑物提取的魯棒性，但是多源數(shù)據(jù)相較于單一來源的遙感圖像，獲取成本較高。

相較于傳統(tǒng)提取遙感影像中建筑的方法，深度學(xué)習(xí)主要通過其網(wǎng)絡(luò)模型自動去學(xué)習(xí)建筑與非建筑之間的深層次特征，對其進(jìn)行分類提取建筑。MFDC-ResNet［6］以ResNet 為基礎(chǔ)，通過結(jié)合空間金字塔模型及空洞卷積，獲取建筑不同尺度的特征并進(jìn)行融合，其分割效果相較于ResNet表現(xiàn)更好。全局局部一體化D-LinkNet［7］通過改進(jìn)條件隨機(jī)場，增加了網(wǎng)絡(luò)對全局局部細(xì)節(jié)的感知，避免了傳統(tǒng)條件隨機(jī)場丟失邊界信息的情況，并且通過局部的邊緣分割先驗，增強(qiáng)建筑邊緣提取的準(zhǔn)確度。CU-Net［8］在FCN 的基礎(chǔ)上增加了多重約束來增強(qiáng)多尺度特征表示，增加多重約束后網(wǎng)絡(luò)在建筑物分割方面比FCN 表現(xiàn)更好。SiU-Net［9］針對多尺度輸入設(shè)計了兩個權(quán)重共享的分支，通過此方法可以有效提高分割精度，在大型建筑物分割方面尤為突出，但其計算復(fù)雜度將會大大增加。SRI-Net［10］基于ResNet101 進(jìn)行修改，提出空間殘差模塊生成多尺度特征并進(jìn)行融合，網(wǎng)絡(luò)通過融合高分辨率的特征，保留了較多的局部細(xì)節(jié)信息，能有效提高網(wǎng)絡(luò)性能。EU-Net［11］提出了深度空間金字塔結(jié)構(gòu)，這個結(jié)構(gòu)通過提取多尺度特征增加了對多尺度建筑的提取及邊緣定位的精度。并且網(wǎng)絡(luò)中采用了focal loss 損失函數(shù)，有效提高了訓(xùn)練的穩(wěn)定性。HRNetv2［12］采用多路徑方式提取不同尺度的建筑特征，通過中間不斷融合不同尺度信息，增加單一路徑中的多尺度信息，提高了分割的準(zhǔn)確性。

上述模型在遙感圖像建筑物分割領(lǐng)域表現(xiàn)較好，但其在遙感影像中建筑之間尺度變化較大時，由于其對建筑物多尺度特征提取不充分，往往只對其中尺度居中的建筑物分割較為精確，對像素占比超過訓(xùn)練圖像1/5 以上的大型建筑分割不夠完整、對像素占比小于訓(xùn)練圖像的1/100 的小型建筑邊緣分割不夠精細(xì)。且當(dāng)建筑物被其他非建筑物遮擋時，無法準(zhǔn)確分割出被建筑被遮擋的部分，而建筑物陰影也易被分割為建筑。針對上述問題，提出了一種基于并行多尺度加強(qiáng)注意力機(jī)制的語義分割網(wǎng)絡(luò)提取目標(biāo)建筑物的輪廓。提出的模型以ResNet 為基礎(chǔ)網(wǎng)絡(luò)，采用多路徑同時提取不同范圍的建筑物特征，適應(yīng)不同尺度建筑物的特征提取，以減少建筑物之間尺度變化較大的影響。在多路徑提取不同尺度特征后，引入路徑之間強(qiáng)關(guān)聯(lián)性注意力機(jī)制，對弱特征進(jìn)行增強(qiáng)，抑制建筑物被遮擋的影響，增強(qiáng)建筑物與建筑物陰影之間的區(qū)分度。并在融合后的單尺度特征中加入空間池化金字塔結(jié)構(gòu)，減少提取建筑物內(nèi)部空洞的產(chǎn)生，提升分割的性能。

2 并行路徑與強(qiáng)注意力機(jī)制網(wǎng)絡(luò)PPA-Net

2.1 并行路徑網(wǎng)絡(luò)

當(dāng)前獲取高分辨率特征圖的方法主要有兩種：（1）編碼器-解編碼器網(wǎng)絡(luò)：由網(wǎng)絡(luò)（例如ResNet）輸出的低分辨率特征圖上采樣獲得高分辨率特征圖，或從可選的中間層中等分辨率特征圖上采樣并反卷積獲得高分辨率特征圖，如Hourglass，SegNet［13］，DeconvNet［14］，U-Net［15］，編碼器-解碼器（encoder-decoder）等。即通過對下采樣后獲取的特征圖進(jìn)行上采樣來獲得高分辨特征圖；（2）并行多路徑網(wǎng)絡(luò)：主路徑對高分辨率特征直接卷積不進(jìn)行下采樣保持高分辨率，并通過并行路徑下采樣獲取低分辨率特征圖，提取多尺度信息，例如HRNetv2。

第一種網(wǎng)絡(luò)由于對高分辨率特征存在下采樣操作，導(dǎo)致后續(xù)恢復(fù)高分辨率過程中可能出現(xiàn)邊緣定位不清晰，而第二種網(wǎng)絡(luò)在主路徑中并未對高分辨率特征圖進(jìn)行下采樣，邊緣定位相對較好，因此本文基于HRNetv2 網(wǎng)絡(luò)進(jìn)行改進(jìn)，采用并行路徑網(wǎng)絡(luò)得到多尺度信息，以減少下采樣過程中細(xì)節(jié)信息的損失。

2.2 并行路徑與強(qiáng)注意力機(jī)制網(wǎng)絡(luò)

基于編碼器-解編碼器的網(wǎng)絡(luò)在編碼器階段由于過度下采樣操作損失了較多的空間細(xì)節(jié)信息，盡管解編碼器階段可能通過融合淺層特征圖進(jìn)行空間細(xì)節(jié)信息恢復(fù)，但融合的淺層特征具備的空間細(xì)節(jié)信息屬于低級特征，與高級特征一同進(jìn)行特征提取效果可能較差，最終導(dǎo)致建筑物邊緣細(xì)節(jié)定位不夠精確?？紤]到建筑物分割對邊緣定位要求較高，相較于編碼器-解編碼器類型的網(wǎng)絡(luò)，多路徑網(wǎng)絡(luò)在保留較多空間細(xì)節(jié)信息的同時，能夠提取多尺度信息，較為適合遙感影像中建筑物分割領(lǐng)域。

本文所提的并行路徑與強(qiáng)注意力機(jī)制網(wǎng)絡(luò)首先通過兩個階段逐步生成三個并行路徑，以ResNet 殘差思想為基礎(chǔ)組成卷積塊提取網(wǎng)絡(luò)特征，每個路徑中的特征空間分辨率皆為定值，當(dāng)路徑分為三個后，在對各個路徑卷積的同時，也進(jìn)行互相融合，聚合各個路徑中不同尺度的信息。然后引入強(qiáng)注意力機(jī)制，從多條路徑中自適應(yīng)的學(xué)習(xí)各個路徑特征的重要程度，以提高多尺度特征融合的效果。隨后進(jìn)行金字塔空間池化操作［16］，增強(qiáng)特征的全局信息，減少建筑物內(nèi)部孔洞的產(chǎn)生。

本文提出的PPA-Net（Parallel Path Attention Net）主要包括以下兩部分：

（1）并行多路徑網(wǎng)絡(luò)，用于提取多尺度高級語義特征，同時保留空間細(xì)節(jié)信息，且在提取高級語義特征的同時路徑之間互相融合，加強(qiáng)各個路徑包含的信息，有助于分割尺度變化較大的遙感影像建筑物；

（2）在并行網(wǎng)絡(luò)提取末端，加入路徑之間強(qiáng)相關(guān)的多尺度注意力機(jī)制，使網(wǎng)絡(luò)更加注重于建筑物的特征及尺度信息，有助于建筑物尺度識別及抑制建筑物遮擋、陰影等影響。在注意力機(jī)制后加入金字塔空間池化結(jié)構(gòu)，抑制干擾特征，減少建筑物分割結(jié)果內(nèi)部出現(xiàn)孔洞的現(xiàn)象。網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 PPA-Net 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 PPA-Net network structure

2.3 多路徑及特征融合機(jī)制

多路徑特征提取網(wǎng)絡(luò)相較于基于編碼器-解編碼器的網(wǎng)絡(luò)，由于路徑的增多網(wǎng)絡(luò)的參數(shù)量相較于同樣深度的編碼器-解編碼器網(wǎng)絡(luò)，會產(chǎn)生明顯提升。因此所提模型仍采取了一定的最大值池化下采樣，以減少網(wǎng)絡(luò)的復(fù)雜度。由于模型只對原輸入圖像進(jìn)行了1/4 下采樣，損失的定位信息較少，因此相較于編碼器-解編碼器網(wǎng)絡(luò)對邊緣定位精度影響較低。在多路徑提取特征的同時，卷積只提取了單個尺度的信息，缺失了其他尺度的信息，因此在提取過程中加強(qiáng)各個路徑之間的融合，能夠有效增加對各個尺度信息的提取。所提模型的并行路徑為3 個，提取尺度分為1，1/2，1/4，經(jīng)過并行路徑之間的相互融合，提取的尺度更加細(xì)分，對建筑的識別效果也更好。其中多路徑融合過程如圖2 所示。

2.4 強(qiáng)尺度注意力機(jī)制及金字塔空間池化

從不同路徑提取的特征圖具有不同的空間分辨率，通過注意力機(jī)制對不同路徑特征聚合需要對低空間分辨率的特征圖進(jìn)行上采樣恢復(fù)空間分辨率。如圖3 所示，低分辨率特征通過線性插值將特征上采樣至原始圖像的1/4，再通過3×3 卷積將特征轉(zhuǎn)化為64 通道，并建立相鄰路徑之間的注意力機(jī)制，對相鄰路徑特征進(jìn)行逐層融合。

圖2 多路徑融合機(jī)制Fig.2 Multi-path fusion mechanism

圖3 強(qiáng)注意力機(jī)制Fig.3 Strong attention mechanism

從圖3 可以看出，注意力機(jī)制首先通過卷積學(xué)習(xí)得到最小尺度的空間注意力權(quán)重，再根據(jù)這個權(quán)重，對其進(jìn)行處理，得到一個相關(guān)的權(quán)重，將其注入到相鄰的并行路徑中去，形成相鄰并行尺度之間空間注意力的強(qiáng)相關(guān)。最終實現(xiàn)對目標(biāo)建筑的尺度自適應(yīng)識別分割，且能有效增強(qiáng)網(wǎng)絡(luò)對陰影及建筑相似物的識別能力，減少建筑物遮擋的影響。本文所提強(qiáng)注意力機(jī)制基于傳統(tǒng)空間注意力機(jī)制改進(jìn)，相較于傳統(tǒng)多路徑空間注意力機(jī)制，強(qiáng)注意力機(jī)制結(jié)合并行路徑中多尺度特征互補(bǔ)特性，路徑之間所學(xué)注意力權(quán)重圖相加和為1，以本文三個并行路徑為例具體描述為：最小分辨率路徑所學(xué)注意力權(quán)重圖為A，中間路徑所學(xué)注意力權(quán)重圖為B，則最終中間路徑權(quán)重圖為（1-A）×B，最高分辨率路徑注意力權(quán)重圖可由另外并行路徑權(quán)重圖得到為（1-A）×（1-B）。并行路徑之間注意力權(quán)重圖相加和為1，可以更好地控制空間注意力的學(xué)習(xí)趨勢。因為圖像中每個像素的尺度是固定的，多尺度信息必然有所側(cè)重而不存在每個尺度信息重要程度一樣，而本文所提強(qiáng)注意力機(jī)制中某一尺度注意力權(quán)重越大，其相鄰尺度注意力權(quán)重必然會越小，可以更好區(qū)分多尺度信息的重要程度，進(jìn)而提高像素尺度信息識別。

其中Conv 結(jié)構(gòu)與atten 結(jié)構(gòu)相似，區(qū)別在于最后atten 結(jié)構(gòu)輸出結(jié)果為單通道，Conv 結(jié)果輸出為多通道，這樣可以盡可能使得兩個結(jié)構(gòu)提取出的特征屬于同一水平深度特征，權(quán)重圖可以更好地表示對應(yīng)位置特征的重要性。其結(jié)構(gòu)如圖4所示。

為了獲得完整性更好的建筑物分割結(jié)果，在網(wǎng)絡(luò)末端加入金字塔空間池化模塊，以增強(qiáng)特征的全局相關(guān)性。其中金字塔空間池化模塊主要由4 個具有不同大小的最大值池化層組成，這些最大值池化層根據(jù)建筑物尺寸進(jìn)行設(shè)計，以提取建筑物的全局特征。通過池化層得到的特征圖與原始特征圖進(jìn)行級聯(lián)以實現(xiàn)全局空間增強(qiáng)。在網(wǎng)絡(luò)末端增加金字塔空間池化模塊可以避免全局信息在網(wǎng)絡(luò)提取過程中被抑制，能更好地提高建筑物的分割完整性，減少建筑物內(nèi)部孔洞的產(chǎn)生。金字塔空間池化結(jié)構(gòu)如圖5 所示。

圖4 Conv 結(jié)構(gòu)示意圖Fig.4 Schematic diagram of Conv structure

圖5 金字塔空間池化模塊Fig.5 Pyramid space pooling module

3 實驗設(shè)置與結(jié)果

3.1 實驗數(shù)據(jù)及實驗平臺

本文研究是基于TensorFlow 框架，在具有12 GB 顯存的單個2080Ti GPU 上進(jìn)行的。網(wǎng)絡(luò)訓(xùn)練采用Adam 優(yōu)化器，設(shè)置初始學(xué)習(xí)率為0.001，并 將beta1 和beta2 設(shè)置為默認(rèn) 值，batch_size 設(shè)置為4，迭代次數(shù)為80 次。通過對數(shù)據(jù)集進(jìn)行隨機(jī)旋轉(zhuǎn)及翻轉(zhuǎn)操作進(jìn)行數(shù)據(jù)集擴(kuò)充。對比模型為 ResUNet-a［15］，PSPNet［17］，ResNet101［18］，HRNetv2 和SCAttNet［19］。

因為涉及到像素級二分類，所以采用sigmiod 交叉熵函數(shù)作為損失函數(shù)，計算方式如公式（1）所示：

其中：代表當(dāng)前像素的真實值，y代表當(dāng)前像素的預(yù)測值，Loss為損失量。

實驗數(shù)據(jù)集選 擇WHU 建筑數(shù)據(jù)集［9］及Massachusetts Buildings 數(shù)據(jù)集［20］，兩個數(shù)據(jù)集都為已標(biāo)注數(shù)據(jù)集。其中WHU 數(shù)據(jù)集樣本來自新西蘭土地信息服務(wù)網(wǎng)站，數(shù)據(jù)集有約22 000個獨(dú)立建筑，圖像分辨率為0.3 m。圖像為RGB遙感影像，每個圖像尺寸為512×512 pix。數(shù)據(jù)集共有8 188 個圖像，其中訓(xùn)練數(shù)據(jù)集為4 736個圖像，驗證集為1 036 個圖像，測試集為2 416個圖像。

Massachusetts Buildings 數(shù)據(jù)集由波士頓地區(qū)的151 個遙感圖像組成，每張遙感圖像的像素為1 500×1 500，覆蓋面積為2.25 km2。其中訓(xùn)練集包括137 個圖像，測試集包括10 個圖像，驗證集為4 個圖像。相較于WHU 數(shù)據(jù)集，Massachusetts Buildings 數(shù)據(jù)集陰影干擾及建筑物密集程度較高，Massachusetts Buildings 中每個512×512 輸入圖像中建筑物個數(shù)普遍存在200 個左右，WHU 數(shù)據(jù)集中則大多只存在40 個左右，且Massachusetts Buildings 數(shù)據(jù)集中多數(shù)建筑存在陰影干擾，且陰影面積占建筑面積接近1/3 影響較大，WHU 數(shù)據(jù)集中陰影干擾較少，難以判斷網(wǎng)絡(luò)在陰影干擾條件下的分割效果。因此采用Massachusetts Buildings 數(shù)據(jù)集可以驗證本文算法在不同場景下的性能。WHU 數(shù)據(jù)集與Massachusetts Buildings 數(shù)據(jù)集部分區(qū)域?qū)Ρ热鐖D6所示。

圖6 WHU 數(shù)據(jù)集與Massachusetts Buildings數(shù)據(jù)集對比Fig.6 Comparison of WHU dataset and Massachusetts Buildings dataset

3.2 分割性能評價指標(biāo)

本文采用精確率（precision），召回率（recall），F(xiàn)1-score 和平均交并比（MIoU）像素級度量指標(biāo)來評估PPA-Net 和其他不同方法的性能，具體公式如下：

其中：TP指對正樣本的正確預(yù)測，F(xiàn)N指對正樣本的錯誤預(yù)測，TN指對負(fù)樣本的正確預(yù)測，F(xiàn)P指對負(fù)樣本的錯誤預(yù)測。precision表示預(yù)測為正樣本的數(shù)據(jù)中預(yù)測正確的樣本數(shù)量比例，recall表示總正樣本中預(yù)測正確的樣本數(shù)量比例，F(xiàn)1-score是precision和recall的調(diào)和平均值，可以更好的反映模型的分割性能，IoU表示預(yù)測為正樣本的數(shù)據(jù)及標(biāo)簽中正樣本數(shù)據(jù)的交集除以兩個數(shù)據(jù)集的并集，MIoU為總數(shù)據(jù)集的平均IoU。

3.3 模型對比試驗結(jié)果分析

在WHU 數(shù)據(jù)集上，本文模型與其他對比模型的分割結(jié)果對比如圖7 所示。

從圖7 可以看出，第一個場景中，在建筑物被附近植被部分遮擋的情況下，本文算法相較于其他算法，對被遮擋部分的建筑物分割效果較好，能夠有效抑制建筑物遮擋的影響。第二個場景中，本文算法相較于其他算法，在小型建筑之間的間隙識別中具有更好的性能，其他算法則將相鄰建筑之間的背景識別為了建筑。第三個場景中，本文算法精確識別出了邊緣的小型建筑，而其他算法則識別不全或識別不出。第四個場景中，本文算法對大型建筑邊緣分割較為精確，且大型建筑內(nèi)部不存在孔洞。從圖7 整體的結(jié)果可以看出，HRNetv2 由于在并行多路徑提取特征后只是簡單的將多尺度特征級聯(lián)到一起，沒有很好地結(jié)合多尺度特征，導(dǎo)致分割結(jié)果并不好。ResUNet-a 模型以U-Net 為基礎(chǔ)架構(gòu)，基于殘差連接的思想提出Resunet-a 模塊增加網(wǎng)絡(luò)深度及多尺度信息，但其仍將編碼器對應(yīng)階段的特征復(fù)制融合到解碼器中相應(yīng)階段中，引入了淺層特征中的大量噪聲，最終導(dǎo)致分割效果較差。ResNet模型網(wǎng)絡(luò)層數(shù)較深，能夠提取到深層的語義特征，但由于下采樣操作導(dǎo)致信息的缺失，最終導(dǎo)致分割邊緣精度的下降。PSPNet 模型基于ResNet50，引入金字塔結(jié)構(gòu)，但只是簡單地提取了多尺度的信息，對多尺度信息融合較為簡單，導(dǎo)致分割結(jié)果并不好。SCAttNet 模型以Seg-Net 為基礎(chǔ)網(wǎng)絡(luò)，在網(wǎng)絡(luò)上采樣恢復(fù)分辨率前加入空間注意力及通道注意力模塊以提高分割精度，但其模型仍存在下采樣過程中損失過多細(xì)節(jié)信息的問題。相較于這些算法，PPA-Net 在提取多尺度特征之后，采用強(qiáng)相關(guān)多尺度注意力機(jī)制，很好地融合了多尺度信息，在這之后采用金字塔空間池化結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)分割建筑邊緣的精確度和孔洞的減少，在建筑物被遮擋及建筑物之間尺度變化較大的情況下，分割效果較好。

圖7 在WHU 數(shù)據(jù)集分割結(jié)果對比Fig.7 Comparison of segmentation results in WHU datasets

表1 給出了各個模型對WHU 數(shù)據(jù)集分割的指標(biāo)對比，其中參數(shù)量及計算量以百萬為單位（Million，M）。

表1 在WHU 數(shù)據(jù)集分割指標(biāo)對比Tab.1 Comparison of segmentation indicators in WHU dataset

從表1 中不同算法再WHU 數(shù)據(jù)集上所，分割后的結(jié)果的定量分析可以看出，本文所提模型PPA-Net 在MIoU，Recall 及F1-score 表現(xiàn)皆為最優(yōu)，而在指標(biāo)Precision 上并不是最優(yōu)，表明本文所提模型在整體分割性能上是要優(yōu)于其他算法，但在預(yù)測結(jié)果為建筑部分的準(zhǔn)確率仍有待提高，仍需降低其誤分類概率。從參數(shù)量及計算量可以看出，由于本文所提模型PPA-Net 是基于HRNetv2 進(jìn)行了改進(jìn)的，對比HRNetv2 本文所提模型參數(shù)量及計算量皆有所下降，且分割性能得到了一定提高。

在Massachusetts Buildings 數(shù)據(jù)集上，本文模型與其他對比模型的分割結(jié)果如圖8所示。

圖8 在Massachusetts Buildings 數(shù)據(jù)集分割結(jié)果對比Fig.8 Comparison of segmentation results in Massachusetts Buildings dataset

從圖8 中，第一個場景的分割結(jié)果可以看出，ResUNet-a 對大型建筑分割非常差，缺失了一大部分建筑，ResNet101 和PSPNet 則未識別出兩個建筑物之間的間隙，HRNetv2 和SCAttNet 則對叉形建筑存在誤分割現(xiàn)象，相對而言本文所提模型PPA-Net 在兩個建筑之間間隔較小時，可以準(zhǔn)確分割出其間隙，且未對叉形建筑內(nèi)部非建筑物產(chǎn)生誤分割現(xiàn)象。從第二個場景的分割結(jié)果可以看出，在方框區(qū)域內(nèi)，PPA-Net 對小型建筑及大型建筑分割效果較好，對其邊緣定位較為精確，而HRNetv2 未分割出一部分三角形建筑，其他對比模型則對小型建筑分割效果較差，邊緣定位不夠準(zhǔn)確。從第三個場景的分割結(jié)果可以看出，方框區(qū)域內(nèi)的建筑物屬于圈型建筑，其內(nèi)部存在陰影的干擾，對比的模型對建筑內(nèi)部分割較差，存在嚴(yán)重的誤分割現(xiàn)象，而本文所提PPANet 在陰影干擾下對建筑內(nèi)部分割較好。從數(shù)據(jù)集Massachusetts Buildings 的分割結(jié)果來看，本文算法對陰影抗干擾性較強(qiáng)，且能在密集型建筑物中準(zhǔn)確分割出其邊緣。

表2 給出了各個模型對Massachusetts Buildings 數(shù)據(jù)集分割指標(biāo)的對比。

表2 在Massachusetts Buildings 數(shù)據(jù)集分割指標(biāo)對比Tab.2 Comparison of segmentation indicators in Massachusetts Buildings dataset

從表2 指標(biāo)對比可以看出，本文模型相較于對比模型在各個指標(biāo)上都有較大提升，MIoU 指標(biāo)相較于ResUNet-a 提升1.46%，分割性能更佳，通過兩個數(shù)據(jù)集的指標(biāo)提升對比，可以發(fā)現(xiàn)PPA-Net 在建筑物密集且陰影干擾較多的數(shù)據(jù)集上表現(xiàn)更好。

3.4 與其他現(xiàn)有模型對比

本部分將所提模型與目前一些較新的建筑物分割模型進(jìn)行對比，由于相關(guān)論文代碼并未開源，因此在WHU 數(shù)據(jù)集上的性能指標(biāo)直接采用相應(yīng)文章的結(jié)果，對比如表3 所示。SRI-Net［10］采用修改后的ResNet-101 編碼器生成多級特征，以空洞卷積拓寬感受野，并提出空間殘差初始（SRI）模塊以融合多尺度信息。DE-Net［21］以編碼解編碼為主要架構(gòu)，在下采樣過程中采用最大池化層及跨部卷積級聯(lián)，并用密集型上采樣卷積獲得建筑分割結(jié)果。DS-Net［22］采用深層次監(jiān)督子網(wǎng)絡(luò)對模型的多尺度輸出進(jìn)行監(jiān)督學(xué)習(xí)，并采用多尺度注意力模塊對多尺度信息進(jìn)行融合輸出分割結(jié)果。AGEDNet［23］以修改后的ResNet-50 為基礎(chǔ)網(wǎng)絡(luò)，加入空間注意力及空間金字塔池化模塊以提高建筑物分割精度。RBUNet［24］在編碼部分加入了自注意力模塊以提高模型對顯著區(qū)域的關(guān)注度，在解編碼部分采用多個大型卷積進(jìn)行上采樣以加強(qiáng)模型解編碼能力。由表3 中數(shù)據(jù)可以看出，本文所提模型在MIoU，Recall 及F1-score 指標(biāo)中均優(yōu)于所比較的建筑物分割模型。

表3 與現(xiàn)有模型在WHU 數(shù)據(jù)集上對比Tab.3 Comparison with existing models on the WHU dataset

3.5 模型消融實驗分析

為了分析強(qiáng)注意力機(jī)制和金字塔空間池化模塊對分割精度的影響，本文對整體模型在WHU 及Massachusetts Buildings 數(shù)據(jù)集上進(jìn)行消融學(xué)習(xí)實驗。首先，本文在沒有添加任何模塊的基礎(chǔ)模型（baseline）上進(jìn)行實驗，然后在基礎(chǔ)模型上增加強(qiáng)注意力機(jī)制模塊（baseline+A）進(jìn)行實驗，最后在基礎(chǔ)模型上增加金字塔空間池化模塊（baseline+P）進(jìn)行實驗。在WHU 及mass build 數(shù)據(jù)集上的分割指標(biāo)對比如表4 所示，部分區(qū)域分割結(jié)果對比如圖9 所示。

表4 消融實驗指標(biāo)對比Tab.4 Comparison of ablation experimental indexes

圖9 消融實驗分割結(jié)果對比Fig.9 Comparison of ablation experiment segmentation results

由表4 的數(shù)據(jù)對比可以看出，baseline 加入強(qiáng)注意力機(jī)制模塊及金字塔空間池化模塊能夠有效提高建筑分割的準(zhǔn)確度，其中金字塔空間池化模塊的增加對模型的計算量及參數(shù)量增加較少，但其分割性能上提升也不多，強(qiáng)注意力機(jī)制模塊對模型的計算量及參數(shù)量增加較多，模型的分割性能上提升也較為明顯?？偟膩碚f，金字塔空間池化模塊及強(qiáng)注意力機(jī)制模塊能夠有效提高模型分割精度，且兩個模塊存在一定的互補(bǔ)關(guān)系，整體網(wǎng)絡(luò)相較于增加單個模塊分割性能更優(yōu)。

由圖9 的分割結(jié)果對比可以看出，場景一方框區(qū)域內(nèi)，當(dāng)建筑被植被遮擋較多時，增加了強(qiáng)注意力機(jī)制模塊的模型相較于未增加強(qiáng)注意力機(jī)制模塊的模型能夠識別出更多被遮擋的建筑，分割效果更好。在場景二的方框區(qū)域內(nèi)，當(dāng)模型未增加金字塔空間池化模塊時，對大型建筑分割內(nèi)部存在孔洞現(xiàn)象，增加金字塔空間池化模塊后能夠有效抑制孔洞現(xiàn)象的產(chǎn)生。在場景三的方框區(qū)域內(nèi)，建筑存在被陰影干擾的現(xiàn)象，增加了強(qiáng)注意力機(jī)制模塊的模型在建筑與陰影相交邊界的分割效果更好，能夠有效增加對陰影的抗干擾作用。由消融實驗對比結(jié)果可以看出，強(qiáng)注意力機(jī)制模塊能夠有效增加模型在建筑遮擋、陰影干擾現(xiàn)象中的分割精度，金字塔空間池化模塊能夠有效抑制模型對大型建筑分割時內(nèi)部孔洞的出現(xiàn)。

4 結(jié)論

對遙感影像中的建筑物提取，本文提出一個并行多路徑網(wǎng)絡(luò)，在多路徑提取特征的過程中對并行路徑特征進(jìn)行融合，加強(qiáng)各個路徑之間的多尺度信息；在多路徑提取的最后階段，加入強(qiáng)相關(guān)注意力機(jī)制，融合各個路徑的特征，增強(qiáng)特征之間信息的互補(bǔ)，對特征進(jìn)行有效加強(qiáng)，提升網(wǎng)絡(luò)在建筑物被遮擋及建筑物陰影干擾下的分割性能。在最后階段加入金字塔空間池化結(jié)構(gòu)，減少建筑內(nèi)部孔洞的產(chǎn)生，并提高建筑分割的精確度。實驗證明，本文所提的模型在遙感影像中對建筑分割效果較好，相較于對比的算法，在WHU 數(shù)據(jù)集及Massachusetts Buildings數(shù)據(jù)集上IoU 指標(biāo)，F(xiàn)1-score，Recall 指標(biāo)都是最好的，但在WHU 數(shù)據(jù)集上Precision 不是最優(yōu)的，說明預(yù)測中將背景誤認(rèn)為建筑較高，且邊緣并不是很精確，是下一步改進(jìn)的方向，后續(xù)也可將此網(wǎng)絡(luò)改進(jìn)推廣到遙感圖像其他元素的分割中。