劉佳蕙 蘇杭

基金項(xiàng)目：江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃項(xiàng)目；項(xiàng)目名稱：電力設(shè)施環(huán)境AI遙感監(jiān)測(cè)研究；項(xiàng)目編號(hào)：KYCX21_2627。

作者簡(jiǎn)介：劉佳蕙（1998— ），女，山東威海人，碩士研究生；研究方向：攝影測(cè)量與遙感。

摘要：建筑物邊緣檢測(cè)是提取建筑物信息最直接有效的方法，近幾年，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于建筑物邊緣檢測(cè)研究，其中RCF網(wǎng)絡(luò)被證明是應(yīng)用于建筑物邊緣檢測(cè)的效果較好的卷積神經(jīng)網(wǎng)絡(luò)。然而，RCF網(wǎng)絡(luò)在建筑物邊緣檢測(cè)的過程中，上采樣過程采用一步雙線性插值算法，上采樣結(jié)構(gòu)過于簡(jiǎn)單，導(dǎo)致產(chǎn)生了在深層網(wǎng)絡(luò)特征層小尺寸圖像特征直接上采樣至大尺寸圖像的條件下誤差過大的問題。文章提出了階梯式上采樣結(jié)構(gòu)以改進(jìn)RCF網(wǎng)絡(luò)，該方法能夠有效減少一次雙線性插值算法帶來的誤差，實(shí)驗(yàn)證明該方法能夠有效提高RCF網(wǎng)絡(luò)在建筑物邊緣檢測(cè)上的結(jié)果精度，顯著增加輸出結(jié)果圖像的清晰度。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；RCF網(wǎng)絡(luò)；建筑物邊緣檢測(cè)；階梯上采樣

中圖分類號(hào)：P237 文獻(xiàn)標(biāo)志碼：A

0 引言

建筑物是人類生活、生產(chǎn)和工作的重要場(chǎng)所，人類圍繞建筑物集群以群居方式生活。建筑物不僅是人類生活的物質(zhì)基礎(chǔ)，也是經(jīng)濟(jì)發(fā)展的地理信息基礎(chǔ)，獲取建筑物信息對(duì)城市發(fā)展和擴(kuò)張、城市災(zāi)害預(yù)警和救援等都有重要作用。隨著遙感技術(shù)的發(fā)展，遙感圖像在滿足信息提取需求的同時(shí)，存儲(chǔ)了大量的建筑物信息，通過遙感圖像識(shí)別和提取建筑物信息越來越受到人們的關(guān)注，而解決這一難題的關(guān)鍵在于建筑物邊緣檢測(cè)。

隨著計(jì)算機(jī)視覺的發(fā)展，圖像邊緣檢測(cè)技術(shù)也在不斷進(jìn)步，使得圖像邊緣檢測(cè)應(yīng)用于遙感圖像成為可能。如何利用邊緣檢測(cè)方法快速準(zhǔn)確地提取遙感影像上建筑物邊緣信息成為研究熱點(diǎn)之一。傳統(tǒng)的邊緣檢測(cè)方法［1］主要為計(jì)算機(jī)圖形學(xué)中利用原始圖像中像素的某小鄰域來構(gòu)造邊緣檢測(cè)算子進(jìn)行圖像邊緣檢測(cè)，同時(shí)應(yīng)用于建筑物邊緣檢測(cè)［3］，如Canny算子［4］等。這些微分算子雖然計(jì)算簡(jiǎn)單，對(duì)于自然圖像邊緣檢測(cè)有相當(dāng)好的效果，然而遙感影像的背景復(fù)雜多變，對(duì)傳統(tǒng)邊緣檢測(cè)造成大量噪聲干擾，因此對(duì)建筑物邊緣提取具有較強(qiáng)的抵抗力，無法適應(yīng)建筑物邊緣提?。?］。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，各種神經(jīng)網(wǎng)絡(luò)層出不窮，將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與邊緣檢測(cè)算法結(jié)合提取建筑物邊緣［5］成為當(dāng)下行之有效的方法之一。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)包括：AlexNet，VGGNet，ResNet［6］。其中，建筑物邊緣檢測(cè)算法使用最多的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是VGGNet，整個(gè)網(wǎng)絡(luò)改為使用3×3卷積核和2×2最大池化，可以很好地提取圖像特征，并且網(wǎng)絡(luò)參數(shù)較少，計(jì)算量更少，網(wǎng)絡(luò)收斂更快。2015年，整體嵌套邊緣檢測(cè)（Holistically-nested Edge Detection，HED）被提出，其以VGG16為主干網(wǎng)絡(luò)設(shè)計(jì)了深監(jiān)督網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，使用嵌套方式對(duì)自然圖像邊緣進(jìn)行檢測(cè)和提取，有效解決了邊緣模糊問題，其邊緣提取效果明顯優(yōu)于Canny算子等傳統(tǒng)邊緣檢測(cè)方法。然而，HED網(wǎng)絡(luò)僅考慮每一級(jí)的最后卷積層信息，在直接應(yīng)用于建筑物邊緣檢測(cè)時(shí)遺漏關(guān)鍵邊緣信息，使得其并不適用于建筑物邊緣檢測(cè)。在HED網(wǎng)絡(luò)基礎(chǔ)上，RCF網(wǎng)絡(luò)在下采樣過程中，分別對(duì)五個(gè)卷積層做橫向卷積，并對(duì)五個(gè)支路分別做上采樣，將所有卷積層的信息組合，充分利用了所有卷積層的多尺度和多層次信息。2019年，BDCN網(wǎng)絡(luò)［7］在多尺度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上實(shí)現(xiàn)了雙向級(jí)聯(lián)網(wǎng)絡(luò)結(jié)果，同時(shí)引入了尺度增強(qiáng)模塊，將多尺度與尺度增強(qiáng)相結(jié)合，最終提高了邊緣檢測(cè)能力。SegNet［8］是基于像素的端到端的網(wǎng)絡(luò)架構(gòu)，是對(duì)FCN的優(yōu)化，沿用了FCN進(jìn)行圖像語義分割的思想。該網(wǎng)絡(luò)融合了編碼-解碼結(jié)構(gòu)和跳躍網(wǎng)絡(luò)的特點(diǎn)，使得模型能夠得到更加精確的輸出特征圖，在訓(xùn)練樣本有限的情況下也能得到更加準(zhǔn)確的分類結(jié)果。

在以上卷積神經(jīng)網(wǎng)絡(luò)中，上采樣方式對(duì)求取損失、優(yōu)化網(wǎng)絡(luò)參數(shù)來說也尤為重要。雙線性插值是卷積神經(jīng)網(wǎng)絡(luò)上采樣過程中最常用的方法之一，雙線性插值算法充分利用了源圖中虛擬點(diǎn)四周的4個(gè)真實(shí)存在的像素值來共同決定目標(biāo)圖中的1個(gè)像素值，從而反映了原始圖像的信息。HED邊緣檢測(cè)網(wǎng)絡(luò)的上采樣方式是按照一定的比例通過補(bǔ)0來擴(kuò)大輸入圖像的尺寸，先旋轉(zhuǎn)卷積核，再進(jìn)行正向卷積，最終得到與輸入層相同尺寸大小的輸出層。RCF使用反卷積（deconv）對(duì)特征層進(jìn)行上采樣，其本質(zhì)與雙線性插值相同，在深層特征基礎(chǔ)上進(jìn)行插值操作，將五層下采樣的輸出特征層直接上采樣至原尺寸大小，并對(duì)上采樣結(jié)果采用交叉熵?fù)p失融合損失進(jìn)行梯度更新。但由于每層均只使用一次插值上采樣，對(duì)于深層網(wǎng)絡(luò)的特征層的上采樣結(jié)果把握仍不準(zhǔn)確，在過小的尺寸上采樣到過大尺寸圖像的過程中，由于跨步過大，運(yùn)算量也隨之增加，同時(shí)產(chǎn)生的誤差也成倍增加，并不能適用于邊緣檢測(cè)神經(jīng)網(wǎng)絡(luò)。

針對(duì)以上問題，本文提出一種新的上采樣結(jié)構(gòu)，利用雙線性插值對(duì)于尺寸跨步不大的特征層的精度較好的特點(diǎn)，采用階梯式上采樣結(jié)構(gòu)對(duì)RCF算法進(jìn)行了進(jìn)一步的改進(jìn)優(yōu)化，能夠?qū)崿F(xiàn)精細(xì)建筑物的提取，使得到的結(jié)果精度得以優(yōu)化。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法性能有很大提高。

1 RCF網(wǎng)絡(luò)模型改進(jìn)

1.1 RCF網(wǎng)絡(luò)模型

RCF網(wǎng)絡(luò)以VGG16為主干網(wǎng)絡(luò)，保留了全卷積層并將其分為5個(gè)階層，將每個(gè)階層的卷積層信息在下采樣的同時(shí)進(jìn)行卷積融合提取到每個(gè)階層的圖像特征層，分別得到5個(gè)側(cè)邊特征層。此時(shí)，5個(gè)特征層大小不一，代表了由淺到深5個(gè)層級(jí)的圖像特征，通過反卷積得到與輸入尺寸相同大小的側(cè)邊特征層。最后，再將這5個(gè)側(cè)邊特征層進(jìn)行卷積融合，得到最終的邊緣圖。RCF的網(wǎng)絡(luò)模型架構(gòu)如圖1所示。

有學(xué)者將RCF網(wǎng)絡(luò)應(yīng)用于馬薩諸塞州建筑物數(shù)據(jù)集，做建筑物邊緣提取實(shí)驗(yàn)，并在F1分?jǐn)?shù)上取得了較好的精度，證實(shí)了使用RCF網(wǎng)絡(luò)做建筑物邊緣提取研究是有意義的。本文研究基于RCF網(wǎng)絡(luò)做進(jìn)一步改進(jìn)。

1.2 RCF網(wǎng)絡(luò)應(yīng)用于建筑物邊緣檢測(cè)的改進(jìn)設(shè)計(jì)

在邊緣檢測(cè)網(wǎng)絡(luò)RCF中，通過主干VGG網(wǎng)絡(luò)得到的五個(gè)側(cè)邊特征層是尺寸大小不一的，值得注意的是，在4次池化操作的下采樣過程之后，得到的輸出圖片尺寸大小只有原始圖片的1/16，之后使用雙線性插值上采樣方式，將五層不同尺寸的側(cè)邊特征層直接插值到與輸入圖片相同的尺寸大小。這種上采樣方式存在一個(gè)明顯的問題。由于雙線性插值對(duì)圖像補(bǔ)充像元使用補(bǔ)0的方法，對(duì)深層網(wǎng)絡(luò)的小尺寸的特征層來說，這種方法誤差過大。當(dāng)輸入圖像尺寸為256×256像素，在第五層卷積層后得到的特征層尺寸為16×16像素，那么上采樣到與輸入圖像尺寸相同的256×256的尺寸大小時(shí)，此時(shí)256×256像素圖像中的所有像素，僅由16×16像素的特征層像素相關(guān)性決定，對(duì)256×256像素圖像中的邊緣像素來說偏移過大，因此誤差過大，此時(shí)的深層特征層信息對(duì)網(wǎng)絡(luò)來說并沒有被準(zhǔn)確把握。

筆者改用階梯式上采樣方式，由小尺寸一層一層上采樣到大尺寸，即整體過程類似階梯狀的逐層上采樣，通過逐層上采樣在中間過程中實(shí)現(xiàn)中間誤差減少，將大尺寸的像素值與中尺寸的像素值的相關(guān)性提高，避免出現(xiàn)上采樣得到的大尺寸像素完全由深層網(wǎng)絡(luò)特征的小尺寸像素值直接決定而導(dǎo)致的誤差值偏大的情況（見圖2）。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集

為了驗(yàn)證實(shí)驗(yàn)方法的準(zhǔn)確性，本研究使用南京市江北新區(qū)數(shù)據(jù)集。該數(shù)據(jù)集的研究區(qū)域位于江蘇省南京市江北新區(qū)。研究區(qū)域覆蓋了53.67 km2，尺寸為27 337×21 816像元（空間分辨率0.3 m，波段為RGB），區(qū)域內(nèi)統(tǒng)計(jì)包含了7 602棟獨(dú)立的建筑物。

2.2 精度評(píng)定指標(biāo)

通常情況下，在進(jìn)行建筑物邊緣檢測(cè)時(shí)，應(yīng)使用邊緣提取的評(píng)價(jià)指標(biāo)對(duì)邊緣檢測(cè)網(wǎng)絡(luò)進(jìn)行精度評(píng)價(jià)與結(jié)果分析。本文采取7個(gè)評(píng)價(jià)指標(biāo)以衡量改進(jìn)RCF網(wǎng)絡(luò)的邊緣提取結(jié)果質(zhì)量，分別是精確率（Precision），召回率（Recall）、F1分?jǐn)?shù)、總體準(zhǔn)確率（OA）、IoU值、Kappa系數(shù)以及非邊緣能量（Ene）：

其中N，TP，TN，F(xiàn)P，F(xiàn)N分別代表樣本總數(shù)，真正樣本數(shù)，真負(fù)樣本數(shù)，假正樣本數(shù)，假負(fù)樣本數(shù)；p0，pe則分別代表預(yù)測(cè)一致率和期望一致率；T表示計(jì)算Ene的閾值，Pi表示小于T的第i像元的邊緣概率值，Nt表示概率值小于T的像元數(shù)量。

其中，本研究采用了邊緣厚度評(píng)價(jià)指標(biāo)——非邊緣能量（Ene），其定義為邊緣概率圖中非邊緣像元的平均質(zhì)量，如公式（9）所示。該指標(biāo)同時(shí)反映出邊緣提取的視覺分析結(jié)果，即建筑物邊緣概率圖的整潔程度。當(dāng)該指標(biāo)值越低時(shí)，代表建筑物邊緣效果圖中非邊緣能量值越低，提取建筑物邊緣圖中非邊緣像素越少，建筑物邊緣越薄，視覺效果越好。

在邊緣檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)中，邊緣預(yù)測(cè)結(jié)果是一個(gè)像元值介于0～1的概率圖。因此，通常需要設(shè)置一個(gè)分類閾值（Th），將邊緣概率圖轉(zhuǎn)換為大于Th的二值圖，本研究采用最優(yōu)結(jié)果閾值為Th，且計(jì)算Ene的閾值T與之相等。與此同時(shí)，本文計(jì)算評(píng)價(jià)指標(biāo)時(shí)使用兩種方案：嚴(yán)格精度評(píng)價(jià)和松弛精度評(píng)價(jià)。松弛精確率為真實(shí)建筑物邊緣像元ρ個(gè)像元范圍內(nèi)的預(yù)測(cè)邊緣像元的指標(biāo)得分，而松弛召回率為預(yù)測(cè)建筑物邊緣像元ρ個(gè)像元范圍內(nèi)的真實(shí)邊緣像元的指標(biāo)得分。在本研究關(guān)于松弛方案的實(shí)驗(yàn)，筆者將松弛參數(shù)ρ設(shè)置為3。

2.3 改進(jìn)模型訓(xùn)練與驗(yàn)證

為了對(duì)比改進(jìn)的RCF網(wǎng)絡(luò)的正確性，本文首先復(fù)現(xiàn)了RCF網(wǎng)絡(luò)在南京市江北新區(qū)建筑物數(shù)據(jù)集上的建筑物邊緣提取結(jié)果。同時(shí)，提取了改進(jìn)的RCF網(wǎng)絡(luò)在江北新區(qū)數(shù)據(jù)集上的建筑物邊緣檢測(cè)結(jié)果，并將兩種結(jié)果做了對(duì)比分析。

本文實(shí)驗(yàn)是在NVIDIA Quadro P4000處理器上進(jìn)行，硬件內(nèi)存為8GB，實(shí)驗(yàn)使用Python3.6.10，Numpy1.15.0和CUDA9.2完成程序?qū)崿F(xiàn)，詳細(xì)信息如表1所示。

本文結(jié)合設(shè)備硬件設(shè)置批處理尺寸為10，初始學(xué)習(xí)率為1e-6，動(dòng)量為0.9以及權(quán)重衰減為2e-4，每執(zhí)行完1/3的迭代次數(shù)將學(xué)習(xí)率降低10倍。詳細(xì)訓(xùn)練參數(shù)如表2所示。

本文將改進(jìn)RCF網(wǎng)絡(luò)應(yīng)用于南京江北新區(qū)建筑物邊緣數(shù)據(jù)集，結(jié)合上述7項(xiàng)評(píng)價(jià)指標(biāo)將改進(jìn)RCF網(wǎng)絡(luò)與RCF原網(wǎng)絡(luò)進(jìn)行比較分析，檢測(cè)結(jié)果如表3所示。

通過表3的對(duì)比可以發(fā)現(xiàn)以階梯上采樣方式改進(jìn)的RCF網(wǎng)絡(luò)對(duì)于建筑物邊緣檢測(cè)相比于RCF網(wǎng)絡(luò)，各項(xiàng)精度評(píng)定指標(biāo)結(jié)果都有較好的提升。在嚴(yán)格度量方案中，加入階梯上采樣的改進(jìn)RCF網(wǎng)絡(luò)較RCF原網(wǎng)絡(luò)，F(xiàn)1分?jǐn)?shù)提高了0.08%，召回率（Recall）提高了0.81%，Kappa系數(shù)提高了0.07%，IoU值提高了0.06%；在松弛度量方案中，改進(jìn)網(wǎng)絡(luò)較原網(wǎng)絡(luò)，F(xiàn)1分?jǐn)?shù)提高了0.18%，總體準(zhǔn)確率（OA）提高了0.08%，精確率（Precision）提高了0.94%，Kappa系數(shù)提高了0.37%，IoU值提高了0.44%，這些指標(biāo)說明了改進(jìn)的RCF網(wǎng)絡(luò)具有更好的、更準(zhǔn)確地建筑物邊緣提取能力。同時(shí)，在整體邊緣檢測(cè)效果來說，非邊緣能量（Ene）下降了0.68%，這說明改進(jìn)的RCF網(wǎng)絡(luò)提取出的建筑物邊緣相比RCF原網(wǎng)絡(luò)來說更加精細(xì)，建筑物邊緣厚度更薄，噪聲信息相較于RCF原網(wǎng)絡(luò)更少，視覺效果得到了更好的優(yōu)化。從提取結(jié)果能夠發(fā)現(xiàn)，加入階梯上采樣模塊的RCF網(wǎng)絡(luò)提取出來的建筑物邊緣相較于RCF原網(wǎng)絡(luò)更為精細(xì)，邊緣厚度更低，與真實(shí)的建筑物邊緣標(biāo)簽更加接近，邊緣提取結(jié)果整體上噪聲信息更少，建筑物邊緣更趨于直線狀，優(yōu)化了RCF網(wǎng)絡(luò)提取的建筑物邊緣曲線狀的問題，在視覺上有更好的表現(xiàn)。實(shí)驗(yàn)結(jié)果說明了，改進(jìn)RCF網(wǎng)絡(luò)為后續(xù)利用邊緣提取結(jié)果做自動(dòng)化、數(shù)字化、矢量化處理提供了更優(yōu)質(zhì)的基礎(chǔ)，展現(xiàn)出更好的建筑物邊緣檢測(cè)與提取能力。

3 結(jié)語

目前，RCF網(wǎng)絡(luò)已經(jīng)作為一種基礎(chǔ)網(wǎng)絡(luò)被廣泛應(yīng)用于建筑物邊緣檢測(cè)。本文在RCF網(wǎng)絡(luò)的基礎(chǔ)上做了上采樣結(jié)構(gòu)的改進(jìn)，改進(jìn)的RCF網(wǎng)絡(luò)可以有效彌補(bǔ)RCF網(wǎng)絡(luò)上采樣中過多目標(biāo)信息丟失的問題，使得上采樣結(jié)果得到優(yōu)化，側(cè)邊輸出層圖像上采樣誤差更小，融合后輪廓更精細(xì)，視覺效果更好。實(shí)驗(yàn)結(jié)果表明，本文所提出方法，有效地提高了RCF網(wǎng)絡(luò)在建筑物邊緣檢測(cè)上的精度，獲得了更好的建筑物邊緣檢測(cè)結(jié)果。

參考文獻(xiàn)

［1］李翠錦，瞿中.基于深度學(xué)習(xí)的圖像邊緣檢測(cè)算法綜述［J］.計(jì)算機(jī)應(yīng)用，2020（11）：3280-3288.

［2］倪歡，張繼賢，林祥國(guó).三維點(diǎn)云邊緣檢測(cè)和直線段提取進(jìn)展與展望［J］.測(cè)繪通報(bào)，2016（7）：1-4.

［3］孫根云，黃丙湖，朝旭軍.遙感圖像邊緣檢測(cè)的不確定性及其處理方法探討［J］.遙感信息，2010（6）：110-114.

［4］CANNY J. A computational approach to edge detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1986（6）：679-698.

［5］葉沅鑫，孫苗苗，周亮，等.面向建筑物變化檢測(cè)的主體邊緣分解與重組神經(jīng)網(wǎng)絡(luò)［J］.測(cè)繪學(xué)報(bào)，2023（1）：71-81.

［6］KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks［J］.Advances in neural information processing systems，2012（25）：1097-1105.

［7］HE J，ZHANG S，YANG M，et al. BDCN： Bi-Directional Cascade Network for Perceptual Edge Detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020（99）：1.

［8］BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet： A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation［J］.IEEE transactions on pattern analysis and machine intelligence，2017（12）：2481-2495.

（編輯 姚 鑫）

Abstract： Building edge detection is the most direct and effective method to extract building information， in recent years， convolutional neural networks have been widely used in building edge detection research， among which RCF network has been proved to be a convolutional neural network with good effect applied to building edge detection. However， in the process of RCF network detection at the edge of the building， there is a problem that the upsampling process adopts a one-step bilinear interpolation algorithm， and the upsampling structure is too simple， resulting in too large error under the condition that the features of the small-size image of the deep network feature layer are directly upsampled to the large-size image. In this paper， a stepped upsampling structure is proposed to improve the RCF network， which can effectively reduce the error caused by the bilinear interpolation algorithm， and the experimental results show that the method can effectively improve the accuracy of the RCF network in the detection of building edges， and significantly increase the clarity of the output images.

Key words： Convolutional Neural Network （CNN）; RCF network; building edge detection; stepped upsampling