多尺度分割和深度學(xué)習(xí)相結(jié)合的傾斜攝影三維影像建筑物震害信息提?。?/h1>
2022-10-10 07:44:48帥向華荊帥軍鄭向向
地震學(xué)報(bào) 2022年5期
帥向華 荊帥軍 鄭向向 劉 欽
1） 中國(guó)北京 100045 中國(guó)地震臺(tái)網(wǎng)中心
2） 中國(guó)鄭州 450016 河南省地震局
3） 中國(guó)北京 100083 中國(guó)自然資源航空物探遙感中心
引言
建筑物震害信息是評(píng)估建筑物破壞等級(jí)的重要指標(biāo)，如何準(zhǔn)確識(shí)別、定量提取建筑物震害信息是目前研究的熱點(diǎn).隨著深度卷積神經(jīng)網(wǎng)絡(luò)模型的發(fā)展及其在圖像處理領(lǐng)域的應(yīng)用深化，該技術(shù)在地物識(shí)別分類方面也展現(xiàn)出巨大的特征學(xué)習(xí)表達(dá)能力，即通過(guò)自動(dòng)對(duì)樣本集中的研究對(duì)象不斷深層次學(xué)習(xí)，獲取地物高層次的抽象特征，掌握不同地物的紋理、形狀屬性信息，取得了很好的提取效果，彌補(bǔ)了地物特征信息分類提取的不足.國(guó)內(nèi)外學(xué)者利用深度學(xué)習(xí)技術(shù)對(duì)建筑物震害信息提取開展了較多研究.Vetrivel 等（2018）綜合運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)和三維點(diǎn)云數(shù)據(jù)特征進(jìn)行建筑物震害損傷區(qū)域的檢測(cè)，精度達(dá)到85%；李強(qiáng)（2018）基于2010年海地MS7.0地震光學(xué)遙感影像GeoEye-1數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)模型CAFFE （Convolutional Architecture for Fast Feature Embedding）框架提取研究區(qū)域中的基本完好建筑物、中等破壞建筑和損毀建筑物，總體分類精度達(dá)到90%以上；陳夢(mèng)和王曉青（2019）利用全卷積神經(jīng)網(wǎng)絡(luò)模型提取玉樹地震后空間分辨率為0.2 m的玉樹縣城區(qū)航空正射影像的建筑物震害信息，總體分類精度達(dá)到82%；周陽(yáng)等（2019）利用深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks，縮寫為DCNN）全連接層特征支持的向量機(jī)檢測(cè)2010年海地震后傾斜攝影影像中的建筑物震害損毀區(qū)域，正確率高達(dá)89%.相較于傳統(tǒng)的識(shí)別方法，深度卷積神經(jīng)網(wǎng)絡(luò)在建筑物震害識(shí)別方面具有很大的優(yōu)勢(shì).
受傳統(tǒng)遙感影像的限制，許多學(xué)者利用正射影像定量地提取建筑物震害信息，如吳劍等（2013）基于像元和面向?qū)ο蠓椒ㄌ崛〗ㄖ镎鸷π畔?，總體精度分別為76.84%和90.38%；趙妍等（2016）采用多尺度分割和k鄰近方法提取遙感影像中建筑物的形狀、面積等變化信息，提取精度為79.68%；傾斜攝影技術(shù)從多個(gè)角度拍攝建筑物的頂面和側(cè)面，能夠獲取建筑物豐富的紋理信息和細(xì)節(jié)信息，彌補(bǔ)正射影像的不足（荊帥軍等，2019）.目前學(xué)者基于傾斜影像多采用目視解譯或監(jiān)督分類方法定量地提取建筑物側(cè)面震害信息，例如：Gerke和Kerle（2011） 采用監(jiān)督分類方法提取航空傾斜影像中單體建筑物外墻、完整屋頂、破壞屋頂?shù)鹊恼鸷π畔?，建筑物震害信息提取精度達(dá)到63%，總體分類精度達(dá)到70%；李勝軍（2013）采用面向?qū)ο笾械哪：诸惙椒?，?duì)傾斜航空影像震后建筑物進(jìn)行多角度損毀評(píng)估，損毀區(qū)域分類精度達(dá)到70%以上，總體卡帕（Kappa）系數(shù)達(dá)到80%以上.這些方法雖然成功地提取到了建筑物側(cè)面的震害信息，但是在識(shí)別提取時(shí)需要結(jié)合影像手動(dòng)進(jìn)行大量的試驗(yàn)來(lái)選取最優(yōu)特征組合，利用一系列閾值條件提取目標(biāo)地物，導(dǎo)致目標(biāo)地物識(shí)別分類不準(zhǔn)確，影響分類精度和效率.而面向?qū)ο蠖喑叨确指钏惴ǜ鶕?jù)多個(gè)分割尺度將不同地物分割到不同的對(duì)象中，很好地解決了地物分割不開的問題（馮麗英，2017）.結(jié)合面向?qū)ο蠖喑叨确指詈蜕疃染矸e神經(jīng)網(wǎng)絡(luò)的方法可以有效提高地物分類識(shí)別精度.
本文將已獲取的傾斜三維影像作為震害識(shí)別的數(shù)據(jù)，采用面向?qū)ο蠖喑叨确指钆c深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，擬對(duì)建筑物屋頂和墻體影像進(jìn)行震害信息提取，克服分割難、樣本少的困難，以解決震害信息提取不完整，識(shí)別不準(zhǔn)確的問題.
1 傾斜攝影三維影像建筑物震害提取方法
1.1 總體技術(shù)流程
傾斜攝影三維影像建筑物震害提取方法將傾斜攝影影像數(shù)據(jù)作為震害提取的數(shù)據(jù)基礎(chǔ)，提取的主要步驟為：① 從傾斜影像數(shù)據(jù)獲取建筑物頂面和側(cè)面影像；② 目視解譯建筑物頂面和側(cè)面的震害信息；③ 采用卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練樣本；④ 對(duì)建筑物頂面和側(cè)面的影像進(jìn)行多尺度分割；⑤ 利用訓(xùn)練成功的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)分割后的影像進(jìn)行識(shí)別和提??；⑥ 進(jìn)行精度對(duì)比分析.
1.2 面向?qū)ο蠖喑叨确指罘椒?/h3>
面向?qū)ο蠖喑叨确指罘椒▽⑾裨凑疹悆?nèi)同質(zhì)性最大、類間異質(zhì)性最大的原則合并到對(duì)應(yīng)的地物對(duì)象中，對(duì)不同地物進(jìn)行分割.基本原理是：從單個(gè)像素開始，以選取的形狀因子、光譜因子和分割尺度為準(zhǔn)則，分別與其鄰近像元進(jìn)行合并計(jì)算，從而降低對(duì)象的異質(zhì)性；當(dāng)一輪合并結(jié)束后，對(duì)上一輪生成的對(duì)象，在給定分割尺度下繼續(xù)分別與其相鄰的對(duì)象進(jìn)行合并計(jì)算；以如此方式持續(xù)進(jìn)行，直到在用戶指定的尺度上不能再進(jìn)行任何對(duì)象的合并為止，最終得到不同尺度下的分割結(jié)果.這種異質(zhì)性是由兩個(gè)對(duì)象的光譜和形狀差異所決定，異質(zhì)性度量準(zhǔn)則的計(jì)算公式為
式中：w1為權(quán)重值，0≤w1≤1；x為光譜異質(zhì)性；y為形狀異質(zhì)性.
本文使用面向?qū)ο蠖喑叨鹊姆指罘椒?，其?shí)質(zhì)是選擇多個(gè)尺度閾值對(duì)遙感影像上各個(gè)目標(biāo)地物分別進(jìn)行分割，從而獲得目標(biāo)地物的最佳分割效果，確保所提取的地物分割效果，尤其是對(duì)大小、顏色相同的建筑物和道路分類分割有很好的效果.
1.3 卷積神經(jīng)網(wǎng)絡(luò)模型
手動(dòng)選取建筑物震害特征依賴于解譯員的專業(yè)經(jīng)驗(yàn)和知識(shí)，而震害特征又相對(duì)復(fù)雜，深度學(xué)習(xí)強(qiáng)有力的學(xué)習(xí)能力和深層次的網(wǎng)絡(luò)結(jié)構(gòu)在地物特征識(shí)別方面展現(xiàn)出了巨大的優(yōu)勢(shì).深度學(xué)習(xí)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)模型憑借其自動(dòng)識(shí)別特征和學(xué)習(xí)特征的能力，在低層次特征到高層次抽象特征的學(xué)習(xí)過(guò)程中展現(xiàn)出了非常好的性能，僅使用原始影像利用波段、空間和形狀等信息即可提取建筑物震害特征，因此在圖像特征提取方面具有很大的優(yōu)勢(shì)（高揚(yáng)，2018）.本文應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行建筑物震害的識(shí)別與分類.卷積神經(jīng)網(wǎng)絡(luò)模型一般由卷積層、池化層、全連接層和分類器組成（Lecunet al，1998）.
1） 卷積層.作為原始圖像與卷積核之間的線性運(yùn)算，卷積層一般是將多個(gè)卷積層放在一起進(jìn)行重復(fù)卷積操作，得到線性結(jié)果，然后通過(guò)非線性運(yùn)算得到特征圖像，再將其作為下一層的輸入特征圖像，計(jì)算公式如下（史路路，2018）：
式中，*為卷積運(yùn)算，f是非線性函數(shù)，k為一定大小的濾波器，g為附加偏差.式（2）表示當(dāng)前第L個(gè)卷積層中第n個(gè)特征圖層，即L-1層的卷積特征輸出后，經(jīng)非線性函數(shù)運(yùn)算獲得.
2） 池化層.該層的目的是壓縮輸入圖的特征數(shù)，以去除不重要的參量、噪聲和數(shù)據(jù)波動(dòng)，提升特征提取精度，也就是下采樣（范榮雙等，2019）.計(jì)算公式為
式中，down表示下采樣，β為乘子偏差，g為附加偏差，L為卷積層，n為特征層.
3） 全連接層.綜合前面層次訓(xùn)練學(xué)習(xí)到的不同特征并投影到標(biāo)記樣本中去，即將特征分類到不同的樣本中.
4） 分類器.應(yīng)用分類器進(jìn)行目標(biāo)地物分類提取.
隨著深度學(xué)習(xí)的興起以及相關(guān)模型結(jié)構(gòu)的完善，深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)特征自動(dòng)識(shí)別、學(xué)習(xí)和分類等方面的巨大的優(yōu)勢(shì)，被應(yīng)用于諸如遙感地物分類、人臉識(shí)別等多個(gè)領(lǐng)域.VGGNet （visual geometry group networks）是卷積網(wǎng)絡(luò)模型中分類精度較好的模型，按網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)被分為16和19兩種結(jié)構(gòu)（Sunet al，2019）.本文使用VGGNet-16結(jié)構(gòu)模型進(jìn)行樣本集的特征識(shí)別學(xué)習(xí)（圖1）.該網(wǎng)絡(luò)結(jié)構(gòu)輸入默認(rèn)大小為224×224×3的二維圖像；16層網(wǎng)絡(luò)結(jié)構(gòu)中有13層是卷積層，卷積層的卷積核大小為3×3，兩個(gè)或三個(gè)卷積層作為一組；多次重復(fù)卷積后將結(jié)果輸入到池化層進(jìn)行處理，該層采用最大池化方法處理以減少圖像大小，并對(duì)特征進(jìn)行精簡(jiǎn)；最后用三個(gè)全連接層進(jìn)行特征分類（Huet al，2016；Yuan，2016）.
圖1 VGGNet-16網(wǎng)絡(luò)模型結(jié)構(gòu)，模型下方數(shù)字為圖像大?。▽挕粮摺辽睿〧ig.1 VGGNet-16 structural framework where the number under the structural is the image size (width×high×deep)
2 震例分析
2.1 研究區(qū)域基本概況
據(jù)中國(guó)地震臺(tái)網(wǎng)測(cè)定，2017年8月8日21時(shí)19分，四川省阿壩藏族羌族自治州九寨溝縣（33.20°N，103.82°E）發(fā)生MS7.0地震，震源深度為 20 km，造成 29人死亡，1人失蹤，543人受傷.筆者在震后采集了重點(diǎn)區(qū)域的傾斜攝影數(shù)據(jù).選取位于四川省九寨溝縣漳扎鎮(zhèn)的千古情風(fēng)景區(qū)和漳扎鎮(zhèn)小學(xué)及其周邊作為研究區(qū)域.這兩個(gè)區(qū)域位于地震烈度Ⅷ度區(qū)，傾斜攝影影像面積約為0.3 km2.
2.2 建筑物震害信息
千古情風(fēng)景區(qū)和漳扎鎮(zhèn)小學(xué)及其周邊傾斜攝影三維建筑物頂面、正面、后面、左面和右面的影像如圖2和圖3所示，本文將分別對(duì)千古情和漳扎鎮(zhèn)小學(xué)建筑物的頂面和側(cè)面影像進(jìn)行目視解譯.
圖2 千古情風(fēng)景區(qū)的三維模型影像Fig.2 3D model images of Qianguqing scenic spot
圖3 漳扎鎮(zhèn)小學(xué)的三維模型影像Fig.3 3D model images of Zhangzha primary school
以漳扎鎮(zhèn)小學(xué)的建筑物為例，傾斜攝影影像（圖4）清晰地展現(xiàn)了建筑物的側(cè)面震害信息.從圖4可以看出該建筑物為三層，承重墻體的墻面、窗戶口處、窗戶間有多處大面積的墻皮脫落和水平裂縫，建筑物屋頂基本完好.
圖4 漳扎鎮(zhèn)小學(xué)的典型建筑物震害表現(xiàn)Fig.4 Seismic damage of typical building in Zhangzha primary school
2.3 訓(xùn)練樣本的選取與構(gòu)建
根據(jù)目視解譯結(jié)果，選取包含各種震害信息的影像作為樣本區(qū)，樣片大小為100×100 像素，將樣本區(qū)分為三類：完好建筑物面、破壞建筑物面和其它地物及背景.完好建筑物面的選取以樣片中建筑物面完好為原則，破壞建筑物面的選取以樣片內(nèi)建筑物面有破壞信息為原則.同時(shí)由于使用的數(shù)據(jù)是無(wú)人機(jī)航拍的傾斜影像，針對(duì)樣本量少的問題，從影像中建筑物的五個(gè)面選取樣本，通過(guò)多次試驗(yàn)確定最佳的樣片像素尺寸以增加樣本量，通過(guò)多次迭代運(yùn)算確定最優(yōu)訓(xùn)練結(jié)果.最終確定的樣本大小為100×100 像素，迭代次數(shù)為10 000.訓(xùn)練樣本集如表1所示.
表1 分類樣本集的選取Table 1 Selection of classification sample sets
訓(xùn)練樣本選好后，使用VGGNet-16網(wǎng)絡(luò)模型進(jìn)行樣本特征訓(xùn)練.VGGNet-16模型主要研究卷積神經(jīng)網(wǎng)絡(luò)層次與提取精度之間的關(guān)系，多次連續(xù)重復(fù)使用小尺度卷積層和池化層進(jìn)行操作處理，并使用三個(gè)不同大小的全連接層進(jìn)行特征分類，從而形成了16層的網(wǎng)絡(luò)模型，獲取了更加抽象的高層次樣本特征，減少了參數(shù)量，大大提高了提取精度.
2.4 影像多尺度分割
為確保分割質(zhì)量精確，采用人機(jī)交互方式，設(shè)置不同的最大分割尺度、尺度個(gè)數(shù)和尺度間隔進(jìn)行多次分割試驗(yàn)，目視觀察分割對(duì)象效果，以獲取最佳的分割效果.選擇最大分割尺度為80的三個(gè)尺度，尺度間隔為0.6，分割尺度分別為80，48，29.以千古情風(fēng)景區(qū)正面影像為例，當(dāng)分割尺度為80時(shí)，建筑物面與地物較好地分割，建筑物面分割得較為完整，不同建筑物面之間被較好地分割開；當(dāng)分割尺度為48時(shí)，建筑物面與地物能夠分割，但是建筑物面分割破碎；當(dāng)分割尺度為29時(shí)，建筑物面被分割得很破碎，建筑物面與地物不能被分割開.對(duì)于以80為主體分割尺度的影像，在該分割尺度下不能較好分割的區(qū)域，將其轉(zhuǎn)換成中尺度或者小尺度分割，分割結(jié)果如圖5所示.
圖5 千古情風(fēng)景區(qū)正面的影像分割結(jié)果Fig.5 Segmentation result of the front of buildings of Qianguqing sceic spot
2.5 震害提取結(jié)果
影像分割完成后，使用2.3節(jié)訓(xùn)練的網(wǎng)絡(luò)模型，分別對(duì)災(zāi)區(qū)建筑物頂面和側(cè)面的震害信息進(jìn)行識(shí)別、分類完成后，得到三個(gè)大致分類結(jié)果；為提高建筑物震害的提取精度，分類后通過(guò)調(diào)節(jié)差異度參數(shù)來(lái)獲取最佳提取結(jié)果.差異度是將每個(gè)像素屬于該類別的概率歸一化至 ［ 0，255 ］區(qū)間上，它以模型中該類別的像元概率為基礎(chǔ)，將其與每個(gè)像元屬于該類別概率進(jìn)行差異程度比較，以此來(lái)度量?jī)煞N像元的相似程度.差異度越小，兩種像元的相似度越高，屬于該類別的像元概率就越高，則地物的提取精度較高；差異度越大，兩種像元的相似度越低，屬于該類別的像元概率就越低，則地物的提取精度較低.公式如下：
式中：C為差異度，Pi，j為第i個(gè)像素屬于j類別的概率，Pmax為概率的最大值，Pmin表示概率的最小值.
選取差異度時(shí)，以5為間隔，設(shè)置51個(gè)差異度值進(jìn)行試驗(yàn)，分別對(duì)三個(gè)類別進(jìn)行精細(xì)提取.試驗(yàn)結(jié)果表明，當(dāng)完好建筑物面的差異度設(shè)置為165，破壞建筑物面的差異度設(shè)置為90，其它地物及背景的差異度設(shè)置為200時(shí)，得到最優(yōu)提取結(jié)果.千古情風(fēng)景區(qū)和漳扎鎮(zhèn)小學(xué)的建筑物頂面和側(cè)面的震害提取結(jié)果如圖6所示.
圖6 千古情風(fēng)景區(qū)（a）和漳扎鎮(zhèn)小學(xué)（b）的建筑物提取結(jié)果紅色代表完好建筑物面，藍(lán)色代表破壞建筑物面，黑色代表其它地物及背景Fig.6 Extraction results of seismic damage of buildings in Qianguqing scenic spot （a）and Zhangzha primary school （b）Red represents the intact building surface，blue represents the damaged building surface and black represents other ground objects and backgrounds
2.6 提取結(jié)果精度評(píng)估
本文采用混淆矩陣來(lái)評(píng)估提取結(jié)果的精度，混淆矩陣是分類方法中真實(shí)值和預(yù)測(cè)值以矩陣形式記錄的數(shù)據(jù).將深度學(xué)習(xí)提取結(jié)果作為預(yù)測(cè)值，目視解譯提取的震害結(jié)果作為真實(shí)值，建立二者的混淆矩陣.
1） 千古情風(fēng)景區(qū)的提取精度分析.深度學(xué)習(xí)和目視解譯提取結(jié)果的混淆矩陣如表2所示.可見，破壞建筑物面、完好建筑物面和其它地物及背景的分類精度分別為65.5%，70.3%和92.8%，總體分類精度（正確分類的像元數(shù)與總體像元數(shù)之比）為82.1%，卡帕系數(shù)為68.7%.
表2 千古情風(fēng)景區(qū)的建筑物深度學(xué)習(xí)和目視解譯提取結(jié)果的混淆矩陣Table 2 Confusion matrix of deep learning and artificial visual extraction results of the buildings in Qianguqing scenic spot
2） 漳扎鎮(zhèn)小學(xué)及其周邊的提取精度分析.深度學(xué)習(xí)和目視解譯提取結(jié)果的混淆矩陣如表3所示，可見，破壞建筑物面、完好建筑物面和其它地物及背景的分類精度分別為71.1%，77.6%和87.2%，總體分類精度為84.1%，卡帕系數(shù)為64.9%.
表3 漳扎鎮(zhèn)小學(xué)及其周邊的深度學(xué)習(xí)和人工目視解譯提取結(jié)果混淆矩陣Table 3 Confusion matrix of deep learning and manual visual extraction results of the buildings in Zhangzha primary school and it’s vicinity
3 討論與結(jié)論
通過(guò)研究多尺度分割方法和卷積神經(jīng)網(wǎng)絡(luò)模型各自的優(yōu)勢(shì)，采用兩者相結(jié)合的方法對(duì)傾斜影像中建筑物頂面和側(cè)面的震害信息進(jìn)行提取.利用多尺度分割方法獲取最佳的分割影像，然后運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)模型VGGNet-16對(duì)分割后影像進(jìn)行識(shí)別和分類，并通過(guò)建立混淆矩陣對(duì)分類結(jié)果進(jìn)行評(píng)估.結(jié)果顯示，總體分類精度達(dá)到80%以上，卡帕系數(shù)達(dá)到60%以上，表明結(jié)果具有較強(qiáng)的一致性.試驗(yàn)表明，傾斜攝影技術(shù)在提取具有大面積墻皮脫落、明顯裂縫等建筑物側(cè)面震害信息方面具有很大優(yōu)勢(shì)，彌補(bǔ)了傳統(tǒng)遙感只能提取建筑物頂面震害信息的局限.同時(shí)通過(guò)對(duì)分類結(jié)果進(jìn)行定量提取和精度評(píng)估，有利于改進(jìn)深度學(xué)習(xí)分類模型，進(jìn)一步提高分類精度和效率.
需要說(shuō)明的是，本文使用的傾斜影像是高維度、多層級(jí)的三維模型，這使得利用本文的方法基于傾斜影像提取建筑物側(cè)面震害信息增加了難度：第一，當(dāng)建筑物面的類型和顏色相同時(shí)，易將完好建筑物面誤分為有破壞信息的建筑物面，因此仍然需要對(duì)深度學(xué)習(xí)模型進(jìn)行改進(jìn)來(lái)提高分類模型精度；第二，當(dāng)建筑物間距較小、屋檐遮擋等造成傾斜攝影拍攝不完整時(shí)，無(wú)法完整清晰地獲取某些建筑物的側(cè)面數(shù)據(jù)，所以利用傾斜影像獲取建筑物完整的側(cè)面信息需要嘗試新的方法如三維點(diǎn)云數(shù)據(jù)分割等.
猜你喜歡
基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)北京航空航天大學(xué)學(xué)報(bào)(2021年9期)2021-11-02 08:24:26 鄰近既有建筑物全套管回轉(zhuǎn)鉆機(jī)拔樁技術(shù)鐵道建筑技術(shù)(2021年4期)2021-07-21 05:33:36 財(cái)產(chǎn)的五大尺度和五重應(yīng)對(duì)內(nèi)蒙古民族大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)(2020年2期)2020-11-06 09:08:52 描寫建筑物的詞語(yǔ)小學(xué)生學(xué)習(xí)指導(dǎo)(低年級(jí))(2019年9期)2019-09-25 07:43:18 從濾波器理解卷積電子制作(2019年11期)2019-07-04 00:34:38 基于傅里葉域卷積表示的目標(biāo)跟蹤算法北京航空航天大學(xué)學(xué)報(bào)(2018年1期)2018-04-20 06:38:17 宇宙的尺度太空探索(2016年5期)2016-07-12 15:17:55 火柴游戲小天使·二年級(jí)語(yǔ)數(shù)英綜合(2015年12期)2015-12-04 16:36:12 9時(shí)代英語(yǔ)·高三(2014年5期)2014-08-26 17:01:17 一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法電視技術(shù)(2014年19期)2014-03-11 15:38:20
帥向華 荊帥軍 鄭向向 劉 欽
1） 中國(guó)北京 100045 中國(guó)地震臺(tái)網(wǎng)中心
2） 中國(guó)鄭州 450016 河南省地震局
3） 中國(guó)北京 100083 中國(guó)自然資源航空物探遙感中心
引言
建筑物震害信息是評(píng)估建筑物破壞等級(jí)的重要指標(biāo)，如何準(zhǔn)確識(shí)別、定量提取建筑物震害信息是目前研究的熱點(diǎn).隨著深度卷積神經(jīng)網(wǎng)絡(luò)模型的發(fā)展及其在圖像處理領(lǐng)域的應(yīng)用深化，該技術(shù)在地物識(shí)別分類方面也展現(xiàn)出巨大的特征學(xué)習(xí)表達(dá)能力，即通過(guò)自動(dòng)對(duì)樣本集中的研究對(duì)象不斷深層次學(xué)習(xí)，獲取地物高層次的抽象特征，掌握不同地物的紋理、形狀屬性信息，取得了很好的提取效果，彌補(bǔ)了地物特征信息分類提取的不足.國(guó)內(nèi)外學(xué)者利用深度學(xué)習(xí)技術(shù)對(duì)建筑物震害信息提取開展了較多研究.Vetrivel 等（2018）綜合運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)和三維點(diǎn)云數(shù)據(jù)特征進(jìn)行建筑物震害損傷區(qū)域的檢測(cè)，精度達(dá)到85%；李強(qiáng)（2018）基于2010年海地MS7.0地震光學(xué)遙感影像GeoEye-1數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)模型CAFFE （Convolutional Architecture for Fast Feature Embedding）框架提取研究區(qū)域中的基本完好建筑物、中等破壞建筑和損毀建筑物，總體分類精度達(dá)到90%以上；陳夢(mèng)和王曉青（2019）利用全卷積神經(jīng)網(wǎng)絡(luò)模型提取玉樹地震后空間分辨率為0.2 m的玉樹縣城區(qū)航空正射影像的建筑物震害信息，總體分類精度達(dá)到82%；周陽(yáng)等（2019）利用深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural networks，縮寫為DCNN）全連接層特征支持的向量機(jī)檢測(cè)2010年海地震后傾斜攝影影像中的建筑物震害損毀區(qū)域，正確率高達(dá)89%.相較于傳統(tǒng)的識(shí)別方法，深度卷積神經(jīng)網(wǎng)絡(luò)在建筑物震害識(shí)別方面具有很大的優(yōu)勢(shì).
受傳統(tǒng)遙感影像的限制，許多學(xué)者利用正射影像定量地提取建筑物震害信息，如吳劍等（2013）基于像元和面向?qū)ο蠓椒ㄌ崛〗ㄖ镎鸷π畔?，總體精度分別為76.84%和90.38%；趙妍等（2016）采用多尺度分割和k鄰近方法提取遙感影像中建筑物的形狀、面積等變化信息，提取精度為79.68%；傾斜攝影技術(shù)從多個(gè)角度拍攝建筑物的頂面和側(cè)面，能夠獲取建筑物豐富的紋理信息和細(xì)節(jié)信息，彌補(bǔ)正射影像的不足（荊帥軍等，2019）.目前學(xué)者基于傾斜影像多采用目視解譯或監(jiān)督分類方法定量地提取建筑物側(cè)面震害信息，例如：Gerke和Kerle（2011） 采用監(jiān)督分類方法提取航空傾斜影像中單體建筑物外墻、完整屋頂、破壞屋頂?shù)鹊恼鸷π畔?，建筑物震害信息提取精度達(dá)到63%，總體分類精度達(dá)到70%；李勝軍（2013）采用面向?qū)ο笾械哪：诸惙椒?，?duì)傾斜航空影像震后建筑物進(jìn)行多角度損毀評(píng)估，損毀區(qū)域分類精度達(dá)到70%以上，總體卡帕（Kappa）系數(shù)達(dá)到80%以上.這些方法雖然成功地提取到了建筑物側(cè)面的震害信息，但是在識(shí)別提取時(shí)需要結(jié)合影像手動(dòng)進(jìn)行大量的試驗(yàn)來(lái)選取最優(yōu)特征組合，利用一系列閾值條件提取目標(biāo)地物，導(dǎo)致目標(biāo)地物識(shí)別分類不準(zhǔn)確，影響分類精度和效率.而面向?qū)ο蠖喑叨确指钏惴ǜ鶕?jù)多個(gè)分割尺度將不同地物分割到不同的對(duì)象中，很好地解決了地物分割不開的問題（馮麗英，2017）.結(jié)合面向?qū)ο蠖喑叨确指詈蜕疃染矸e神經(jīng)網(wǎng)絡(luò)的方法可以有效提高地物分類識(shí)別精度.
本文將已獲取的傾斜三維影像作為震害識(shí)別的數(shù)據(jù)，采用面向?qū)ο蠖喑叨确指钆c深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，擬對(duì)建筑物屋頂和墻體影像進(jìn)行震害信息提取，克服分割難、樣本少的困難，以解決震害信息提取不完整，識(shí)別不準(zhǔn)確的問題.
1 傾斜攝影三維影像建筑物震害提取方法
1.1 總體技術(shù)流程
傾斜攝影三維影像建筑物震害提取方法將傾斜攝影影像數(shù)據(jù)作為震害提取的數(shù)據(jù)基礎(chǔ)，提取的主要步驟為：① 從傾斜影像數(shù)據(jù)獲取建筑物頂面和側(cè)面影像；② 目視解譯建筑物頂面和側(cè)面的震害信息；③ 采用卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練樣本；④ 對(duì)建筑物頂面和側(cè)面的影像進(jìn)行多尺度分割；⑤ 利用訓(xùn)練成功的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)分割后的影像進(jìn)行識(shí)別和提??；⑥ 進(jìn)行精度對(duì)比分析.
1.2 面向?qū)ο蠖喑叨确指罘椒?/h3>
面向?qū)ο蠖喑叨确指罘椒▽⑾裨凑疹悆?nèi)同質(zhì)性最大、類間異質(zhì)性最大的原則合并到對(duì)應(yīng)的地物對(duì)象中，對(duì)不同地物進(jìn)行分割.基本原理是：從單個(gè)像素開始，以選取的形狀因子、光譜因子和分割尺度為準(zhǔn)則，分別與其鄰近像元進(jìn)行合并計(jì)算，從而降低對(duì)象的異質(zhì)性；當(dāng)一輪合并結(jié)束后，對(duì)上一輪生成的對(duì)象，在給定分割尺度下繼續(xù)分別與其相鄰的對(duì)象進(jìn)行合并計(jì)算；以如此方式持續(xù)進(jìn)行，直到在用戶指定的尺度上不能再進(jìn)行任何對(duì)象的合并為止，最終得到不同尺度下的分割結(jié)果.這種異質(zhì)性是由兩個(gè)對(duì)象的光譜和形狀差異所決定，異質(zhì)性度量準(zhǔn)則的計(jì)算公式為
式中：w1為權(quán)重值，0≤w1≤1；x為光譜異質(zhì)性；y為形狀異質(zhì)性.
本文使用面向?qū)ο蠖喑叨鹊姆指罘椒?，其?shí)質(zhì)是選擇多個(gè)尺度閾值對(duì)遙感影像上各個(gè)目標(biāo)地物分別進(jìn)行分割，從而獲得目標(biāo)地物的最佳分割效果，確保所提取的地物分割效果，尤其是對(duì)大小、顏色相同的建筑物和道路分類分割有很好的效果.
1.3 卷積神經(jīng)網(wǎng)絡(luò)模型
手動(dòng)選取建筑物震害特征依賴于解譯員的專業(yè)經(jīng)驗(yàn)和知識(shí)，而震害特征又相對(duì)復(fù)雜，深度學(xué)習(xí)強(qiáng)有力的學(xué)習(xí)能力和深層次的網(wǎng)絡(luò)結(jié)構(gòu)在地物特征識(shí)別方面展現(xiàn)出了巨大的優(yōu)勢(shì).深度學(xué)習(xí)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)模型憑借其自動(dòng)識(shí)別特征和學(xué)習(xí)特征的能力，在低層次特征到高層次抽象特征的學(xué)習(xí)過(guò)程中展現(xiàn)出了非常好的性能，僅使用原始影像利用波段、空間和形狀等信息即可提取建筑物震害特征，因此在圖像特征提取方面具有很大的優(yōu)勢(shì)（高揚(yáng)，2018）.本文應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行建筑物震害的識(shí)別與分類.卷積神經(jīng)網(wǎng)絡(luò)模型一般由卷積層、池化層、全連接層和分類器組成（Lecunet al，1998）.
1） 卷積層.作為原始圖像與卷積核之間的線性運(yùn)算，卷積層一般是將多個(gè)卷積層放在一起進(jìn)行重復(fù)卷積操作，得到線性結(jié)果，然后通過(guò)非線性運(yùn)算得到特征圖像，再將其作為下一層的輸入特征圖像，計(jì)算公式如下（史路路，2018）：
式中，*為卷積運(yùn)算，f是非線性函數(shù)，k為一定大小的濾波器，g為附加偏差.式（2）表示當(dāng)前第L個(gè)卷積層中第n個(gè)特征圖層，即L-1層的卷積特征輸出后，經(jīng)非線性函數(shù)運(yùn)算獲得.
2） 池化層.該層的目的是壓縮輸入圖的特征數(shù)，以去除不重要的參量、噪聲和數(shù)據(jù)波動(dòng)，提升特征提取精度，也就是下采樣（范榮雙等，2019）.計(jì)算公式為
式中，down表示下采樣，β為乘子偏差，g為附加偏差，L為卷積層，n為特征層.
3） 全連接層.綜合前面層次訓(xùn)練學(xué)習(xí)到的不同特征并投影到標(biāo)記樣本中去，即將特征分類到不同的樣本中.
4） 分類器.應(yīng)用分類器進(jìn)行目標(biāo)地物分類提取.
隨著深度學(xué)習(xí)的興起以及相關(guān)模型結(jié)構(gòu)的完善，深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)特征自動(dòng)識(shí)別、學(xué)習(xí)和分類等方面的巨大的優(yōu)勢(shì)，被應(yīng)用于諸如遙感地物分類、人臉識(shí)別等多個(gè)領(lǐng)域.VGGNet （visual geometry group networks）是卷積網(wǎng)絡(luò)模型中分類精度較好的模型，按網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)被分為16和19兩種結(jié)構(gòu)（Sunet al，2019）.本文使用VGGNet-16結(jié)構(gòu)模型進(jìn)行樣本集的特征識(shí)別學(xué)習(xí)（圖1）.該網(wǎng)絡(luò)結(jié)構(gòu)輸入默認(rèn)大小為224×224×3的二維圖像；16層網(wǎng)絡(luò)結(jié)構(gòu)中有13層是卷積層，卷積層的卷積核大小為3×3，兩個(gè)或三個(gè)卷積層作為一組；多次重復(fù)卷積后將結(jié)果輸入到池化層進(jìn)行處理，該層采用最大池化方法處理以減少圖像大小，并對(duì)特征進(jìn)行精簡(jiǎn)；最后用三個(gè)全連接層進(jìn)行特征分類（Huet al，2016；Yuan，2016）.
圖1 VGGNet-16網(wǎng)絡(luò)模型結(jié)構(gòu)，模型下方數(shù)字為圖像大?。▽挕粮摺辽睿〧ig.1 VGGNet-16 structural framework where the number under the structural is the image size (width×high×deep)
2 震例分析
2.1 研究區(qū)域基本概況
據(jù)中國(guó)地震臺(tái)網(wǎng)測(cè)定，2017年8月8日21時(shí)19分，四川省阿壩藏族羌族自治州九寨溝縣（33.20°N，103.82°E）發(fā)生MS7.0地震，震源深度為 20 km，造成 29人死亡，1人失蹤，543人受傷.筆者在震后采集了重點(diǎn)區(qū)域的傾斜攝影數(shù)據(jù).選取位于四川省九寨溝縣漳扎鎮(zhèn)的千古情風(fēng)景區(qū)和漳扎鎮(zhèn)小學(xué)及其周邊作為研究區(qū)域.這兩個(gè)區(qū)域位于地震烈度Ⅷ度區(qū)，傾斜攝影影像面積約為0.3 km2.
2.2 建筑物震害信息
千古情風(fēng)景區(qū)和漳扎鎮(zhèn)小學(xué)及其周邊傾斜攝影三維建筑物頂面、正面、后面、左面和右面的影像如圖2和圖3所示，本文將分別對(duì)千古情和漳扎鎮(zhèn)小學(xué)建筑物的頂面和側(cè)面影像進(jìn)行目視解譯.
圖2 千古情風(fēng)景區(qū)的三維模型影像Fig.2 3D model images of Qianguqing scenic spot
圖3 漳扎鎮(zhèn)小學(xué)的三維模型影像Fig.3 3D model images of Zhangzha primary school
以漳扎鎮(zhèn)小學(xué)的建筑物為例，傾斜攝影影像（圖4）清晰地展現(xiàn)了建筑物的側(cè)面震害信息.從圖4可以看出該建筑物為三層，承重墻體的墻面、窗戶口處、窗戶間有多處大面積的墻皮脫落和水平裂縫，建筑物屋頂基本完好.
圖4 漳扎鎮(zhèn)小學(xué)的典型建筑物震害表現(xiàn)Fig.4 Seismic damage of typical building in Zhangzha primary school
2.3 訓(xùn)練樣本的選取與構(gòu)建
根據(jù)目視解譯結(jié)果，選取包含各種震害信息的影像作為樣本區(qū)，樣片大小為100×100 像素，將樣本區(qū)分為三類：完好建筑物面、破壞建筑物面和其它地物及背景.完好建筑物面的選取以樣片中建筑物面完好為原則，破壞建筑物面的選取以樣片內(nèi)建筑物面有破壞信息為原則.同時(shí)由于使用的數(shù)據(jù)是無(wú)人機(jī)航拍的傾斜影像，針對(duì)樣本量少的問題，從影像中建筑物的五個(gè)面選取樣本，通過(guò)多次試驗(yàn)確定最佳的樣片像素尺寸以增加樣本量，通過(guò)多次迭代運(yùn)算確定最優(yōu)訓(xùn)練結(jié)果.最終確定的樣本大小為100×100 像素，迭代次數(shù)為10 000.訓(xùn)練樣本集如表1所示.
表1 分類樣本集的選取Table 1 Selection of classification sample sets
訓(xùn)練樣本選好后，使用VGGNet-16網(wǎng)絡(luò)模型進(jìn)行樣本特征訓(xùn)練.VGGNet-16模型主要研究卷積神經(jīng)網(wǎng)絡(luò)層次與提取精度之間的關(guān)系，多次連續(xù)重復(fù)使用小尺度卷積層和池化層進(jìn)行操作處理，并使用三個(gè)不同大小的全連接層進(jìn)行特征分類，從而形成了16層的網(wǎng)絡(luò)模型，獲取了更加抽象的高層次樣本特征，減少了參數(shù)量，大大提高了提取精度.
2.4 影像多尺度分割
為確保分割質(zhì)量精確，采用人機(jī)交互方式，設(shè)置不同的最大分割尺度、尺度個(gè)數(shù)和尺度間隔進(jìn)行多次分割試驗(yàn)，目視觀察分割對(duì)象效果，以獲取最佳的分割效果.選擇最大分割尺度為80的三個(gè)尺度，尺度間隔為0.6，分割尺度分別為80，48，29.以千古情風(fēng)景區(qū)正面影像為例，當(dāng)分割尺度為80時(shí)，建筑物面與地物較好地分割，建筑物面分割得較為完整，不同建筑物面之間被較好地分割開；當(dāng)分割尺度為48時(shí)，建筑物面與地物能夠分割，但是建筑物面分割破碎；當(dāng)分割尺度為29時(shí)，建筑物面被分割得很破碎，建筑物面與地物不能被分割開.對(duì)于以80為主體分割尺度的影像，在該分割尺度下不能較好分割的區(qū)域，將其轉(zhuǎn)換成中尺度或者小尺度分割，分割結(jié)果如圖5所示.
圖5 千古情風(fēng)景區(qū)正面的影像分割結(jié)果Fig.5 Segmentation result of the front of buildings of Qianguqing sceic spot
2.5 震害提取結(jié)果
影像分割完成后，使用2.3節(jié)訓(xùn)練的網(wǎng)絡(luò)模型，分別對(duì)災(zāi)區(qū)建筑物頂面和側(cè)面的震害信息進(jìn)行識(shí)別、分類完成后，得到三個(gè)大致分類結(jié)果；為提高建筑物震害的提取精度，分類后通過(guò)調(diào)節(jié)差異度參數(shù)來(lái)獲取最佳提取結(jié)果.差異度是將每個(gè)像素屬于該類別的概率歸一化至 ［ 0，255 ］區(qū)間上，它以模型中該類別的像元概率為基礎(chǔ)，將其與每個(gè)像元屬于該類別概率進(jìn)行差異程度比較，以此來(lái)度量?jī)煞N像元的相似程度.差異度越小，兩種像元的相似度越高，屬于該類別的像元概率就越高，則地物的提取精度較高；差異度越大，兩種像元的相似度越低，屬于該類別的像元概率就越低，則地物的提取精度較低.公式如下：
式中：C為差異度，Pi，j為第i個(gè)像素屬于j類別的概率，Pmax為概率的最大值，Pmin表示概率的最小值.
選取差異度時(shí)，以5為間隔，設(shè)置51個(gè)差異度值進(jìn)行試驗(yàn)，分別對(duì)三個(gè)類別進(jìn)行精細(xì)提取.試驗(yàn)結(jié)果表明，當(dāng)完好建筑物面的差異度設(shè)置為165，破壞建筑物面的差異度設(shè)置為90，其它地物及背景的差異度設(shè)置為200時(shí)，得到最優(yōu)提取結(jié)果.千古情風(fēng)景區(qū)和漳扎鎮(zhèn)小學(xué)的建筑物頂面和側(cè)面的震害提取結(jié)果如圖6所示.
圖6 千古情風(fēng)景區(qū)（a）和漳扎鎮(zhèn)小學(xué)（b）的建筑物提取結(jié)果紅色代表完好建筑物面，藍(lán)色代表破壞建筑物面，黑色代表其它地物及背景Fig.6 Extraction results of seismic damage of buildings in Qianguqing scenic spot （a）and Zhangzha primary school （b）Red represents the intact building surface，blue represents the damaged building surface and black represents other ground objects and backgrounds
2.6 提取結(jié)果精度評(píng)估
本文采用混淆矩陣來(lái)評(píng)估提取結(jié)果的精度，混淆矩陣是分類方法中真實(shí)值和預(yù)測(cè)值以矩陣形式記錄的數(shù)據(jù).將深度學(xué)習(xí)提取結(jié)果作為預(yù)測(cè)值，目視解譯提取的震害結(jié)果作為真實(shí)值，建立二者的混淆矩陣.
1） 千古情風(fēng)景區(qū)的提取精度分析.深度學(xué)習(xí)和目視解譯提取結(jié)果的混淆矩陣如表2所示.可見，破壞建筑物面、完好建筑物面和其它地物及背景的分類精度分別為65.5%，70.3%和92.8%，總體分類精度（正確分類的像元數(shù)與總體像元數(shù)之比）為82.1%，卡帕系數(shù)為68.7%.
表2 千古情風(fēng)景區(qū)的建筑物深度學(xué)習(xí)和目視解譯提取結(jié)果的混淆矩陣Table 2 Confusion matrix of deep learning and artificial visual extraction results of the buildings in Qianguqing scenic spot
2） 漳扎鎮(zhèn)小學(xué)及其周邊的提取精度分析.深度學(xué)習(xí)和目視解譯提取結(jié)果的混淆矩陣如表3所示，可見，破壞建筑物面、完好建筑物面和其它地物及背景的分類精度分別為71.1%，77.6%和87.2%，總體分類精度為84.1%，卡帕系數(shù)為64.9%.
表3 漳扎鎮(zhèn)小學(xué)及其周邊的深度學(xué)習(xí)和人工目視解譯提取結(jié)果混淆矩陣Table 3 Confusion matrix of deep learning and manual visual extraction results of the buildings in Zhangzha primary school and it’s vicinity
3 討論與結(jié)論
通過(guò)研究多尺度分割方法和卷積神經(jīng)網(wǎng)絡(luò)模型各自的優(yōu)勢(shì)，采用兩者相結(jié)合的方法對(duì)傾斜影像中建筑物頂面和側(cè)面的震害信息進(jìn)行提取.利用多尺度分割方法獲取最佳的分割影像，然后運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)模型VGGNet-16對(duì)分割后影像進(jìn)行識(shí)別和分類，并通過(guò)建立混淆矩陣對(duì)分類結(jié)果進(jìn)行評(píng)估.結(jié)果顯示，總體分類精度達(dá)到80%以上，卡帕系數(shù)達(dá)到60%以上，表明結(jié)果具有較強(qiáng)的一致性.試驗(yàn)表明，傾斜攝影技術(shù)在提取具有大面積墻皮脫落、明顯裂縫等建筑物側(cè)面震害信息方面具有很大優(yōu)勢(shì)，彌補(bǔ)了傳統(tǒng)遙感只能提取建筑物頂面震害信息的局限.同時(shí)通過(guò)對(duì)分類結(jié)果進(jìn)行定量提取和精度評(píng)估，有利于改進(jìn)深度學(xué)習(xí)分類模型，進(jìn)一步提高分類精度和效率.
需要說(shuō)明的是，本文使用的傾斜影像是高維度、多層級(jí)的三維模型，這使得利用本文的方法基于傾斜影像提取建筑物側(cè)面震害信息增加了難度：第一，當(dāng)建筑物面的類型和顏色相同時(shí)，易將完好建筑物面誤分為有破壞信息的建筑物面，因此仍然需要對(duì)深度學(xué)習(xí)模型進(jìn)行改進(jìn)來(lái)提高分類模型精度；第二，當(dāng)建筑物間距較小、屋檐遮擋等造成傾斜攝影拍攝不完整時(shí)，無(wú)法完整清晰地獲取某些建筑物的側(cè)面數(shù)據(jù)，所以利用傾斜影像獲取建筑物完整的側(cè)面信息需要嘗試新的方法如三維點(diǎn)云數(shù)據(jù)分割等.
猜你喜歡
北京航空航天大學(xué)學(xué)報(bào)(2021年9期)2021-11-02 08:24:26
鐵道建筑技術(shù)(2021年4期)2021-07-21 05:33:36
內(nèi)蒙古民族大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)(2020年2期)2020-11-06 09:08:52
小學(xué)生學(xué)習(xí)指導(dǎo)(低年級(jí))(2019年9期)2019-09-25 07:43:18
電子制作(2019年11期)2019-07-04 00:34:38
北京航空航天大學(xué)學(xué)報(bào)(2018年1期)2018-04-20 06:38:17
太空探索(2016年5期)2016-07-12 15:17:55
小天使·二年級(jí)語(yǔ)數(shù)英綜合(2015年12期)2015-12-04 16:36:12
時(shí)代英語(yǔ)·高三(2014年5期)2014-08-26 17:01:17
電視技術(shù)(2014年19期)2014-03-11 15:38:20
