李文國(guó)，黃亮,2，左小清，王譯著

(1.昆明理工大學(xué)國(guó)土資源工程學(xué)院，昆明 650093；2.云南省高校高原山區(qū)空間信息測(cè)繪技術(shù)應(yīng)用工程研究中心，昆明 650093)

0 引言

隨著城市化和信息化的發(fā)展，城市和許多鄉(xiāng)村都具有影像采集設(shè)備，同時(shí)隨著交通的迅速發(fā)展，通過(guò)車載平臺(tái)采集影像也越來(lái)越便利，這都為街景影像信息采集提供了便利手段.實(shí)時(shí)、精確的街景影像信息采集對(duì)城市規(guī)劃、土地調(diào)查、交通監(jiān)管、災(zāi)后評(píng)估等諸多領(lǐng)域都具有重要應(yīng)用價(jià)值.但街景影像由于地物與拍攝設(shè)備的距離關(guān)系，造成同一地物尺度跨度范圍大、遠(yuǎn)距離地物界限不清晰；同時(shí)也帶來(lái)了地物光譜信息復(fù)雜多樣的問題，如天空會(huì)同時(shí)存在陰云和晴空，造成嚴(yán)重的“同物異譜”現(xiàn)象.因此，如何自動(dòng)、高精度的對(duì)街景影像進(jìn)行語(yǔ)義分割和變化檢測(cè)就成為當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn).

當(dāng)前街景語(yǔ)義分割已開展了大量研究，但對(duì)多時(shí)相街景影像進(jìn)行變化檢測(cè)的研究則相對(duì)較少.文獻(xiàn)[1]提出了基于視覺詞袋模型（BOVW）的場(chǎng)景變化檢測(cè)方法，并對(duì)比分析了不同字典構(gòu)建方法對(duì)最終結(jié)果的影響.為了解決獨(dú)立分類所帶來(lái)的誤差累計(jì)問題，文獻(xiàn)[2]提出核化慢特征分析方法，并通過(guò)貝葉斯理論融合場(chǎng)景變化概率和場(chǎng)景分類概率；文獻(xiàn)[3-4]提出利用二維圖像進(jìn)行場(chǎng)景變化檢測(cè).這種類型的方法根據(jù)不同時(shí)間段獲取的圖像對(duì)場(chǎng)景進(jìn)行建模，然后在模型的基礎(chǔ)上檢測(cè)成對(duì)圖像間的變化特征.但這類方法需要拍攝于同一視角的圖像，不同視角拍攝的圖像則無(wú)法處理.文獻(xiàn)[5-8]則將場(chǎng)景變化檢測(cè)轉(zhuǎn)換為三維領(lǐng)域的問題.這類方法首先建立穩(wěn)定持續(xù)的目標(biāo)場(chǎng)景模型，然后將查詢圖像與目標(biāo)圖像進(jìn)行比較以檢測(cè)變化.但不同區(qū)域城市環(huán)境差異大，因此所建立的場(chǎng)景模型并不適合其他地區(qū).近年來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域中展現(xiàn)出優(yōu)異的表現(xiàn)，同時(shí)也應(yīng)用于諸多領(lǐng)域，如自動(dòng)駕駛、人機(jī)交互、醫(yī)學(xué)研究等，因此目前也有人開展利用深度學(xué)習(xí)來(lái)對(duì)場(chǎng)景進(jìn)行變化檢測(cè).文獻(xiàn)[9]提出結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）和超像素的方法對(duì)街景進(jìn)行變化檢測(cè).這種方法利用CNN提取多時(shí)相影像特征，然后將不同時(shí)相的特征圖進(jìn)行對(duì)比形成差異圖，再結(jié)合超像素所形成的差異圖，形成整幅圖像的差異圖，最后去除天空和建筑，得到建筑物的變化檢測(cè)結(jié)果.

綜上所述，三維建模的方法不能適用于其他城市，而傳統(tǒng)CNN由于特征圖分辨率不斷變小的原因，會(huì)丟失小尺度地物，因此需要一種既能滿足街景影像的特點(diǎn)，同時(shí)又具有普適性的方法.為了解決不同尺度地物的語(yǔ)義分割變化檢測(cè)精度的影響，引入了對(duì)小尺度地物具有很好識(shí)別能力的DeeplabV3+網(wǎng)絡(luò)模型；同時(shí)為了消除天空、植被等對(duì)街景影像的影響，將天空、植被等作為背景信息，采用圖割（GC）的方法將背景信息消除.

1 研究方法

本文提出一種結(jié)合DeeplabV3+網(wǎng)絡(luò)得到的遷移學(xué)習(xí)模型和GC的街景影像變化檢測(cè)方法.方法架構(gòu)包括3個(gè)部分：1）采用DeeplabV3+網(wǎng)絡(luò)遷移學(xué)習(xí)模型分類；2）基于GC的方法去消除天空和植被等影響，并采用變化向量分析（CVA）獲取差異影像；3）差異影像二值化和精度評(píng)價(jià).具體而言，首先將兩幅不同時(shí)相的街景數(shù)據(jù)輸入到DeeplabV3+網(wǎng)絡(luò)遷移學(xué)習(xí)模型得到分類圖，將分類圖去除天空和植被得到GC處理后的分類圖，然后將此分類圖進(jìn)行CVA運(yùn)算得到差異圖，最后將差異圖二值化并進(jìn)行精度評(píng)價(jià)，流程圖如圖1所示.

1.1 街景影像語(yǔ)義分割

當(dāng)前已有較多語(yǔ)義分割網(wǎng)絡(luò)，如U-Net、ICNet、PSPNet、HRNet、Segnet、Deeplab系列.其中，Deeplab V3+網(wǎng)絡(luò)結(jié)合了空洞卷積與萎縮空間金字塔池化（ASPP），與傳統(tǒng)卷積相比，DeeplabV3+網(wǎng)絡(luò)能保持特征圖分辨率不變，對(duì)尺寸小的地物具有很好的識(shí)別能力，且DeeplabV3+網(wǎng)絡(luò)能夠較好的保留邊緣細(xì)節(jié)信息.DeeplabV3+網(wǎng)絡(luò)在PASCAL VOC 2012數(shù)據(jù)集上取得新的state-of-art表現(xiàn)，其m IoU=89.0，驗(yàn)證了DeeplabV3+網(wǎng)絡(luò)的優(yōu)秀性能[10].DeeplabV3+網(wǎng)絡(luò)于2018年提出，該網(wǎng)絡(luò)在原有的DeeplabV3網(wǎng)絡(luò)上進(jìn)行改進(jìn)，也是目前Deeplab網(wǎng)絡(luò)系列中性能最優(yōu)的網(wǎng)絡(luò).DeeplabV3+網(wǎng)絡(luò)具有不同的特征提取主干網(wǎng)絡(luò)，不同的特征提取主干網(wǎng)絡(luò)會(huì)造成網(wǎng)絡(luò)性能不一，實(shí)驗(yàn)采用ResNet-18作為特征提取主干網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示.

圖1 變化檢測(cè)流程圖

圖2 DeeplabV3+網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)需要大量的優(yōu)質(zhì)標(biāo)簽，而制作標(biāo)簽的過(guò)程常常是耗時(shí)耗力，本文所使用的街景影像數(shù)據(jù)集標(biāo)簽數(shù)量少，因此會(huì)因標(biāo)簽數(shù)量過(guò)少導(dǎo)致模型性能差，為了解決標(biāo)簽數(shù)量少的問題，引入遷移學(xué)習(xí)解決該問題.遷移學(xué)習(xí)可以減少訓(xùn)練時(shí)間和成本，同時(shí)也不需要大量的標(biāo)簽，在實(shí)驗(yàn)中，采用Camvid數(shù)據(jù)集訓(xùn)練的DeeplabV3+網(wǎng)絡(luò)遷移學(xué)習(xí)模型對(duì)兩幅不同時(shí)相的街景影像進(jìn)行分類，圖3（a）和圖3（b）分別展示了DeeplabV3+網(wǎng)絡(luò)遷移學(xué)習(xí)模型和Segnet網(wǎng)絡(luò)遷移學(xué)習(xí)模型在街景影像分類結(jié)果，其中可以看出DeeplabV3+網(wǎng)絡(luò)對(duì)汽車、電桿等識(shí)別能力優(yōu)于Segnet網(wǎng)絡(luò)，而且邊緣細(xì)節(jié)也優(yōu)于Segnet網(wǎng)絡(luò).因此本文選用Deeplab V3+網(wǎng)絡(luò)對(duì)兩個(gè)時(shí)相的街景影像進(jìn)行語(yǔ)義分割.

圖3 Deep labV3+網(wǎng)絡(luò)與Segnet網(wǎng)絡(luò)分類結(jié)果

1.2 背景消除

由于天空和植被等類別存在嚴(yán)重的“同物異譜”現(xiàn)象，為了消除“同物異譜”的影響.本文將天空和植被等作為背景類，其他作為目標(biāo)類.采用GC法對(duì)目標(biāo)類和背景類進(jìn)行分割.

GC是一種能量?jī)?yōu)化算法，可以將目標(biāo)和背景分割出來(lái).GC將圖像分割問題轉(zhuǎn)換為圖的最小割問題.具體而言，首先圖具有兩種邊和兩種頂點(diǎn)：第一種頂點(diǎn)為普通頂點(diǎn)，對(duì)應(yīng)圖像中每個(gè)像素，普通頂點(diǎn)間的連接線構(gòu)成第一種邊，為n-links；第二種頂點(diǎn)為終端頂點(diǎn)，用于區(qū)分前景和背景，因此也就有兩個(gè)終端頂點(diǎn)，為S和T，每個(gè)普通頂點(diǎn)和終端頂點(diǎn)的連線構(gòu)成第二種邊，為t-links，每條邊都具有權(quán)值.所有邊的集合稱為E，一個(gè)割即為邊集合E的子集，為C，集合E中所有邊的斷開會(huì)導(dǎo)致S和T的分開，所以就為“割”.如果一個(gè)割，它的邊的所有權(quán)值之和最小，那么這個(gè)就為最小割，也就是GC的結(jié)果.Boykov等[11]使用最大流最小割算法實(shí)現(xiàn)最小割.

在實(shí)驗(yàn)中，將天空和植被設(shè)定為背景，其他類別設(shè)定為前景，但未使用最大流最小割算法來(lái)計(jì)算前景和背景間的分割線，這樣會(huì)導(dǎo)致前景和背景分割不精確，部分區(qū)域存在錯(cuò)誤分類，因此人為設(shè)定一條分割線，從而實(shí)現(xiàn)前景與背景分割.

1.3 差異影像獲取和二值化

為了獲取兩期街景影像語(yǔ)義分割結(jié)果的變化區(qū)域，本文采用CVA方法.CVA是一種常用的多波段影像差異分析方法，每個(gè)像元的特征是采用向量的方式來(lái)表示的，g和h為對(duì)應(yīng)波段的一維列向量.由于TSUNAM I數(shù)據(jù)集使用R、G、B三個(gè)波段信息，因此n=3.設(shè)時(shí)相t1和時(shí)相t2中像元的灰度矢量分別為：

?中包含兩期圖像中所有像元的變化信息，其變化強(qiáng)度用歐式距離∥?∥來(lái)表示，以此可以生成兩期影像的變化強(qiáng)度圖.

式中，∥?∥中表示全部像元的灰度差異，當(dāng)∥?∥越大時(shí)，則說(shuō)明變化的可能性越大.因此在分割變化像元和非變化像元，可通過(guò)確定變化強(qiáng)度的大小，來(lái)選擇分割的最佳閾值.

實(shí)驗(yàn)在獲取差異影像后，將差異影像的像素分為兩種類型：一種為0值，代表未變化區(qū)域；一種為非0值，代表變化區(qū)域.然后將差異影像中為0值的像素更改為255，將差異影像中非零值的像素更改為0，此過(guò)程即為二值化.二值化后黑色像素代表變化區(qū)域，白色像素代表未變化區(qū)域.

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)介紹

本文采用的街景數(shù)據(jù)集為TSUNAM I數(shù)據(jù)集，TSUNAM I數(shù)據(jù)集來(lái)源于文獻(xiàn)[12]，是日本某一地區(qū)海嘯前后的全景街區(qū)影像.圖4展示了實(shí)驗(yàn)選取的兩組街景影像及參考圖，兩組影像的大小都為1 024像素×224像素，對(duì)兩組街景影像分別命名為G1和G2，其中t0代表變化前的影像，t1代表變化后的影像，G1組t0和t1影像分別如圖4（a）、圖4（b）所示，G2組t0和t1影像分別如圖4（c）、圖4（d）所示，G1和G2參考圖分別如圖4（e）、圖4（f）所示.G1組影像的變化區(qū)域像素為50242，非變化區(qū)域像素為 179134；G2組影像變化區(qū)域像素為55052，非變化區(qū)域像素為174 324.從每組數(shù)據(jù)兩幅不同時(shí)刻的影像中看出建筑物的尺度變化范圍大，遠(yuǎn)處的建筑物邊界十分模糊，在陰影地方建筑物與植被界限混淆在一起；同時(shí)車輛及電桿等地物也存在尺度范圍變化大，與周圍地物界限模糊的問題，天空不同天氣的原因也造成像素不均勻，高亮區(qū)域和灰暗區(qū)域同時(shí)存在.

圖4 G1和G2街景影像及參考圖

2.2 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證提出方法在街景影像變化檢測(cè)中的有效性，設(shè)計(jì)了兩組對(duì)比實(shí)驗(yàn)：1）采用提出方法與OTSU[13]和K均值[14]進(jìn)行對(duì)比；2）采用Segnet、DeeplabV3+網(wǎng)絡(luò)、Segnet+GC和本文方法進(jìn)行對(duì)比.精度評(píng)價(jià)采用文獻(xiàn)[15]中的錯(cuò)檢率、漏檢率和總體精度.

2.3 第一組對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)采用OTSU、K均值和本文所提出的方法，分別對(duì)G1和G2兩組影像進(jìn)行變化檢測(cè).G1和G2兩組影像采用OTSU方法得到的結(jié)果圖如圖5(a)、圖5(b)所示，采用K均值方法得到結(jié)果圖如圖5(c)、圖5(d)所示，本文方法結(jié)果圖如圖5(e)、圖5(f)所示.實(shí)驗(yàn)結(jié)果精度如表1所示.

圖5 第一組對(duì)比實(shí)驗(yàn)結(jié)果圖

結(jié)果表明兩組數(shù)據(jù)采用本文方法得到的總體精度比OTUS分別高38%、41%，比K均值分別高31%、29%；結(jié)合錯(cuò)檢率與漏檢率來(lái)看，本文方法在漏檢率方面雖然與其他兩種方法差別不明顯，但錯(cuò)檢率方面遠(yuǎn)遠(yuǎn)少于另外兩種方法；從結(jié)果圖來(lái)看，本文方法錯(cuò)檢及漏檢區(qū)域都遠(yuǎn)遠(yuǎn)少于OTSU和K均值.其原因在于DeeplabV3+網(wǎng)絡(luò)對(duì)街景影像的整體分類效果優(yōu)于其他兩種方法，同時(shí)GC方法有效減少了天空和植被等區(qū)域的錯(cuò)檢.

表1 實(shí)驗(yàn)結(jié)果精度對(duì)比

綜上，本文方法相比OTSU和K均值，不僅變化檢測(cè)效果優(yōu)于OTSU和K均值，而且對(duì)街景影像的分類效果也優(yōu)于OTSU和K均值，因此本文方法更適用于街景影像變化檢測(cè).

2.4 第二組對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)采用Segnet網(wǎng)絡(luò)、DeeplabV3+網(wǎng)絡(luò)、Segnet網(wǎng)絡(luò)結(jié)合GC方法和本文方法，分別對(duì)G1和G2兩組影像進(jìn)行變化檢測(cè).G1和G2兩組影像采用Segnet網(wǎng)絡(luò)方法得到的結(jié)果圖如圖6（a）、圖6（b）所示，采用DeeplabV3+網(wǎng)絡(luò)方法得到結(jié)果圖如圖6（c）、圖6（d）所示，采用Segnet網(wǎng)絡(luò)結(jié)合GC方法結(jié)果圖如圖6（e）、圖6（f）所示，本文方法結(jié)果圖如圖6（g）、圖6（h）所示.實(shí)驗(yàn)結(jié)果精度如表2所示.

從實(shí)驗(yàn)結(jié)果精度來(lái)看，G1和G2兩組街景影像采用本文方法得到的漏檢率比Segnet網(wǎng)絡(luò)方法分別低9%、25%，錯(cuò)檢率比Segnet網(wǎng)絡(luò)方法分別低36%、25%，總體精度比Segnet網(wǎng)絡(luò)方法分別高30%、25%；對(duì)比DeeplabV3+網(wǎng)絡(luò)方法，漏檢率比DeeplabV3+網(wǎng)絡(luò)方法分別高4%、低1%，錯(cuò)檢率比DeeplabV3+網(wǎng)絡(luò)方法分別低28%、18%，總體精度比DeeplabV3+網(wǎng)絡(luò)方法分別高19%、13%.從實(shí)驗(yàn)結(jié)果圖來(lái)看，本文方法在植被和天空類別的錯(cuò)檢區(qū)域遠(yuǎn)少于Segnet網(wǎng)絡(luò)方法和DeeplabV3+網(wǎng)絡(luò)方法.

G1和G2兩組街景影像采用本文方法得到的漏檢率比Segnet網(wǎng)絡(luò)結(jié)合GC方法分別低5%、14%，錯(cuò)檢率比Segnet網(wǎng)絡(luò)結(jié)合GC方法分別低4%、3%，總體精度比Segnet網(wǎng)絡(luò)結(jié)合GC方法分別高4%、7%；從精度結(jié)果來(lái)看，本文方法雖然在漏檢率和總體精度上比Segnet網(wǎng)絡(luò)結(jié)合GC方法具有一定的優(yōu)勢(shì)，但錯(cuò)檢率上不存在明顯差別.結(jié)合結(jié)果圖來(lái)看，也未具有明顯的差距.但從DeeplabV3+網(wǎng)絡(luò)與Segnet網(wǎng)絡(luò)的分類圖可以看出，DeeplabV3+網(wǎng)絡(luò)不僅對(duì)汽車、樹木等小尺寸地物具有很好的識(shí)別能力，同時(shí)邊緣細(xì)節(jié)也優(yōu)于Segnet網(wǎng)絡(luò).

圖6 第二組對(duì)比實(shí)驗(yàn)結(jié)果圖

表2 實(shí)驗(yàn)結(jié)果精度對(duì)比

綜上，本文方法相比Segnet網(wǎng)絡(luò)和DeeplabV3+網(wǎng)絡(luò)能有效降低錯(cuò)檢率，同時(shí)提升變化檢測(cè)精度，而相比Segnet網(wǎng)絡(luò)結(jié)合GC方法，本文方法得益于空洞卷積及ASPP的優(yōu)勢(shì)，比具有傳統(tǒng)卷積的Segnet網(wǎng)絡(luò)更加適合街景數(shù)據(jù)變化檢測(cè)，也更加具有發(fā)展?jié)摿?

3 結(jié)論

針對(duì)多時(shí)相街景影像變化檢測(cè)，提出了一種結(jié)合DeeplabV3+網(wǎng)絡(luò)模型和GC的變化檢測(cè)方法.為了驗(yàn)證提出方法，設(shè)計(jì)了兩組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明提出的方法優(yōu)于傳統(tǒng)的統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、未經(jīng)改進(jìn)的Segnet網(wǎng)絡(luò)和DeeplabV3+網(wǎng)絡(luò)模型.

實(shí)驗(yàn)利用遷移學(xué)習(xí)的方法對(duì)街景數(shù)據(jù)進(jìn)行分類，但實(shí)際上這種未經(jīng)過(guò)大量樣本訓(xùn)練的神經(jīng)網(wǎng)絡(luò)泛化能力還有待加強(qiáng)，后續(xù)將通過(guò)對(duì)本數(shù)據(jù)集街景數(shù)據(jù)進(jìn)行大量標(biāo)注樣本來(lái)重新測(cè)試網(wǎng)絡(luò)，同時(shí)，對(duì)網(wǎng)絡(luò)改進(jìn)也將成為未來(lái)的主要工作.