丁 成,翁理國,,夏 旻,崔逸塵,錢俊豪,劉 佳
1.南京信息工程大學(xué) 江蘇省大數(shù)據(jù)分析技術(shù)重點(diǎn)實(shí)驗(yàn)室,南京210044
2.南京信息工程大學(xué) 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,南京210044
湖泊蘊(yùn)藏著豐富的自然資源,并且是可更新資源[1],合理的開發(fā)可以給人們帶來豐富的資源。近些年湖泊面積縮小的問題比較突兀,對湖泊資源監(jiān)測,以保護(hù)湖泊資源的完整。將遙感影像技術(shù)應(yīng)用在湖泊分割中,可以實(shí)現(xiàn)高精度的湖泊資源監(jiān)測。
在衛(wèi)星圖像的分割領(lǐng)域中,湖泊分割已經(jīng)有了相應(yīng)的研究,大致可以分為兩大類:傳統(tǒng)方法和深度學(xué)習(xí)方法。
傳統(tǒng)方法通常是指水體指數(shù)閾值分割,王碧晴等[2]提出了一種基于歸一化水體指數(shù)和圖像分割技術(shù)相結(jié)合的高原湖泊提取方法,充分利用了圖像的光譜信息和空間結(jié)構(gòu)信息,彌補(bǔ)了單一的水體指數(shù)方法產(chǎn)生的錯分、漏分、細(xì)碎對象較多等現(xiàn)象;Guo 等[3]提出了一種新的加權(quán)歸一化差分水體指數(shù),應(yīng)用于湖泊的提取,可以從TM圖像中提取高精度水體;Elsahabi等[4]探索了一種AHDL 水面提取技術(shù),將不同水體進(jìn)行分類,實(shí)現(xiàn)了不同水面提取技術(shù)。傳統(tǒng)方法能夠有效地提取出水體表面信息,但是在高背景復(fù)雜度情況下,提取到的水體會存在噪點(diǎn)和誤分的問題。
深度學(xué)習(xí)分割方法是由Long等[5]提出全卷積(FCN)分割網(wǎng)絡(luò)興起的,實(shí)現(xiàn)了像素級別的分割。U-Net是由Ronneberger等[6]提出的一種繼承于FCN的改進(jìn)方法,是比FCN更精確的語義分割網(wǎng)絡(luò)。Zhang等[7]將深度學(xué)習(xí)應(yīng)用在遙感圖像分割中,采用卷積網(wǎng)絡(luò)提取遙感圖像的光譜和紋理特征,深層卷積網(wǎng)絡(luò)能夠提取到遙感圖像更多的特征;許玥等[8]提出了一種基于改進(jìn)的U-Net 網(wǎng)絡(luò)架構(gòu)與全連接條件隨機(jī)場的圖像分割算法,能夠提取高背景復(fù)雜度的遙感圖像特征;蘇健民等[9]提出的基于UNet 的高分辨率遙感圖像語義分割方法,實(shí)現(xiàn)了端到端的像素級語義分割。深度學(xué)習(xí)語義分割方法[10],通過深層卷積能夠提取高背景復(fù)雜度遙感圖像的語義信息特征,減少了分割噪點(diǎn),但是存在著半島、小島和湖泊細(xì)小支流的邊緣信息提取丟失問題。
針對深度學(xué)習(xí)的語義分割法,在衛(wèi)星圖像分割中對半島、小島、湖泊細(xì)小支流的邊緣信息提取丟失問題,本文提出了多注意力機(jī)制(MA-Net)網(wǎng)絡(luò)衛(wèi)星圖像分割算法。該分割模型框架是端到端的對稱結(jié)構(gòu),由編碼和解碼兩部分組成。編碼部分使用改進(jìn)的VGG16[11]網(wǎng)絡(luò)提取衛(wèi)星圖像的紋理特征,解碼部分引入全局平均池化注意力融合機(jī)制(GPA),融合編碼層特征,得到豐富語義信息的特征圖,在網(wǎng)絡(luò)的輸出端加入注意力機(jī)制模塊(Attention),注重湖泊的邊緣信息特征提取,幫助提取出半島、小島和湖泊細(xì)小支流。
經(jīng)過實(shí)驗(yàn),該模型能夠有效提取半島、小島、湖泊細(xì)小支流的邊緣信息,并且分割指標(biāo)優(yōu)于經(jīng)典分割模型。
本文提出的MA-Net衛(wèi)星圖像分割算法的框架是端到端的對稱式結(jié)構(gòu),由編碼和解碼兩個部分組成,分割模型框架如圖1所示。
圖1 多注意力機(jī)制分割模型框架
左半部分編碼,采用改進(jìn)的VGG16網(wǎng)絡(luò)提取特征,由5個Block組成的深度卷積網(wǎng)絡(luò)可以有效地提取衛(wèi)星圖像的紋理特征。右半部分解碼,設(shè)置了4 次上采樣,經(jīng)過4次反卷積上采樣[12](Upsample)可以將特征圖的分辨率還原成輸入圖像大小。每次上采樣之后,高等級特征圖(網(wǎng)絡(luò)的上采樣層)跳躍連接相同尺寸的低等級特征圖(網(wǎng)絡(luò)的前4個Block層),使用GPA機(jī)制融合,并且融合之后進(jìn)行卷積加深處理。經(jīng)過4次特征圖的融合,使得提取的語義信息更加豐富。最后在網(wǎng)絡(luò)的輸出端加入Attention 模塊,對湖泊邊緣信息提取更充分,能夠有效分割出半島、小島和湖泊細(xì)小支流。
改進(jìn)的VGG16網(wǎng)絡(luò)是借鑒了批量標(biāo)準(zhǔn)化[13]和Relu激活[14]的思路,在每個滑動卷積[11]之后依次添加批量標(biāo)準(zhǔn)化和Relu激活。
滑動卷積用于特征提取,在網(wǎng)絡(luò)的特征圖上從左至右、自上而下依次滑動窗口,對特征圖進(jìn)行特征提取。設(shè)置滑動卷積的卷積核為3×3、步長為1。前向傳播見公式(1):
式中,Xl、Yl、Wl均是矩陣向量,Xl表示第l 層輸入,Wl表示第l 層權(quán)重,Conv2D 表示2維卷積,Yl表示第l 層輸出。
批量標(biāo)準(zhǔn)化(BN)通常設(shè)置在滑動卷積之后,原因是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中,經(jīng)過滑動卷積特征提取,網(wǎng)絡(luò)參數(shù)分布會發(fā)生變化。隨著網(wǎng)絡(luò)層次的加深,參數(shù)分布的影響會被放大,使網(wǎng)絡(luò)訓(xùn)練過程慢。批量標(biāo)準(zhǔn)化將每層網(wǎng)絡(luò)參數(shù)標(biāo)準(zhǔn)化,使得每層的訓(xùn)練參數(shù)獲得相同分布,可以加快訓(xùn)練過程。在神經(jīng)網(wǎng)絡(luò)反向傳播時梯度幾乎為0的神經(jīng)元,批量標(biāo)準(zhǔn)化可以將這些特征重新建立分布,使其重新獲得梯度,防止梯度消失的問題。復(fù)合函數(shù)計(jì)算見公式(2):
式中,m 表示網(wǎng)絡(luò)一次訓(xùn)練的批量數(shù),xi表示一個批量中第i 個特征圖,μβ表示一個批量中特征圖的平均值,表示一個批量中特征圖的方差,表示標(biāo)準(zhǔn)化的值,γ 和β 是可學(xué)習(xí)得到的參數(shù),最終批量標(biāo)準(zhǔn)化的輸出服從均值β、方差γ2的正態(tài)分布,yi是得到的批量標(biāo)準(zhǔn)化的輸出。
Relu激活函數(shù)通常設(shè)置在BN 層之后,對特征進(jìn)行激活,保留有效的特征和抑制無用特征,一定程度上減少了網(wǎng)絡(luò)參數(shù)量。Relu激活函數(shù)是非線性函數(shù),對輸入小于等于0 的值,則置0 抑制;對輸入大于等于0 的值,則?(x)=x 激活該值。使一部分神經(jīng)元輸出為0,得到的網(wǎng)絡(luò)具有稀疏性,可以使網(wǎng)絡(luò)的表達(dá)能力更強(qiáng)。前向傳播見公式(3):
Block塊的前向傳播見公式(4):
式中,xl-1表示第l-1 層的輸出,同時也是第l 層的輸入,? 表示滑動卷積,? 表示批量標(biāo)準(zhǔn)化層,σ 表示Relu激活函數(shù),yl表示Block的輸出。
前4 個Block 塊之后都會進(jìn)行最大池化[15],最大池化能夠消除非極大值,降低計(jì)算復(fù)雜度。最大池化層采用的卷積核大小為2×2、步長為2。每次最大池化會將特征圖縮小一倍。輸入512×512×3 大小的圖像,經(jīng)過4次最大池化后,Block5 輸出32×32×512 大小的特征圖,尺寸為原圖像的1/16。
改進(jìn)后的VGG16網(wǎng)絡(luò)相比原VGG16網(wǎng)絡(luò),減少了16 000的參數(shù)量,可以縮減網(wǎng)絡(luò)訓(xùn)練時間。批量標(biāo)準(zhǔn)化的引入,解決了網(wǎng)絡(luò)中間層參數(shù)分布變化的問題,使網(wǎng)絡(luò)中間層參數(shù)服從于相同的分布,有利于網(wǎng)絡(luò)訓(xùn)練和收斂。批量標(biāo)準(zhǔn)化的示意圖見圖2,圖2(a)表示未經(jīng)過批量標(biāo)準(zhǔn)化的參數(shù)分布,分布不集中,圖2(b)表示經(jīng)過批量標(biāo)準(zhǔn)化的參數(shù)分布,經(jīng)過批量標(biāo)準(zhǔn)化之后,參數(shù)分布比較集中,有利于網(wǎng)絡(luò)的訓(xùn)練。Relu 激活函數(shù)的引入,會將一些參數(shù)置0,使網(wǎng)絡(luò)具有稀疏性和更好的表達(dá)能力。
圖2 批量標(biāo)準(zhǔn)化的參數(shù)對比
解碼部分是在Block5的輸出端,由于編碼網(wǎng)絡(luò)將輸入圖像轉(zhuǎn)化成原圖像的1/16,所以解碼網(wǎng)絡(luò)需要上采樣還原特征圖。上采樣設(shè)置反卷積的卷積核為2×2、步長為2,每次反卷積會將特征圖還原為兩倍大。設(shè)置了4次上采樣,逐層還原圖像信息,最終使得輸出圖像與輸入圖像大小相一致。上采樣之后使用GPA融合機(jī)制跳躍連接編碼層相同尺寸的特征圖進(jìn)行融合。GPA 融合機(jī)制將高等級特征圖的全局信息壓縮成一個實(shí)數(shù),用包含高等級特征圖全局感受野的實(shí)數(shù),指導(dǎo)低等級特征圖特征學(xué)習(xí),再將高、低等級特征圖融合,融合特征后使用卷積核為3×3、步長為1 滑動卷積加深處理,得到高分辨率的湖泊分割特征圖。最后在網(wǎng)絡(luò)的輸出端加入Attention 模塊,使網(wǎng)絡(luò)參數(shù)注重湖泊的邊緣信息提取,幫助分割出半島、小島和湖泊細(xì)小支流。
1.3.1 全局平均池化注意力(GPA)融合機(jī)制
GPA 融合機(jī)制主要啟發(fā)于Hu 等[16]提出的Squeezeand-excitation-networks,在通道維度上添加全局注意力信息。分割網(wǎng)絡(luò)具有共同點(diǎn),都是由編碼和解碼兩部分組成。編碼部分用于提取圖像的紋理特征,解碼部分用于還原特征圖。如果解碼部分的高等級特征圖直接上采樣還原,會丟失很多細(xì)節(jié)特征。為了保留更多的細(xì)節(jié)特征,將高等級特征圖與低等級特征圖融合,得到豐富的語義信息。所以本文提出的GPA融合機(jī)制是添加在高等級特征和低等級特征之間[17]。融合過程中高等級特征圖在通道維度上具有注意力信息,用注意力信息指導(dǎo)低等級特征圖與高等級特征圖融合。GPA 特征融合之后得到高分辨率的特征圖,比高等級特征圖和低等級特征圖直接融合得到的特征圖所具有的特征更豐富。
在分割網(wǎng)絡(luò)中,低等級特征圖包含了豐富的位置信息,而高等級特征圖更多的是類別信息。GPA具體實(shí)現(xiàn)過程是將高等級特征圖在通道維度上全局平均池化,二維特征圖會被壓縮變成一個實(shí)數(shù),這個實(shí)數(shù)具有高等級特征圖全局感受野。進(jìn)而把該值作為注意力信息與低等級特征圖相乘,指導(dǎo)低等級特征圖中的位置信息還原類別,得到包含類別信息的低等級特征圖。最后將生成的低等級特征圖和高等級特征圖進(jìn)行相加特征融合,得到語義信息更豐富的特征圖。包含豐富語義信息的特征圖,在湖泊分割中,對像素級別的分類精確度更高,可以準(zhǔn)確地分類出湖泊和陸地,減少了漏分和誤分。
GPA 融合機(jī)制的結(jié)構(gòu)如圖3 所示。首先將高等級的特征圖(H)的每個通道都進(jìn)行全局平均池化,得到1×1×n(n 為通道數(shù))大小的類別信息特征圖(f1),f1特征圖具有H 特征圖各通道上類別信息的全局感受野。計(jì)算見公式(5):
式中,f1 是全局平均池化的輸出,m 表示特征圖的尺寸,aij表示特征圖上橫坐標(biāo)i、縱坐標(biāo)j 的值。
圖3 全局平均池化注意力融合機(jī)制
然后在f1 之后連接一個全連接層,全連接計(jì)算見公式(6),通過參數(shù)w 來為每個特征通道生成權(quán)重,參數(shù)w 被學(xué)習(xí)用來顯式地建模特征通道間的相關(guān)性。在w×f1 之后設(shè)置一個Sigmoid激活函數(shù)(σ),將特征映射到0和1之間,用作表示通道重要程度,激活函數(shù)的輸出為f2。
接著將經(jīng)過特征選擇后的f2 特征圖,通過乘法逐通道加權(quán)到低等級特征圖(L)上,完成在通道維度上對原始L 特征圖的重標(biāo)定,使得L 特征圖也具備了H 特征圖類別信息的全局感受野,得到豐富語義信息的f3特征圖。計(jì)算見公式(7):
最后將f3 特征圖與H 特征圖進(jìn)行特征融合,采用特征圖相加的方法(計(jì)算見公式(8)),得到了具有豐富語義信息的特征圖f4。
本文在高等級特征圖和具有相同大小的低等級特征圖之間連接GPA融合機(jī)制,網(wǎng)絡(luò)通過4層不同尺度的注意力機(jī)制特征融合,最后輸出的特征圖包含了豐富的語義信息,可以幫助恢復(fù)到高分辨率空間位置信息和類別信息,對湖泊的整體分割準(zhǔn)確率有一定提升,減少了湖泊漏分和誤分。
1.3.2 基于注意力機(jī)制(Attention)的邊緣信息提取
雖然經(jīng)過了4 層不同尺度的GPA 特征融合,但是半島、小島和湖泊細(xì)小支流不能被有效提取出來。由Li 等[17]提出的Pyramid attention network for semantic segmentation 啟發(fā),在網(wǎng)絡(luò)最后一層特征圖后引入了注意力機(jī)制模塊,用于提取半島、小島和湖泊的細(xì)小支流[18]。
Attention模塊結(jié)構(gòu)見圖4。網(wǎng)絡(luò)的最后一層特征圖(Q)包含了豐富的位置和類別語義信息,對Q 特征圖在通道維度上進(jìn)行Softmax[19]回歸,Softmax回歸的功能是將特征值歸一化成概率值,計(jì)算得到輸出P。
圖4 注意力機(jī)制模塊結(jié)構(gòu)
本文中對512×512×2 大小的Q 特征圖在2 維的通道維度上進(jìn)行Softmax 回歸,計(jì)算每個通道的概率值。計(jì)算過程見公式(9):
式中,n 為所求概率的類別數(shù)(即通道數(shù),本文設(shè)置n=2),gi表示第i 個通道特征圖的數(shù)值,P(Si)為求得的概率值。
將Softmax 回歸得到的輸出P(Si)作為注意力信息與原特征圖Q 對應(yīng)相乘(見公式(10)),最后得到包含概率置信度的特征圖f 用于網(wǎng)絡(luò)最后的輸出。Attention模塊對概率值較大位置的特征值會增加特征置信度,對概率值較小位置的特征值會產(chǎn)生抑制作用(如該特征值的P(Si)概率值無限接近于1,則會保留該特征值;若該特征值的P(Si)概率值無限接近于0,則會對該特征值產(chǎn)生抑制)。
在湖泊分割中,區(qū)分湖泊和陸地主要是在湖泊的邊緣處。在網(wǎng)絡(luò)最后一個特征圖加入了Attention模塊,會對網(wǎng)絡(luò)中的權(quán)重參數(shù)產(chǎn)生變化。網(wǎng)絡(luò)學(xué)習(xí)的特征會更多地將權(quán)重分配在湖泊的邊緣,湖泊邊緣特征用于判斷屬于湖泊還是陸地。圖5是對網(wǎng)絡(luò)權(quán)重的熱圖可視化,對比了加入Attention 和未加入Attention 對權(quán)重分配的影響。其中圖5(a)顯示的是未加入Attention的熱圖,在處理湖泊邊緣信息上,黃色注意力信息較少,表示權(quán)重分配少;圖5(b)顯示的是加入了Attention的熱圖,在湖泊和陸地的邊界處黃色注意力信息明顯增多,表示網(wǎng)絡(luò)較多的注意力在湖泊的邊緣,更有益于細(xì)致分割湖泊。
圖5 注意力信息權(quán)重?zé)釄D可視化對比
本次實(shí)驗(yàn)的數(shù)據(jù)集來源于資源衛(wèi)星1號,下載了自2010年至2018年包含湖泊的衛(wèi)星云圖,選取無云遮擋、薄云遮擋、陸地積雪和冰面覆蓋的衛(wèi)星圖總共2 010張。首先在原圖上裁剪出分辨率為512×512 大小的湖泊圖片,然后利用Labelme工具制作分割標(biāo)簽圖,生成單通道的標(biāo)簽圖片(見圖6),白色表示湖泊,黑色表示陸地。
圖6 數(shù)據(jù)集標(biāo)簽
由于資源衛(wèi)星數(shù)據(jù)有限,在制作完標(biāo)簽后進(jìn)行了數(shù)據(jù)增強(qiáng)。設(shè)置了隨機(jī)角度旋轉(zhuǎn)、隨機(jī)水平和上下平移、縮放圖片等參數(shù),共生成3 890張圖片用于訓(xùn)練,200張圖片用于評估,200張圖片用于測試。
本文實(shí)驗(yàn)所涉及的代碼均是基于Keras 實(shí)現(xiàn)的,使用顯卡GTX 1080ti加速網(wǎng)絡(luò)訓(xùn)練。采用了隨機(jī)梯度下降優(yōu)化器,以0.001的學(xué)習(xí)速率迭代60次后收斂。
因?yàn)楸疚闹惺嵌诸?,所以使用的是二分類比較有代表性的二值交叉熵[20]作為網(wǎng)絡(luò)訓(xùn)練優(yōu)化的損失函數(shù)。公式(11)中yi表示真實(shí)值,y?i表示預(yù)測值。
本文選取召回率(Recall)和平均交并比(Miou)作為評價指標(biāo)來衡量分割性能。
召回率是指模型正確預(yù)測的正樣本占數(shù)據(jù)集中所有正樣本的比例。計(jì)算見公式(12):
式中,TP 表示實(shí)際為正樣本預(yù)測為正樣本,F(xiàn)N 表示實(shí)際為正樣本預(yù)測負(fù)樣本。
平均交并比是衡量圖像分割精度的重要指標(biāo)。交并比是計(jì)算真實(shí)集合和預(yù)測集合的交集與并集之比。在每個類上計(jì)算交并比,然后求和取平均值,得到平均交并比。計(jì)算見公式(13):
式中,k 表示類別數(shù),targeti表示類別i 真實(shí)集合,predicti表示類別i 預(yù)測集合。
本文實(shí)驗(yàn)對比,選用了FCN_8S、U-Net 兩個網(wǎng)絡(luò)。經(jīng)過實(shí)驗(yàn),本文所提出的MA-Net算法可以實(shí)現(xiàn)高分辨率的湖泊分割,彌補(bǔ)了其他深度學(xué)習(xí)算法對湖泊邊緣信息提取丟失問題。為了證明本文提出的GPA融合機(jī)制和Attention模塊的有效性,進(jìn)行了消融實(shí)驗(yàn)。將Attention模塊單獨(dú)加入網(wǎng)絡(luò)的模型命名為MA-Net1;將GPA 融合機(jī)制單獨(dú)加入網(wǎng)絡(luò)的模型命名為MA-Net2;將GPA融合機(jī)制和Attention 模塊均引入網(wǎng)絡(luò)的模型命名為MA-Net。分割效果如圖7 所示,其中(a)為采集的原始衛(wèi)星圖像,(b)為原始衛(wèi)星圖像所對應(yīng)的標(biāo)簽,(c)為FCN_8S的實(shí)驗(yàn)效果圖,(d)為U-Net的實(shí)驗(yàn)效果圖,(e)為MA-Net1 的實(shí)驗(yàn)效果圖,(f)為MA-Net2 的實(shí)驗(yàn)效果圖,(g)為MA-Net的實(shí)驗(yàn)效果圖。
圖7 不同網(wǎng)絡(luò)分割效果
由圖7 中可以看出,F(xiàn)CN_8S 網(wǎng)絡(luò)分割的湖泊和陸地誤分較多,如第一行的半島、第二行的小島都被誤分為湖泊,第三行的細(xì)小支流被誤分為陸地。原因是FCN_8S 網(wǎng)絡(luò)的上采樣,直接將融合過的特征圖8 倍上采樣還原成輸入圖像大小,會使很多特征信息丟失,導(dǎo)致網(wǎng)絡(luò)表達(dá)能力較弱。U-Net網(wǎng)絡(luò)分割效果相比FCN_8S網(wǎng)絡(luò)有所提升,通過逐層的2倍上采樣還原特征圖到輸入圖像大小,在上采樣過程中,跳躍連接相同尺寸的特征圖,進(jìn)行特征融合。由于上采樣倍數(shù)小,特征保留比較豐富,對第一行的半島和第二行的小島能分割出一小部分,第三行的內(nèi)湖的輪廓基本分割出來。MA-Net1對湖泊邊緣特征注意力增多,有利于半島、小島和細(xì)小支流的分割。第一行的半島能基本分割出來,第二行的小島比U-Net分割完整一些,第三行的細(xì)小支流能夠提取出來。MA-Net2 通過GPA 融合機(jī)制融合高、低等級特征圖得到豐富的語義信息,使第一行的半島和第二行的小島能夠基本提取出來。MA-Net 結(jié)合了GPA 融合特征得到豐富的語義信息和Attention 模塊對湖泊邊緣特征提取充分,可以將半島和小島分割精細(xì),湖泊細(xì)小支流也可以精確分割出來。
在真實(shí)湖泊分割應(yīng)用場景下,會存在如云遮擋、陸地積雪和冰面覆蓋等復(fù)雜場景。本文設(shè)置了類似復(fù)雜場景用于測試。在復(fù)雜場景下的湖泊分割效果見圖7中的第四行和第五行,第四行的圖(a)是采集的陸地積雪和薄云遮擋的衛(wèi)星圖像,第五行的圖(a)是采集的冰面覆蓋的衛(wèi)星圖像。由分割效果圖看出,第四行陸地積雪,在FCN_8S 和U-Net 網(wǎng)絡(luò)中會存在大面積誤判為湖泊的情況,MA-Net1、MA-Net2和MA-Net三個網(wǎng)絡(luò)的陸地積雪分割噪點(diǎn)逐漸降低,MA-Net網(wǎng)絡(luò)幾乎沒有噪點(diǎn);薄云遮擋部分,所有的模型都能夠分割準(zhǔn)確。第五行冰面覆蓋,F(xiàn)CN_8S網(wǎng)絡(luò)的部分陸地會被誤分為湖泊,湖泊的分割也存在著噪點(diǎn)。U-Net 網(wǎng)絡(luò)湖泊輪廓部分較FCN_8S 網(wǎng)絡(luò)有改善,但是湖泊的分割噪點(diǎn)較多。MA-Net1和MA-Net2網(wǎng)絡(luò)能夠降低湖泊分割的噪點(diǎn),但是與本文提出的MA-Net網(wǎng)絡(luò)相比,MA-Net分割效果更好,MA-Net幾乎沒有噪點(diǎn)。由此可見本文提出的MA-Net衛(wèi)星圖像分割方法,在復(fù)雜場景下具有抗干擾性,能夠達(dá)到理想的分割效果。
經(jīng)過對比測試,本文提出的MA-Net 衛(wèi)星圖像分割算法,在分割指標(biāo)上召回率達(dá)到了98.56%、平均交并比達(dá)到了96.52%。分割指標(biāo)均優(yōu)于現(xiàn)有算法,相比于FCN_8S 召回率提升了2.91 個百分點(diǎn)、平均交并比提升了4 個百分點(diǎn);相比于U-Net 召回率提升了2.17 個百分點(diǎn)、平均交并比提升了2.32個百分點(diǎn)。具體實(shí)驗(yàn)對比結(jié)果見表1。其中MA-Net3是在MA-Net網(wǎng)絡(luò)基礎(chǔ)上將編碼部分替換為原始VGG16 網(wǎng)絡(luò),取得了98.21%的召回率和96.13%的平均交并比,分割指標(biāo)略低于改進(jìn)的VGG16 編碼網(wǎng)絡(luò),驗(yàn)證了改進(jìn)的VGG16 網(wǎng)絡(luò)特征提取效果會有提升。
表1 實(shí)驗(yàn)結(jié)果對比 %
本文實(shí)現(xiàn)了GPA 融合機(jī)制的數(shù)量對分割指標(biāo)影響的量化分析。具體實(shí)驗(yàn)結(jié)果見表2。整個網(wǎng)絡(luò)中設(shè)置了4 次上采樣,表中的GPA 個數(shù)1 是指第1 次上采樣后加入GPA,GPA 個數(shù)2 是指第1 次和第2 次上采樣后加入GPA,GPA 個數(shù)3 和4 依此類推。由表2 的實(shí)驗(yàn)數(shù)據(jù)結(jié)果得,GPA融合機(jī)制的個數(shù)越多,網(wǎng)絡(luò)性能越好。4層不同尺度的GPA融合機(jī)制,相比單個GPA融合機(jī)制,平均交并比提升了1.06個百分點(diǎn)。
表2 GPA融合機(jī)制數(shù)量對分割指標(biāo)的影響%
City Scapes數(shù)據(jù)集[21]是由奔馳主推,提供在駕駛領(lǐng)域進(jìn)行圖像分割的數(shù)據(jù)集。本文為了驗(yàn)證提出的MANet 分割模型通用性,在該數(shù)據(jù)集上進(jìn)行了驗(yàn)證。同時選用FCN_8S、U-Net網(wǎng)絡(luò)與本文所提出的MA-Net作對比實(shí)驗(yàn)。經(jīng)過實(shí)驗(yàn),本文所提出的MA-Net平均交并比達(dá)到了62.67%,優(yōu)于FCN_8S 和U-Net 分割模型,驗(yàn)證了本文提出的分割模型具有通用性。City Scapes 數(shù)據(jù)集測試結(jié)果見表3。
表3 City Scapes數(shù)據(jù)集測試結(jié)果 %
本文針對深度學(xué)習(xí)的語義分割法,在衛(wèi)星圖像分割中對半島、小島、湖泊細(xì)小支流的邊緣信息提取丟失問題,提出了多注意力機(jī)制網(wǎng)絡(luò)衛(wèi)星圖像分割算法,彌補(bǔ)了邊緣信息提取丟失問題。實(shí)驗(yàn)結(jié)果表明,提出的MA-Net利用GPA融合機(jī)制,首先將高等級特征圖的全局信息壓縮成一個實(shí)數(shù),利用具有全局感受野的實(shí)數(shù)指導(dǎo)低等級特征參數(shù)學(xué)習(xí),接著通過高、低等級特征圖的融合,使得特征圖的語義信息更加豐富,最后在網(wǎng)絡(luò)的輸出端加入了Attention模塊,使得湖泊邊緣信息提取充分,有效分割出半島、小島和湖泊細(xì)小支流,但是邊緣拐角細(xì)節(jié)部分的分割有待提升。利用深度學(xué)習(xí)進(jìn)行遙感衛(wèi)星圖像的湖泊分割還處于初始階段,仍然有一些不足,有待進(jìn)一步改進(jìn)。主要有以下方面:(1)湖泊分割精度上還有待提升,對湖泊邊緣信息的分割還可以更精細(xì);(2)本文主要采集的是少云、無云遮擋的衛(wèi)星圖像數(shù)據(jù),場景復(fù)雜度不高。因此接下來的研究中,需要增加對以上問題改進(jìn)。針對湖泊分割精度不是非常高,分析原因可能是數(shù)據(jù)樣本不夠多、網(wǎng)絡(luò)輸入圖像尺寸不夠大,導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)的特征不豐富,通過增加衛(wèi)星圖像樣本數(shù)量和采用1 024×1 024 大尺寸代替512×512 輸入網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn),以便提高湖泊衛(wèi)星圖像分割精度;對樣本的場景復(fù)雜度來說,可以增加濃云遮擋湖泊、多背景的實(shí)驗(yàn)數(shù)據(jù),以提升算法的抗干擾能力。