許文嘉

1.北京郵電大學(xué)信息與通信工程學(xué)院,北京 100876; 2.中國(guó)科學(xué)院空天信息創(chuàng)新研究院,北京 100094

遙感技術(shù)革命性地拓展了人類觀測(cè)地球的手段和能力,遙感數(shù)據(jù)理解已成為當(dāng)前認(rèn)知地球變化、了解人類活動(dòng)的重要工具。遙感影像分類是遙感圖像理解的基石,在地物觀測(cè)和變化檢測(cè)等領(lǐng)域正發(fā)揮著關(guān)鍵作用?，F(xiàn)有機(jī)器學(xué)習(xí)方法多基于圖像直接提取圖像特征預(yù)測(cè)類別標(biāo)簽,然而圖像特征與類別標(biāo)簽之間存在較大的語(yǔ)義鴻溝,面向少樣本、細(xì)粒度的遙感影像進(jìn)行分類仍是當(dāng)前非常具有挑戰(zhàn)性的任務(wù)。屬性刻畫了圖像類別的具體視覺(jué)和語(yǔ)義特性,是連接底層圖像特征與高層語(yǔ)義的中間表示,能夠標(biāo)識(shí)類別辨別性特征、傳遞類間共享信息、揭示模型運(yùn)行機(jī)理,成為近年來(lái)深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。

因此,論文研究在基于深度神經(jīng)網(wǎng)絡(luò)的屬性學(xué)習(xí)理論驅(qū)動(dòng)下,針對(duì)當(dāng)前遙感圖像分類面臨的挑戰(zhàn),研究深度屬性學(xué)習(xí)驅(qū)動(dòng)的遙感圖像分類方法,重點(diǎn)突破細(xì)粒度和少樣本的遙感影像分類。論文主要工作和創(chuàng)新點(diǎn)如下。

(1) 針對(duì)細(xì)粒度遙感目標(biāo)分類任務(wù),論文提出融合屬性預(yù)測(cè)的多任務(wù)學(xué)習(xí)模型。將屬性預(yù)測(cè)和類別預(yù)測(cè)相結(jié)合能夠引導(dǎo)神經(jīng)網(wǎng)絡(luò)注意具有類別辨別性的圖像區(qū)域,如關(guān)注圖像的前景目標(biāo)和局部細(xì)節(jié)信息。此外,模型提出嵌入注意力推理模塊,通過(guò)計(jì)算屬性特征對(duì)于類別預(yù)測(cè)的貢獻(xiàn)度,生成基于屬性貢獻(xiàn)度的模型決策解釋。試驗(yàn)證明,該模型能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)對(duì)于前景目標(biāo)的注意力提升60%,在細(xì)粒度遙感飛機(jī)分類任務(wù)中取得93.23%的準(zhǔn)確率。此外,模型為神經(jīng)網(wǎng)絡(luò)的運(yùn)行機(jī)理提供準(zhǔn)確的解釋,增強(qiáng)其可采信度。

(2) 針對(duì)光學(xué)遙感圖像場(chǎng)景分類中的細(xì)粒度問(wèn)題,論文提出基于多源數(shù)據(jù)(遙感圖像和用戶地理空間大數(shù)據(jù))的屬性提取融合分類模型。針對(duì)用戶地理空間大數(shù)據(jù)中富含的時(shí)空屬性特征,論文模型首先提取數(shù)據(jù)的時(shí)間統(tǒng)計(jì)特征作為時(shí)間屬性;然后進(jìn)一步考慮用戶活動(dòng)在空間上的規(guī)律性,建立用戶-區(qū)域圖網(wǎng)絡(luò),提取反映用戶在各區(qū)域活動(dòng)的空間屬性;最后基于深度學(xué)習(xí)網(wǎng)絡(luò)提取圖像特征并與時(shí)空屬性進(jìn)行的融合分類。得益于時(shí)空屬性的類別辨別性,融合屬性分類能夠大幅度提高細(xì)粒度遙感場(chǎng)景分類任務(wù)準(zhǔn)確率。

(3) 針對(duì)光學(xué)遙感圖像分類面臨的少樣本和零樣本問(wèn)題,論文提出屬性原型網(wǎng)絡(luò),將少樣本和零樣本分類任務(wù)整合到統(tǒng)一框架下。該模型通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)中間層特征進(jìn)行屬性回歸學(xué)習(xí),提高網(wǎng)絡(luò)對(duì)于局部關(guān)鍵類別信息的學(xué)習(xí)。此外,模型利用屬性的類間共享特性,利用少樣本類別的屬性信息學(xué)習(xí)其類別視覺(jué)空間分布,實(shí)現(xiàn)視覺(jué)信息從樣本較多的源類別到少樣本目標(biāo)類別的遷移,解決視覺(jué)特征少導(dǎo)致的分類難題。試驗(yàn)證明,論文能夠?qū)崿F(xiàn)高精度屬性視覺(jué)信息建模,并能夠正確定位屬性在圖像中的位置,較國(guó)際主流算法精度提高超過(guò)15.0%;此外,屬性原型網(wǎng)絡(luò)大幅度提高少樣本和零樣本分類精度。

(4) 針對(duì)人類標(biāo)注屬性成本高、屬性在視覺(jué)空間不完備等問(wèn)題,論文提出視覺(jué)屬性發(fā)掘網(wǎng)絡(luò)。為實(shí)現(xiàn)屬性自動(dòng)化標(biāo)注,網(wǎng)絡(luò)通過(guò)大量圖像局部切片的聚類,挖掘具有相同視覺(jué)信息的屬性簇,提高屬性視覺(jué)完備性的同時(shí)減少人類標(biāo)注成本。為將視覺(jué)屬性從樣本較多的源類別拓展到少樣本目標(biāo)類別,該網(wǎng)絡(luò)提出類別關(guān)系模塊,通過(guò)類別相似性矩陣優(yōu)化算法學(xué)習(xí)類別關(guān)系,實(shí)現(xiàn)視覺(jué)屬性的類間遷移。定量試驗(yàn)表明,該網(wǎng)絡(luò)能夠發(fā)掘與人類標(biāo)注屬性互補(bǔ)的視覺(jué)屬性,將細(xì)粒度分類準(zhǔn)確率提升近20.0%;相比于語(yǔ)料挖掘?qū)傩缘姆椒?論文的視覺(jué)屬性能夠?qū)⒘銟颖痉诸悳?zhǔn)確率提升12.0%;用戶調(diào)查試驗(yàn)表明,該網(wǎng)絡(luò)挖掘的屬性傳遞人類理解的語(yǔ)義信息,有效減少標(biāo)注屬性所需的時(shí)間成本。