周 焱 劉文萍 駱有慶 宗世祥
1. 北京林業(yè)大學(xué)信息學(xué)院 北京 100083; 2. 北京林業(yè)大學(xué)林學(xué)院 北京 100083)
森林作為陸地生態(tài)系統(tǒng)的主體,其覆蓋面積、植被種類和數(shù)量以及健康程度的變化對環(huán)境和生態(tài)具有巨大影響。我國林業(yè)有害生物種類有8 000多種,經(jīng)常造成危害的有200多種,林業(yè)有害生物不僅影響著森林的生態(tài)恢復(fù)和環(huán)境建設(shè),還對森林的可持續(xù)性發(fā)展帶來嚴(yán)重威脅,是危害森林健康的重要因素。實(shí)現(xiàn)對林業(yè)有害生物災(zāi)害區(qū)域的快速、準(zhǔn)確檢測及監(jiān)測,在林業(yè)有害生物防治和災(zāi)害損失評估中具有重要意義。
無人機(jī)具有時(shí)效性強(qiáng)、機(jī)動性好、方便靈活、巡查范圍廣等優(yōu)點(diǎn),能快速獲取小范圍林區(qū)的高分辨率圖像(Gambellaetal., 2016),將無人機(jī)應(yīng)用于森林病蟲害監(jiān)測,是有效提高林業(yè)有害生物防治工作效率的途徑之一。隨著計(jì)算機(jī)技術(shù)不斷發(fā)展,無人機(jī)森林圖像結(jié)合圖像分析、機(jī)器學(xué)習(xí)、模式識別等算法實(shí)現(xiàn)植被分類和樹木檢測,被廣泛應(yīng)用于森林防護(hù)、林業(yè)資產(chǎn)評估、精細(xì)分類樹種識別等領(lǐng)域。但相比地面拍攝圖像,無人機(jī)圖像因受災(zāi)樹木尺度小、樹木分布密集而難以識別,且無人機(jī)圖像一般分辨率較高,批處理需要大量時(shí)間。因此如何精確、快速地識別定位無人機(jī)圖像中小目標(biāo)受災(zāi)樹木是亟待解決的問題。
目前,應(yīng)用于無人機(jī)森林圖像樹木檢測的計(jì)算機(jī)方法主要建立在圖像分析算法及人工設(shè)計(jì)特征和分類器的基礎(chǔ)上(Koc-Sanetal., 2018; Maleketal., 2014; Zhongetal., 2017; 費(fèi)運(yùn)巧等, 2017a; 林志瑋等, 2018),現(xiàn)有計(jì)算機(jī)識別病蟲害算法存在以下問題:1)無人機(jī)采集圖像后,需在第二現(xiàn)場使用工作站進(jìn)行算法設(shè)計(jì)和分析,導(dǎo)致監(jiān)測流程和檢測周期較長,無人機(jī)機(jī)組針對性較差,監(jiān)測成本較高;2)已有識別算法大多采用CPU計(jì)算,運(yùn)算能力較低,無法直接用于大量的完整無人機(jī)圖像;3)圖像分析算法通常對圖像光影條件要求較高,識別精確度依賴圖像預(yù)處理; 4)對于較高空無人機(jī)圖像中分布密集、不規(guī)律的小目標(biāo)樹木,當(dāng)多株受災(zāi)樹木集聚時(shí)無法準(zhǔn)確定位每株受災(zāi)樹木;5)部分方法還需結(jié)合人眼觀察和數(shù)據(jù)統(tǒng)計(jì)等后續(xù)工作,不能實(shí)現(xiàn)自動化檢測。
近年來,隨著深度學(xué)習(xí)的迅猛發(fā)展,基于深度學(xué)習(xí)的目標(biāo)檢測方法已成為計(jì)算機(jī)視覺領(lǐng)域的主流,該方法無需人工設(shè)計(jì)特征和分類器,可不依賴預(yù)處理,自動完成精確目標(biāo)檢測,其中,輕量級目標(biāo)檢測框架SSD(single shot multibox detector)因檢測精確度高、速度快等優(yōu)點(diǎn)得到廣泛應(yīng)用。SSD300使用NVIDIA TITAN X顯卡,檢測速度為59 fps(每秒傳輸幀數(shù)),遠(yuǎn)快于重量級目標(biāo)檢測框架Faster R-CNN(7 fps),且SSD300檢測框架在PASCAL VOC2007數(shù)據(jù)集測試的平均準(zhǔn)確度達(dá)74.3%,比Faster R-CNN高1.1%(Everinghametal., 2015)。然而,作為一種多尺度目標(biāo)檢測網(wǎng)絡(luò)框架,SSD放棄了含有豐富位置信息的底層特征,對小目標(biāo)的魯棒性較低;且由于小目標(biāo)所在區(qū)域較小,可提取的相關(guān)特征較少,不利于對小目標(biāo)的檢測。針對這一問題,Li等 (2017)、Liu等 (2018)采用ResNet101(Heetal., 2016)作為基礎(chǔ)特征提取器,分別提出特征融合模塊、RFB (receptive field block)結(jié)構(gòu)方法,以增強(qiáng)網(wǎng)絡(luò)對小目標(biāo)的檢測能力。盡管改變網(wǎng)絡(luò)基礎(chǔ)特征提取器可提升檢測精度,但在一定程度上增加了模型參數(shù)量,降低了檢測速度,且以上改進(jìn)方法只針對PASCAL VOC和MSCOCO(Linetal., 2014)等通用數(shù)據(jù)集,偏向檢測大中尺寸目標(biāo),無法準(zhǔn)確檢測無人機(jī)圖像中的小目標(biāo)樹木。
基于深度學(xué)習(xí)的圖像識別、目標(biāo)檢測等方法在遙感圖像植被識別領(lǐng)域取得了一定進(jìn)展:Li等(2016)設(shè)計(jì)了一種針對油棕(Elaeisguineensis)遙感圖像的深度學(xué)習(xí)目標(biāo)檢測框架; Guirado等(2017)基于卷積神經(jīng)網(wǎng)絡(luò)識別Google Earth圖像中植被覆蓋區(qū)域; Baeta等(2017)采用多尺度特征卷積神經(jīng)網(wǎng)絡(luò)定位遙感圖像中的咖啡(Coffeaarabica)作物。但是,上述方法主要針對高空遙感圖像中大范圍區(qū)域檢測以及規(guī)則排列的農(nóng)作物和人工林識別,且為提高檢測精度,在訓(xùn)練模型前還采用多種方法對數(shù)據(jù)進(jìn)行預(yù)處理,而這不足以支持彩色高分辨率無人機(jī)森林圖像中分布不規(guī)律、生長密集的每株小目標(biāo)受災(zāi)樹木檢測。鑒于此,本研究以受紅脂大小蠹(Dendroctonusvalens)侵害的油松(Pinustabulaeformis)林為研究對象,利用無人機(jī)采集可見光圖像,針對無人機(jī)森林圖像中樹木尺度小、生長密集以及分布不規(guī)律等問題,提出一種基于深度學(xué)習(xí)的小目標(biāo)受災(zāi)樹木檢測方法(small infected trees detector,SITD),以準(zhǔn)確識別和定位高分辨率無人機(jī)森林圖像中的小尺度受災(zāi)樹木。
以遼寧省凌源縣受紅脂大小蠹侵害的油松林無人機(jī)圖像為數(shù)據(jù)源,采集時(shí)間為2017年8月。采用DJI Inspire2四旋翼航拍機(jī)(表1),搭載DJI X5S云臺相機(jī),航拍鏡頭為奧林巴斯50 mm F1.8定焦鏡頭。無人機(jī)飛行高度為180 ~240 m,掃描拍攝1—6號樣地。
表1 DJI Inspire2無人機(jī)和 X5S云臺相機(jī)主要參數(shù)
圖1 數(shù)據(jù)集中圖像及標(biāo)注文件格式
無人機(jī)森林蟲害數(shù)據(jù)集以3—6號樣地?zé)o人機(jī)圖像為訓(xùn)練集,1、2號樣地?zé)o人機(jī)圖像為測試集,圖1a、b分別為1號樣地185 m飛行高度和5號樣地240 m飛行高度拍攝的無人機(jī)圖像示例,待檢測目標(biāo)尺度較小。油松受災(zāi)后,老葉先失綠變黃,當(dāng)年夏天呈紅褐色,次年變暗,最后凋落(吳建功等, 2002)。針對受災(zāi)油松針葉變色特點(diǎn),本研究以受災(zāi)變色油松為檢測目標(biāo)。為保證圖像中各目標(biāo)完整,利用LabelImg開源軟件對無人機(jī)圖像中受災(zāi)樹木進(jìn)行標(biāo)注,標(biāo)注內(nèi)容為受災(zāi)樹木矩形包圍框坐標(biāo),存儲為文本文件用于檢測模型訓(xùn)練和測試,標(biāo)注文件格式如圖1c所示。由于本研究采集的原始圖像分辨率為5 280×3 956像素,無法直接用于訓(xùn)練目標(biāo)檢測框架,為減小運(yùn)算量、加快訓(xùn)練速度,在構(gòu)建數(shù)據(jù)集階段,將圖像長、寬各縮小一半,并裁剪圖像為1 024×1 024像素,裁剪步長為512像素。在裁剪過程中,如果待檢測樹木被裁為多個(gè)部分,則計(jì)算每部分與原始面積的比值:
(1)
式中,Ao為該樹包圍框的面積;ai為裁剪后各部分包圍框的面積,i取值為 (1,2)。如果Ui<0.7,則該部分標(biāo)記為困難樣本。數(shù)據(jù)集中原始圖像共95張,受災(zāi)樹木總數(shù)11 678株,裁剪后圖像共1 261張,其中訓(xùn)練集圖像947張、驗(yàn)證集圖像314張。
本研究采用待檢測目標(biāo)包圍框的高度評估圖像中目標(biāo)大小(Yangetal., 2016),并將目標(biāo)尺度劃分為50像素以下、50~300像素和300像素以上3類,50像素以下為小目標(biāo)。無人機(jī)森林圖像數(shù)據(jù)集和常見通用數(shù)據(jù)集中目標(biāo)大小占比如表2所示,無人機(jī)森林圖像數(shù)據(jù)集的目標(biāo)集中在0~50像素,相比通用數(shù)據(jù)集PASCAL VOC和MSCOCO其小目標(biāo)更多,可見通用目標(biāo)檢測模型并不適用于本研究數(shù)據(jù)集中小尺度受災(zāi)樹木檢測。
表2 不同數(shù)據(jù)集中目標(biāo)大小占比
圖2 SITD模型訓(xùn)練過程及基于SITD的森林蟲害監(jiān)測流程
針對無人機(jī)森林圖像中樹林尺度小、生長密集以及分布不規(guī)律等問題,本研究提出一種基于深度學(xué)習(xí)的小目標(biāo)樹木檢測方法(SITD)。SITD主要針對180~240 m拍攝高度的無人機(jī)圖像中尺度較小的受災(zāi)樹木,框架設(shè)計(jì)基于SSD。為提升模型對小目標(biāo)受災(zāi)樹木的識別和定位能力,框架結(jié)合默認(rèn)框優(yōu)化、特征金字塔和空洞卷積網(wǎng)絡(luò)等技術(shù),訓(xùn)練過程采用雙層損失函數(shù)以增強(qiáng)模型學(xué)習(xí)能力。檢測模型訓(xùn)練和監(jiān)測系統(tǒng)實(shí)現(xiàn)流程如圖2所示,分為訓(xùn)練階段和林區(qū)現(xiàn)場測試階段。
在訓(xùn)練階段,對訓(xùn)練圖像中檢測目標(biāo)的分類和位置進(jìn)行標(biāo)注后,將圖像和標(biāo)注數(shù)據(jù)輸入到SITD模型,通過網(wǎng)絡(luò)正向傳播,預(yù)測目標(biāo)是否為受災(zāi)樹木和該目標(biāo)包圍框坐標(biāo),再由損失函數(shù)計(jì)算人工標(biāo)注與預(yù)測類別和定位之間的誤差,通過網(wǎng)絡(luò)反向傳播進(jìn)行參數(shù)更新,多次迭代該過程,直到損失函數(shù)值穩(wěn)定,即完成受災(zāi)樹木檢測模型的訓(xùn)練。在測試集上進(jìn)行測試,將選出的最優(yōu)模型部署至移動圖形工作站。
在林區(qū)現(xiàn)場測試階段,現(xiàn)場系統(tǒng)包括無人機(jī)、連接安卓移動設(shè)備的無人機(jī)遙控器、部署檢測模型的移動圖形工作站和遠(yuǎn)端監(jiān)測服務(wù)器。首先,無人機(jī)在180~240 m高度巡航拍攝圖像,并通過局域網(wǎng)將圖像傳輸至遙控器上的安卓移動設(shè)備; 然后,傳輸至本地移動圖形工作站;調(diào)用工作站的受災(zāi)樹木檢測模型,檢測圖像中的小目標(biāo)受災(zāi)樹木,并統(tǒng)計(jì)受災(zāi)數(shù)量;最后將受災(zāi)數(shù)量、無人機(jī)拍攝GPS坐標(biāo)和拍攝時(shí)間等信息上傳至云服務(wù)器數(shù)據(jù)庫,位于森防站和實(shí)驗(yàn)室的遠(yuǎn)端監(jiān)測服務(wù)器可讀取數(shù)據(jù)庫信息,并在地圖上可視化受災(zāi)區(qū)域,展示受災(zāi)信息,完成無人機(jī)森林蟲害遠(yuǎn)程監(jiān)測過程。該系統(tǒng)可提升外業(yè)機(jī)組針對性,緊密結(jié)合外業(yè)機(jī)組和森防站工作, 提高林業(yè)有害生物監(jiān)測效率。
SSD300框架結(jié)構(gòu)如圖3a所示,輸入圖像分辨率為300×300像素,在基礎(chǔ)特征提取器VGG16(Renetal., 2015)后添加分辨率更小、語義特征更強(qiáng)的卷積層conv6_2、conv7_2、conv8_2,conv9_2,與VGG16的高層特征圖conv4_3、conv_fc7組成多尺度金字塔形預(yù)測模塊b1—b6,并以特征圖的每個(gè)單元為中心,生成不同尺寸默認(rèn)框,用于檢測不同大小的目標(biāo)。
SITD基于SSD框架,結(jié)構(gòu)如圖3b所示。為提升框架對小尺度目標(biāo)的檢測能力,保留VGG16的conv1_1—conv5_3,將fc6和fc7層轉(zhuǎn)化為卷積層,并將輸入圖像分辨率擴(kuò)大至640×640像素。同時(shí),為了盡可能利用網(wǎng)絡(luò)空間信息,保證生成默認(rèn)框覆蓋更多的小目標(biāo)樹木,SITD從conv3_3開始構(gòu)建預(yù)測模塊。受拍攝高度、鏡頭焦距和樹木冠幅約束,本研究數(shù)據(jù)集的樹木目標(biāo)尺寸范圍相對固定。如圖4a所示,特征圖b5、bM6默認(rèn)框尺寸遠(yuǎn)大于圖3b和圖4c中無人機(jī)圖像的樹木目標(biāo),因此SITD不再添加卷積層,選擇b1—b4(conv3_3、conv4_3、conv5_3,conv_fc7)構(gòu)建基礎(chǔ)預(yù)測模塊,對輸入圖像進(jìn)行第一次基礎(chǔ)預(yù)測,各層分辨率分別為160×160和80×80和40×40和20×20像素。
此外,本研究設(shè)計(jì)特征增強(qiáng)模塊,強(qiáng)化網(wǎng)絡(luò)對小目標(biāo)樹木的識別能力。將基礎(chǔ)特征圖b1—b4轉(zhuǎn)化為增強(qiáng)特征圖e1—e4,構(gòu)建增強(qiáng)預(yù)測模塊,進(jìn)行第二次增強(qiáng)預(yù)測。增強(qiáng)特征圖分辨率與對應(yīng)基礎(chǔ)特征圖相同,但包含更豐富的語義信息。訓(xùn)練過程結(jié)合2次預(yù)測,每次預(yù)測生成1組默認(rèn)框,測試過程只利用增強(qiáng)預(yù)測,以避免產(chǎn)生額外計(jì)算量。
圖3 SSD300和SITD框架結(jié)構(gòu)對比
默認(rèn)框生成設(shè)置如表3所示,其中默認(rèn)框生成步長決定相鄰默認(rèn)框在輸入圖像上的間隔。為保證網(wǎng)絡(luò)對小尺寸樹木的敏感性,根據(jù)相等比例間隔原則(Zhangetal., 2017),設(shè)置默認(rèn)框像素大小為步長的4倍,以保證不同尺寸樹木可匹配到的默認(rèn)框數(shù)近似相等。如圖4d所示,白色虛線框?yàn)槿斯?biāo)注框,黃色和藍(lán)色實(shí)線框?yàn)?個(gè)不同分辨率特征圖生成的默認(rèn)框,分別與不同尺寸樹木相匹配。當(dāng)默認(rèn)框?yàn)閚×n像素時(shí),步長為n/4; 當(dāng)默認(rèn)框?yàn)閚/2×n/2時(shí),步長為n/8,此時(shí)2株樹木均匹配到3個(gè)默認(rèn)框。增強(qiáng)特征圖e1—e4默認(rèn)框大小為16~128像素,相比同等級的增強(qiáng)特征圖,基礎(chǔ)特征圖用于分類的語義信息較少,但含有更多的空間信息,對小目標(biāo)位置更敏感,因此b1—b4默認(rèn)框設(shè)為e1—e4的0.5倍,范圍為8~64像素。由于無人機(jī)圖像中樹冠包圍框的長寬比近似為1,故設(shè)置特征圖每個(gè)單元格只對應(yīng)1個(gè)正方形默認(rèn)框,即長寬比為1。2組默認(rèn)框總數(shù)為68 000個(gè),可有效覆蓋圖中待檢測小尺度目標(biāo)。
圖4 不同基礎(chǔ)特征圖生成默認(rèn)框示意及默認(rèn)框在輸入圖像中分布對比
表3 基礎(chǔ)和增強(qiáng)預(yù)測模塊特征圖及默認(rèn)框?qū)傩?/p>
為豐富原始特征圖的語義信息,保證網(wǎng)絡(luò)對小目標(biāo)樹木精確定位的同時(shí)提高網(wǎng)絡(luò)識別能力,本研究設(shè)計(jì)一種結(jié)合特征金字塔網(wǎng)絡(luò)與空洞卷積的特征增強(qiáng)模塊。
特征金字塔網(wǎng)絡(luò)利用標(biāo)準(zhǔn)卷積和側(cè)面連接組成自頂向下結(jié)構(gòu),通過融合低層特征和上采樣后的高層特征,使低層特征含有語義更強(qiáng)的高級特征。頂層b4特征層中目標(biāo)樹木較小,作為特征金字塔會產(chǎn)生較多噪聲,且模糊的小尺寸樹木與清晰的大尺寸樹木紋理特征差別較大,使用頂層特征增強(qiáng)小目標(biāo)檢測并不合理。因此,特征增強(qiáng)模塊利用低層特征金字塔網(wǎng)絡(luò) (low-level feature pyramid network,LFPN)(Tangetal., 2018)結(jié)構(gòu)方式,對特征圖b1—b3構(gòu)建特征金字塔。
相比普通卷積,空洞卷積(Chenetal., 2018)可在保證網(wǎng)絡(luò)參數(shù)量相等的前提下得到分辨率更高、語義信息更豐富的特征圖。故本研究在b1—b3特征金字塔網(wǎng)絡(luò)后構(gòu)建多分支空洞卷積網(wǎng)絡(luò),以增大網(wǎng)絡(luò)寬度、提高檢測準(zhǔn)確度。
圖5 特征增強(qiáng)模塊結(jié)構(gòu)
b1—b3的特征增強(qiáng)模塊結(jié)構(gòu)如圖5所示。首先對基礎(chǔ)特征圖bi+1進(jìn)行1×1卷積,輸出通道數(shù)為Ci;然后對該特征圖進(jìn)行上采樣,擴(kuò)大分辨率至B×B,并與1×1卷積平滑后的bi逐像素點(diǎn)相加得到融合特征圖;接著將融合特征圖送入多分支空洞卷積網(wǎng)絡(luò),空洞卷積次數(shù)分別為0、1、2,卷積核k為3,步長s為1,膨脹系數(shù)d為2,輸入通道數(shù)為Ci,輸出分別為256、128、128; 最后拼接各分支輸出,生成通道數(shù)為512的增強(qiáng)特征圖ei。b4的特征增強(qiáng)模塊只采用多分支空洞卷積網(wǎng)絡(luò)。
SITD模型訓(xùn)練采用雙層損失函數(shù)(L),即基礎(chǔ)預(yù)測損失函數(shù) (Lb)與增強(qiáng)預(yù)測損失函數(shù) (Le)的加和:
L=Lb+Le。
(2)
Lb和Le為基于默認(rèn)框的多任務(wù)損失函數(shù)(Liuetal., 2016),由分類損失 (Lc)和位置損失 (Ll)組成:
(3)
(4)
Lloc為預(yù)測框與標(biāo)注框之間的smoothL1損失(Ross, 2015),定義為:
(5)
式中:(x,y)、w和h分別為包圍框的中心坐標(biāo)、寬和高。
分類損失Lconf為背景與受災(zāi)樹木間的softmax損失,定義為:
(6)
背景分類記為0,受災(zāi)樹木分類記為1。
本研究訓(xùn)練模型的深度學(xué)習(xí)服務(wù)器安裝Ubuntu 16.04 64位系統(tǒng),使用PyTorch深度學(xué)習(xí)開源框架,服務(wù)器搭載Intel CPU (64 GB 內(nèi)存)NVIDIA GTX 1080TI GPU (11GB 顯存)。訓(xùn)練階段設(shè)置初始學(xué)習(xí)率為0.001,批量大小為8,選擇動量為0.9的隨機(jī)梯度下降算法進(jìn)行優(yōu)化。模型共訓(xùn)練150輪,學(xué)習(xí)率在120輪下降為原來的0.1倍。數(shù)據(jù)擴(kuò)充方法與SSD目標(biāo)檢測框架相同。
測試階段采用PASCAL VOC標(biāo)準(zhǔn)的平均查準(zhǔn)率 (average precision,AP)評價(jià)受災(zāi)樹木檢測精確度。AP是深度學(xué)習(xí)目標(biāo)檢測通用評價(jià)指標(biāo),可評價(jià)分類和定位準(zhǔn)確率,分類即判斷預(yù)測是否為受災(zāi)樹木,定位即判斷模型預(yù)測框與人工標(biāo)注框之間的IoU是否符合要求。AP為召回率(Recall)和精確率 (Precision)曲線下的面積(Everinghametal., 2015),精確率和召回率定義為:
(7)
(8)
式中:Tp為檢測結(jié)果中的真正類 (true positive)個(gè)數(shù),即預(yù)測框與標(biāo)注框類別相同且IoU > 0.5;Nd為非極大值抑制后檢測框個(gè)數(shù);Ng為標(biāo)注框個(gè)數(shù)。
不同檢測模型在無人機(jī)森林圖像數(shù)據(jù)集上的檢測精確度如表4所示。模型0、1的預(yù)測模塊均使用基礎(chǔ)特征圖,模型1只保留b1—b4,以減少運(yùn)算量和參數(shù)量,測試AP為90.42%,相比模型0幾乎沒有降低。模型2加入特征增強(qiáng)模塊,預(yù)測模塊采用增強(qiáng)特征圖e1—e4,比模型1測試AP提高0.5%。模型3采用雙預(yù)測模塊,AP提高至92.62%。模型4以ResNet101為基礎(chǔ)特征提取器,相比模型3測試AP降低0.33%,原因可能如下: 1) ResNet101第一個(gè)卷積層下采樣操作導(dǎo)致網(wǎng)絡(luò)丟失部分空間信息,降低了網(wǎng)絡(luò)對小目標(biāo)的檢測能力。2) ResNet101使用批歸一化 (batch normalization,BN)(Ioffeetal., 2015),而BN的性能依賴于批量大小 (通常為32),批量減小將增大BN預(yù)測誤差(Wuetal., 2018),ResNet101訓(xùn)練需大顯存。本試驗(yàn)受服務(wù)器顯存限制,在模型4訓(xùn)練過程中批量最大為4,從而導(dǎo)致測試AP較低。
表4 不同SITD檢測模型的測試AP
SITD和已有目標(biāo)檢測框架在無人機(jī)森林圖像數(shù)據(jù)集上的Precision-Recall曲線如圖6所示。各檢測框架基礎(chǔ)特征提取器均為VGG16,訓(xùn)練批量為8,后綴300和512表示輸入圖像大小分別為300×300像素和512×512像素。在SSD300、SSD512、FSSD512和RFBNet512檢測框架中,RFBNet512框架表現(xiàn)最好,在數(shù)據(jù)集上的測試AP為71.81%,SITD框架的測試AP比RFBNet提高21.51%,比SSD300提高69.71%。由此可見,相較于面向通用數(shù)據(jù)集的目標(biāo)檢測框架,更適用于無人機(jī)圖像中的小目標(biāo)樹木檢測。
完整無人機(jī)森林圖像中樹木密度較大,且生長在坡地的樹木圖像邊緣存在畸變。圖7a、b所示為受災(zāi)樹木分布密集區(qū)域檢測結(jié)果,SITD框架可準(zhǔn)確識別和定位其中單株受災(zāi)樹木。此外SITD框架對區(qū)域1中位于圖像邊緣的側(cè)視受災(zāi)樹木也有較高檢測能力,可準(zhǔn)確辨別較大樹木的樹枝和較小樹木(圖7c)。綜上,SITD框架能夠?qū)崿F(xiàn)無人機(jī)森林圖像中受災(zāi)樹木的數(shù)量統(tǒng)計(jì)和定位。影響檢測精度的主要原因如下: 1) 特殊姿態(tài)的樹木由于訓(xùn)練樣本較少,不易檢測而導(dǎo)致漏檢,如圖7b所示,區(qū)域2中被漏檢的左右2株分別為已落葉枯死木倒伏木;2) 位于圖像邊緣的不完整樹木不易檢測而導(dǎo)致漏檢,如圖7d所示。
針對現(xiàn)有無人機(jī)森林圖像識別方法效率低、無法直接處理高分辨率圖像以及難以檢測生長密集、尺度較小的樹木等問題,本研究提出一種基于深度學(xué)習(xí)的小目標(biāo)受災(zāi)樹木檢測方法(SITD)。SITD框架在SSD目標(biāo)檢測框架基礎(chǔ)上增大輸入圖像和分辨率,從conv3_3開始構(gòu)建預(yù)測模塊,精簡基礎(chǔ)特征圖為b1—b4,并優(yōu)化特征圖的默認(rèn)框生成方式; 此外,通過特征增強(qiáng)模塊將基礎(chǔ)特征圖轉(zhuǎn)化為增強(qiáng)特征圖,在模型訓(xùn)練中結(jié)合基礎(chǔ)特征圖進(jìn)行2次預(yù)測,生成2組默認(rèn)框; 模型訓(xùn)練采用雙層損失函數(shù),以提升網(wǎng)絡(luò)的特征學(xué)習(xí)能力。
相比已有利用圖像顏色特征(呂曉君等, 2016)檢測受災(zāi)樹木的方法,SITD無需人工目視判斷樹木受災(zāi)情況,且可準(zhǔn)確區(qū)分顏色相近的道路、裸地和屋頂?shù)雀蓴_因素。同時(shí),利用圖像分析技術(shù)(費(fèi)運(yùn)巧等, 2017b)進(jìn)行受災(zāi)樹木檢測,需針對不同試驗(yàn)數(shù)據(jù)設(shè)計(jì)算法,耗時(shí)較久,且該技術(shù)對無人機(jī)圖像中小尺度目標(biāo)識別和定位效果較差,通常只能分割受災(zāi)區(qū)域,難以定位受災(zāi)單株。而SITD可面向不同數(shù)據(jù),無需進(jìn)行大量圖像預(yù)處理,結(jié)合移動圖形工作站可實(shí)現(xiàn)林區(qū)現(xiàn)場受災(zāi)樹木實(shí)時(shí)檢測,極大縮短了森林蟲害監(jiān)測流程;此外,與目前通用的深度學(xué)習(xí)目標(biāo)檢測框架相比,SITD檢測準(zhǔn)確度提升較大,可更為精確地識別和定位小尺度受災(zāi)單株。
SITD只能識別是否受災(zāi),無法對受災(zāi)等級進(jìn)行分類;且除蟲害外,干旱、病害等其他因素也可造成松樹顏色變化。因此,下一步究將圍繞樹木受災(zāi)階段及不同災(zāi)害原因分類識別展開。
本研究基于深度學(xué)習(xí)目標(biāo)檢測方法,提出一種面向高分辨率無人機(jī)森林圖像的小目標(biāo)受災(zāi)樹木檢測框架(SITD),該框架平均查準(zhǔn)率達(dá)92.62%,相比原始SSD300框架提升69.71%,可快速、準(zhǔn)確地對小目標(biāo)受災(zāi)樹木進(jìn)行檢測,與已有無人機(jī)森林圖像檢測方法相比具有明顯優(yōu)勢,結(jié)合無人機(jī)機(jī)組林區(qū)現(xiàn)場巡航、云服務(wù)器數(shù)據(jù)庫存儲和地圖可視化等技術(shù),能夠簡化林業(yè)有害生物監(jiān)測流程,提升對森林蟲害的預(yù)警能力。