李博 姚黎帆 王廣彪 張芳芳

摘 ?要：松材線蟲病是一種傳播速度快的毀滅性森林病害，及時(shí)識(shí)別、處置染病變色疫木是控制該病擴(kuò)散蔓延的主要手段。該文研究了利用RetinaNet算法自動(dòng)識(shí)別無人機(jī)遙感影像上的松材線蟲病變色疫木，并將注意力機(jī)制引入到主干特征提取網(wǎng)絡(luò)以減少背景對(duì)檢測(cè)效果的影響，提高特征提取能力。結(jié)果表明，改進(jìn)后的RetinaNet算法平均精度為97.2%，單張影像測(cè)試時(shí)間為17 ms，表現(xiàn)優(yōu)于Fasterr R-CNN、SSD和RetinaNet?；谘芯砍晒瑢?duì)嶗山區(qū)林地進(jìn)行疫木航拍圖像檢測(cè)，實(shí)地抽檢準(zhǔn)確率達(dá)到98%。

關(guān)鍵詞：深度學(xué)習(xí)；RetinaNet；無人機(jī)；注意力機(jī)制；松材線蟲病

中圖分類號(hào)：TP391 ? 文獻(xiàn)標(biāo)志碼：A ? 文章編號(hào)：2096-4706（2023）14-0071-05

Detection of Wilt Wood Caused by Pine Wood Nematode Disease Based on Improved RetinaNet and Unmanned Aerial Vehicle Images

LI Bo1， YAO Lifan2， WANG Guangbiao1， ZHANG Fangfang1

（1.Qingdao Research Institute of Beihang University， Qingdao ?266000， China;

2.QingDao Aerospace Walker Science and Technology Co.， Ltd.， Qingdao ?266100， China）

Abstract： Pine wood nematode disease is a fast-spreading and destructive forest disease. Hence， identification and removal of the affected pines are important to control the disease. This paper researches to use RetinaNet algorithm to automatically identify pine wood on UAV remote sensing images， and introduce the attention mechanism into the backbone feature extraction network to reduce the influence of background on the detection effect and improve the feature extraction ability. The results show that the mean accuracy of the improved RetinaNet algorithm is 97.2%， the testing time of per image is 17 ms， and the improved algorithm performs better than Fasterr R-CNN， SSD and RetinaNet. Based on the results of this research， pine forest in LaoShan district is monitored for pine wood nematode disease， and the accuracy rate of spot check reaches 99%.

Keywords： deep learning; RetinaNet; UAV; attention mechanism; pine wood nematode disease

0 ?引 ?言

松樹因生命力頑強(qiáng)，對(duì)環(huán)境適應(yīng)能力強(qiáng)，很容易養(yǎng)護(hù)，在我國(guó)的分布范圍很廣。松材線蟲病是一種對(duì)松樹危害極大的森林病害，根據(jù)資料，松樹染病后40天即可死亡，松林染病后3～5個(gè)月即可毀滅，被稱為“無煙的森林火災(zāi)”。據(jù)國(guó)家林業(yè)和草原局2022年第6號(hào)松材線蟲病疫區(qū)公告，迄今松材線蟲病已廣泛分布于我國(guó)大陸的19個(gè)?。ㄊ?、自治區(qū)），而在2021年僅有17個(gè)省。多年的松材線蟲防控經(jīng)驗(yàn)表明，松材線蟲的防控工作具有長(zhǎng)期性、艱巨性和復(fù)雜性的特點(diǎn)，而第一時(shí)間發(fā)現(xiàn)疫情并進(jìn)行有效處置是防控的關(guān)鍵所在。

從松材線蟲防控的處理流程上來說，對(duì)松材線蟲病疫情的監(jiān)控是第一個(gè)環(huán)節(jié)，也是最為重要的環(huán)節(jié)。能否高效、迅速地發(fā)現(xiàn)病疫松樹，尤其是對(duì)大面積的松林完成監(jiān)測(cè)，是后續(xù)松材線蟲疫情處置的前提所在。傳統(tǒng)的松材線蟲病疫情監(jiān)測(cè)主要以人工地面調(diào)查為主，但受松林所在山地大多山高、路陡、林密，作業(yè)環(huán)境非常惡劣，僅依靠人工進(jìn)行監(jiān)測(cè)，效率低、成本高，且容易發(fā)生遺漏等現(xiàn)象。隨著無人機(jī)技術(shù)的快速發(fā)展，特別是航拍設(shè)備性能的不斷提高、價(jià)格不斷降低，利用無人機(jī)遙感來監(jiān)測(cè)松材線蟲病蟲害逐漸成了一種既經(jīng)濟(jì)又高效的方式[1]。早期，利用無人機(jī)遙感監(jiān)測(cè)松材線蟲病疫木，主要依靠人工目視和經(jīng)驗(yàn)知識(shí)來識(shí)別提取病疫木的位置信息[2，3]，這是利用無人機(jī)來替代了外業(yè)調(diào)查，而將地面調(diào)查轉(zhuǎn)變成了內(nèi)業(yè)人工判讀。雖然較傳統(tǒng)的人工地面調(diào)查效率要高很多，但對(duì)于大面積的松林監(jiān)測(cè)，其周期還是比較長(zhǎng)。隨著無人機(jī)遙感技術(shù)在松材線蟲病疫木監(jiān)測(cè)上的應(yīng)用，可服務(wù)于松材線蟲病疫木的低空遙感監(jiān)測(cè)技術(shù)要求被提出，并給出了主要工作流程，為規(guī)范松材線蟲病的無人機(jī)遙感監(jiān)測(cè)服務(wù)奠定了基礎(chǔ)[4]。隨著深度學(xué)習(xí)的出現(xiàn)，特別是深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)上的優(yōu)異效果，有學(xué)者將其應(yīng)用在松材線蟲病疫木的無人機(jī)遙感影像識(shí)別中。Deng等[5]，黃華毅等[6]利用Faster R-CNN算法對(duì)病疫木進(jìn)行檢測(cè)，其正確率可達(dá)90%。汪晨等[7]等利用YOLOv3算法進(jìn)行病疫木檢測(cè)，準(zhǔn)確率為84.8%，雖然其準(zhǔn)確率較Faster R-CNN算法要低，但YOLOv3屬于無區(qū)域建議算法（又稱“one-stage detector”），較Faster R-CNN算法（屬于區(qū)域建議算法，又稱“two-stage detector”）的運(yùn)算速度快，耗時(shí)短。劉世川等[8]利用VGG算法對(duì)病疫木進(jìn)行識(shí)別，其識(shí)別準(zhǔn)確率為85.45%。

雖然深度學(xué)習(xí)在松材線蟲病疫木的無人機(jī)遙感檢測(cè)應(yīng)用，理論上提高了疫木的監(jiān)測(cè)效率，但受檢測(cè)準(zhǔn)確率的影響，還無法在工程上得到有效應(yīng)用，而且如何平衡無區(qū)域建議算法和區(qū)域建議算法的運(yùn)算時(shí)間和準(zhǔn)確性也是一個(gè)亟待解決的問題。隨著深度學(xué)習(xí)技術(shù)的深入發(fā)展，RetinaNet算法被提出，這個(gè)算法在保留無區(qū)域建議算法運(yùn)算速度快、耗時(shí)短的基礎(chǔ)上，檢測(cè)精度也提高到區(qū)域建議算法的精度水平。本文基于RetinaNet算法，將注意力機(jī)制引入到主干特征提取網(wǎng)絡(luò)，使網(wǎng)絡(luò)的注意力集中在松樹樹冠，濾除背景等無關(guān)信息的影響。實(shí)驗(yàn)表明，該算法能夠有效提高松材線蟲病死疫木的檢測(cè)精度，使得大面積的松林監(jiān)測(cè)任務(wù)能夠在短時(shí)間內(nèi)迅速完成。

1 ?研究方法

1.1 ?RetinaNet算法

RetinaNet算法于2017年由Lin等[9]為了驗(yàn)證Focal Loss的有效性而提出的，該算法解決了極度不平衡的正負(fù)樣本比例導(dǎo)致one-stage檢測(cè)器精度低于two-stage檢測(cè)器的問題，第一次one-stage算法在檢測(cè)精度上可以和two-stage算法相當(dāng)。RetinaNet目標(biāo)檢測(cè)算法整體結(jié)構(gòu)如圖1所示。

RetinaNet算法整體分為三部分，主干網(wǎng)絡(luò)ResNet、特征金字塔（Feature Pyramid Networks， FPN）、分類子網(wǎng)絡(luò)和回歸子網(wǎng)絡(luò)。主干網(wǎng)絡(luò)采用ResNet50，輸出為C3、C4、C5三個(gè)尺度的特征圖。特征金字塔（FPN）接收上述三個(gè)尺度的特征圖，并將其進(jìn)行特征融合。首先將得到的特征圖分別通過1 × 1卷積調(diào)整通道為256，得到F3，F(xiàn)4，F(xiàn)5。F5分成兩路，一路直接通過3 × 3卷積輸出P5特征層，F(xiàn)5的另一路通過上采樣，與F4相加融合后也分為兩路，一路直接經(jīng)過3 × 3卷積輸出P4特征層；另一路繼續(xù)上采樣，與F3相加融合，經(jīng)過3 × 3卷積輸出P3。引入FPN可以很好地融合多尺度信息，其中的上采樣操作能夠很好地融合深層和淺層的語(yǔ)義信息。最后是目標(biāo)的分類和框的回歸，通過分類子網(wǎng)絡(luò)和回歸子網(wǎng)絡(luò)，輸出目標(biāo)的位置和類別。

1.2 ?改進(jìn)RetinaNet算法

為了減少松林航拍圖像中背景對(duì)檢測(cè)效果的影響，提高RetinaNet主干特征提取網(wǎng)絡(luò)的特征提取能力，將注意力機(jī)制引入RetinaNet算法的主干網(wǎng)絡(luò)。注意力機(jī)制[10]是模仿人類看待事物的方式，即把注意力集中在信息的顯著部分，從而快速提取到高價(jià)值信息。利用無人機(jī)航拍得到的松林正射影像背景復(fù)雜，既包括裸露的土地，還有山上的巖石等，多余的噪聲會(huì)影響算法的收斂性，以致回歸不準(zhǔn)確。在卷積神經(jīng)網(wǎng)絡(luò)中，CBAM（Convolutional Block Attention Module）是一種結(jié)合了空間和通道的注意力機(jī)制模塊，如圖2所示。

通道注意力模塊：通道注意力模塊是關(guān)注圖片中重要的部分。將輸入的特征映射在空間緯度進(jìn)行壓縮，獲得一維矢量。在空間緯度上執(zhí)行壓縮時(shí)，不僅要考慮到平均值池化，還要考慮最大值池化。平均值池化是對(duì)特征圖上的每個(gè)像素都有反饋，而最大值池化只對(duì)特征圖上響應(yīng)最大的地方產(chǎn)生梯度反饋，如圖3所示。

空間注意力模塊：空間注意力模塊是注意“哪里”是信息量最大的部分，綜合平衡平均池化和最大值池化，在通道緯度上進(jìn)行壓縮。MaxPool的操作是提取通道上的最大值，次數(shù)為特征圖高和寬的乘積；AvgPool的操作是提取通道上的平均值，次數(shù)也是高和寬的乘積；然后將所提取的特征圖（通道數(shù)都為1）結(jié)合起來，進(jìn)而得到一個(gè)通道數(shù)為2的特征圖，如圖4所示。

本文利用CBAM（Convolutional Block Attention Module）模塊對(duì)RetinaNet主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，使得特征提取時(shí)將注意力集中于病死疫木，然后再將所提取得到的信息傳入特征金字塔FPN。改進(jìn)后的RetinaNet算法更關(guān)注前景像素，有利于算法的收斂。改進(jìn)后的算法結(jié)構(gòu)如圖5所示。

2 ?實(shí)驗(yàn)與分析

2.1 ?數(shù)據(jù)獲取

研究區(qū)域位于山東省青島市嶗山區(qū)，嶗山區(qū)現(xiàn)有林地面積33.9萬畝，其中松林面積近25萬畝，是嶗山區(qū)的主要樹種。2021年9月，在夏末秋初松材線蟲病高發(fā)期，受相關(guān)政府部門委托，利用無人機(jī)搭載SONY ILCE-6000相機(jī)對(duì)研究區(qū)范圍進(jìn)行航拍，共歷時(shí)7天，執(zhí)行95個(gè)作業(yè)架次，飛行面積達(dá)到368平方千米。針對(duì)嶗山區(qū)海拔高度變化大的特點(diǎn)，基于嶗山地勢(shì)地貌，組合使用多旋翼無人機(jī)和固定翼無人機(jī)，有效地保證了航拍的精度。航拍影像經(jīng)糾正配

準(zhǔn)，生成正射影像，固定翼無人機(jī)航拍空間分辨率優(yōu)于0.1 m，多旋翼無人機(jī)航拍空間分辨率優(yōu)于0.06 m，數(shù)據(jù)格式為tiff，可見光3波段組成，位深為8位整型。

2.2 ?數(shù)據(jù)處理

分析研究區(qū)域的航拍影像并結(jié)合實(shí)地調(diào)查，可以發(fā)現(xiàn)感染了松材線蟲病的松樹在航拍圖像上與健康的松樹存在明顯差異，顏色呈黃褐色和紅褐色。采用人工目視解譯的方式，對(duì)部分拍攝區(qū)域影像進(jìn)行判識(shí)和裁剪，并使用LaelImg軟件標(biāo)注裁剪后的影像圖片，共獲得包括6 035張標(biāo)注圖的樣本集。按照9：1的比例將樣本集進(jìn)行劃分，其中訓(xùn)練集5 430張和驗(yàn)證集605張。為進(jìn)一步擴(kuò)充樣本集，采用幾何變換、顏色變換等方法對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)擴(kuò)增。幾何變換是指在平面內(nèi)幾何圖形的移動(dòng)、旋轉(zhuǎn)、縮放等操作。它可以使圖形的形狀、大小或位置發(fā)生變化，但不改變其幾何性質(zhì)；顏色變換是指在色彩空間中對(duì)圖像的顏色進(jìn)行調(diào)整，常見的顏色變換包括亮度、對(duì)比度、色溫、色相等調(diào)整。

根據(jù)松材線蟲病疫木的特點(diǎn)，本文主要采用幾何變換的方式來擴(kuò)增數(shù)據(jù)集。主要方法如下：

1）對(duì)樣本集中的圖像以中心點(diǎn)為中心進(jìn)行旋轉(zhuǎn)，旋轉(zhuǎn)角度在0°～45°之間隨機(jī)選取。

2）對(duì)樣本集中的圖像在水平和垂直方向進(jìn)行平移，平移距離按照?qǐng)D像寬度和高度的0%～20%隨機(jī)選取。

按照1：5的比例對(duì)樣本集進(jìn)行上述處理，暨使訓(xùn)練樣本數(shù)量擴(kuò)大5倍，共得到30 175張訓(xùn)練樣本。部分訓(xùn)練集和驗(yàn)證集的樣本圖像如圖6所示。

2.3 ?實(shí)驗(yàn)測(cè)試結(jié)果

為了驗(yàn)證本文提出的注意力機(jī)制優(yōu)化RetinaNet方法的有效性，分別與SSD算法、Faster R-CNN算法進(jìn)行比較，選用準(zhǔn)確率P（Precision）、召回率R（Recall）和平均精度（Average Precision）作為評(píng)價(jià)指標(biāo)。

2.3.1 ?評(píng)價(jià)指標(biāo)

準(zhǔn)確率P（Precision）與召回率R（Recall）的計(jì)算式是由TP（True Positive）、FP（False Positive）、FN（False Negative）構(gòu)成的。其中，TP表示識(shí)別為正樣本，實(shí)際也是正樣本的數(shù)量。FP表示識(shí)別為正樣本，實(shí)際卻是負(fù)樣本的數(shù)量。FN表示識(shí)別為負(fù)樣本，實(shí)際卻是正樣本的數(shù)量。準(zhǔn)確率和召回率的計(jì)算式分別為：

其中，Precision表示所識(shí)別出的正樣本與全部識(shí)別出樣本的比值，Recall表示所識(shí)別出的正樣本與所有正樣本的比值。

平均精度（AP）表示評(píng)價(jià)模型整體精度的重要指標(biāo)，計(jì)算式為：

2.3.2 ?算法對(duì)比

為了客觀地對(duì)算法進(jìn)行評(píng)價(jià)，使用同一工作站和前文所構(gòu)建的數(shù)據(jù)集，將改進(jìn)的RetinaNet算法與Faster R-CNN、SSD和RetinaNet進(jìn)行對(duì)比，記錄每種算法的平均精度、訓(xùn)練時(shí)間、參數(shù)大小和測(cè)試時(shí)間。結(jié)果如表1所示。

3 ?結(jié) ?論

本研究通過使用無人機(jī)獲取嶗山區(qū)松林無人機(jī)影像數(shù)據(jù)，結(jié)合基于改進(jìn)的RetinaNet深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)因松材線蟲病變色疫木進(jìn)行識(shí)別研究。研究表明，改進(jìn)的RetinaNet算法在準(zhǔn)確率、召回率、平均精度等幾個(gè)關(guān)鍵指標(biāo)上都已經(jīng)超過RetinaNet、Faster R-CNN和SSD，在檢測(cè)速度上要優(yōu)于Faster R-CNN，但略遜于RetinaNet和SSD，但如果進(jìn)一步提升運(yùn)算服務(wù)器的性能，耗時(shí)的差異是可以得到一定的彌補(bǔ)。實(shí)驗(yàn)證明，將注意力機(jī)制引入到RetinaNet算法，可以有效提升算法性能，提高識(shí)別精度，取得較好的識(shí)別結(jié)果。基于該算法，對(duì)青島市嶗山區(qū)33.9萬畝林地進(jìn)行了松材線蟲病疫情監(jiān)測(cè)，僅用7天完成了從航拍到疫木定位全流程，實(shí)地抽檢準(zhǔn)確率達(dá)到98%。

參考文獻(xiàn)：

[1] 張紅梅，陸亞剛.無人機(jī)遙感技術(shù)國(guó)內(nèi)松材線蟲病監(jiān)測(cè)研究綜述 [J].華東森林經(jīng)理，2017，31（3）：29-32.

[2] 李衛(wèi)正，申世廣，何鵬，等.低成本小型無人機(jī)遙感定位病死木方法 [J].林業(yè)科技開發(fā)，2014，28（6）：102-106.

[3] 施悅謀.淺談無人機(jī)監(jiān)測(cè)松材線蟲病的應(yīng)用實(shí)踐 [J].浙江農(nóng)業(yè)科學(xué)，2020，61（7）：1407-1409.

[4] 武紅敢，王成波，常原飛.變色立木的無人機(jī)遙感監(jiān)測(cè)技術(shù) [J].中國(guó)森林病蟲，2019，38（4）：29-32+37.

[5] DENG X L，TONG Z J，LAN Y B，et al. Detection and Location of Dead Trees with Pine wilt Disease Based on Deep Learning and UAV Remote Sensing [J].AgriEngineering，2020，2（2）：294-307.

[6] 黃華毅，馬曉航，扈麗麗，等.Fast R-CNN深度學(xué)習(xí)和無人機(jī)遙感相結(jié)合在松材線蟲病監(jiān)測(cè)中的初步應(yīng)用研究 [J].環(huán)境昆蟲學(xué)報(bào)，2021，43（5）：1295-1303.

[7] 汪晨，張輝輝，樂繼旺，等.基于深度學(xué)習(xí)和遙感影像的松材線蟲病疫松樹目標(biāo)檢測(cè) [J].南京師大學(xué)報(bào)：自然科學(xué)版，2021，44（3）：84-89.

[8] 劉世川，王慶，唐晴，等.基于多特征提取與注意力機(jī)制深度學(xué)習(xí)的高分辨率影像松材線蟲病樹識(shí)別 [J].林業(yè)工程學(xué)報(bào)，2022，7（1）：177-184.

[9] LIN T Y，GOYAL P，GIRSHICK R，et al. Focal Loss for Dense Object Detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.

[10] YANN L C，BENGIO Y，HINTON G. Deep Learning [J].Natrue，2015，521：436-444.

作者簡(jiǎn)介：李博（1978.02—），男，漢族，遼寧沈陽(yáng)人，工程師，博士，研究方向：圖像處理、人工智能。