徐衍向，張敬智，蘭玉彬，3，孫越梅，韓鑫，白京波

(1. 山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院,山東淄博,255000;2. 山東思遠(yuǎn)農(nóng)業(yè)開發(fā)有限公司,山東淄博,255400; 3. 山東省農(nóng)業(yè)航空智能裝備工程技術(shù)研究中心,山東淄博,255000)

0 引言

農(nóng)作物病害是作物生產(chǎn)中最嚴(yán)重的自然災(zāi)害,細(xì)菌、真菌、病毒等的微生物等的入侵造成的作物損壞及其經(jīng)濟(jì)損失數(shù)額巨大,且一年四季均有發(fā)生,因此作物早期病害的識(shí)別就顯得尤為重要[1]。

作物病害的侵染分為侵入前期、侵入期、潛育期和發(fā)病期四個(gè)時(shí)期。病原物與其侵染植物最初的相互作用在侵入前期,對其自身的侵染和后續(xù)的擴(kuò)散有著直接影響,因此侵入前期是阻止病害發(fā)展的最佳時(shí)期。但在病害侵染之前,作物不會(huì)啟動(dòng)防御機(jī)制,無法用紅外熱成像技術(shù)進(jìn)行預(yù)防性病害防控作業(yè),直到潛育期病原物才從與寄主建立寄生關(guān)系逐步過渡到開始表現(xiàn)明顯的癥狀,病原菌在這時(shí)期從寄主體內(nèi)汲取影響,寄主啟動(dòng)相應(yīng)的防御機(jī)制,但人們在肉眼上無法直接觀察到,故可在潛育期進(jìn)行作物的早期病害檢測,通過提早識(shí)別染病植物,進(jìn)行農(nóng)藥的局部噴灑,抑制病菌的早期生長,進(jìn)而減少后續(xù)農(nóng)藥的使用。一旦進(jìn)入發(fā)病期,該病就會(huì)迅速傳播,導(dǎo)致防治難度家大、成本增高。因此,病害的早期識(shí)別檢測于病害的識(shí)別預(yù)防具有重要意義。

早期的作物檢測方法包括專家鑒定法,分離培養(yǎng)檢測法和血清檢測法[2],前者容易造成主觀誤判,后兩者會(huì)對作物的結(jié)構(gòu)造成破壞,不易用于大田作物病害檢測。隨著人工智能的發(fā)展,機(jī)器視覺等越來越多被應(yīng)用于農(nóng)業(yè)領(lǐng)域[3],尤其是機(jī)器學(xué)習(xí)深度學(xué)習(xí)越來越多的應(yīng)用于病害檢測的領(lǐng)域,能夠幫助克服人工誤判、依賴專家經(jīng)驗(yàn)、耗費(fèi)大等缺點(diǎn),解決了病害識(shí)別的問題。隨著紅外熱成像技術(shù),高光譜技術(shù)[4]及X光檢測技術(shù)等都用于作物病害的早期檢測,隨著機(jī)器學(xué)習(xí)和紅外熱成像技術(shù),機(jī)器視覺和紅外熱成像在安全、醫(yī)學(xué)和電力等領(lǐng)域進(jìn)行了許多的應(yīng)用,在農(nóng)業(yè)病害識(shí)別等方面也進(jìn)行了不少的研究,但因環(huán)境的影響和紅外熱成像技術(shù)本身的分辨率和靈敏度等的局限性,在復(fù)雜環(huán)境下應(yīng)用尚不成熟。本文首先介紹了紅外熱成像和機(jī)器學(xué)習(xí)的工作原理和以深度學(xué)習(xí)為代表的識(shí)別技術(shù)和以紅外熱成像為代表的圖像檢測技術(shù)在病害檢測上的應(yīng)用,然后介紹了兩種技術(shù)相結(jié)合用于改善紅外熱圖像質(zhì)量和監(jiān)測作物病害,最后進(jìn)行問題分析和研究展望并得出結(jié)論。

1 基于紅外熱成像技術(shù)的作物早期病害檢測

1.1 紅外熱成像技術(shù)的作物早期病害檢測機(jī)制

1.1.1 紅外熱成像原理

紅外熱成像技術(shù)是利用物體自身各部分之間的差異性,把自身發(fā)出且肉眼不可見的紅外輻射轉(zhuǎn)化成可見的熱圖像技術(shù)[5]?？梢詸z測到作物的溫度變化,從而實(shí)現(xiàn)作物的無損檢測。主要設(shè)備為熱成像儀,成像原理如圖1所示。

簡單來說,紅外熱像儀的工作原理就是把物體自身發(fā)出的紅外輻射轉(zhuǎn)變?yōu)榭梢姷臒釄D像。熱圖像的信息可以通過不同的顏色來表示不同的溫度傳達(dá)出來,而且紅外輻射可由所有溫度高于絕對零度(-273 ℃)的物體發(fā)出,部分病害的發(fā)生會(huì)影響到氣孔和蒸騰作用進(jìn)而影響到其溫度,且沒有直接接觸,因此可利用紅外熱像儀進(jìn)行物體的無損檢測。隨著技術(shù)的發(fā)展,熱成像技術(shù)在葉片表皮導(dǎo)度、氣孔導(dǎo)度、蒸騰作用等與作物葉片溫度有關(guān)的方面得到了廣泛的研究[6-8]。

紅外熱成像技術(shù)的優(yōu)點(diǎn)如下:(1)檢測方式為非接觸式,影響因素減少,準(zhǔn)確率高,可進(jìn)行無損檢測。(2)成像速度快,可以直觀地反映信息,便于病害的識(shí)別。(3)圖像可以進(jìn)行錄制和存儲(chǔ),且檢測成本低,便于對多次檢測結(jié)果進(jìn)行對照分析。

1.1.2 病害發(fā)生原理

作物病害根據(jù)病原的種類可分為侵染性病害和非侵染性病害兩大類,常規(guī)病害發(fā)生原理如圖2所示。

圖2 病害發(fā)生原理

當(dāng)病原體侵染作物時(shí),會(huì)在作物傷口處形成傷素和大量化學(xué)信使等,在經(jīng)過一連串的反應(yīng)后產(chǎn)生防御反應(yīng),通過防御反應(yīng)的產(chǎn)物來抑制或殺死病原體。例如作物可以通過控制氣孔來控制蒸騰作用,用來防御病害[9]。而防御作用下的生理指標(biāo)變化會(huì)影響作物葉片的溫度,從而引起自身輻射能量的變化,這種變化可以直接反映在紅外熱圖像中,來進(jìn)行作物早期病害的識(shí)別。

1.2 紅外熱成像技術(shù)在作物早期病害檢測中的研究進(jìn)展

1.2.1 國外研究進(jìn)展

在國外,將紅外熱成像應(yīng)用于農(nóng)業(yè)起步較早,在檢測細(xì)菌、病毒和真菌作為病原體感染的植物病害方面獲得了不少的成果[9-12],通過對于葉片表面溫度的檢測的方式來評估植物和病原體的相互作用。

近年來紅外熱成像已被用于病害檢測,如煙草花葉病[13-14]、黃瓜霜霉病[15]、葡萄霜霉病[16]、小麥白粉病和黑星斑病[17]等。2008年,Stoll等[18]研究發(fā)現(xiàn)利用熱紅外成像技術(shù)可在接種后3～4 d且肉眼無法觀測時(shí)檢測到葡萄霜霉病斑;2015年,Baranowski等[19]通過紅外熱成像儀檢測冬油菜感染病菌后的變化,發(fā)現(xiàn)染病葉片比健康葉片溫度高3.5 ℃,且即便在大面積種植時(shí),也能發(fā)現(xiàn)染病區(qū)域溫度的明顯差異;2015年,Rispail等[20]發(fā)現(xiàn)在控制的環(huán)境下敏感種在尖孢鐮刀菌侵染后表面葉溫度的顯著升高至少0.5 ℃,而抗性種質(zhì)溫度保持在控制水平,發(fā)現(xiàn)可用紅外熱成像技術(shù)來進(jìn)行優(yōu)質(zhì)品種的篩選;2016年,Kim等[21]發(fā)現(xiàn)在紅外熱圖像中感染煙煤病后葉片溫度健康區(qū)域和染病區(qū)的平均溫度分別為26.98 ℃和28.44 ℃,表明染病區(qū)的平均溫度明顯高于健康區(qū)域);2019年,Wang等[22]使用熱成像作為估計(jì)作物水分脅迫方法,表明接種病菌后1～7天,只有大溫差(p≤0.01)和冠層溫度(p≤0.05)參數(shù)與病害感染顯著相關(guān),可用于預(yù)測小麥真菌感染的發(fā)作。

1.2.2 國內(nèi)研究進(jìn)展

國內(nèi)起步較晚,但是發(fā)展迅速,在檢測作物水分脅迫、凍害檢和病蟲害檢測發(fā)揮了重要作用,在農(nóng)業(yè)方面被廣泛用于提前感知作物病害等不但有加強(qiáng)了作物的管理,也有利于篩選更優(yōu)秀的突變體。在煙草花葉病[23]、番茄花葉病[24]和小麥條銹病[25]等病害的識(shí)別也獲得了不少成果。2000年,江濤[26]研究發(fā)現(xiàn)利用高分辨率紅外視頻攝像機(jī),可檢測到葉片感染病毒部分的溫度高于正常部分0.3 ℃～0.4 ℃;2007年,朱圣盼[27]利用紅外熱成像進(jìn)行番茄葉片性狀的早期檢測,發(fā)現(xiàn)感染葉片生理變化與溫度變化呈正相關(guān);2012年,徐小龍等[24]研究發(fā)現(xiàn)可在接種后3 d后檢測出感染番茄花葉病的番茄葉片比正常葉片高0.5 ℃～1.2 ℃;2014年,李小龍等[25]研究發(fā)現(xiàn)可利用紅外熱成像識(shí)別出受到條銹病侵染但未顯癥的小麥植株。

2012年,Wang等[28]使用熱紅外相機(jī)檢測感染尖孢鐮刀菌的黃瓜葉片的發(fā)病機(jī)理,可以對土傳病害fusariumwilt的發(fā)展過程進(jìn)行非侵入性檢測和間接可視化,而且還可以揭示與水分狀況相關(guān)的某些內(nèi)部代謝過程。2019年,姚志鳳等[29]使用紅外熱成像檢測小麥條銹病,發(fā)現(xiàn)隨著接種天數(shù)的增加,接種病害的小麥植株冠層的平均溫度會(huì)逐漸降低,葉片間的最大溫差會(huì)不斷加大,可用來進(jìn)行小麥條銹病早期檢測。

綜上所述,紅外熱成像具有無損檢測、高靈敏度強(qiáng)預(yù)警性的特點(diǎn),可在肉眼發(fā)現(xiàn)之前提前感知感染區(qū)域與正常區(qū)域之間的變化,并且隨著農(nóng)業(yè)技術(shù)的發(fā)展,越來越多的研究者將紅外熱成像的靈敏度高、無損檢測等特點(diǎn)用于作物早期的病蟲害檢測。

2 基于機(jī)器學(xué)習(xí)的作物病害檢測

隨著計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)的發(fā)展,機(jī)器學(xué)習(xí)在物體識(shí)別方面取得了重大的進(jìn)展,近年來在農(nóng)業(yè)方面取得了不少的成就,尤其是深度學(xué)習(xí)方面。且深度學(xué)習(xí)對比普通的識(shí)別方法具有學(xué)習(xí)能力強(qiáng),覆蓋范圍廣、適應(yīng)性好等優(yōu)點(diǎn),在農(nóng)業(yè)方面被廣泛應(yīng)用于植物的病害檢測。

2.1 基于傳統(tǒng)的機(jī)器學(xué)習(xí)的作物病害檢測機(jī)制

傳統(tǒng)的機(jī)器學(xué)習(xí)主要依靠人工從原始數(shù)據(jù)中提取的特征,然后進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練完成分類,它的流程包括如圖3所示。

圖3 傳統(tǒng)機(jī)器學(xué)習(xí)的主要流程

可通過人工對輸入的數(shù)據(jù)進(jìn)行特征提取,后輸入到模型中進(jìn)行訓(xùn)練分類。機(jī)器學(xué)習(xí)有著算法簡單、計(jì)算速度快的優(yōu)點(diǎn),但良好的特征表達(dá)對其性能至關(guān)重要,人工設(shè)計(jì)特征不僅費(fèi)時(shí)費(fèi)力,還有著無法表達(dá)高層語義信息,泛化能力弱且無自學(xué)習(xí)能力等缺點(diǎn)。在視覺認(rèn)知機(jī)理的啟發(fā)下,2006年提出一種稱為深度置信網(wǎng)絡(luò)的深度學(xué)習(xí)模型,克服了深層網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練上的困難,有效解決了之前存在的誤差傳播控制問題,從而有利于數(shù)據(jù)的可視化或分類。不僅避免了繁雜的特征提取環(huán)節(jié),而且能夠更好地實(shí)現(xiàn)復(fù)雜的函數(shù)逼近。

2.2 基于深度學(xué)習(xí)的作物病害檢測機(jī)制

深度學(xué)習(xí)是一種最新的、具有精確結(jié)果的圖像處理技術(shù)。它采用自動(dòng)而不是人工提取特征,并且可以提取更為復(fù)雜的特征,使得后期分類變得簡單有效,本質(zhì)是模擬人的視覺系統(tǒng)的分層處理機(jī)制。

隨著深度學(xué)習(xí)的發(fā)展,被越來越多的應(yīng)用于語音識(shí)別、人臉識(shí)別等方面,農(nóng)業(yè)方面在作物病害的檢測識(shí)別環(huán)節(jié)發(fā)展迅速。如圖4所示,深度學(xué)習(xí)可以從數(shù)據(jù)中提取到更加復(fù)雜的特征,且只用把提取出的特征進(jìn)行分類即可獲得較好的效果。根據(jù)統(tǒng)計(jì)可知,使用深度學(xué)習(xí)進(jìn)行的病害識(shí)別準(zhǔn)確率比傳統(tǒng)識(shí)別高出10%～20%[30]。

圖4 深度學(xué)習(xí)的主要流程

2.3 機(jī)器學(xué)習(xí)在作物病害圖像檢測中的研究進(jìn)展

在農(nóng)業(yè)方面,深度學(xué)習(xí)已被廣泛用于病害檢測,如小麥病害[31]、蕎麥病害[32]、葡萄[33]和番茄病害[34]等各種病害。2018年,馬浚誠等[35]研究發(fā)現(xiàn):一種在殘差網(wǎng)絡(luò)(ResNet18)的基礎(chǔ)上進(jìn)行改進(jìn)的多尺度卷積結(jié)構(gòu)與注意力機(jī)制結(jié)合的農(nóng)作物病害識(shí)別模型可實(shí)現(xiàn)田間環(huán)境下的病害識(shí)別;使用深度卷積網(wǎng)絡(luò)識(shí)別擴(kuò)充后的圖像數(shù)據(jù)集,得出對炭疽病、霜霉病、白粉病和目標(biāo)葉斑病4種黃瓜病害的準(zhǔn)確率為93.4%;2017年,Liu等[36]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)算法的蘋果葉片病害準(zhǔn)確識(shí)別方法精準(zhǔn)度高、速度快,可有效解決蘋果葉片病害的識(shí)別。

大多數(shù)據(jù)集都在特殊條件或簡單背景下拍攝的,在田間環(huán)境下難以識(shí)別,針對此類問題,2018年Khan等[37]結(jié)合PlantVill和普渡大學(xué)的CASC IFW數(shù)據(jù)集,使用圖像增強(qiáng)與背景分割等方法,建立了VGG VD 16和Caffe AlexNet模型,該模型對蘋果和香蕉葉斑和果實(shí)病斑的準(zhǔn)確率為98.6%。2021年黃林生等[38]提出一種多尺度卷積結(jié)構(gòu)與注意力機(jī)制結(jié)合的農(nóng)作物病害識(shí)別模型,該研究在殘差網(wǎng)絡(luò)的基礎(chǔ)上引入Inception模塊以提高特征的豐富度,還加入了注意力機(jī)制SE-Net,提高了重要特征的權(quán)重,降低了非重要特征的影響,提高了模型的提取能力和自身的魯棒性,使得田間環(huán)境中的平均識(shí)別精度達(dá)到95.62%。2021年何自芬等[39]針對蘋果葉部病害數(shù)據(jù)集因環(huán)境等各種因素造成的精度低和泛化能力差的問題,提出了一種新型的非對稱混洗卷積神經(jīng)網(wǎng)絡(luò)ASNet,該研究通過在ResNeXt骨干網(wǎng)絡(luò)中添加scSE注意力機(jī)制來增強(qiáng)網(wǎng)絡(luò)提取特征,使用非對稱混洗卷積模塊來增強(qiáng)特征提取能力,提高了模型的分割精度和泛化能力,對實(shí)地采集的蘋果3種病害和健康葉片的平均分割精度為94.7%。2021年樊湘鵬等[40]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的玉米病害識(shí)別方法,該研究設(shè)計(jì)了具有5個(gè)卷積、4層池化和2個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),利用L2正則化和Dropout策略優(yōu)化網(wǎng)絡(luò),對復(fù)雜情況下玉米病害的識(shí)別精度為97.1%。

在營利性養(yǎng)老服務(wù)機(jī)構(gòu)里，入住老年人不僅需要日常生活照顧、疾病診治、身體康復(fù)訓(xùn)練，還需要健康咨詢、心理安慰、營養(yǎng)指導(dǎo)、臨終關(guān)懷等，因此需要有大量的專業(yè)人才來提供專業(yè)服務(wù)。但是目前廣西此類人才相當(dāng)缺乏，具有養(yǎng)老護(hù)理職業(yè)資格證書的服務(wù)人員更少。目前廣西養(yǎng)老機(jī)構(gòu)服務(wù)人員多數(shù)為40歲以上婦女，她們的文化程度普遍較低，沒有受過正規(guī)的專業(yè)護(hù)理培訓(xùn)，提供的服務(wù)基本屬于簡單的日常照料和護(hù)理。

深度學(xué)習(xí)需要大量的數(shù)據(jù)用于訓(xùn)練網(wǎng)絡(luò)模型,但是拍攝圖片制作數(shù)據(jù)集則需要花費(fèi)大量的時(shí)間精力,而且通過學(xué)習(xí)不同領(lǐng)域、場景和尺度的目標(biāo)特征可實(shí)現(xiàn)端到端的檢測[41-42]。還可以通過大量的訓(xùn)練樣本學(xué)習(xí)提取圖像特征的能力,從而減少網(wǎng)絡(luò)模型訓(xùn)練所需的樣本數(shù)。龍滿生等[43]研究發(fā)現(xiàn)使用深度特征網(wǎng)絡(luò)參數(shù)遷移可以獲得性能更好的模型。

2019年Solemane等[44]提出了一種基于遷移學(xué)習(xí)和特征提取的方法識(shí)別珍珠谷霉病,準(zhǔn)確率為95.00%。2020年許景輝等[45]提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)玉米病害圖像識(shí)別模型,該研究在VGG-16模型的基礎(chǔ)上設(shè)計(jì)了全新的全連接層模塊,并將其在Image Net圖像數(shù)據(jù)集訓(xùn)練好的卷積層遷移到模型中,對玉米健康葉、大斑病葉、銹病葉圖像的平均識(shí)別準(zhǔn)確率為95.33%。2021年樊湘鵬等[33]引入遷移學(xué)習(xí)機(jī)制,提出了基于遷移學(xué)習(xí)和改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的病害檢測系統(tǒng),該研究利用大型公開數(shù)據(jù)對VGG-16模型預(yù)訓(xùn)練,保持前端13個(gè)層的參數(shù)和權(quán)重,快速準(zhǔn)確的實(shí)現(xiàn)了對葡萄葉部病害的檢測。

3 機(jī)器學(xué)習(xí)和紅外熱成像技術(shù)相結(jié)合的作物早期病害檢測

3.1 基于機(jī)器學(xué)習(xí)的紅外熱圖像處理方法

紅外熱圖像有著分辨率差,對比度低和信息難以完整提取的缺點(diǎn),后續(xù)特征提取的難度大,但隨著機(jī)器視覺的發(fā)展,現(xiàn)在圖像增強(qiáng)技術(shù)越來越多的結(jié)合機(jī)器學(xué)習(xí)技術(shù),有研究者研究了CNN[33]和GAN[46],通過與可見光圖像融合、提出相對應(yīng)的算法等方法來達(dá)到提高圖像的目標(biāo)表征,增強(qiáng)場景理解的效果,可大批量的提取圖像特征,為之后的病害識(shí)別提供便利。尤其是對復(fù)雜背景下的紅外病害圖像的分辨率和靈敏度方面有著巨大的作用。例如圖像增強(qiáng)技術(shù)可根據(jù)人的主觀要求對圖像進(jìn)行對比度、分辨率和信噪比的優(yōu)化。也可采用不同的算法來進(jìn)行特定的圖像處理,包括多算法結(jié)合[47-48]和單一算法優(yōu)化[49]。有學(xué)者考慮采用單幀超分辨率技術(shù)來提高IRT圖像的分辨率。2016年Zhang等[50]提出了一種基于圖像偏差矯正和超分辨率CNN的系統(tǒng)方法,針對目標(biāo)像素?cái)?shù)量少,可最大顯得的獲取有效信息,以提高目標(biāo)特征分辨率和優(yōu)化目標(biāo)識(shí)別輸入的基線質(zhì)量在提出算法方面,蘇慶單等[51-54]通過提出相應(yīng)的算法,解決了紅外熱圖像模糊、清晰度差等特點(diǎn),實(shí)現(xiàn)了紅外熱圖像的增強(qiáng)。

除了簡單的提高紅外熱圖像的分辨率,還可以利用可見光和紅外熱圖像的互補(bǔ)性來融合二者的信息,實(shí)現(xiàn)圖像的超分辨率[55]。Liu等[56]將卵生神經(jīng)網(wǎng)絡(luò)用于紅外和可見光圖像,直接去獲得融合的權(quán)重圖,實(shí)現(xiàn)了當(dāng)前最高水平的視覺質(zhì)量和客觀評價(jià)效果;張維林[57]將短波和長波紅外圖像的融合為核心,研究了匹配算法和融合圖像的目標(biāo)檢測技術(shù),此算法相較于其他算法在多種場景下具有更加穩(wěn)定的表現(xiàn)。為增強(qiáng)紅外與可見光圖像融合的可視化效果,提出了一種GAN和ResNet相結(jié)合的方法,將兩種圖像的拼接作為信號(hào)發(fā)生器網(wǎng)絡(luò)的輸入,結(jié)果該方法明顯優(yōu)于其他九種常見方法[57]。

機(jī)器學(xué)習(xí)處理紅外病害圖像可通過去噪增強(qiáng)等提取目標(biāo)特征,還能通過特征信息來識(shí)別圖像,以減少環(huán)境和人為因素的干擾,進(jìn)而精準(zhǔn)區(qū)分病變區(qū)域。還可以促進(jìn)農(nóng)業(yè)監(jiān)測自動(dòng)化,新型圖像識(shí)別還可以解決復(fù)雜情況下的紅外熱圖像關(guān)于靈敏度和分類精度的問題。

3.2 基于機(jī)器學(xué)習(xí)的作物病害紅外熱圖像識(shí)別研究進(jìn)展

近年來,深度學(xué)習(xí)和紅外熱成像結(jié)合的技術(shù)在光電儀器自動(dòng)檢測[58]、醫(yī)學(xué)[59-61]、電力[62]、化工[63]、森林防火[64-68]等方面已經(jīng)較為成熟,在農(nóng)業(yè)方面大多應(yīng)用于病害的高光譜圖像的檢測識(shí)別[69-70]和果實(shí)缺陷[71-72]和病變[73-75]的紅外熱圖像檢測中,在病害的紅外熱圖像檢測識(shí)別方面比較缺乏,將其應(yīng)用到作物病害紅外熱圖像中,不僅有紅外熱成像技術(shù)對于病害的無損和早期檢測的優(yōu)點(diǎn),還可以和深度學(xué)習(xí)的快速識(shí)別、自主分類等優(yōu)點(diǎn)結(jié)合起來,以實(shí)現(xiàn)對植物病害的早期快速檢測。

在果實(shí)檢測方面,2019年Farokhzad等[73]使用熱像儀和加熱箱獲取熱圖像,研究處于不同階段(感染后1～7天)的健康馬鈴薯塊莖和被茄花鐮刀菌污染的塊莖溫度,找到最佳熱成像條件,通過線性和二次判別分析方法提取并分類了一些溫度統(tǒng)計(jì)特征。結(jié)果表明,二次判別分析可以對不同時(shí)期的健康塊莖和污染塊莖進(jìn)行分類,準(zhǔn)確率高達(dá)98.5%。最終建立了一種基于主動(dòng)熱成像的可靠,無損,快速的方法來檢測馬鈴薯塊莖中的真菌。

Kheiralipour等[74]使用熱成像、QDA和ANN(人工神經(jīng)網(wǎng)絡(luò))方法對開心果的真菌污染與黃曲霉進(jìn)行分類。發(fā)現(xiàn)使用ANN和QDA方法區(qū)分健康開心果和受污染開心果的準(zhǔn)確率分別為97.70%和99.00%。

Chelladurai等[75]研究了使用紅外熱成像系統(tǒng)識(shí)別儲(chǔ)存小麥中真菌感染的可行性。受灰曲霉群、黑曲霉和青霉屬感染的散裝小麥籽粒的熱圖像。并通過線性和二次判別分析(LDA和QDA)開發(fā)了四向和成對分類模型。成對的LDA和QDA分類模型對健康樣本的最大準(zhǔn)確率分別為100%,對受感染樣本的準(zhǔn)確率分別超過97%和96%。

在葉片病害方面,2015年Raza等[76]提出了圖5所示的一種將紅外熱圖像、可見光圖像數(shù)據(jù)與深度信息相結(jié)合開發(fā)的一個(gè)可用于遠(yuǎn)程檢測感染番茄白粉病植物的機(jī)器學(xué)習(xí)系統(tǒng)。包括圖像匹配、深度估計(jì)、特征提取和分類。首先通過將紅外熱圖像與可見光圖像融合得到合成圖片并制作數(shù)據(jù)集,再將深度信息添加到數(shù)據(jù)集中,然后應(yīng)用局部特征提取和全體特征提取的方法將提取到的特征輸入分類器,最后分類器根據(jù)所輸入的信息來檢測健康植物和患病植物,結(jié)果表明,將深度和熱信息加入到特征集中可以明顯提高早期識(shí)別病害的精度,還表明了此系統(tǒng)顯著提高了遠(yuǎn)程影響再病害監(jiān)測的應(yīng)用。

圖5 病態(tài)植物檢測算法的方框圖

2017年Jafari等[77]利用可見光圖像和紅外熱圖像檢測感染白粉病和灰霉病的玫瑰花。并提出了如圖6所示的自動(dòng)捕獲的熱圖像和可見光圖像使用設(shè)計(jì)方格表面進(jìn)行預(yù)配準(zhǔn)方法,訓(xùn)練了兩個(gè)神經(jīng)模糊分類器來區(qū)分健康植物和受感染植物,設(shè)計(jì)的神經(jīng)模糊分類器的性能通過使用自動(dòng)成像設(shè)置捕獲的熱圖像進(jìn)行評估?？梢栽谌庋劭梢娭皺z測出的感染白粉病和灰霉病的玫瑰的癥狀,在接種后的第二天達(dá)到了最佳正確估計(jì)率,為60%和80%。

圖6 熱圖像和可見圖像的配準(zhǔn)過程

2019年朱文靜等[78]為提高圖像檢測能力,提出了一種基于紅外熱成像技術(shù)的快速檢測和分級(jí)方法。首先通過對整株小麥樣本在不同時(shí)期的紅外熱成像圖像的平均葉溫的計(jì)算,探明了病原體侵染時(shí)的溫度變化規(guī)律;然后使用直方圖均衡化和中值濾波等預(yù)處理方法提取出圖像中低于顯癥植株溫度閾值的區(qū)域,通過閾值分割,計(jì)算病斑面積和在總面積中的占比;最后,進(jìn)行病情指數(shù)的相關(guān)分析,獲得相關(guān)系數(shù)為0.975 5,預(yù)測均方根誤差為9.79%,總識(shí)別正確率為90%。

近年來一些便攜式熱成像相機(jī)已經(jīng)可以適配移動(dòng)電話,促進(jìn)了紅外熱成像技術(shù)的發(fā)展,2017年Lopez等[79]提出了一種適應(yīng)自適應(yīng)于手機(jī)的熱感相機(jī)來自動(dòng)檢測運(yùn)動(dòng)性疲勞的方法。2017年Cho等[80]提出了一種基于低成本熱成像相機(jī)的深度學(xué)習(xí)模型,該模型可以根據(jù)人體的呼吸模式自動(dòng)識(shí)別心理壓力水平,可以將安裝在智能手機(jī)上的攝像頭放置在距離人鼻孔區(qū)域55 cm的位置,提出了一種從紅外熱視頻的鼻孔R(shí)OI恢復(fù)一維呼吸信號(hào)的呼吸跟蹤算法,對兩級(jí)壓力和三級(jí)壓力的區(qū)分準(zhǔn)確率分別為84.59%和56.52%。

研究表明,深度學(xué)習(xí)可以通過識(shí)別紅外熱圖像來進(jìn)行病害檢測,還可以改進(jìn)紅外熱圖像的缺點(diǎn)并提高病害識(shí)別速度和精度,但現(xiàn)階段應(yīng)用于紅外熱圖像病害識(shí)別檢測研究較少且識(shí)別要求大、準(zhǔn)確率低,想要提高網(wǎng)絡(luò)模型的性能,就必須使用大量的數(shù)據(jù)來訓(xùn)練模型,現(xiàn)階段紅外圖像數(shù)據(jù)集種類少且公開的紅外圖像數(shù)據(jù)集的規(guī)模都較小。為解決以上問題,在未來可通過優(yōu)化小樣本數(shù)據(jù)集下的網(wǎng)絡(luò)模型,提高模型的泛化能力和遷移能力來解決此類問題。

4 存在問題和研究展望

總結(jié)上述幾年紅外熱成像于機(jī)器學(xué)習(xí)相結(jié)合應(yīng)用于病害識(shí)別領(lǐng)域的研究,發(fā)現(xiàn)尚處于起步階段,仍存在不少的問題。

1) 紅外熱圖像拍攝困難。紅外熱圖像易受光照、溫度、風(fēng)吹等環(huán)境影響,在被測物體和環(huán)境的溫度之間的溫差很小時(shí),無法準(zhǔn)確地獲得所需的信息,還容易受到光照、風(fēng)的影響導(dǎo)致溫度分布的變化。現(xiàn)在大多數(shù)圖片都是在可控且單一背景的環(huán)境下拍攝而成的,缺乏泛化性,且紅外熱圖像本身存在著靈敏度低和分辨率低等特性,難以保證拍攝的紅外熱圖像的質(zhì)量,會(huì)引起紅外圖像的錯(cuò)誤解讀

2) 訓(xùn)練結(jié)果使用的數(shù)據(jù)量少,訓(xùn)練的模型針對特定場景,缺乏泛化性。深度學(xué)習(xí)需要大量數(shù)據(jù)集,拍攝數(shù)據(jù)集往往有限,且公開的紅外熱成像數(shù)據(jù)集類型和數(shù)量均較少,難以滿足深度學(xué)習(xí)的要求。

3) 現(xiàn)階段算法識(shí)別準(zhǔn)確率低且大多數(shù)基于紅外熱成像的機(jī)器視覺(IRMV)還處于實(shí)驗(yàn)室測試階段,跟實(shí)際應(yīng)用還有很大的差距。隨著人工智能的發(fā)展,算法的改進(jìn)帶來了識(shí)別上巨大的優(yōu)勢,現(xiàn)階段算法對于小樣本數(shù)據(jù)集的識(shí)別精度低,后續(xù)則需要對算法進(jìn)行優(yōu)化,減少冗余,提高精度。

針對以上存在的問題,本文提出以下建議,希望可為未來早期病害的識(shí)別提供方向。

1) 紅外熱圖像拍攝苦難。可通過在更改環(huán)境的溫度、濕度和光照等的條件來不斷進(jìn)行采集,直至明確各種病害最佳的拍攝條件。

2) 針對紅外熱圖像噪聲大、分辨率低和靈敏度低的特點(diǎn),可以應(yīng)用圖像處理技術(shù)來進(jìn)行圖像的優(yōu)化,可將紅外熱圖像與可見光圖像和高光譜圖像結(jié)合,與紅外熱圖像互補(bǔ)以獲取更多的信息,還可進(jìn)行作物病害的種類和程度的識(shí)別,還可以應(yīng)用圖像處理技術(shù)來進(jìn)行圖像的優(yōu)化,增強(qiáng)圖像的細(xì)節(jié)和邊緣信息。

3) 深度學(xué)習(xí)需要大量的數(shù)據(jù)來進(jìn)行模型的訓(xùn)練,采集紅外熱圖像則會(huì)花費(fèi)大量的時(shí)間,可將其和遷移學(xué)習(xí)相結(jié)合提高其泛化能力,使模型獲得結(jié)果,或通過優(yōu)化小樣本數(shù)據(jù)集下的網(wǎng)絡(luò)模型等來提高模型對于病害識(shí)別的準(zhǔn)確率。

4) 在實(shí)際應(yīng)用階段,隨著計(jì)算能力和儀器適配性的不斷提高,可以通過跟無人機(jī)、機(jī)器人和嵌入式設(shè)備結(jié)合來解決實(shí)際應(yīng)用問題。

5 結(jié)語

紅外熱成像技術(shù)已經(jīng)成為作物病害早期監(jiān)測的關(guān)鍵技術(shù)之一,在各個(gè)領(lǐng)域發(fā)展迅速并表現(xiàn)了各方面的優(yōu)越性,在農(nóng)業(yè)方面表現(xiàn)出了巨大的潛力,針對紅外熱成像自身低分辨率、低清晰度等的特征,網(wǎng)絡(luò)模型準(zhǔn)確率低等問題,隨著深度學(xué)習(xí)等的不斷發(fā)展和對于作物病害更好的認(rèn)知,可拍攝更高質(zhì)量的紅外熱圖像并克服田間環(huán)境的影響,進(jìn)而進(jìn)行更早和更大規(guī)模的病害檢測,以減少施藥量,提高作物的品質(zhì),相信通過機(jī)器學(xué)習(xí)和紅外熱成像技術(shù)的不斷發(fā)展可以讓我國作物病害管控更加高效,在農(nóng)業(yè)方面發(fā)揮更大的作用。