季云洲 都盛佳 紀(jì)同奎 宋懷波
摘? ?要:為了實現(xiàn)小麥條銹病的遠(yuǎn)程實時監(jiān)測,設(shè)計并搭建了基于嵌入式系統(tǒng)的小麥條銹病遠(yuǎn)程監(jiān)測平臺,實現(xiàn)了用戶對大田小麥條銹病發(fā)病狀況的實時監(jiān)測。首先基于Arduino微控制器和42步進電機控制的六棱柱轉(zhuǎn)軸和傳送裝置結(jié)合,通過藍(lán)牙控制六棱柱轉(zhuǎn)軸上的電磁吸附裝置吸附金屬加工后的載玻片設(shè)計了孢子捕捉器,實現(xiàn)了空氣中小麥條銹病孢子圖像的采集;其次,通過高倍光學(xué)顯微鏡和電子目鏡將采集到的孢子圖像通過Linux核心板上傳至云端服務(wù)器,并通過基于Python的圖像處理算法對圖像進行中值濾波、邊緣提取、角點檢測等處理實現(xiàn)孢子計數(shù);最后通過基于Android平臺的應(yīng)用軟件實現(xiàn)遠(yuǎn)程查看孢子圖像和計數(shù)處理結(jié)果。試驗結(jié)果表明,該平臺服務(wù)器圖像處理算法可實現(xiàn)孢子的準(zhǔn)確計數(shù),對測試圖像的計數(shù)準(zhǔn)確率為100%,孢子捕捉器的玻片切換成功率為95%。該研究可為大田小麥條銹病的實時監(jiān)測奠定基礎(chǔ),也可為大田內(nèi)其他氣傳病害的監(jiān)測提供借鑒。
關(guān)鍵詞:小麥條銹病;互聯(lián)網(wǎng)+;嵌入式系統(tǒng);遠(yuǎn)程監(jiān)測;圖像處理;孢子計數(shù)
中圖分類號:TP391.4; S126? ? ? ? ? ? ? ? ? 文獻標(biāo)志碼:A? ? ? ? ? ? ?文章編號:201903-SA004
季云洲,都盛佳,紀(jì)同奎,宋懷波. 基于嵌入式系統(tǒng)的小麥條銹病遠(yuǎn)程監(jiān)測平臺設(shè)計與試驗[J]. 智慧農(nóng)業(yè), 2019, 1(3): 100-112.
Ji Y, Du S, Ji T. Song H. Design and test of wheat stripe rust remote monitoring platform based on embedded system[J]. Smart Agriculture, 2019, 1(3): 100-112. (in Chinese with English abstract)
1? 引言
小麥條銹病是威脅我國小麥生產(chǎn)的嚴(yán)重病害,一般流行年份可致小麥減產(chǎn)10%-20%,特大流行年份可致小麥減產(chǎn)50%-60%[1,2]。小麥條銹病夏孢子菌源數(shù)是影響其發(fā)病和傳播的直接因素,目前主要依靠農(nóng)技人員田間取樣、調(diào)查的方式進行預(yù)測預(yù)報。該方法耗時、費力,難以實現(xiàn)病害的長效監(jiān)測,從而影響病害預(yù)測預(yù)報的精準(zhǔn)性和防治的時效性[3,4]。因而,如何實現(xiàn)條銹病的有效防控,一直是我國植保研究領(lǐng)域的重點和難點[5-7]。
小麥條銹病的監(jiān)測和預(yù)報能力近幾年有了很大提升。目前,主要的監(jiān)測方式有以下3種:(1)利用高光譜圖像進行遙感監(jiān)測[8]。Yones等[9]研究了光譜輻射技術(shù)在美洲幼蟲腐臭病光譜鑒別中的潛在應(yīng)用,對11個蜂群的蜜蜂幼蟲樣品在350~2500nm波段進行了高光譜測量,得出紅外光和短波紅外光譜帶是區(qū)分健康蜜蜂幼蟲和不同程度蜜蜂幼蟲感染的有效方法;Pan等[10]評價了高光譜成像監(jiān)測梨果實致病過程和早期檢測梨果實病害的潛力,以新鮮庫爾勒梨為試材,接種交鏈格孢菌,從感染樣品和對照樣品中獲取高光譜圖像。利用光譜角標(biāo)測技術(shù),對感染區(qū)與聲組織進行分割,監(jiān)測疾病的致病過程,建立了支持向量機(SVM)、K最近鄰和偏最小二乘判別分析模型,并對其早期發(fā)病的檢測能力進行了評價,結(jié)果表明,SVM模型的整體精度為97.5%,最適合于該方法;黃木易等[11]通過人工田間誘發(fā)不同等級條銹病,在不同生育期內(nèi)對不同發(fā)病等級的冬小麥條銹病冠層光譜進行測定,并同步進行條銹病病情指數(shù)的調(diào)查,通過分析不同區(qū)域小麥在不同光區(qū)的反射特征差異和葉綠素含量變化成功進行了病情劃分;王利民等[12]基于GF-1/WFV影像數(shù)據(jù)和小麥條銹病遙感監(jiān)測指數(shù)(Wheat Stripe Rust Index,WSRI)對小麥條銹病發(fā)病范圍進行估測,結(jié)果表明,研究區(qū)內(nèi)小麥條銹病空間分布識別的總體精度在84.0%以上;蔡成靜等[13]利用ASD手持野外光譜儀和熱氣球分別在近地和高空研究了條銹病發(fā)病小麥冠層的高光譜遙感數(shù)據(jù)特征,獲得了2個高度不同平臺的光譜數(shù)據(jù),最終獲得了高空光譜反射率值與近地光譜反射率之間的回歸模型。Wang等[14]通過遙感技術(shù)從地面、空中和近地空間三個方面總結(jié)了同一目標(biāo)不同光譜,以及同一光譜不同目標(biāo)的圖像,定義了遙感監(jiān)測條銹病流行的最低閾值,并建立了基于光譜信息的小麥條銹病反演模型,展望了多害蟲遙感、空間遙感以及地理信息系統(tǒng)、全球定位系統(tǒng)監(jiān)測小麥條銹病的發(fā)展趨勢;劉偉等[15]分別利用近地高光譜和低空航拍數(shù)字圖像同時對田間小麥條銹病的發(fā)生情況進行監(jiān)測,結(jié)果表明,近地高光譜遙感參數(shù)DVI、NDVI、GNDVI和低空航拍數(shù)字圖像顏色特征值R、G、B與病情指數(shù)存在極顯著相關(guān)性。(2)根據(jù)小麥不同生長階段,通過判斷菌源量進行預(yù)測。鄧玉傲等[16]通過研究2001年以來河南新野小麥條銹病的發(fā)生規(guī)律和特點,得出了小麥發(fā)病的嚴(yán)重度和月份以及地理位置的關(guān)系以及小麥條銹病預(yù)警的合理指標(biāo)。(3)通過遠(yuǎn)程捕捉孢子方式監(jiān)測小麥條銹病發(fā)病情況[17,18]。該方式多采用自動圖像采集方式,孢子捕捉器將采集到的孢子圖像通過網(wǎng)絡(luò)傳輸至實驗人員進行處理分析。焦林等[6]設(shè)計了一種基于無線網(wǎng)絡(luò)的孢子圖像實時傳輸及處理系統(tǒng),通過數(shù)碼顯微鏡和膠帶將采集到的孢子圖像進行遠(yuǎn)程傳輸;雷雨等[19]利用ARK-1123C型工控機將涂抹了凡士林的玻片捕捉到夏孢子圖像,通過網(wǎng)絡(luò)傳輸至用戶端,實現(xiàn)了全自動玻片更換和凡士林涂抹。
綜上可知,基于檢測小麥條銹病孢子進而監(jiān)測小麥條銹病的研究有了很大進展,這些研究為小麥條銹病的監(jiān)測和預(yù)報起到了積極的推動作用,但仍存在孢子收集裝置不夠完善[6]、孢子捕捉器成本較高、捕捉樣板更換不夠便捷[20]、集成度不夠、不易級聯(lián)成網(wǎng)絡(luò)等問題。為了進一步提高小麥條銹病的監(jiān)測和預(yù)報能力,提升監(jiān)測裝置的兼容性,本研究構(gòu)建了基于嵌入式系統(tǒng)的小麥條銹病監(jiān)測平臺,并研發(fā)了基于嵌入式系統(tǒng)的小麥條銹病孢子圖像傳輸裝置,以及基于服務(wù)器平臺的孢子圖像分析程序,孢子圖像分析程序和大田環(huán)境下裝置的運行能力試驗,以期為大田小麥條銹病的實時監(jiān)測研究奠定基礎(chǔ)。
2? 系統(tǒng)設(shè)計
2.1? 監(jiān)測系統(tǒng)裝置要求
根據(jù)小麥條銹病監(jiān)測的實際需求,小麥條銹病遠(yuǎn)程監(jiān)測系統(tǒng)的整體設(shè)計方案應(yīng)滿足以下要求:
(1)系統(tǒng)能實現(xiàn)圖像采集、上傳和分析的自動化,采集裝置應(yīng)能夠?qū)崿F(xiàn)玻片的自動切換、自動清洗和自動回收,系統(tǒng)應(yīng)包含基于Android手機的應(yīng)用程序?qū)崿F(xiàn)遠(yuǎn)程圖像監(jiān)測和采集裝置附近各項數(shù)據(jù)的采集。
(2)系統(tǒng)應(yīng)可長時間在麥田中進行空氣中小麥條銹病孢子的采集,不間斷地收集采集裝置內(nèi)的孢子圖像,并對小麥條銹病的發(fā)病情況進行持續(xù)監(jiān)測。
(3)系統(tǒng)應(yīng)擁有獨立的網(wǎng)絡(luò)服務(wù)器,可對收集裝置采集的圖像進行云端保存,用戶可通過登錄服務(wù)器查看孢子采集器應(yīng)用區(qū)域的空氣成分歷史數(shù)據(jù)。
2.2? 系統(tǒng)整體設(shè)計
為了實現(xiàn)田間小麥條銹病孢子圖像的實時采集和遠(yuǎn)程查看,本設(shè)計基于Arduino Uno和42步進電機的孢子采集裝置,結(jié)合顯微圖像拍攝裝置進行孢子圖像的采集;基于Ubuntu 18.04系統(tǒng)的服務(wù)器和圖像濾波、數(shù)學(xué)形態(tài)學(xué)運算和基于幾何形態(tài)學(xué)因子的孢子圖像計數(shù)等算法對采集的孢子圖像進行計數(shù)分析;基于安卓Android系統(tǒng)的手機應(yīng)用程序進行處理后孢子圖像及孢子計數(shù)結(jié)果的查看。系統(tǒng)由孢子采集模塊、孢子采集裝置、顯微拍攝裝置圖像采集模塊、圖像傳輸模塊、嵌入式核心板、云服務(wù)器、Android手機等組成,圖像采集模塊采集孢子圖像,傳輸至圖像傳輸模塊后上傳至服務(wù)器;服務(wù)器通過運行圖像處理模塊將圖像數(shù)據(jù)再次共享至服務(wù)器,用戶通過手機應(yīng)用程序進行登錄查看。其中服務(wù)器圖像處理算法采用Python3結(jié)合Skimage-0.14.0和Numpy-1.15.1圖像處理包完成圖像灰度化、雙邊濾波、形態(tài)學(xué)開閉運算和角點檢測等方法進行孢子圖像的計數(shù);Android程序采用Java語言編寫,JDK 1.8,運行平臺為Android 6.0以上版本手機。系統(tǒng)整體架構(gòu)圖如圖1所示。
2.3? 系統(tǒng)硬件組成結(jié)構(gòu)
該遠(yuǎn)程監(jiān)測系統(tǒng)硬件包括孢子采集裝置和供電裝置。系統(tǒng)硬件組成示意圖如圖2所示。孢子采集裝置包括玻片切換模塊、顯微拍攝裝置、圖像傳輸裝置。供電裝置包括直流供電模塊和無線充電模塊。
系統(tǒng)實物如圖3所示。
(1)孢子采集裝置
該裝置用來進行空中孢子的采集、吸附和圖像采集傳輸,該裝置包括玻片切換裝置、凡士林涂抹和清洗裝置、顯微拍攝裝置和圖像傳輸裝置。玻片切換裝置由傳送帶和轉(zhuǎn)軸組成,轉(zhuǎn)軸控制玻片的上下移動,傳送帶輸送玻片在不同模塊間運動。凡士林涂抹裝置用來對玻片進行凡士林涂抹,清洗裝置用來清洗玻片上的凡士林,實現(xiàn)玻片的再次利用。風(fēng)道和孢子吸附裝置用來將空氣吸入裝置中,通過凡士林將空氣中的條銹病孢子吸附在玻片上。顯微拍攝裝置通過顯微鏡和電子目鏡采集玻片上的孢子圖像。圖像傳輸裝置通過瑞芯微RK-3399核心板將顯微拍攝裝置采集到的孢子圖像經(jīng)LTE模塊上傳至服務(wù)器。
(2)供電裝置
該裝置用來對整個硬件平臺進行直流供電。供電裝置細(xì)分為直流供電模塊和無線充電模塊。直流供電模塊用來對Linux核心板以及各步進電機進行供電,供電電壓為12V,采用12V可充電蓄電池進行供電。同時該模塊采用太陽能充電裝置和MP-2636電源管理模塊進行充電升壓等電源管理。無線充電模塊用來對封閉轉(zhuǎn)軸進行無線充電操作,充電電壓為5V,采用德州儀器的BQ-51013B芯片結(jié)合充電線圈進行無線充電模塊接收器的設(shè)計,采用三星無線充電器即可進行充電。
2.4? 系統(tǒng)軟件組成及服務(wù)器選擇
系統(tǒng)軟件包括基于Ubuntu 18.04網(wǎng)絡(luò)服務(wù)器的孢子圖像分析程序和基于Android平臺的圖像處理分析結(jié)果遠(yuǎn)程查看程序??紤]到網(wǎng)絡(luò)云服務(wù)器的運行相較于本地服務(wù)器更為穩(wěn)定,具有全天候工作的特點,因此選用云服務(wù)器,系統(tǒng)為Ubuntu 18.04,配置為1核Intel Xeon CPU,2G運行內(nèi)存,50G機械硬盤存儲空間。
(1)孢子圖像分析程序
該程序用來對遠(yuǎn)程傳輸至云服務(wù)器上的顯微孢子圖像進行處理,分析結(jié)果以文本形式傳輸至Android手機供用戶查看。用戶可同時進入服務(wù)器查看歷史記錄,便于分析小麥條銹病發(fā)病趨勢。
(2)Android遠(yuǎn)程查看程序
該程序用來對服務(wù)器處理后的顯微圖像進行遠(yuǎn)程實時查看以及查看孢子圖像的處理分析結(jié)果。
3? 系統(tǒng)實現(xiàn)
3.1? 硬件實現(xiàn)
3.1.1? 孢子采集裝置
(1)玻片切換模塊
玻片切換模塊用來完成玻片在不同模塊間的切換。玻片切換模塊的研究主要分為核心選擇、轉(zhuǎn)軸模塊和傳送帶模塊3大部分。玻片切換模塊如圖4所示。
其工作原理為:各模塊經(jīng)供電后開始工作,傳送帶初始狀態(tài)為向右傳送,兩個轉(zhuǎn)軸模塊電磁裝置均保持閉合狀態(tài)。轉(zhuǎn)軸開始工作后,六棱柱的最底面電磁鐵經(jīng)過micro:bit核心板控制斷電,玻片下落至傳送帶,向右傳送至下一模塊,同時控制轉(zhuǎn)軸的步進電機順時針轉(zhuǎn)動60°,使六棱柱的下一平面和傳送帶平行,平行后micro:bit微控制器重復(fù)上一操作,通過控制電磁裝置的打開將玻片下放至傳送帶上。在傳送帶向右工作的同時,右側(cè)六棱柱接到玻片運動的位置信號后開始工作,在玻片運動到其底面下側(cè)時,micro:bit微控制器控制底面電磁鐵通電,將玻片回收至六棱柱上,同時轉(zhuǎn)動60°使下一面平行于傳送帶平面。右側(cè)六棱柱收集滿載玻片后,傳送帶改變方向,右側(cè)六棱柱將玻片依次下放至傳送帶上,左側(cè)六棱柱按序收集載玻片,完成載玻片的回收工作。
① 微控制器與Linux核心板選擇
由于玻片切換模塊系統(tǒng)需要進行轉(zhuǎn)軸和傳送帶的動作控制,工作量較大,因此本研究采用多核心控制的方法,各核心通過藍(lán)牙短程通信實現(xiàn)數(shù)據(jù)傳輸。
a.考慮到轉(zhuǎn)軸模塊的運動控制較為簡單,只需要穩(wěn)定的信號輸出即可完成控制,選用Arduino Uno微控制器作為核心板,L298N電機驅(qū)動板進行驅(qū)動信號的輸出。
b.傳送帶模塊的運動形式包括正反向轉(zhuǎn)動和減速轉(zhuǎn)動3種,考慮到需要進行轉(zhuǎn)速控制,選用Arduino Uno微控制器作為核心板,L298N電機驅(qū)動板進行脈沖控制以改變傳送帶的轉(zhuǎn)速和方向。
c.轉(zhuǎn)軸中的電磁模塊需要通過繼電器進行控制,考慮到封閉轉(zhuǎn)軸內(nèi)空間狹窄,而外接藍(lán)牙模塊需要較大空間,該系統(tǒng)采用micro:bit微控制器作為核心板控制繼電器,其中板載藍(lán)牙設(shè)計可以節(jié)約空間,且micro:bit采用Python編程,語言較為簡潔。
② 轉(zhuǎn)軸模塊
轉(zhuǎn)軸模塊在Arduino和micro:bit微控制器的控制下,進行旋轉(zhuǎn)和電磁狀態(tài)切換,完成玻片的自動更換和采集。根據(jù)玻片切換模塊功能要求,設(shè)計了適用于小空間玻片切換的轉(zhuǎn)軸模塊,其組成如圖5所示。
六棱柱轉(zhuǎn)軸分為內(nèi)外2部分,其中6組電磁鐵位于六棱柱轉(zhuǎn)軸的外側(cè),電源線通過外側(cè)的2個小孔和內(nèi)測的繼電器相連,繼電器和micro:bit微控制器相連,micro:bit微控制器通過藍(lán)牙和其他微控制器通訊。內(nèi)側(cè)轉(zhuǎn)軸兩端分別固定減速電機和空心電機轉(zhuǎn)軸,減速電機由另一組Arduino Uno R3結(jié)合L298N電機驅(qū)動板進行控制。Micro:bit微控制器控制內(nèi)側(cè)繼電器進行電磁鐵的通斷控制,電磁鐵外側(cè)連接兩端進行金屬加工的載玻片。電磁鐵通電后載玻片被吸附至電磁鐵上,電磁鐵斷電后載玻片被放下。結(jié)合轉(zhuǎn)軸轉(zhuǎn)動和傳送帶運動,玻片在轉(zhuǎn)軸和傳送帶間運動,實現(xiàn)玻片切換。
③ 傳送帶模塊
傳送帶模塊在Arduino微控制器和直流電機的控制下進行玻片傳輸工作。根據(jù)玻片切換模塊的要求,設(shè)計了適用于狹小空間的玻片在各處理模塊間傳輸?shù)膫魉蛶K,其組成結(jié)構(gòu)如圖6所示。
傳送帶采用PVC輕型工業(yè)皮帶,9-2A齒輪、6×8蝸桿配合雙260小型電機組成傳送帶系統(tǒng)。開始工作后,開啟藍(lán)牙信號接收,若收到六棱柱轉(zhuǎn)軸發(fā)出的逆向信號后傳送帶向左運動一段時間。若沒有收到逆向信號,則傳送帶繼續(xù)向右運動。
(2)凡士林涂抹和清洗裝置
凡士林涂抹和清洗裝置主要用于完成玻片的凡士林涂抹工作和清洗工作,其示意圖如圖6所示。凡士林儲存在金屬注射器內(nèi),注射器上方的推桿電機以預(yù)定的路徑長度推動注射器將適量的凡士林涂抹在玻片上,玻片通過傳送帶繼續(xù)向右移動,經(jīng)過凡士林刮板將凡士林涂抹均勻,便于后續(xù)孢子的吸附和觀測。
(3)風(fēng)道和孢子吸附裝置
風(fēng)道和孢子吸附裝置用于將外部空氣吸入裝置內(nèi),并通過涂抹凡士林后的玻片標(biāo)本將孢子采集并轉(zhuǎn)入下一模塊。風(fēng)道和孢子吸附裝置如圖7所示,空氣經(jīng)過外部風(fēng)扇的抽取進入裝置的封閉空間內(nèi),封閉空間內(nèi)置一塊涂抹凡士林的玻片標(biāo)本,空氣中的成分被凡士林吸附后玻片經(jīng)傳送帶轉(zhuǎn)入下一模塊。
(4)顯微拍攝裝置
顯微拍攝裝置用來對加工后的玻片標(biāo)本進行圖像采集??紤]到孢子的直徑多為2nm大小,為了使視野內(nèi)的孢子數(shù)量合適,本研究采用2000倍光學(xué)顯微鏡作為光學(xué)圖像采集裝置,顯微鏡采用Bresser-2000家用顯微鏡結(jié)合工業(yè)顯微鏡頭拍攝相機進行圖像采集。傳送帶中段鏤空,內(nèi)置激光對射開關(guān),當(dāng)玻片經(jīng)過激光對射開關(guān)后,觸發(fā)顯微拍攝動作,傳送帶暫停運動,相機對傳送帶上的玻片進行拍攝后,傳送帶繼續(xù)向右運動輸送下一玻片。顯微拍攝裝置示意圖如圖8所示,激光對射開關(guān)分別被安裝在傳送帶內(nèi)側(cè)和傳送帶正上方,經(jīng)過處理的玻片沿傳送帶向右運動進行圖像采集操作。
(5)圖像傳輸裝置
圖像傳輸裝置用來將顯微拍攝裝置采集到的孢子圖像經(jīng)過4G-LTE網(wǎng)絡(luò)傳輸至云端服務(wù)器,圖像傳輸操作以Linux核心板為核心,同時控制電源管理和顯微鏡動作。核心板需要和顯微拍攝裝置連接,通過USB通信獲取顯微鏡頭拍攝的圖像,將圖像暫存并上傳至云服務(wù)器??紤]到核心板工作較為復(fù)雜,對處理器核心要求較高,本研究選用瑞芯微RK-3399核心板作為Linux核心板,核心板為Little體系結(jié)構(gòu):雙核Cortex-A72結(jié)合四核Cortex-A53處理器芯片,64位CPU,內(nèi)置USB3.0和Display Port交替模式的雙類型。核心板通過USB連接攝像頭,圖像信息通過USB3.0傳輸至核心板暫存,核心板通過LTE模塊將圖像數(shù)據(jù)傳輸至云服務(wù)器的指定位置。
3.1.2? 供電裝置
(1)12V電源模塊
考慮到轉(zhuǎn)軸采用內(nèi)部封閉式供電,本研究采用分離供電形式對2個模塊進行供電,6400mAh鋰電池對轉(zhuǎn)軸內(nèi)的電磁裝置供電,20000mAh鋰電池對Linux核心板供電。外部12V供電電路連接電壓監(jiān)測芯片,通過檢測主供電設(shè)備的輸出電壓來控制繼電器通斷以決定備用電源是否接入Linux核心板。
(2)無線充電模塊
考慮到轉(zhuǎn)軸內(nèi)部電磁裝置為封閉式供電模式,不易更換電池,本研究在轉(zhuǎn)軸的其中一面安裝無線充電接收裝置進行無線充電。無線充電接收器如圖9所示。模塊采用Ti的BQ51013B芯片進行能量轉(zhuǎn)換,線圈位于六棱柱內(nèi)側(cè),5V輸出模塊連接12V升壓模塊,升壓模塊末端連接12V電源的充電端口,外部連接無線充電器后將對內(nèi)部12V電源進行充電。
3.2? 軟件實現(xiàn)
3.2.1? 系統(tǒng)工作流程
系統(tǒng)開機后即開始初始化,系統(tǒng)工作流程如圖10所示。首先傳送帶上的激光對射開關(guān)檢測是否有遮光區(qū)域,若沒有則開始向右傳送。左側(cè)六棱柱轉(zhuǎn)軸開始運動,無線充電和傳送帶平行后,轉(zhuǎn)軸逆時針旋轉(zhuǎn)60°開始工作,每旋轉(zhuǎn)60°,對應(yīng)面的電磁鐵斷電釋放玻片。與此同時,玻片隨傳送帶向右運動依次通過凡士林涂抹裝置、顯微拍攝裝置以及玻片清潔裝置。當(dāng)無線充電面再次旋轉(zhuǎn)至和傳送帶平行后,完成一次檢測過程。另一側(cè)的轉(zhuǎn)軸工作為回收玻片,玻片回收動作和玻片釋放動作相反,每個電磁鐵面依次通電,隨著六棱柱轉(zhuǎn)軸的旋轉(zhuǎn)將玻片依次回收。回收完成后轉(zhuǎn)軸向傳送帶發(fā)送逆向旋轉(zhuǎn)信號,傳送帶逆向傳送,玻片被依次釋放回傳送帶,左側(cè)轉(zhuǎn)軸進行玻片重載。顯微拍攝裝置拍攝圖像后,將采集到的圖像數(shù)據(jù)傳輸至Linux核心板,核心板通過LTE網(wǎng)絡(luò)將圖像數(shù)據(jù)上傳至云端服務(wù)器。云端服務(wù)器接收到圖像數(shù)據(jù)后,進行圖像分析處理,并將結(jié)果以文本形式保存。用戶通過Android應(yīng)用程序遠(yuǎn)程訪問服務(wù)器中的相關(guān)數(shù)據(jù),獲取條銹病孢子的檢測結(jié)果及其他氣象數(shù)據(jù)。
3.2.2? 孢子圖像分析程序
孢子圖像分析程序用來對服務(wù)器上的孢子圖像進行計數(shù)。程序運行在Ubuntu18.04云端服務(wù)器上,配置為1核Xeon CPU,2G運行內(nèi)存??紤]到程序的跨平臺性,本研究基于Python3編程,結(jié)合Skimage和Numpy圖像處理包進行孢子圖像的分析處理操作。程序開始運行后進行圖像搜索,若規(guī)定路徑?jīng)]有圖像則繼續(xù)搜索。獲取圖像后對圖像進行灰度化、雙邊濾波、數(shù)學(xué)形態(tài)學(xué)運算、邊緣檢測和計數(shù)操作。最終計數(shù)結(jié)果以.txt格式保存在服務(wù)器的規(guī)定路徑。
(1)孢子圖像的預(yù)處理和圖像濾波
孢子圖像在拍攝獲取采集過程中會受到各種因素的干擾,圖像會存在一定的噪聲,影響后續(xù)的孢子計數(shù)工作。本研究經(jīng)圖像灰度化操作降低圖像信息量,為之后的圖像濾波操作奠定基礎(chǔ)(圖11)。經(jīng)過高斯濾波去除圖像中的高斯白噪聲,進一步突出孢子區(qū)域,為下一步邊緣提取奠定基礎(chǔ)。經(jīng)過分析發(fā)現(xiàn),本研究采集到的孢子圖像灰度值主要集中在[50,200]區(qū)間內(nèi),故本研究對區(qū)間外的灰度值進行了置零處理,便于后續(xù)的圖像處理操作。
(2)孢子圖像的數(shù)學(xué)形態(tài)學(xué)運算和邊緣提取
經(jīng)圖像預(yù)處理和圖像濾波操作后,圖像中的噪聲被去除,孢子區(qū)域被凸顯,但孢子的邊緣不夠平滑,面積較小的孢子不易被計數(shù)。為了準(zhǔn)確提取面積較小的孢子,本研究對濾波后的孢子圖像采用閉運算處理,并對處理后的圖像進行孔洞填充(圖12),便于后續(xù)基于區(qū)域面積的孢子計數(shù)操作[21,22]。
(3)孢子圖像計數(shù)(圖13)
考慮到采集到的孢子圖像存在一定粘連的情況,本研究采用基于幾何形狀因子特征[15]的方法區(qū)分單個和粘連孢子。形狀因子的定義如公式(1)所示:
SF = ? ? ? ? ? ? ? ? ? (1)
其中,S是連通域的面積像素值,C是連通域的周長像素值。
在檢測到粘連孢子時,圖形邊界會出現(xiàn)重疊,因此粘連孢子的周長會增大,形狀因子也會相應(yīng)變小[23,24]。通過實驗可知若孢子區(qū)域滿足SFi<SF0 且 Si<Smax[25]所示條件則判定為粘連孢子,參數(shù)為SF0=0.6,Smax=7000。
3.2.3? 傳送帶和轉(zhuǎn)軸協(xié)同運行程序
傳送帶和轉(zhuǎn)軸由Arduino Uno R3微控制器控制,Arduino Uno R3編程環(huán)境為Arduino IDE,語言為C語言,采用L298N電機驅(qū)動板帶動步進電機和直流電機轉(zhuǎn)動,轉(zhuǎn)速由PWM脈沖控制。傳送帶保持向右轉(zhuǎn)動,左側(cè)轉(zhuǎn)軸初始化先定位至無線充電面,無線充電面的定位由該面上的超聲測距模塊實現(xiàn),距離小于最小值h_min時轉(zhuǎn)軸停止轉(zhuǎn)動,經(jīng)過1s后逆時針轉(zhuǎn)動60°開始釋放玻片。玻片的釋放操作由電磁模塊完成,電磁模塊由轉(zhuǎn)軸內(nèi)部的micro:bit微控制器控制。微控制器每隔ti秒(轉(zhuǎn)軸旋轉(zhuǎn)60°所需的時間)將第i面的電磁鐵斷電,依此類推。同時,傳送帶將釋放的玻片傳送至另一側(cè)轉(zhuǎn)軸進行回收,回收轉(zhuǎn)軸的定位方式和釋放轉(zhuǎn)軸一致,每隔60°內(nèi)置的微控制器將最底面的電磁鐵通電將玻片吸附上轉(zhuǎn)軸。當(dāng)無線充電面和傳送帶平行后,微控制器通過藍(lán)牙向控制傳送帶的Arduino Uno R3發(fā)送逆向信號,傳送帶開始逆向轉(zhuǎn)動,玻片將會被依次回收至初始轉(zhuǎn)軸,開啟重載模式。
4? 試驗結(jié)果與分析
4.1? 試驗環(huán)境
為了驗證本系統(tǒng)的可行性,在陜西省楊凌示范區(qū)西北農(nóng)林科技大學(xué)機械與電子工程學(xué)院的農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)實驗室使用實驗裝置進行了顯微圖像的采集實驗以及圖像處理系統(tǒng)和遠(yuǎn)程訪問系統(tǒng)實驗;在西北農(nóng)林科技大學(xué)北校區(qū)的小麥試驗田進行了大田環(huán)境下系統(tǒng)的運行能力測試,溫度為18~25℃。
4.2? 系統(tǒng)整體及各部分運行測試
4.2.1? 圖像處理程序測試
為了確保孢子圖像能夠被準(zhǔn)確高效地處理和分析,對本研究采用的圖像處理程序進行了運行測試,測試平臺為騰訊云服務(wù)器(Ubuntu18.04系統(tǒng),Intel Xeon-E3處理器,1核,2G內(nèi)存),用于測試圖14中4幅顯微孢子圖像中的孢子數(shù)量,測試共進行三次,取三次試驗后的平均值,測試結(jié)果分別如表1所示。
考慮到服務(wù)器平臺和主機平臺的配置差異,對相同的4幅圖像在Windows 10 Home平臺下進行了孢子計數(shù)測試,測試結(jié)果如表2所示。
對比表1和表2可以看出,在服務(wù)器端的Ubuntu平臺下圖像的處理速度比Windows平臺慢3~4s的時間,但處理結(jié)果相同。從表2可以看出,孢子數(shù)量的增加對圖像處理的速度沒有明顯影響。
4.2.2? 孢子采集系統(tǒng)的運行測試
(1) 傳送帶和轉(zhuǎn)軸最底面的有效距離測試
玻片通過電磁裝置被吸附上轉(zhuǎn)軸,因此轉(zhuǎn)軸最底面距離和傳送帶應(yīng)保持合適距離,既可以避免傳送帶的運動影響玻片和轉(zhuǎn)軸的吸附,又可以保證玻片能夠正常地被轉(zhuǎn)軸上的電磁裝置吸附。為了測試出最佳距離,對轉(zhuǎn)軸的電磁裝置和玻片的相對距離進行了測試,方式為測試不同距離下的玻片和電磁裝置的吸附情況,測試結(jié)果如表3所示,可知玻片和電磁裝置的距離應(yīng)在1.4cm以內(nèi),為了確保玻片可以被電磁裝置吸附,本研究將傳送帶和電磁裝置的相對距離設(shè)定為1cm。
(2)“轉(zhuǎn)軸—傳送帶”系統(tǒng)運行測試
為了確?!稗D(zhuǎn)軸—傳送帶”系統(tǒng)能夠正常運行,對轉(zhuǎn)軸和傳送帶組成的玻片切換系統(tǒng)進行了20次運行測試,測試結(jié)果如表4所示??芍稗D(zhuǎn)軸—傳送帶”系統(tǒng)運行狀況良好,一次圖像采集循環(huán)所消耗的平均時間為2.1min,基本滿足系統(tǒng)的實時監(jiān)測需求。
4.2.3? 孢子采集系統(tǒng)大田環(huán)境下運行測試
為了確保系統(tǒng)可以在大田環(huán)境下持續(xù)運行,對系統(tǒng)在試驗田中進行了能量可用性測試,測試日期為2019年1月1日-1月17日,溫度為-6℃—5℃。經(jīng)測試,該系統(tǒng)在陽光充足的條件下可通過18V太陽能電池板供電連續(xù)運行15天,在陰天條件下可連續(xù)運行5天,基本滿足大田環(huán)境下的裝置的持續(xù)工作。
5? 結(jié)論
(1)針對現(xiàn)有孢子采集裝置存在的不足,基于“互聯(lián)網(wǎng)+”技術(shù)和RK-3399嵌入式開發(fā)板以及顯微拍攝鏡頭,提出了一種高效低成本的小麥條銹病遠(yuǎn)程監(jiān)測方案,系統(tǒng)能夠?qū)崿F(xiàn)對大田小麥條銹病發(fā)病情況的實時監(jiān)測。
(2)試驗表明系統(tǒng)可以在大田環(huán)境中連續(xù)運行三天,并成功完成孢子圖像的采集、傳輸、遠(yuǎn)程處理和處理結(jié)果遠(yuǎn)程查看工作。其中,孢子圖像的采集成功率為98.2%,玻片切換系統(tǒng)運行成功率為95%,對于測試圖像的處理準(zhǔn)確率為100%。本研究可為小麥條銹病的防控提供出新的解決方案。
(3)本裝置對小麥條銹病孢子實現(xiàn)了較為準(zhǔn)確的技術(shù),但在自然條件下,所獲得的孢子中可能混有條銹病、葉銹病、桿銹病等的孢子,對混合情況下各類孢子的區(qū)分,尚需進一步研究。
參考文獻
[1]? ?馬占鴻. 中國小麥條銹病研究與防控[J]. 植物保護學(xué)報, 2018, 45(1): 1-6.
Ma Z. Researches and control of wheat stripe rust in China[J]. Transactions of the Acta Phytophylacica Sinica, 2018, 45(1): 1-6.
[2]? ?王海光, 楊小冰, 馬占鴻. 應(yīng)用HYSPLIT-4模式分析小麥條銹病菌遠(yuǎn)程傳播事例[J]. 植物病理學(xué)報, 2009, 39(2): 183-193.
Wang H, Yang X, Ma Z. Case analysis of long-distance transports of puccinia striiformis in China using HYSPLIT-4 model[J]. Transactions of Journal of Plant Pathology, 2009, 39(2): 183-193.
[3]? ?Yao F, Zhang X, Ye X, et al. Characterization of molecular diversity and genome-wide association study of stripe rust resistance at the adult plant stage in Northern Chinese wheat landraces.[J]. BMC genetics, 2019, 20(1): 38-41
[4]? ?Long L, Yao F, Yu C, et al. Genome-wide association study for adult-plant resistance to stripe rust in Chinese wheat landraces ( Triticum aestivum L.) from the yellow and Huai River valleys.[J]. Frontiers in plant science, 2019, 10: 596
[5]? ?李金鎖,鄧玉傲,李海燕,等. 南陽小麥條銹病監(jiān)測預(yù)警及菌源基地綜合治理技術(shù)研究與應(yīng)用[J].中國植保導(dǎo)刊, 2016, 36(02): 46-49.
Li J, Deng Y, Li H, et al. Research and application of monitoring and early warning of wheat stripe rust in Nanyang[J]. Transactions of China Plant Protection Guide, 2016, 36(02): 46-49.
[6]? ?焦林, 牛磊磊, 宋懷波. 小麥條銹病孢子圖像實時傳輸及處理系統(tǒng)設(shè)計[J]. 西北農(nóng)林科技大學(xué)學(xué)報(自然科學(xué)版), 2017, 45(12): 148-154.
Jiao L, Niu L, Song H. Design of a real-time transmission and processing system for wheat stripe rust spore images[J]. Transactions of Journal of Northwest A&F University(Nat.Sci.Ed.), 2017, 45(12): 148-154.
[7]? ?陳萬權(quán), 康振生, 馬占鴻, 等. 中國小麥條銹病綜合治理理論與實踐[J]. 中國農(nóng)業(yè)科學(xué), 2013, 46(20): 4254-4262.
Chen W, Kang Z, Ma Z, et al. Integrated management of wheat stripe rust caused by puccinia striiformis f.sp.tritici in China[J]. Transactions of Agricultural Science in China, 2013, 46(20): 4254-4262.
[8]? ?蘭玉彬, 鄧小玲, 曾國亮. 無人機農(nóng)業(yè)遙感在農(nóng)作物病蟲草害診斷應(yīng)用研究進展[J]. 智慧農(nóng)業(yè), 2019, 1(2): 1-19.
Lan Y, Deng X, Zeng G. Advances in diagnosis of crop diseases, pests and weeds by UAV remote sensing[J]. Smart Agriculture, 2019, 1(2): 1-19.
[9]? ?Yones M, Shireen A, Ma'moun, et al.? Hyperspectral application for early diagnosis of American foulbrood disease in the honeybee ( Apis mellifera L.) larvae[J]. The Egyptian Journal of Remote Sensing and Space Sciences,? 2019, 5(2): 1-7
[10]? Pan T, Chyngyz E, Sun D, et al. Pathogenetic process monitoring and early detection of pear black spot disease caused by Alternaria alternata using hyperspectral imaging[J]. Postharvest Biology and Technology, 2019, 154: 96-104
[11]? 黃木易, 王紀(jì)華, 黃文江, 等. 冬小麥條銹病的光譜特征及遙感監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報, 2003, 19(6): 154-158.
Huang M, Wang J, Huang W, et al. Hyperspectral character of stripe rust on winter wheat and monitoring by remote sensing[J]. Transactions of the CSAE, 2003, 19(6): 154-158.
[12]? 王利民, 劉佳, 楊福剛, 等. 基于GF-1/WFV數(shù)據(jù)的冬小麥條銹病遙感監(jiān)測[J]. 農(nóng)業(yè)工程學(xué)報, 2017, 33(20): 153-160.
Wang L, Liu J, Yang F, et al. Winter wheat stripe rust remote sensing monitoring based on GF-1/WFV data[J]. Transactions of the CSAE, 2017, 33(20): 153-160.
[13]? 蔡成靜, 馬占鴻, 王海光, 等. 小麥條銹病高光譜近地與高空遙感監(jiān)測比較研究[J]. 植物病理學(xué)報, 2007, 37(1): 77-82.
Cai C, Ma Z, Wang H, et al. Comparison research of hyperspectral properties between near-ground and high altitude of wheat stripe rust[J]. Transactions of Journal of Plant Pathology, 2007, 37(1): 77-82.
[14]? Wang H, Guo J, Ma Z. Monitoring wheat stripe rust using remote sensing technologies in China[C]. Computer and computing technologies in agriculture V. part 3, 2011, 13: 163-175.
[15]? 劉偉, 楊共強, 徐飛, 等. 近地高光譜和低空航拍數(shù)字圖像遙感監(jiān)測小麥條銹病的比較研究[J]. 植物病理學(xué)報, 2018, 48(02): 223-227.
Liu W, Yang G, Xu F, et al. Comparisons of detection of wheat stripe rust using hyper-spectrometer and UAV aerial photography[J]. Transactions of Journal of Plant Pathology, 2018, 48(02): 223-227.
[16]? 鄧玉傲, 李富占, 宋煥才, 等. 河南新野小麥條銹病發(fā)生特點及監(jiān)測防控對策[J]. 中國植保導(dǎo)刊, 2018, 38(2): 57-59, 56.
Deng Y, Li F, Song H, et al. Occurrence characteristics and monitoring and control strategies of wheat stripe rust in Xinye, Henan Province[J]. Transactions of China Plant Protection Guide, 2018, 38(2): 57-59, 56.
[17]? 曹學(xué)仁, 周益林. 植物病害監(jiān)測預(yù)警新技術(shù)研究進展[J]. 植物保護, 2016, 42(3): 1-7.
Cao X, Zhou Y. Progress in monitoring and forecasting of plant diseases[J]. Transactions of Plant Protection, 2016, 42(3): 1-7.
[18]? 劉偉, 姚冬明, 范潔茹, 等. 田間空氣中小麥白粉菌分生孢子的動態(tài)監(jiān)測研究[J]. 植物病理學(xué)報, 2016, 46(1): 112-118.
Liu W, Yao D, Fan J, et al. Dynamic monitoring of aerial conidia of Blumeria graminis f.sp.tritici in wheat fields[J]. Transactions of Journal of Plant Pathology, 2016, 46(1): 112-118.
[19]? 雷雨, 姚志鳳, 何東健. 小麥條銹病菌夏孢子顯微圖像遠(yuǎn)程采集系統(tǒng)設(shè)計與試驗[J]. 農(nóng)業(yè)機械學(xué)報, 2017, 49(11): 1-10.
Lei Y, Yao Z, He D. Design and experiment of micro-image remote acquisition system of uredinispores of puccinia striiformis f. sp. Tritici[J]. Transactions of Journal of Agricultural Machinery, 2017, 49(11): 1-10.
[20]? Lei Y, Yao Z, He D. Automatic detection and counting of urediniospores of Puccinia striiformis f. sp. tritici using spore traps and image processing.[J]. Scientific reports, 2018, 8(1): 13647-13652.
[21]? Cuttance E, Laven R, Stevenson M. Variability in measurement of Pithomyces chartarum spore counts[J]. New Zealand Veterinary Journal, 2017, 65(4): 192-197.
[22]? 許佳瑤, 趙博, 甕岳太, 等. 松櫟柱銹菌春孢子顯微計數(shù)方法的篩選[J]. 東北林業(yè)大學(xué)學(xué)報, 2016, 44(03): 110-113.
Xu J, Zhao B, Weng Y, et al. Screening the Microscopic counting methods of cronartium guercuum aeciospore[J]. Transactions of Journal of Northeast Forestry University, 2016, 44(03): 110-113.
[23]? 申洪, 樸英杰. 形狀因子測試的點計數(shù)和交點計數(shù)法[J]. 中國體視學(xué)與圖像分析, 1999, 4(1): 7-16.
Sheng H, Piao Y. Form factor test methods with the point count and intersection count[J]. Transactions of Chinese journal of stereology and image analysis, 1999, 4(1): 7-16.
[24]? 李文勇, 李明, 錢建平, 等. 基于形狀因子和分割點定位的粘連害蟲圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報, 2015, 31(5): 175-180.
Li W, Li M, Qian J, et al. Segmentation method for touching pest images based on shape factor and separation points location[J]. Transactions of the CSAE, 2015, 31(5): 175-180.
[25]? Mir B, Lone M, Rather N, et al. Significance of shape factor of obstacle on local scour[J]. Iranian Journal of Science and Technology, Transactions of Civil Engineering, 2019, 43(1): 323-330
Design and test of wheat stripe rust remote monitoring
platform based on embedded system
Yunzhou Ji1,2,3, Shengjia Du1,2,3, Tongkui Ji1,2,3, Huaibo Song1,2,3*
(1. College of Mechanical and Electronic Engineering, Northwest A&F University, Yangling 712100, China;
2. Ministry of Agriculture Key Laboratory for Agricultural Internet of Things, Yangling 712100, China;
3. Key Laboratory of Agricultural Information Perception and Intelligent Services, Yangling 712100, China)
Abstract: Wheat stripe rust is an important biological disaster that affects the safe production of wheat in China for a long time. The number of spores of wheat stripe rust is a direct factor affecting its pathogenesis and transmission. At present, it mainly relies on the field sampling and investigation of agricultural technicians to predict and forecast. It is time-consuming and laborious, and difficult to achieve long-term monitoring of diseases, thus affecting the accuracy of forecasting and the timeliness of prevention and control. The existing automatic spore monitoring device also has the problems that the collecting device is mostly in the form of manual replacement of slides, and the direct acquisition of components in the air by a limited area of the slide may result in inaccurate sample collection and too small sample size. In order to further improve the monitoring and forecasting ability of wheat stripe rust, a wheat stripe rust monitoring device was designed and implemented, which based on the internet to build a wheat stripe rust monitoring platform, and based on the embedded system to establish a complete set of wheat stripe rust spore collection and image transmission processing device. Spore acquisition was performed using a slide adsorption device of "Six prism column + Electromagnet + Microscope". Control the up and down movement of the electromagnet to control the up and down movement of the slide; update the slide by controlling the rotation of the hexagonal shaft; obtain the image by controlling the time synchronization of the microscope and the shaft; control the cleaning solvent the smear and the movement of the cleaning block enable the slide to be cleaned. At the same time, a spore counting program based on the server platform was designed to process and analyze the collected slide images. The spore counting program used in this design is based on Python 3.6 and combined with the Skimage image processing package for spore image analysis and processing. The geometry factor feature based method was used, and the number of spores in the microscope field was finally obtained based on the regional attribute values. The experimental results show that the platform server image processing algorithm can achieve accurate counting of spores, the accuracy of counting the test images is 100%; the success rate of the slide switching system is 95%.This study can lay a foundation for the real-time monitoring of wheat stripe rust in the field, and can also provide references for the monitoring of other airborne diseases in the field.
Key words: wheat stripe rust; internet; embedded system; remote monitoring; image processing; spores counting