陳京，劉德營*，謝堂勝，蔡俊

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院，江蘇 南京 210031；2.江蘇省智能化農(nóng)業(yè)裝備重點實驗室，江蘇 南京 210031)

田間稻飛虱圖像遠程實時采集系統(tǒng)的研制

陳京1,2，劉德營1,2*，謝堂勝1,2，蔡俊1,2

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院，江蘇 南京 210031；2.江蘇省智能化農(nóng)業(yè)裝備重點實驗室，江蘇 南京 210031)

研制了一種田間稻飛虱圖像遠程實時采集系統(tǒng)。該系統(tǒng)由圖像采集裝置、自動控制系統(tǒng)和遠程傳輸系統(tǒng)組成。利用稻飛虱的趨光性，將其引誘至圖像采集裝置的白色幕布上，可編程邏輯控制器(PLC)為自動控制系統(tǒng)的核心，發(fā)出脈沖控制相機拍攝，同時控制交流伺服電機運行，驅(qū)動拍攝裝置，實現(xiàn)對幕布的自動掃描拍攝稻飛虱圖像。遠程傳輸系統(tǒng)選用4G技術(shù)和基于TCP協(xié)議的客戶端/服務(wù)器模式傳輸方法，將所拍攝昆蟲圖像自動傳輸至監(jiān)測中心處。驗證試驗結(jié)果表明，該系統(tǒng)可直接獲得768×576像素的田間稻飛虱圖像。通過二維離散傅里葉變換驗證，采集系統(tǒng)所采集到的稻飛虱圖像與其他昆蟲圖像存在明顯特征差異，說明該系統(tǒng)可滿足稻飛虱圖像采集要求。

稻飛虱； 圖像；遠程；實時采集

投稿網(wǎng)址：http://xb.ijournal.cn

機器視覺技術(shù)的發(fā)展為利用圖像處理、模式識別技術(shù)對采集到的昆蟲圖像進行處理分析，識別田間害蟲的種類，統(tǒng)計害蟲的數(shù)量，從而預(yù)測蟲害的發(fā)生提供了可能[1–5]。Larios等[6]提取了石蠅的特征點并用尺度不變特征轉(zhuǎn)換(SIFT)方法描述檢測到的昆蟲特征，準確率達82%；Mayo等[7]用支持向量機分類器鑒別了英國35種蛾類昆蟲，識別率達到85%；張建華等[8]利用徑向基支持向量機識別棉花害蟲，正確率達88.1%，但這些研究所使用的昆蟲均為靜態(tài)標(biāo)準樣本，難以滿足田間害蟲測報要求的時效性。筆者設(shè)計了田間稻飛虱圖像遠程實時采集系統(tǒng)，實時采集處于自然狀態(tài)下的稻飛虱圖像，并將采集到的圖像自動傳輸?shù)奖O(jiān)測中心，便于直觀了解田間蟲情發(fā)生情況，還可為科研、教學(xué)及生產(chǎn)實踐提供自然昆蟲數(shù)字圖像，現(xiàn)將結(jié)果報道如下。

1 田間稻飛虱圖像遠程實時采集系統(tǒng)的組成及工作原理

系統(tǒng)拍攝對象以稻飛虱為主。系統(tǒng)由圖像采集裝置、自動控制系統(tǒng)和遠程傳輸系統(tǒng)組成(圖1)。利用稻飛虱的趨光性[9]，采用光源誘集的方式將其引誘至圖像采集裝置的白色幕布上。自動控制系統(tǒng)的核心為可編程邏輯控制器(PLC)，根據(jù)設(shè)定好的時間，PLC發(fā)出脈沖控制相機連續(xù)拍攝，同時控制交流伺服電機運行，驅(qū)動拍攝裝置，對工作臺上指定區(qū)域進行掃描拍攝。遠程傳輸系統(tǒng)選用4G技術(shù)和基于TCP協(xié)議的客戶端/服務(wù)器模式傳輸方法，在采集圖片的同時，將這些圖片自動傳輸至檢測中心。

圖1 系統(tǒng)設(shè)計框圖Fig.1 Diagram of the entire system

2 圖像采集裝置的設(shè)計

圖像采集裝置如圖2所示。采集工作臺和拍攝系統(tǒng)都安裝在底座上，底座為田字形的框架。采集裝置共有X向、Y向和Z向距離調(diào)節(jié)裝置，其中X向和Z向分別裝有交流伺服電機ECMA–C20604RS和ECMA–C20604SS，通過改變控制信號的電壓來控制其轉(zhuǎn)速及轉(zhuǎn)向。2個電機的區(qū)別在于后者自帶電磁機械抱閘裝置，可克服斷電時垂直方向上重力產(chǎn)生的影響，實現(xiàn)準確定位。交流伺服電機由PLC進行控制運動，型號為DVP32EH00T3。伺服電機與圖像采集裝置連接處的傳動裝置選用滾珠絲杠，將電機的旋轉(zhuǎn)運動轉(zhuǎn)化為直線運動，在PLC的控制下，相機和鏡頭按照設(shè)定的路線運動。Y向的調(diào)節(jié)裝置為手動，根據(jù)現(xiàn)場相機拍攝害蟲的實際效果進行調(diào)節(jié)，試驗中調(diào)節(jié)Y裝置將鏡頭和幕布之間的距離設(shè)置為30 cm。

圖2 圖像采集裝置的結(jié)構(gòu)Fig.2 Schematic diagram of the acquisition device structure

3 自動控制系統(tǒng)的設(shè)計

自動控制系統(tǒng)以PLC為核心，實現(xiàn)拍攝系統(tǒng)的自動拍攝和交流伺服電機的自動運行，PLC外圍電路如圖3所示。采用220 V交流電源作為PLC、直流穩(wěn)壓電源以及誘蟲燈的供電電源。傍晚時，開啟懸掛于圖像采集裝置的前上方位置的誘蟲燈，稻飛虱等昆蟲受到吸引會繞燈飛舞，并不斷附著在采集工作臺的白色幕布上。待PLC控制器計時到預(yù)先設(shè)定的時刻，系統(tǒng)啟動，PLC的Y4端口輸出信號，與中間繼電器共同作用，得到能驅(qū)動工業(yè)相機的外部電壓觸發(fā)信號，實現(xiàn)自動拍攝功能。PLC同時又輸出2路“脈沖+方向”信號，其中Y0與Y1為1組，Y2與Y3為1組，分別控制X軸和Z軸2個軸向的伺服電機驅(qū)動器，再由各軸的驅(qū)動器分別驅(qū)動各軸的交流伺服電機完成相應(yīng)的動作。

圖3 PLC外圍電路Fig.3 Wiring diagram of PLC

PLC每次發(fā)送10 000個脈沖，驅(qū)動X軸電機轉(zhuǎn)動10圈，滾珠絲杠的螺距為5 mm，故相機和鏡頭移動5 cm，電機轉(zhuǎn)動結(jié)束后會靜止5 s，留給相機充分的觸發(fā)時間，每次拍攝1張照片，連續(xù)循環(huán)，直到X向拍攝完畢。此時，向Z方向運行1次，拍攝1張照片，再向X軸相反方向連續(xù)運行和拍照，像這樣逐行掃描拍攝直到拍完整個預(yù)先選取的區(qū)域。所拍攝的圖像會自動保存至計算機提前設(shè)定的文件夾內(nèi)，并自動編號?？刂葡到y(tǒng)流程如圖4所示。

圖4 自動控制系統(tǒng)的流程Fig. 4 The flow chart of control system

用于圖像采集的高速圖像采集卡選用MV–E1394型號，安裝于計算機主機箱的PCI Express插槽中，通過IEEE1394標(biāo)準接口的電纜與工業(yè)數(shù)字攝像機連接。數(shù)字攝像機Guppy PRO F–503B/C最高分辨率2 588×1 940，與畸變非常小的鏡頭TEC–M55配合使用，適用于高精度檢測。此外采用型號為OPT–RI12030的RI環(huán)形光源與型號為OPT–AP1024–4的AP模擬式機器視覺光源控制器，用于調(diào)節(jié)RI環(huán)形光源的亮度，為拍攝補光。利用拍攝軟件AVT SmartView預(yù)先調(diào)試相機的拍攝效果。

4 遠程傳輸系統(tǒng)的設(shè)計

遠程傳輸系統(tǒng)的作用是把拍攝的圖片從田間自動發(fā)送至本地的實驗室監(jiān)測中心，用于后續(xù)圖像處理分析。由于照片單幅容量大、整體數(shù)量多，要求傳輸速度相對較快、穩(wěn)定性相對較高，所以選擇通信速度快、網(wǎng)絡(luò)頻譜寬、通信質(zhì)量高、費用便宜的4G通信技術(shù)。

4.1 傳輸系統(tǒng)的搭建

遠程傳輸網(wǎng)絡(luò)設(shè)備主要由計算機、4G無線路由器和1張中國移動4G SIM卡組成。4G路由器，選用廈門才茂公司生產(chǎn)的工業(yè)級LTE 4G路由器，型號為CM8565R，可以實現(xiàn)大量數(shù)據(jù)的快速穩(wěn)定傳輸。為了達到將拍攝到的圖片實時、自動傳輸?shù)哪康?，采用基于TCP協(xié)議的客戶端/服務(wù)器模式的網(wǎng)絡(luò)傳輸方法，傳輸系統(tǒng)的設(shè)計如圖5所示。

圖5 傳輸系統(tǒng)的結(jié)構(gòu)Fig.5 Diagram of transmission system structure

4.2 客戶端的設(shè)計

客戶端是通信的發(fā)起者，客戶端首先需知道服務(wù)器的地址和端口號。利用Socket對象創(chuàng)建TCP客戶端Socket服務(wù)，主動向服務(wù)器端發(fā)出連接請求。如果連接成功，說明數(shù)據(jù)傳輸通道已經(jīng)建立，該通道就是底層建立好的Socket流?？蛻舳私缑嬖O(shè)計如圖6–a所示，點擊圖上用于選擇目標(biāo)文件夾的按鈕，可以事先設(shè)置好用于存放拍攝圖片的文件夾路徑。應(yīng)用程序每隔1 min讀取1次文件夾中的文件，獲取Socket輸出流將新讀取到的圖片發(fā)送給服務(wù)器。每發(fā)送成功1張圖片，讀取服務(wù)器端發(fā)回的內(nèi)容。直到該路徑下無新拍攝到的圖片，關(guān)閉Socket。

4.3 服務(wù)器的設(shè)計

服務(wù)器被動等待客戶端發(fā)起通訊，對其作出響應(yīng)。利用Server Socket對象創(chuàng)建TCP服務(wù)器端Socket服務(wù)。服務(wù)器端必須對外提供一個接口，否則客戶端無法連接。建立連接后，服務(wù)器端獲取連接過來的客戶端對象，通過客戶端對象獲取Socket流，讀取客戶端發(fā)來的數(shù)據(jù)，將讀取到的數(shù)據(jù)保存到事先設(shè)定好的文件中。反復(fù)讀取這些數(shù)據(jù)，得到拍攝的稻飛虱圖片。每讀取到1張完整的照片，獲取Socket輸出流，將上傳的結(jié)果發(fā)送給客戶端。直到客戶端不再發(fā)送數(shù)據(jù)，關(guān)閉Socket。服務(wù)器界面的設(shè)計如圖6–b所示。

圖6 客戶端和服務(wù)器端的界面Fig.6 The interface of client and server

5 驗證試驗

驗證試驗于2015年6—10月在南京農(nóng)業(yè)大學(xué)江浦農(nóng)場進行。該農(nóng)場2006年曾暴發(fā)稻飛虱災(zāi)害[10]。相機調(diào)整為自動白平衡模式和自動曝光模式，鏡頭的光圈根據(jù)現(xiàn)場的光照調(diào)節(jié)，試驗中設(shè)置為F8.0，增益設(shè)置為8 dB，拍攝大小設(shè)置為768×576像素。每次共采集12×13=156張圖片，共進行了10次試驗。采集了近百張有價值的稻飛虱圖片。圖7–a中，從左至右依次為葉蟬、水蠅、蠼螋和白背飛虱，圖7–b中，為蠼螋和多只白背飛虱。在采集到的昆蟲圖像中，有些昆蟲圖像比較相似，如圖7–a中的葉蟬與白背飛虱，水蠅和蠼螋，故需要對圖像進行處理，以驗證采集到的稻飛虱圖像是否與其他昆蟲圖像存在特征差異。至此，稻飛虱圖像遠程實時采集系統(tǒng)已完成工作過程。

圖7 采集的照片F(xiàn)ig.7 Collected photos

6 圖像預(yù)處理與結(jié)果

以圖7–a為例，對獲得的圖像進行處理，分析所拍攝的昆蟲的特征差異。首先選用最大類間方差法(otsu)進行閾值分割，自動選取閾值進行二值化。二值化后的圖片存在噪聲，對其進行開運算，填充小孔，去除細小噪聲并且使昆蟲圖片邊界更為平滑。將去除噪聲后的圖像和灰度化后的昆蟲圖像進行邏輯與運算，得到昆蟲背部區(qū)域灰度圖像，再逐一提取單個昆蟲的背部圖像，裁剪為128×128像素的圖片，如圖8所示。

圖8 處理后的照片F(xiàn)ig.8 Images have been processed

對單個昆蟲圖像進行二維離散傅里葉變換，從空間域變換到頻率域，更容易分辨昆蟲圖像的特征[11–13]。昆蟲傅里葉頻譜，如圖9所示。頻譜圖直觀地反映出圖像的能量分布，代表了昆蟲背部顏色和紋理與傅里葉頻譜數(shù)值大小的關(guān)系，頻譜數(shù)值的大小反映不同頻率成分的強度，中心較亮區(qū)域為能量集中區(qū)域，也是頻譜圖的低頻區(qū)域，代表了大面積背景區(qū)域和昆蟲背部緩慢變化部分。圖片邊緣是高頻區(qū)域，高頻部分代表了昆蟲背部的細節(jié)和紋理信息。圖9中心較亮區(qū)域水蠅和蠼螋最大，葉蟬次之，白背飛虱最小，這與各類昆蟲背部圖像面積有關(guān)，昆蟲背部面積越大，則黑色背景越小，影響了低頻區(qū)域的面積。圖8中水蠅和蠼螋較為相似，但背部紋理信息的細小差異，如水蠅頭部與尾部連接處較為透明，在頻譜圖高頻部分中體現(xiàn)為亮斑與黑點分布差異，水蠅的頻譜圖比蠼螋多了1排較為規(guī)則的垂直亮斑，最為明顯。葉蟬的高頻區(qū)域較為均勻，白背飛虱則多了1條呈對角線狀的亮斑，邊緣各點分布較為均勻密集，說明白背飛虱背部紋理具有獨特性。各個昆蟲頻譜圖高頻區(qū)域的差異較為明顯，故所采集圖片能夠反映出各類昆蟲的特征差異，其中白背飛虱特征尤為突出。

圖9 傅里葉變換后的昆蟲頻譜Fig.9 Spectrum of fourier transform

結(jié)果表明，所采集的圖片可以清晰地反映出稻飛虱在自然狀態(tài)下背部的顏色、紋理，經(jīng)過二維離散傅里葉變換驗證，目標(biāo)昆蟲稻飛虱圖像與其他昆蟲圖像存在明顯特征差異，達到了圖像采集的預(yù)期要求。

[1] 韓瑞珍，何勇．基于計算機視覺的大田害蟲遠程自動識別系統(tǒng)[J]．農(nóng)業(yè)工程學(xué)報，2013，29(3)：156–162．

[2] 張潔．基于圖像識別的農(nóng)作物害蟲診斷技術(shù)研究與應(yīng)用[D]．合肥：中國科學(xué)技術(shù)大學(xué)，2014．

[3] Wen C L，Guyer D．Image-based orchard insect automated identification and classification method[J]. Computers and Electronics in Agriculture，2012，89：110–115．

[4] Sarpola M J，Paasch R K，Mortensen E N．An aquatic insect imaging system to automate insect classification[J]. Transactions of the ASABE，2008，51(6)：2217–2225．

[5] 周志艷，羅錫文，張揚，等．農(nóng)作物蟲害的機器檢測與監(jiān)測技術(shù)研究進展[J]．昆蟲學(xué)報，2010，53(1)：98–109．

[6] Larios N，Deng H L，Zhang W．Automated insect identification through concatenated histograms of local appearance features：feature vector generation and region detection for deformable objects[J]．Machine Vision Applications，2008，19(2)：105–123．

[7] Mayo M，Watson A T．Automatic species identification of live moths[J]．Knowledge Based Systems，2007，20(2)：195–202．

[8] 張建華，冀榮華，袁雪，等．基于徑向基支持向量機的棉花蟲害識別[J]．農(nóng)業(yè)機械學(xué)報，2011，42(8)：178–183．

[9] 邊磊，孫曉玲，高宇，等．昆蟲光趨性機理及其應(yīng)用進展[J]．應(yīng)用昆蟲學(xué)報，2012，49(6)：1677–1686．

[10] 鄒圣龍，劉天龍．2006年褐飛虱發(fā)生原因初探及防控措施[J]．安徽農(nóng)學(xué)通報，2007(5)：141–142．

[11] 劉德營，趙三琴，丁為民，等．基于圖像頻譜特征的稻飛虱識別方法[J]．農(nóng)業(yè)工程學(xué)報，2012，28(7)：184–188．

[12] 張強．精通MATLAB圖像處理[M]．北京：電子工業(yè)出版社，2012．

[13] 溫芝元，曹樂平．椪柑果實病蟲害的傅里葉頻譜重分形圖像識別[J]．農(nóng)業(yè)工程學(xué)報，2013，29(23)：159–165．

責(zé)任編輯：羅慧敏

英文編輯：吳志立

A remote real-time acquisition system for rice plant hopper images in the fields

Chen Jing1,2, Liu Deying1,2, Xie Tangsheng1,2, Cai Jun1,2
(1.College of Engineering, Nanjing Agricultural University, Nanjing 210031, China; 2.Key Laboratory of Intelligent Agricultural Equipment of Jiangsu Province, Nanjing 210031, China)

A remote real-time acquisition system for rice plant hopper images in the fields has been designed and developed. The whole system consists of the image acquisition device, the automatic control system and the remote transmission system. Under the condition of night, rice plant hoppers will be attracted to the white cotton curtain based on the phototaxis of wild insects. The image acquisition device scanned the curtain screen line by line and took photos of the plant hoppers on the screen under the control of the PLC. The remote transmission system is set up with 4G technology and the method of network transmission based on the model TCP client/server, which can transmit the images taken in the wild fields to local lab for subsequent analysis. According to the result of the experiment taken in the wild field environment, the images of the rice plant hoppers can be obtained directly with the pixel of 768×576. There are obvious differences between these pictures and the images of other insects through the verification of two-dimensional discrete Fourier transform, which means the system meets the requirements of image acquisition.

rice plant hopper; image; remote; real-time acquisition

TP391.41

A

1007-1032(2016)06-0693-06

2016–04–18

2016–10–09

江蘇省科學(xué)技術(shù)廳前瞻性聯(lián)合研究項目(BY2014095)

陳京(1991—)，男，江蘇新沂人，碩士研究生，主要從事農(nóng)業(yè)裝備智能控制技術(shù)研究，2014112038@njau.edu.cn；*通信作者，劉德營，博士，副教授，主要從事模式識別與自動控制研究，dyliu@njau.edu.cn