袁永寧， 宋利明， 高德偉， 王 杰， 王 正

(1.南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037；2.江蘇金迪木業(yè)股份有限公司，江蘇 泗陽 2237000；3.南京林業(yè)大學(xué)材料科學(xué)與工程學(xué)院，江蘇 南京 210037)

林業(yè)害蟲的治理可促進(jìn)森林健康及人與自然的和諧發(fā)展，也是當(dāng)代林業(yè)發(fā)展的時(shí)代重任。培育和保護(hù)森林可取得木材和其他林產(chǎn)品、利用林木的自然特性可發(fā)揮生態(tài)防護(hù)作用，林業(yè)是國民經(jīng)濟(jì)的重要組成部分之一[1-4]。多年來，我國森林病蟲害頻繁發(fā)生，由于受自然環(huán)境或地域等因素的影響，在對森林蟲害的治理和預(yù)防上依然存在諸多問題[5，6]，導(dǎo)致森林資源損失依舊嚴(yán)重，使我國成為受到有害昆蟲危害最為嚴(yán)重的國家之一[7-9]。為確保我國林業(yè)可持續(xù)發(fā)展，對森林蟲害的有效治理工作顯得尤為重要[10，11]。要具體深入分析森林蟲害發(fā)生的原因，需從害蟲的自身行為出發(fā)，通過研究害蟲的行為特征對森林蟲害進(jìn)行有效防治與災(zāi)害預(yù)測。如藥物防治、生物防治、自滅防治等方法都是通過觀察有害昆蟲的行為，根據(jù)害蟲的活動(dòng)時(shí)間、發(fā)育周期、生態(tài)行為可有效治理蟲害。防治森林病蟲害是國家減災(zāi)工程中必不可少的一部分。只有準(zhǔn)確地掌握昆蟲行為和習(xí)性，才能采用正確方法和有效措施對森林蟲害進(jìn)行防治[12-14]。目前國內(nèi)外機(jī)器視覺系統(tǒng)研究較為成熟，國外早在20世紀(jì)70年代就將機(jī)器視覺廣泛應(yīng)用于半導(dǎo)體行業(yè)，機(jī)器視覺也被廣泛應(yīng)用于質(zhì)量檢測方面，此類產(chǎn)品在生活與生產(chǎn)中均具有至關(guān)重要的用途[15]；我國機(jī)器視覺的應(yīng)用始于20世紀(jì)90年代初期[16]，目前已在機(jī)器視覺領(lǐng)域發(fā)展為世界最活躍的國家之一，技術(shù)亦在不斷成熟。在昆蟲學(xué)方面，機(jī)器視覺主要用來自動(dòng)識別昆蟲[17]，基于機(jī)器視覺的害蟲監(jiān)測由害蟲誘捕、圖像獲取、圖像傳輸、圖像處理、害蟲識別與計(jì)數(shù)等部分組成[18-20]。機(jī)器視覺在害蟲自動(dòng)檢測上具有高效、無接觸、簡便以及識別精度高等優(yōu)點(diǎn)，可簡便有效地滿足昆蟲學(xué)研究方面的需求[21，22]。為了有效治理森林蟲害，將機(jī)器視覺技術(shù)與昆蟲學(xué)和林學(xué)相結(jié)合，利用OpenCV和基于camshift、meanshift等跟蹤算法，本文設(shè)計(jì)與制作了一套昆蟲行為跟蹤記錄儀，實(shí)現(xiàn)了對花絨寄甲活體爬行昆蟲的自動(dòng)跟蹤觀察，可為我國開展林業(yè)森林病蟲害的有效防治工作提供有益借鑒。

1 系統(tǒng)組成與總體設(shè)計(jì)

本跟蹤記錄系統(tǒng)采用高倍攝像頭對準(zhǔn)昆蟲進(jìn)行實(shí)時(shí)跟蹤，時(shí)刻讓昆蟲的蟲體顯示在計(jì)算機(jī)視頻中，無需通過手動(dòng)調(diào)節(jié)，只需將昆蟲置于球體載物臺即可。在觀察活體昆蟲同時(shí)還實(shí)時(shí)記錄并顯示活體昆蟲行為等一系列數(shù)據(jù)，如：實(shí)時(shí)坐標(biāo)、實(shí)時(shí)偏移、實(shí)時(shí)速度等。系統(tǒng)還設(shè)有一鍵錄制視頻功能，可在無人操作情況下對活體昆蟲進(jìn)行持續(xù)運(yùn)行觀察，并可對近期觀察結(jié)果進(jìn)行對比研究。

圖1為昆蟲行為跟蹤記錄系統(tǒng)，主要包括：高倍攝像頭、步進(jìn)電機(jī)、球體載物臺、控制箱和軟件操作界面等。該系統(tǒng)主要實(shí)施步驟為：首先，當(dāng)攝像頭捕獲目標(biāo)并將視頻傳入計(jì)算機(jī)中，通過灰度化、二值化等預(yù)處理可獲得圖像的基本信息；然后，進(jìn)一步提取目標(biāo)輪廓，求出目標(biāo)實(shí)時(shí)的中心點(diǎn)坐標(biāo)和質(zhì)心坐標(biāo)，并根據(jù)坐標(biāo)信息獲得前一幀與后一幀的位移偏差，進(jìn)而得到目標(biāo)的速度、加速度和方向等；最后，通過PI控制將運(yùn)動(dòng)方向的偏差轉(zhuǎn)化為頻率，并發(fā)送至單片機(jī)中使其精確地控制步進(jìn)電機(jī)轉(zhuǎn)動(dòng)，從而抵消昆蟲爬行產(chǎn)生的位移偏差。

圖1 昆蟲行為跟蹤記錄系統(tǒng)

本系統(tǒng)整體構(gòu)思方案是通過攝像頭來捕捉活體昆蟲畫面并傳輸?shù)接?jì)算機(jī)中，并通過單片機(jī)驅(qū)動(dòng)X-Y方向的兩路步進(jìn)電機(jī)來控制球體滾動(dòng)，讓昆蟲始終保持在球體的中心點(diǎn)。

2 系統(tǒng)硬件設(shè)計(jì)

為了使觀察昆蟲行為的效果變得更為明晰，本系統(tǒng)采用HVS430W高倍攝像頭，最高放大倍數(shù)為20倍，其整個(gè)裝置結(jié)構(gòu)如圖2所示。

圖2 裝置結(jié)構(gòu)圖

利用3D打印技術(shù)打印出裝置的支撐與底座，圖2中的藍(lán)色圓環(huán)為球體載物臺的周邊支撐，上面三等分放置三個(gè)萬向球以起到支撐球體載物臺作用，同時(shí)也可盡量減少球體與支撐間的摩擦力，使球體轉(zhuǎn)動(dòng)時(shí)更為流暢，從而減少系統(tǒng)可能產(chǎn)生的誤差。另外，對于攝像頭模塊中，光源可能對跟蹤系統(tǒng)產(chǎn)生影響，本設(shè)計(jì)從物理學(xué)的角度為裝置設(shè)計(jì)了一個(gè)遮光罩(圖3)，阻止外界光源的干擾。

圖3 遮光罩

3 系統(tǒng)軟件設(shè)計(jì)

當(dāng)攝像頭將采集的視頻流傳入計(jì)算機(jī)后，程序?qū)⑼ㄟ^灰度化、幀差法等對每一幀圖像預(yù)處理，將處理后的圖像進(jìn)行輪廓提取后，再進(jìn)一步篩選，然后求出輪廓實(shí)時(shí)的中心點(diǎn)坐標(biāo)，本次試驗(yàn)中還求出了實(shí)時(shí)的中心坐標(biāo)從而使目標(biāo)跟蹤更加準(zhǔn)確。通過以上方式初步實(shí)現(xiàn)對目標(biāo)的跟蹤與識別。系統(tǒng)軟件執(zhí)行的流程依次為：載入視頻流→灰度化→幀差處理→二值化→腐蝕→膨脹→形態(tài)學(xué)處理→輪廓提取→輪廓篩選→實(shí)時(shí)獲取中心坐標(biāo)→實(shí)現(xiàn)跟蹤。而單目標(biāo)跟蹤流程為：輸入初始化目標(biāo)框→候選框→提取候選框特征→候選框評分→預(yù)測目標(biāo)。

該系統(tǒng)軟件設(shè)計(jì)的兩個(gè)最重要算法有Meanshift算法和 Camshift算法。Meanshift算法又被稱為“均值漂移”，在聚類、圖像平滑、圖像切割和跟蹤方面具有廣泛的應(yīng)用。

首先，meanshift目標(biāo)模型的數(shù)學(xué)公式如式(1)：

q={qu}，u∈[1，……，m]

i∈[1，……，n]

(1)

式中：X0表示窗口中心點(diǎn)的向量值(可以是RGB向量或灰度值)，Xi表示窗口內(nèi)第i點(diǎn)的向量值。C表示歸一化常數(shù)，保證q1+q2+q3+…+qm=1，其中，H表示核函數(shù)的帶寬向量。m表示特征值的數(shù)量，其可以被理解為對應(yīng)于圖像處理灰度等級劃分的數(shù)量，使得特征值u表示對應(yīng)的灰度級。b函數(shù)表示脈沖函數(shù)，確保只具有u特征值的像素有助于概率分步。

其次，Meanshift匹配對象的數(shù)學(xué)公式如式(2)所示。

i∈[1，……，nh]

(2)

式中：Y表示匹配對象的中心，Xi表示匹配窗口內(nèi)第i點(diǎn)的向量值，Hh表示匹配窗口的核函數(shù)帶寬向量。Ch表示匹配窗口特征向量的歸一化常數(shù)。

匹配對象與目標(biāo)模型具有相似性，相似的函數(shù)可采用Bhattacharyya函數(shù)，如式(3)：

(3)

匹配過程就是找到相似函數(shù)最大值的優(yōu)化過程，Meanshift算法利用梯度下降法。首先將ρ(Y)在ρ(Y0)附近通過泰勒級數(shù)進(jìn)行展開，取前兩項(xiàng)，如式(4)：

(4)

定義：

(5)

從而：

(6)

因此：

(7)

為了讓ρ(Y)向最大值迭代，Y的梯度方向和搜索方向需要一致，Y0的梯度方向可通過求導(dǎo)獲得，如式(8)：

(8)

權(quán)值為：

(9)

上述為Meanshift算法的數(shù)學(xué)原理。Meanshift算法相對于粒子濾波器來說具有更好的實(shí)時(shí)性，其本質(zhì)就是通過對應(yīng)的模板來確定目標(biāo)的下一個(gè)位置，再通過迭代找尋新的中心點(diǎn)。

Camshift算法是由Meanshift算法作為基礎(chǔ)演變而來的一種新的算法?；具^程就是將視頻上每一幀的圖像結(jié)果作為下一幀Meanshift算法的Search Window的初始值，再進(jìn)行迭代。Camshift流程為：初始目標(biāo)→計(jì)算H通道分量的直方圖→根據(jù)直方圖計(jì)算反向投影圖→MeanShif算法→迭代搜索→將上一幀結(jié)果作為下一幀初始窗口。

4 系統(tǒng)功能測試

本設(shè)計(jì)中主控制芯片采用的是STC15W4K 48S4，使用KEIL開發(fā)環(huán)境，上位機(jī)部分使用VS(Visual Stdio)開發(fā)環(huán)境，需配置OpenCV庫。本系統(tǒng)功能測試主要針對各模塊硬件是否契合，能否實(shí)現(xiàn)自動(dòng)跟蹤，步進(jìn)電機(jī)能否在接收到反饋量后成功運(yùn)轉(zhuǎn)，上位機(jī)界面上能否正常顯示視頻，界面上能否實(shí)現(xiàn)基本功能，從而達(dá)到設(shè)計(jì)要求。

當(dāng)按下參數(shù)調(diào)整按鈕時(shí)，出現(xiàn)參數(shù)設(shè)置窗口。在此窗口可對閾值、圖像輪廓的長寬以及X、Y軸的偏移進(jìn)行設(shè)置。默認(rèn)參數(shù)不用進(jìn)行修改。當(dāng)參數(shù)設(shè)置完成后，點(diǎn)擊啟動(dòng)跟蹤按鈕，跟蹤系統(tǒng)開啟。

圖4 運(yùn)動(dòng)前狀態(tài)

圖4為所需觀察的活體昆蟲-花絨寄甲運(yùn)動(dòng)前狀態(tài)。本文將所需觀察的活體昆蟲-花絨寄甲放置于球體載物臺，其平均爬行速度為0.005 m/s。圖4(a)顯示的是昆蟲實(shí)時(shí)的運(yùn)動(dòng)狀況，圖4(b)顯示的是昆蟲實(shí)時(shí)的輪廓狀況。昆蟲運(yùn)動(dòng)后狀態(tài)如圖5所示。

圖5 運(yùn)動(dòng)后狀態(tài)

由調(diào)試結(jié)果得知，當(dāng)爬行昆蟲花絨寄甲運(yùn)動(dòng)后，其坐標(biāo)、偏移和速度均發(fā)生明顯變化。通過10 s測試過程，得其x軸方向和y軸方向的期望位置和實(shí)際位置。

圖6 X軸方向期望位置與實(shí)際位置

圖7 Y軸方向期望位置與實(shí)際位置

x軸方向的期望位置為320，y軸方向的期望位置為240。由圖7可知，y軸方向的實(shí)際位置與期望位置偏差均不超過30個(gè)像素點(diǎn)。其偏差較小，可趨于期望位置，系統(tǒng)跟蹤穩(wěn)定。當(dāng)花絨寄甲活體昆蟲產(chǎn)生明顯偏移后，本系統(tǒng)使其與下位機(jī)建立協(xié)議，將偏移量轉(zhuǎn)化為調(diào)校反饋量發(fā)送至下位機(jī)。當(dāng)下位機(jī)接收到反饋調(diào)校量后，驅(qū)動(dòng)X-Y軸兩路步進(jìn)電機(jī)進(jìn)行精確轉(zhuǎn)動(dòng)，從而抵消爬行昆蟲的運(yùn)動(dòng)量，使其始終在視野中央運(yùn)動(dòng)。顯然，本系統(tǒng)設(shè)計(jì)功能滿足其使用要求。

5 結(jié)論與展望

我國森林面積廣闊，各種病蟲害和復(fù)雜的環(huán)境給防治工作帶來了諸多困擾。本文通過基于機(jī)器視覺的森林有害昆蟲行為自動(dòng)跟蹤記錄系統(tǒng)的設(shè)計(jì)與測試研發(fā)，實(shí)現(xiàn)了對不具備飛行能力與跳躍能力的活體昆蟲的行為跟蹤觀察和實(shí)時(shí)錄制，且能實(shí)時(shí)顯示昆蟲的位置坐標(biāo)、偏移距離以及速度等參數(shù)功能，可對森林有害昆蟲進(jìn)行有效的防治或?qū)τ幸胬ハx進(jìn)行保護(hù)。

與此同時(shí)，隨著系統(tǒng)的不斷完善，以期可研究其他動(dòng)物的行為，為研究自然，調(diào)節(jié)自然生態(tài)，保護(hù)動(dòng)物和地球資源提供行之有效的解決途徑和方法。